KR20070093975A - 이미지 인코딩 방법 및 이와 연관된 이미지 디코딩 방법,인코딩 장치, 및 디코딩 장치 - Google Patents

이미지 인코딩 방법 및 이와 연관된 이미지 디코딩 방법,인코딩 장치, 및 디코딩 장치 Download PDF

Info

Publication number
KR20070093975A
KR20070093975A KR1020077013090A KR20077013090A KR20070093975A KR 20070093975 A KR20070093975 A KR 20070093975A KR 1020077013090 A KR1020077013090 A KR 1020077013090A KR 20077013090 A KR20077013090 A KR 20077013090A KR 20070093975 A KR20070093975 A KR 20070093975A
Authority
KR
South Korea
Prior art keywords
image
images
encoding
decoded
encoding method
Prior art date
Application number
KR1020077013090A
Other languages
English (en)
Other versions
KR101236405B1 (ko
Inventor
페터 아몬
게로 배제
안드레아스 후터
위르겐 판델
베노이트 팀머만
Original Assignee
지멘스 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 악티엔게젤샤프트 filed Critical 지멘스 악티엔게젤샤프트
Publication of KR20070093975A publication Critical patent/KR20070093975A/ko
Application granted granted Critical
Publication of KR101236405B1 publication Critical patent/KR101236405B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본원은 제 1 인코딩 방법의 도움으로 연속적인 디코딩 이미지들이 연속적인 원래 이미지들로부터 생성되는 이미지 인코딩 방법을 개시한다. 부가하여, 연속적인 제 2 이미지들은 제 2 인코딩 방법의 INTER 인코딩 모드의 도움으로 연속적인 원래 이미지들의 이미지 그룹으로부터 생성되고, 적어도 하나의 디코딩 이미지는 참조 이미지로서 사용된다. 상기 참조 이미지는 인코딩될 이미지 영역의 제 2 이미지에 의해 표현되는 원래 이미지와 상이한 원래 이미지를 나타낸다. 본 발명은 부가하여 이미지 인코딩 방법에 의해 생성된 제 2 이미지가 디코딩될 수 있는 이미지 디코딩 방법에 관한 것이다. 본 발명은 마지막으로 이미지 인코딩 방법 또는 이미지 디코딩 방법이 수행될 수 있는 인코딩 장치 및 디코딩 장치에 관한 것이다.

Description

이미지 인코딩 방법 및 이와 연관된 이미지 디코딩 방법, 인코딩 장치, 및 디코딩 장치{IMAGE ENCODING METHOD AND ASSOCIATED IMAGE DECODING METHOD, ENCODING DEVICE, AND DECODING DEVICE}
본 발명은 청구범위 제1항의 전제부에서 기재된 이미지 인코딩 방법, 및 제9항의 전제부에 기재된 이미지 디코딩 방법에 관한 것이다. 본 발명은 부가하여 청구범위 제11항 또는 제13항의 전제부에 각각 기재된 인코딩 장치 또는 디코딩 장치에 관한 것이다.
<참조 문헌>
[1] K. Hanke, RWTH-Aachen, http://www.ient.rwth-aachen.de/forschung/pdf/3D-videocodierung.pdf
[2] 비디오 코딩 표준 ITU-T H.263, "낮은 비트 전송속도 통신을 위한 비디오코딩(Videocoding for Low Bitrate Commumication)", 1998년 2월
[3] 비디오 코딩 표준 ITU-T H.264, "일반적인 비디오 시각 서비스를 위한 개선된 비디오 코딩(Advanced Video Coding for Generic Audio Visual Services)", 2003년 5월
[4] H. Schwarz, D. Marpe 및 T. Wigand, Fraunhofer Institute for Telecommunication, Heinrich Herz Institute, "H.264/AVC의 확장형(Scalable Extension of H.264/AVC)", ISO/IEC JTC1/SC29/WG11, MPEG04/M10569/S03, 2004년 3월
[5] S. Jun, S. Huifang, "멀티미디어 엔지니어링을 위한 이미지 및 비디오 압축(Image and Video Compression for Multimedia Engineering)", CRC-Press, 2000년
참조 문헌 [1]에 따르면, 비디오 인코딩 방법들은 연속적인 이미지들을 효과적으로 인코딩하기 위하여 특정 신호 속성들을 이용한다. 그러한 경우에, 개별적인 이미지들 또는 이러한 이미지들의 픽셀들 간의 공간적 그리고 시간적 종속성이 고려된다. 이미지 인코딩 또는 비디오 인코딩 방법이 개별적인 이미지들 또는 픽셀들 간의 상기 종속성을 더 잘 이용할 수록, 일반적으로 더 큰 압축비(compression factor)가 달성될 수 있다.
표준 ITU-T H.263 또는 ITU-T H.264(참조 문헌 [2] ,[3])와 같은 하이브리드 인코딩 방법들과 소위 3차원 주파수 인코딩 방법들 간의 기본적인 구별이 예를 들어, 비디오 인코딩을 위한 현재 기술에서 이루어진다. 비록 상기 두 방법 모두, 연속적인 이미지들로 구성된 비디오 신호를 공간적으로 그리고 시간적으로 인코딩하는 시도를 하지만, 하이브리드 인코딩 방법의 경우에는 먼저 시간적 방향으로의 움직임-보상된 예측(movement-compensated prediction) 및 그에 이어서, 예를 들 어, 2차원 이산 코사인 변환(Discrete Cosine Transformation; DCT)을 통해, 형성된 차이 이미지(difference image)의 2차원 변환이 이용됨으로써, 상기 차이 이미지 내의 인접한 픽셀들 간의 공간적 상관(correlation)이 제거된다.
하이브리드 인코딩 방법과는 대조적으로, 예를 들어, 움직임-보상되고 시간적으로 필터링된 부분적 대역 인코딩(movement-compensated, temporally filtered partial band encoding)과 같은 3차원 주파수 인코딩 방법에서는 시간적 예측이 수행되는 것이 아니라 시간 축 방향으로의 "참(true)" 변환이 수행됨으로써, 연속적인 이미지들의 시간적 상관이 이용된다. 상기 부분적 대역 인코딩을 사용하여, 연속적인 이미지들은 예를 들어, 시간적 고주파수 및 저주파수 이미지 성분들에 대한 고 주파수 대역 및 저주파수 대역에서의 2가지 주파수 대역들을 사용하여 공간적 2차원 상관해제(decorrelation) 이전에 다수의 "시간적" 주파수 대역들로 인코딩된다. 스펙트럼의 분열에서, 상기 주파수 대역들에서 발생하는 주파수들의 분포는 비디오 신호에서 발생하는 움직임의 크기에 주로 의존한다. 관찰된 비디오 신호가 임의의 이동하고 있는 또는 변형된 엘리먼트들의 특징을 이루지 않는다면, 모든 고주파수 "시간 스펙트럼 성분들"은 영(zero)과 같고, 총 에너지는 부분적 주파수 대역에 집중된다. 그러나 일반적으로 시간에 대한 이미지의 변화는 항상 국부적인 객체 변위, 예를 들어, 객체 크기의 변화 또는 장면의 변화와 같은 연속적인 이미지들에 관찰될 수 있을 것이다. 이것은 다수의 스펙트럼 계수로 에너지의 분포를 유도하고, 고주파수 성분들 또한 생성된다.
시간적 고주파수 대역에서의 스펙트럼 성분들을 감소시키고 비디오 신호의 시간적 필터링 이전에 시간적 저주파수 대역에서의 에너지를 다수의 "시간적" 주파수 대역으로 집중시키기 위하여, 시간적으로 필터링될 이미지들의 움직임 평가 및 움직임 보상이 수행된다.
참조 문헌 [4]에 따르면, 움직임-보상되고 시간적으로-필터링된 부분적 대역 인코딩은 또한 크기조정 가능한(scalable) 비디오 데이터 스트림을 형성하기 위해 사용될 수 있다. 시간적, 질적 또는 공간적 크기조정가능성(scalability)이 이러한 방식으로 가능하게 된다. 부가하여, 결합된 크기조정(scaling)은 참조 문헌 [4]의 3.2.4장에 제시된다. 이 경우, 그 목적은 하이브리드 인코딩 방법의 도움으로 2개의 상이한 기본 품질을 생성하는 것이다. 개선된 이미지 품질을 달성하기 위하여 부가의 크기조정된 비디오 데이터 스트림들이 포함된다. 참조 문헌 [4]에서 이러한 부가적인 크기조정된 비디오 데이터 스트림들은 움직임 보상되고 시간적으로 필터링된 부분적 대역 인코딩의 도움으로 형성된다. 그리하여, 크기조정 가능한 비디오 데이터 스트림은 움직임-보상된 예측 인코딩에 따른 제 1 인코딩 방법 및 움직임-보상되고 시간적으로 필터링된 부분적 대역 인코딩에 따른 제 2 인코딩 방법의 도움으로 형성될 수 있다.
하나의 방법이 독일 특허 출원 제10 2004 031 407.1호로부터 개시되고, 상기 출원에서는 크기조정 가능한 비디오 스트림을 형성하기 위하여, 3차원 주파수 인코딩 방법과 함께 하이브리드 인코딩 방법이 사용된다.
본 발명의 기초가 되는 목적은 제 1 및 제 2 인코딩 방법을 사용하여 효율적인 방식으로 이미지를 인코딩 또는 디코딩하는 것을 가능하게 하는 이미지 인코딩 방법, 이미지 디코딩 방법, 인코딩 장치 및 디코딩 장치를 특정하는 것이다.
이러한 목적은 청구범위 제1항의 전제부에 기재된 이미지 인코딩 방법에서 시작하여 제1항의 특징부에 의해 달성되고, 청구범위 제9항의 전제부에 기재된 디코딩 방법에서 시작하여 제9항의 특징부에 의해 달성된다. 부가하여, 이러한 목적은 청구범위 제11항 또는 제13항의 전제부에 기재된 인코딩 장치 또는 디코딩 장치 및 상기 청구항들의 특징부에 의해 달성된다.
이미지 인코딩 방법, 특히 독일 특허 출원 제10 2004 031 407.1호의 청구범위 제1항 내지 제8항 중 어느 한 항에 청구된 이미지 인코딩 방법을 사용하여, 연속적인 디코딩 이미지(decoded image)들은 제 1 인코딩 방법의 도움으로 연속적인 원래 이미지들로부터 형성되고, 연속적인 제 2 이미지들은 제 2 인코딩 방법의 도움으로 연속적인 원래 이미지들의 이미지 그룹으로부터 생성되며, 제 2 이미지들 중 하나의 적어도 하나의 이미지 영역은 제 2 인코딩 방법의 INTER 인코딩 모드의 도움으로 인코딩되고, 디코딩 이미지들 중 적어도 하나는 참조 이미지로서 INTER 인코딩 모드에 의해 사용되며, 상이한 원래 이미지는 인코딩될 이미지 영역의 제 2 이미지에 의해 표현된 원래 이미지로부터 참조 이미지로서 사용된 디코딩 이미지에 의해 표현된다.
적어도 하나의 디코딩 이미지는 제 2 이미지들의 생성에서 본 발명의 인코딩 방법에 의해 고려된다. 인코딩 효율은 이러한 방식으로 증가될 수 있는데, 그 이유는 예측의 개선이 제 2 인코딩 방법의 INTER 인코딩 모드에 따른 이러한 생성으로 달성되기 때문이다.
바람직하게 적어도 2개의 디코딩 이미지들이 제 2 이미지들 중 하나를 인코딩하기 위해 고려되고, 이 때 생성될 제 2 이미지와 동일한 원래 이미지를 나타내는 디코딩 이미지가 부가적으로 참조 이미지로서 포함된다. 이것은 좋은 표본(representative)이 도출될 수 있게 하고, 그 결과 예측 또는 압축의 부가적인 개선이 달성된다.
만약, 바람직하게 제 2 이미지들 중 하나의 이미지 중 적어도 하나의 영역을 인코딩하기 이전에, 제 1 이미지 크기를 가진 디코딩 이미지의 적어도 하나의 부분적인 영역은 제 2 이미지 크기로 확대되거나 축소된다면, 제 2 이미지들의 이미지 크기가 디코딩 이미지들의 이미지 크기와 상이한 경우 본 발명의 이미지 인코딩 방법이 또한 사용될 수 있다. 부가하여, 예측 및 압축의 개선이 달성될 수 있다.
만약 적어도 하나의 디코딩 이미지가 부가하여 INTRA 인코딩 모드 및/또는 INTER 인코딩 모드를 사용하여 및/또는 양방향 예측 인코딩 모드를 사용하여 제 1 인코딩 방법의 도움으로 형성된다면, 인코딩 효율이 제 2 이미지들의 생성에 대하여 부가적으로 증가될 수 있다.
부가하여, 디코딩 이미지들의 시퀀스는 제 1 이미지 재생(refresh) 주파수를 가진 제 1 인코딩 방법 및 제 2 인코딩 방법에 의해 형성될 수 있고, 제 2 이미지들의 시퀀스는 제 2 이미지 재생 주파수로 형성될 수 있다. 이것은 본 발명의 이미지 인코딩 방법이 또한 제 2 이미지들 및 디코딩 이미지들의 상이한 이미지 재생 주파수들에 대해 사용될 수 있게 하고, 그에 의하여 증가된 압축 비율이 달성된다.
바람직하게, 연속적인 디코딩 이미지들이 다수의 제 1 이미지 품질 레벨에서 제 1 인코딩 방법에 의해 형성되고, 연속적인 제 2 이미지들이 다수의 제 2 이미지 품질 레벨에서 제 2 인코딩 방법에 의해 형성되며, 제 2 이미지들의 시퀀스를 생성하기 위하여 특히 최상의 제 1 이미지 품질 레벨을 갖는 연속적인 디코딩 이미지들이 고려된다. 그리하여, 본 발명의 이미지 인코딩 방법은 또한 크기조정 가능성 레벨을 지원하는 제 1 및/또는 제 2 인코딩 방법에서 사용될 수 있다. 이것은 압축 비율의 증가를 유도한다.
부가하여, 동일한 인코딩 방법 또는 2개의 상이한 인코딩 방법들이 바람직하게 제 1 인코딩 방법으로서 그리고 제 2 인코딩 방법으로서 채택될 수 있고, 움직임-보상된 예측 인코딩은 특히 제 1 인코딩 방법으로서 적용되고, 움직임-보상되고 시간적으로 필터링된 부분적 대역 인코딩은 제 2 인코딩 방법으로서 적용된다. 이것은 연속적인 원래 이미지들을 인코딩하는 동일한 인코딩 방법 및 2개의 상이한 인코딩 방법이 모두 인코딩을 위하여 본 발명의 방법에 의해 사용될 수 있음을 의미한다.
본 발명에 따른 방법의 부가의 대안예에서, 비트 스트림은 적어도 하나의 제 2 이미지의 생성에서 적어도 하나의 디코딩 이미지의 사용을 나타내는 적어도 하나의 식별자를 포함하는 방식으로 이미지 인코딩 방법의 골격(framework) 내에서 형성될 수 있다. 이것은 인코딩 장치가 디코딩 장치로 본 발명의 방법에 따라 형성된 비트 스트림을 전달할 수 있게 하고, 비트 스트림은 적어도 하나의 제 1 디코딩 이미지의 제 2 이미지들의 생성에서의 종속성을 더 상세히 기술(describe)한다.
본 발명은 또한 이미지 디코딩 방법, 특히 독일 특허 출원 제10 2004 031 407.1호의 청구범위 제8항에 청구된 이미지 디코딩 방법에 관한 것이고, 이미지 인코딩 방법에 따라 인코딩된 적어도 하나의 이미지, 특히 제 2 이미지들 중 하나를 디코딩하는 단계들을 포함하며, 연속적인 재구성된 원래 이미지들은 연속적인 제 2 이미지들로부터 제 2 디코딩 방법의 도움으로 생성되고, 제 2 이미지들의 하나 중 적어도 하나의 이미지 영역은 제 2 디코딩 방법의 INTER 디코딩 모드의 도움으로 디코딩되며, 제 1 인코딩 방법에 의해 생성된 디코딩 이미지들 중 적어도 하나는 참조 이미지로서 INTER 디코딩 모드에 의해 사용되고, 상이한 원래 이미지는 디코딩될 이미지 영역의 제 2 이미지에 의해 표현된 원래 이미지로부터 참조로서 사용된 디코딩 이미지에 의해 표현된다. 이미지 인코딩 방법을 사용하여 형성된 디코딩 이미지들 또는 제 2 이미지들은 이미지 디코딩 방법의 도움으로 디코딩될 수 있다. 이러한 경우, 제 2 인코딩 방법에 의해 형성된 제 2 이미지들은 제 2 디코딩 방법에 의해 디코딩되고, 제 2 디코딩 방법은 적어도 INTER, INTRA 및/또는 양방향 예측 디코딩 모드를 포함한다.
바람직하게, 비트 스트림은 이미지 디코딩 방법의 골격 내에서 이미지 디코딩 방법에 의해 디코딩되고, 비트 스트림은 적어도 하나의 제 2 이미지의 생성에 적어도 하나의 디코딩 이미지의 사용을 나타내는 적어도 하나의 식별자를 포함한다. 이것은 디코딩 방법이 본 발명의 방법에 따라 형성된 비트 스트림을 수신하여 디코딩할 수 있음을 의미하고, 비트 스트림은 적어도 하나의 제 1 디코딩 이미지로부터 제 2 이미지들의 생성에서의 종속성을 더 상세히 기술한다.
본 발명은 부가하여 인코딩 장치, 특히 특허 출원 제10 2004 031 407.1호의 청구범위 제9항에 청구된 인코딩 장치에 관한 것으로서, 이미지 인코딩 방법을 수행하는 수단, 제 1 인코딩 방법의 도움으로 연속적인 원래 이미지들로부터 연속적인 디코딩 이미지들을 형성하는 제 1 수단, 제 2 인코딩 방법의 도움으로 연속적인 원래 이미지들의 이미지 그룹으로부터 연속적인 제 2 이미지들을 생성하는 제 2 수단을 포함하고, 제 2 이미지들 중 하나의 적어도 하나의 이미지 영역은 제 2 인코딩 방법의 INTER 인코딩 모드의 도움으로 인코딩되고, 디코딩 이미지들 중 적어도 하나는 참조 이미지로서 INTER 인코딩 모드에 의해 사용되며, 상이한 원래 이미지는 인코딩될 이미지 영역의 제 2 이미지에 의해 표현된 원래 이미지로부터 참조 이미지로서 사용된 디코딩 이미지에 의해 표현된다. 본 발명의 인코딩 장치의 도움으로 본 발명의 이미지 인코딩 방법을 구현하고 실행하는 것이 가능하게 된다.
바람직하게, 인코딩 장치는 적어도 하나의 제 2 이미지의 생성에서의 적어도 하나의 디코딩 이미지의 사용을 나타내는 적어도 하나의 식별자를 포함하도록 형성된 비트 스트림을 전달하기 위한 전달 수단을 포함한다. 이것은 비트 스트림이 인코딩 장치로부터 디코딩 장치로 전달되게 한다.
부가하여, 본 발명은 디코딩 장치, 특히 독일 특허 출원 제10 2004 031 407.1호의 청구범위 제10항에 청구된 디코딩 장치에 관한 것이고, 이미지 디코딩 방법을 실행하는 수단, 연속적인 제 2 이미지들로부터 제 2 디코딩 방법의 도움으로 연속적인 재구성된 원래 이미지들을 생성하는 제 3 수단을 포함하고, 제 2 이미지들의 하나 중 적어도 하나의 이미지 영역은 제 2 디코딩 방법의 INTER 디코딩 모드의 도움으로 디코딩되며, 제 1 인코딩 방법에 의해 생성된 디코딩 이미지들 중 적어도 하나는 참조 이미지로서 INTER 디코딩 모드에 의해 사용되고, 상이한 원래 이미지는 디코딩될 이미지 영역의 제 2 이미지에 의해 표현된 원래 이미지로부터 참조 이미지로서 사용된 디코딩 이미지에 의해 표현된다. 본 발명의 디코딩 장치는 본 발명의 이미지 디코딩 방법의 구현 및 실행을 가능하게 한다. 인코딩 장치 및/또는 디코딩 장치는 무선 장치에서, 특히 UMTS(Universal Mobile Telecommuniction system; 범용 이동 통신 시스템) 표준 및/또는 GSM(Global System for Mobile Communication; 전 지구적 이동 통신 시스템) 표준에 따라 구현 및 동작될 수 있거나, 예를 들어, 인터넷에 연결된 고정 네트워크 장치에서 구현 및 동작될 수 있다.
만약 적어도 하나의 제 2 이미지의 생성에서의 적어도 하나의 디코딩 이미지의 사용을 나타내는 적어도 하나의 식별자를 포함하는 비트 스트림을 수신하기 위한 수신 수단이 바람직하게 디코딩 장치에서 구현된다면, 비트 스트림은 이러한 수단에 의해 수신 및 프로세싱될 수 있다.
부가의 본 발명의 세부 사항 및 이점들은 도 1 내지 도 9를 참조하여 더 상세히 설명된다.
개별적인 도면들은 이하를 보여준다.
도 1은 연속적인 원래 이미지들을 인코딩하는 것에 대한 개략도로서, 디코딩 이미지들은 움직임-보상된 예측 인코딩에 따른 제 1 인코딩 방법으로 형성되고 제 2 이미지들은 제 1 인코딩 방법의 디코딩 이미지들을 고려하여 움직임-보상되고 시간적으로 필터링된 부분적 대역 인코딩에 따른 제 2 인코딩 방법으로 인코딩된다.
도 2는 디코딩 이미지들과 관련하여 제 2 이미지들의 인코딩에서의 종속성을 보여준다.
도 3은 디코딩 이미지들로부터 제 2 이미지들을 인코딩하는 것에서의 종속성을 보여주고, 각각의 제 2 이미지는 적어도 2개의 디코딩 이미지들로부터 예측된다.
도 4는 디코딩 이미지들로부터 제 2 이미지들을 인코딩하는 것에서의 종속성을 보여주고, 디코딩 이미지들은 제 1 인코딩 방법에 따라 인코딩 이미지들로부터 이미지 크기를 증가시킴으로써 형성된다.
도 5는 디코딩 이미지들로부터 제 2 이미지들을 인코딩하는 것에서의 종속성에 대한 개략도이고, 연속적인 디코딩 이미지들은 연속적인 제 2 이미지들에 대하여 감소된 이미지 재생 비율을 나타낸다.
도 6은 본 발명의 방법을 실행하기 위한 인코딩 장치 및 디코딩 장치를 포함하는 이동 단말기를 보여준다.
도 7은 본 발명의 방법을 실행하기 위한 인코딩 장치 및 디코딩 장치를 포함하는 네트워크 유닛을 구비한 네트워크를 보여준다.
도 8은 디코딩 이미지들의 제 1 품질 레벨에 대하여 제 2 이미지들의 인코딩에서의 종속성을 보여준다.
도 9는 본 발명의 방법의 실행을 구현하는 데이터 전달 네트워크에 연결된 인코딩 장치 및 디코딩 장치를 보여준다.
동일한 기능 및 동작 방법을 갖는 엘리먼트들에는 도 1 내지 도 9에서 동일한 참조 부호가 제공된다.
도 1은 본 발명에 따른 방법의 예시적인 실시예를 보여준다. 이러한 경우에, 연속적인 원래 이미지들(O1, ....ON)은 제 1 인코딩 방법(CV1) 및 제 2 인코딩 방법(CV2)을 사용하여 압축된다. 이러한 원래 이미지들(O1,..., ON)은 예를 들어 카메라에 의해 형성되었고, 640×480 픽셀들을 갖는 이미지 크기에서 하나의 휘도(brightness) 성분 및 2개의 색차(chrominance) 성분을 갖는 컬러 포맷으로 제공된다. 부가하여, 원래 이미지들(O1,..., ON)은 인코딩되기 이전에 예를 들어, 잡음 감소 또는 에지 샤프닝(edge sharpening; 에지 선명하게 만들기)과 같은 이미지 프로세싱이 수행된다.
처음에, 제 1 인코딩 방법(CV1)은 원래 이미지들(O1,...,ON)의 움직임-보상된 예측 인코딩을 수행한다. 이러한 타입의 움직임-보상된 예측 인코딩 방법들, 예를 들어, ITU-T H.263 표준이 참조 문헌 [5]로부터 공지된다. 상기 방법을 사용하여, 인코딩 이미지들(B1,..., BM)이 예를 들어, INTRA 인코딩 모드 및/또는 INTER 인코딩 모드를 사용하여 원래 이미지들(O1,...,ON)로부터 형성될 수 있다. INTRA 인코딩 모드는 다른 원래 이미지들(O1,...,ON)을 고려하지 않고 각각의 원래 이미지(O1,...ON)의 개별적인 이미지 블록들을 인코딩한다. 반면, INTER 인코딩 모드에서, 각각의 원래 이미지들(O1,...,ON)의 개별적인 이미지 블록들은 하나 이 상의 이미 인코딩 이미지들(B1,...,BM) 또는 하나 이상의 디코딩되 이미지들(D1,...,D4=참조 이미지(RB))을 고려하여 압축된다. 부가하여, INTER 인코딩 모드에서, 인코딩될 원래 이미지(O1,...,ON)의 이미지 블록의 움직임의 평가를 수행하고, 단지 움직임 보상 이후에 이러한 이미지 블록을 인코딩하는 것이 유리하다. 움직임 평가 방법 또는 움직임 보상 방법은 참조 문헌 [5]로부터 공지된다. 부가하여, 예를 들어, 모든 원래 이미지들(O1,...,ON)이 인코되지는 않기 때문에, 인코딩 이미지들(B1,..,BM)의 개수(M)는 원래 이미지들(O1,...,ON)의 개수(N)과 상이할 수 있다.
다음 단계에서, 연속적인 디코딩 이미지들(D1,...,DM)이 제 1 인코딩 방법(CV1)의 도움으로 인코딩 이미지들(B1,...,BM)로부터 형성된다. 부가하여, 각각의 디코딩 이미지(D1,...,DM)에 대하여, 예를 들어 각각의 디코딩 이미지(D1,...,DM) 중 어떤 이미지 블록들이 INTRA 인코딩 모드로 인코딩되었는지 어떤 이미지 블록들이 INTER 인코딩 모드로 인코딩되었는지를 특정하는 개별적인 디코딩 리스트가 형성될 수 있다. 이러한 디코딩 이미지들(D1,...,DM)은 제 2 인코딩 방법(CV2)에 의해 후속적인 프로세싱 단계들에서 고려된다. 도 1에 도시된 예시적인 실시예에 대하여, 모든 이미지 블록들이 INTRA 인코딩 모드로 형성되었던 디코딩 이미지들(D1,...,DM)은 "I"로 표시되고, 적어도 하나의 이미지 블록이 INTER 인코딩 모드의 도움으로 인코딩되었던 디코딩 이미지들(D1,...,DM)은 "P"로 표시되며, 양방향 예측 인코딩 모드의 도움으로 인코딩되었던 디코딩 이미지들(D1,...,DM)은 "B"로 표시된다.
후속적인 단계에서, 관련 이미지 그룹(GOP)의 모든 연속적인 원래 이미지들(O1,..,ON)은 제 2 인코딩 방법(CV2)의 도움으로 인코딩된다. 본 발명의 예시적인 실시예에서, 3개의 상이한 이미지 그룹들(GOP1, GOP2, GOP3)을 볼 수 있다. 이러한 경우, 제 2 이미지 그룹(GOP2)의 인코딩될 원래 이미지들의 개수는 4로 선택되었다. 이미지 그룹(GOP) 당 인코딩될 원래 이미지들의 개수는 가변될 수 있고, 예를 들어, 우선, 2개, 그 다음 4개, 그 다음 8개의 원래 이미지들이 관련 이미지 그룹(GOP1, GOP2, GOP3)에서 인코딩된다. 그리하여, 예를 들어, 인코딩될 제 2 이미지 그룹(GOP2)의 첫 번째 원래 이미지는 제 3 원래 이미지(O3)이다.
디코딩 이미지들(D1,...,D4)은 전형적으로 각각의 연관된 인코딩 이미지(B1,...,B4)의 완전한 디코딩 또는 예를 들어, 블록 타입 또는 매크로블록 또는 운동 벡터와 같은 각각의 연관된 인코딩 이미지(B1,...,B4)에 대한 하나 이상의 구문(syntax) 엘리먼트의 추출로서 이해된다.
본 발명의 골격 내에서, 움직임-보상되고 시간적으로 필터링되는 부분적 대역 인코딩 방법은 다수의 해상도 레벨(resolution level)(R1, R2)에서 각 경우에 적어도 하나의 출력 이미지(A1', A3)가 적어도 두 개의 입력 이미지들로부터 형성되는 인코딩 방법으로서 고려된다. 부가하여, 중간 이미지들(Z2', Z1, Z2, Z3) 또한 형성될 수 있다. 관련된 중간 이미지는 제 1 부분적 대역의 연관된 입력 이미지들의 움직임-보상 성분들을 나타낸다. 관련된 출력 이미지는 제 2 부분적 대역의 연관된 입력 이미지들의 움직임-보상 성분을 포함한다. 제 1 부분적 대역은 전형적으로 고주파수를 포함하고, 제 2 부분적 대역은 저주파수 성분들을 포함한다. 각각의 더 낮은 해상도 레벨(R2)에서, 더 높은 해상도 레벨(R1)의 출력 이미지들(A1, A2)은 입력 이미지들(E5, E6)이 된다.
도 1에 도시된 제 2 인코딩 방법(CV2)은 2개의 해상도 레벨(R1, R2)의 제 2 이미지 그룹(GOP2) 내에 구성된다. 제 1 해상도 레벨(R1)에서, 중간 이미지(Z1, Z2) 및 출력 이미지(A1, A2)는 각각 2개의 입력 이미지들(E1 및 E2, E3 및 E4), 및 2개의 연관된 디코딩 이미지들(D4, D6)로부터 형성된다. 2개의 출력 이미지들(A1, A2)은 제 2 해상도 레벨(R2)의 입력 이미지들(E5, E6)로서 사용된다. 이러한 예시적인 실시예에서 더 낮은 해상도 레벨에 대응하는 제 2 해상도 레벨(R2)에서, 제 3 중간 이미지(Z3) 및 제 3 출력 이미지(A3)는 디코딩 이미지(D3, D5)와 함께 입력 이미지(E5, E6)로부터 형성된다. 이러한 예시적인 실시예에서, 낮은 해상도 레벨(R2)은 동시에 가장 낮은 해상도 레벨을 나타낸다. 가장 낮은 해상도 레벨은 이미지 그룹(GOP) 내에 단지 하나의 출력 이미지를 생성하는 해상도 레벨로서 고려될 수 있다. 낮은 해상도 레벨(R2)의 출력 이미지들(A1', A3) 및 중간 이미지들(Z2', Z1, Z2, Z3)은 제 2 이미지들로서 언급된다.
도 2의 도움으로, 도 1에서 이미 보다 상세히 설명된, 디코딩 이미지들(D3, D4, D5, D6)에 대한 제 2 이미지들(Z1, Z2, Z3, A3)의 의존성이 단순화된 형태로 도시된다. 화살표는 특정 제 2 이미지의 인코딩에 고려되어야 하는 디코딩 이미지 또는 디코딩 이미지들을 표시한다. 그리하여, 예를 들어, 제 3 디코딩 이미지(D3)는 제 2 이미지(A3)의 형성에 고려된다. 이러한 경우, 제 3 디코딩 이미지(D3)는 예를 들어, 제 2 이미지(A3)의 예측 INTRA 인코딩에서 참조 이미지(RB)로서 사용될 수 있다. 원래 이미지들(O1,...,ON)의 사양은 단지 도 2에서 시간에 대하여 각각의 디코딩 이미지 또는 제 2 이미지가 속하는 원래 이미지를 지시하도록 의도된다. 예를 들어, 제 2 이미지(Z3) 및 디코딩 이미지(D5)는 둘 다 원래 이미지(O5)를 나타낸다.
도 1 또는 도 2에서 제 2 이미지(A3)의 생성시, INTRA 인코딩 모드와 같은 제 1 인코딩 방법(CV1)의 인코딩 모드로 디코딩된 디코딩 이미지(D3)의 할당은 단지 가능한 실시예들 중 하나를 나타낸다. 그리하여, 제 2 이미지(A3)는 예를 들어, 양방향 예측 인코딩 모드와 같은 INTRA 인코딩 모드와 상이한 인코딩 모드로 인코딩되었던 디코딩 이미지(D3)로 생성될 수 있다.
본 발명의 양방향 코딩 방법의 변형예는 도 3에 도시될 수 있다. 이러한 다이어그램은 각각의 제 2 이미지가 제 2 인코딩 방법(CV2)에 따라 적어도 하나의 디코딩 이미지를 사용하여 생성됨을 보여준다. 이러한 경우에, 디코딩 이미지(D5)가 제 2 이미지(Z1)의 형성에 고려되었다. 여기서, 디코딩 이미지(D1,...,DM)는 예를 들어, 제 2 이미지(Z3)의 생성을 위한 시간적 예측을 가진 INTER 인코딩을 위해 사용되기 때문에 참조 이미지로서 언급된다. 기본적으로, 제 2 이미지의 형성을 위해 포함된 디코딩 이미지들의 개수는 미리 정해진 값, 예를 들어, 1 또는 3으로 설정되지 않는다. 고려될 디코딩 이미지들의 개수는 또한 제 2 이미지 생성에 대해 가변될 수 있다. 그리하여, 2개의 디코딩 이미지(D1 및 D4)가 제 2 이미지(A3)의 형성에 고려되고, 3개의 디코딩 이미지(D4, D5 및 D6)가 제 2 이미지(Z3) 형성에 고려된다. 부가하여, 단지 인접한 디코딩 이미지들이 제 2 이미지의 생성을 위해 포함되는 것이 또한 필수적인 것은 아니다. 예를 들어, 디코딩 이미지(D1)는 제 2 이미지(A3)의 형성에 고려된다. 본 발명에 따라, 적어도 하나의 디코딩 이미지가 제 2 이미지의 생성에 고려되고, 적어도 하나의 디코딩 이미지(D5)가 참조 이미지(RB)로서 사용되며, 참조 이미지(RB)는 제 2 이미지(Z1)에 의해 표현되는 원래 이미지(O4)와 상이한 원래 이미지(O5)를 나타낸다.
부가하여, 전체 이미지, 즉, 이미지의 모든 영역들에 대한 본 발명의 골격 내에서 동일한 참조 이미지 또는 이미지들(RB)를 고려하여 인코딩되는 것 또한 반드시 필수적인 것은 아니다. 그리하여, 제 2 이미지(Z1)의 제 1 영역은 참조 이미지(RB=D1)의 도움으로 생성될 수 있고, 상기 이미지의 제 2 영역은 참조 이미지(RB=D1, D3)의 도움으로 생성될 수 있다. 하나의 이미지 영역은 임의 개수의 픽셀들, 예를 들어, 8×8 픽셀들의 이미지 블록 및/또는 예를 들어, 16×16 픽셀들의 매크로블록 및/또는 이미지 영역의 주어진 임의 형태에 의해 둘러싸인 픽셀들을 포함한다.
부가하여, 형성될 제 2 이미지와 동일한 원래 이미지를 나타내는 디코딩 이미지의 제 2 이미지를 형성할 때를 실제로 고려해볼 만 하다. 그리하여, 예를 들어, 디코딩 이미지(D5)는 또한 제 2 이미지(Z3)의 형성에 고려된다. 이러한 절차는 예측을 위한 최적 상관이 형성될 제 2 이미지(Z3)와 동일한 원래 이미지(O5)를 나타내는 디코딩 이미지(D5)에 발견되어 높은 정도의 압축이 달성될 수 있기 때문에 가치가 있을 수 있다.
본 발명에 따른 비디오 인코딩 방법의 부가 변형예에서, 제 2 이미지들(Z1, Z2, Z3, A3) 중 하나의 생성 이전에, 제 1 이미지 크기(BG1)를 가진 디코딩 이미지(D1,...,DM)의 적어도 하나의 부분적 영역이 제 2 이미지 크기(BG2)로 확대되거나 축소된다. 그러한 부분적 영역은 다수 개의 픽셀들을 기술하고, 상기 부분적 영역은 임의의 주어진 형태를 가질 수 있다. 이하의 예에서, 부분적 영역은 완전히 디코딩 이미지를 포함한다. 이러한 변형예를 더 잘 표현하기 위하여, 디코딩 이미지(D1,...,DM)와 연관된 인코딩 이미지(B1,..,BM) 또한 도 4에 도시된다. 그리하여, 인코딩 이미지들(B1,...,BM) 중 하나의 제 1 이미지 크기(BG1)는예를 들어, 100×120 픽셀에 달한다. 하나 이상의 디코딩 이미지들에 대한 제 2 이미지를 형성하기 위하여 제 2 이미지 크기(BG2)를 갖는 것이 이제 유리할 수 있다. 제 2 이미지 크기(BG2)는 예를 들어, 200×240 픽셀에 이른다. 이러한 목적을 위하여, 인코딩 이미지들(B1,...,BM)은 우선 디코딩되고, 이후에 크기조정 수단(scaling means)의 도움으로 제 1 이미지 크기(BG1)로부터 제 2 이미지 크기(BG2)로 확대된다. 이러한 확대된 디코딩 이미지들은 디코딩 이미지들(D1,..,DM)이다. 또다른 예시적인 실시예에서, 제 2 이미지들 중 하나를 생성하기 이전에, 디코딩 이미지들 중 하나의 적어도 하나의 부분적 영역의 축소를 수행하는 것은 가치가 있다. 부가하여, 인코딩 이미지들(B1,..B4)의 부분적 영역에 대하여 디코딩 이후에 축소를 수행하는 것 및 남아있는 인코딩 이미지들(B5,...,BM)에 대하여 적어도 하나의 부분적 영역의 디코딩 이후에 확대를 수행하는 것 또한 실제로 유용할 수 있다(다이어그램에서 도시되지 않음).
부가의 실시예에서, 적어도 하나의 디코딩 이미지(D1,...,DM)가 INTRA 인코 딩 모드를 사용하여, 또는 INTER 인코딩 모드를 사용하여 그리고/또는 양방향 예측 인코딩 모드를 사용하여 제 1 인코딩 방법의 도움으로 형성되는 것이 유리할 수 있다. 양방향 예측 인코딩 모드에서, 디코딩 이미지 또는 인코딩 이미지는 2 이상의 디코딩 이미지들로부터 예측에 의해 형성된다. 양방향 예측 인코딩 모드의 도움으로, 디코딩 이미지들의 개수는 원래 이미지들의 개수에 관련하여 증가될 수 있다. 이것은 제 2 이미지들의 생성을 위하여 양방향 예측 인코딩 모드를 사용하여 형성되었던 디코딩 이미지들을 고려하는 것 또한 가능함을 의미한다. 이것은 압축 비율의 개선을 유도할 수 있다. 부가하여, 계층적 B 이미지들 또한 적어도 하나의 제 2 이미지의 생성에 사용될 수 있다. 계층적 B 이미지들은 각각 2개의 이미지들을 사용하여 형성된다.
부가하여, 제 1 인코딩 방법(CV1)에서 연속적인 디코딩 이미지들(D1,...,DM)이 제 1 이미지 재생 주파수(BWF1)로 형성되고 제 2 인코딩 방법(CV2)에서 연속적인 제 2 이미지들(Z1, Z2, Z3, A3)이 제 2 이미지 재생 주파수(BWF2)로 형성되는 것은 실제로 가치가 있을 수 있다. 이것은 도 5을 참조하여 보다 상세히 설명된다. 도 5에서, 연속적인 디코딩 이미지들은 단지 각각의 두 번째 원래 이미지에 대해 형성되었다. 이것은 어떠한 연관된 디코딩 이미지도 원래 이미지(O2, O4, O6)에 대하여 이용가능하지 않음을 의미한다. 제 2 이미지들의 생성을 위하여, 단지 이용가능한 디코딩 이미지들에 대한 의존이 존재한다. 그리하여, 예를 들어, 디코딩 이미지들(D7, D5)이 제 2 이미지(Z2) 형성에 고려된다. 모든 제 2 이미지들의 형성 이후에, 제 2 이미지 재생 주파수(BWF2)가 제 1 이미지 재생 주파수 (BWF1)의 두 배임을 도 5로부터 알 수 있는데, 그 이유는 디코딩 이미지들의 2배만큼 제 2 이미지들이 형성되었기 때문이다.
도 8에 따른 본 발명의 이미지 인코딩 방법의 부가 변형예에서, 연속적인 디코딩 이미지들(D1_Q1, D1_Q2,..,DM_Q1, DM_Q2)은 제 1 인코딩 방법(CV1)에 의해 다수의 제 1 이미지 품질 레벨들(Q1, Q2)에서 형성될 수 있고, 연속적인 제 2 이미지들(Z1, Z2, Z3, A3)은 제 2 인코딩 방법(CV2)에 의해 다수의 제 2 이미지 품질 레벨(Q1', Q2')에서 형성될 수 있으며, 특히 최상의 제 1 이미지 품질 레벨(Q2)을 가진 연속적인 디코딩 이미지들(D1_Q1, D1_Q2,..,DM_Q1, DM_Q2)은 연속적인 제 2 이미지들(Z1, Z2, Z3, A3)을 생성하는데 고려된다. 예를 들어, 2개의 상이한 제 1 품질 레벨들(예를 들어, D1_Q1, D1_Q2)이 각각의 디코딩 이미지(D1,...,DM)에 대하여 제공된다. 그리하여, 디코딩 이미지(D1_Q1)가 제 1 품질 레벨 = 기본 품질 레벨 및 상기 기본 품질 레벨에 대하여 디코딩 이미지(D1_Q2)의 형태로 개선된 제 2 품질 레벨을 이용할 수 있다. 그리하여, 제 1 이미지 품질 레벨들의 개수는 2와 같다. 부가하여, 품질 레벨들의 개수는 각각의 디코딩 이미지(D1_Q1,...,DM_Q2)에 대하여 상이할 수 있다. 유리한 변형예에서, 제 2 이미지들(A3, Z1, Z2, Z3)을 형성하기 위하여, 단지 최상의 제 1 이미지 품질 레벨에 대응하는 디코딩 이미지들의 품질 레벨만이 이제 고려되고, 즉, 예를 들어, 최상의 제 1 이미지 품질 레벨(Q2)에 대한 디코딩 이미지(D1_Q2)가 고려된다. 부가하여, 제 2 이미지들(Z1, Z2, Z3, A3)은 또한 이용가능한 다수의 품질 레벨들, 예를 들어, 2개의 품질 레벨(Q1', Q2', Q3')을 가질 수 있다. 이러한 경우, 제 2 이미지 품질 레벨들의 개수는 3과 같다.
본 발명은 제 1 및 제 2 인코딩 방법(CV1, CV2)에 대하여 단일 인코딩 방법 및 2개의 상이한 인코딩 방법을 모두 사용할 수 있다. 부가하여, 본 발명은 단지 2개의 인코딩 방법, 즉, 제 1 및 제 2 인코딩 방법의 사용에 국한되는 것이 아니라, 3 이상의 인코딩 방법에 대하여 사용될 수 있다. 예를 들어, 원래 이미지들은 제 1 및 제 2 인코딩 방법을 사용하여 인코딩되고, 제 3 인코딩 방법은 제 2 이미지들을 생성하기 위하여 제 1 및/또는 제 2 인코딩 방법의 상기 인코딩된 또는 디코딩 이미지들을 사용한다.
이미지 인코딩 방법은 인코딩 장치(EV)를 사용하여 실행될 수 있다. 이미지 인코딩 방법은 인코딩 장치(EV)의 제 1 수단(M1) 및 제 2 수단(M2)의 도움으로 구현된다. 부가하여, 인코딩 장치는 전달 수단(MS)을 포함할 수 있다. 이것을 사용하여, 인코딩 장치(EV)에 의해 형성되고 적어도 하나의 식별자(KN), 디코딩 이미지(D1) 및 적어도 하나의 제 2 이미지(Z1)를 포함하는 비트 스트림(BS)은 데이터 전달 네트워크(UE)를 거쳐 디코딩 장치(DV)로 전달될 수 있다.
본 발명은 또한 이미지 인코딩 방법에 따라 인코딩된 적어도 하나의 이미지, 특히, 제 2 이미지들(Z1, Z2, Z3, A3) 중 하나를 디코딩하기 위한 하나 이상의 단계들을 생성하는 이미지 디코딩 방법에 관한 것이다. 본 발명의 이미지 디코딩 방법의 도움으로, 하나 이상의 재구성된 원래 이미지들(K1,..,KN)이 제 2 이미지들로부터 복구될 수 있고, 상기 재구성된 원래 이미지들(K1,..,KN)은 하나 이상의 원래 이미지들(O1,..,ON)을 나타낸다. 이미지 디코딩 방법의 실행에서, 제 2 이미지들 의 생성을 위해 사용되었던 상기 디코딩 이미지들(D1,..,DN)은 참조 이미지(RB)로서 고려된다. 이미지 디코딩 방법은 디코딩 장치(DV)로 실행될 수 있다. 부가하여, 디코더 유닛은 적어도 하나의 식별자(KN), 디코딩 이미지(D1) 및 적어도 하나의 제 2 이미지(Z1)를 포함하는 비트 스트림(BS)을 수신하기 위한 수신 모듈(ME)을 포함할 수 있다. 이미지 디코딩 방법은 본 발명에 따른 방법을 수행하기 위한 제 3 수단을 포함하는 디코딩 장치(DV)의 도움으로 구현될 수 있다.
이동 단말기(MG)를 도 6에서 볼 수 있다. 인코딩 장치(EV) 및/또는 디코딩 장치(DV)는 단말기(MG)에 구현될 수 있고, 본 발명의 이미지 인코딩 방법 또는 이미지 디코딩 방법을 구현할 수 있다. 이동 단말기(MG)는 특히 GSM(Global System for Mobile Communication) 표준에 따른 이동 무선 장치이다.
도 7은 네트워크(NET)를 도시한다. 이러한 네트워크(NET)는 예를 들어, 인코딩 장치(EV) 및/또는 디코딩 장치(DV)를 구현하는 네트워크 유닛(NE)을 포함한다. 부가하여, 제 1 및 제 2 네트워크 엘리먼트(NW1, NW2)는 네트워크(NET)내에 부가적으로 존재할 수 있고, 예를 들어, 서로 그리고/또는 네크워크 유닛(NET)에 연결된다. 인코딩 장치(EV) 및/또는 디코딩 장치(DV)를 포함하는 네트워크 유닛(NE)은 상기 장치들의 도움으로 본 발명의 이미지 인코딩 방법 또는 이미지 디코딩 방법을 실행할 수 있다.
도 9는 적어도 하나의 식별자(KN), 디코딩 이미지(D1) 및 적어도 하나의 제 2 이미지(Z1)을 포함하는 비트 스트림(BS)을 생성하기 위하여 제 1 및 제 2 수단(M1, M2) 및 전달 수단(MS)을 포함하는 인코더 유닛(EV)과 제 3 수단(M3) 및 비트 스트림(BS)을 수신하기 위한 수신 수단(ME)을 포함하는 디코더 유닛(DV)을 도시한다. 인코딩 장치(EV) 및 디코딩 장치(DV)는 서로 페이로드 데이터(payload data) 및 제어 데이터를 교환하기 위하여 데이터 전달 네트워크를 경유하여 연결된다. 전달 네트워크(UE)는 예를 들어, GSM 표준 또는 ISDN(Integrated Subscriber digital Network; 종합 정보 통신망) 표준에 따라 구현된다.

Claims (14)

  1. 이미지 인코딩 방법, 특히 독일 출원 제10 2004 031 407.1호의 제1항 내지 제8항 중 한 항에서 청구된 이미지 인코딩 방법으로서,
    a) 연속적인 디코딩 이미지들(D1,...,DM)은 제 1 인코딩 방법의 도움으로 연속적인 원래 이미지들(O1,...,ON)로부터 형성되고,
    b) 연속적인 제 2 이미지들(Z1, Z2, Z3, A3)은 제 2 인코딩 방법(CV2)의 도움으로 이미지 그룹(GOP)으로부터 나온 연속적인 원래 이미지들(O1,...,ON)로부터 생성되며,
    - 상기 제 2 이미지들 중 하나(Z1)의 적어도 하나의 이미지 영역은 제 2 인코딩 방법(CV2)의 INTER 인코딩 모드의 도움으로 인코딩되고,
    - 상기 디코딩 이미지들 중 적어도 하나(D5)는 참조 이미지(RB)로서 상기 INTER 인코딩 모드에 의해 사용되며,
    - 상기 이미지 영역의 상기 제 2 이미지(Z1)에 의해 표현된 원래 이미지(O4)와 상이한 원래 이미지(O5)는 참조 이미지(RB)로서 사용된 상기 디코딩 이미지(D5)에 의해 표현되는,
    이미지 인코딩 방법.
  2. 제 1 항에 있어서,
    상기 제 2 이미지들 중 하나(Z3)를 인코딩하기 위하여 적어도 2개의 디코딩 이미지들(D4, D5)이 고려되고, 상기 디코딩 이미지(D5)는 생성될 상기 제 2 이미지(Z3)와 동일한 원래 이미지(O5)를 표현하는 참조 이미지(RB)로서 부가적으로 포함되는,
    이미지 인코딩 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제 2 이미지들(Z1, Z2, Z3, A3) 중 하나의 적어도 하나의 이미지 영역을 인코딩하기 이전에, 제 1 이미지 크기(BG1)를 갖는 디코딩 이미지(D1,...,DM)의 적어도 하나의 부분적 영역은 제 2 이미지 크기(BG2)로 확대되거나 축소되는,
    이미지 인코딩 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    적어도 하나의 디코딩 이미지(D1,..,DM)는 INTRA 인코딩 모드 및/또는 INTER 인코딩 모드 및/또는 양방향 예측 인코딩 모드를 사용하여 상기 제 1 인코딩 방법(CV1)의 도움으로 형성되는,
    이미지 인코딩 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 연속적인 디코딩 이미지들(D1,...,DM)은 상기 제 1 인코딩 방법(CV1)에 의해 제 1 이미지 재생 주파수(BWF1)로 형성되고, 상기 연속적인 제 2 이미지들 (Z1, Z2, Z3, A3)은 상기 제 2 인코딩 방법(CV2)에 의해 제 2 이미지 재생 주파수(BWF2)로 형성되는,
    이미지 인코딩 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    연속적인 디코딩 이미지들(D1_Q1, D1_Q2,..,DM_Q1, DM_Q2)은 상기 제 1 인코딩 방법(CV1)에 의해 다수의 제 1 이미지 품질 레벨(Q1, Q2)에서 형성되고, 상기 연속적인 제 2 이미지들(Z1, Z2, Z3, A3)은 상기 제 2 인코딩 방법(CV2)에 의해 다수의 제 2 이미지 품질 레벨에서 형성되며, 특히 최상의 제 1 이미지 품질 레벨(Q2)을 갖는 상기 연속적인 디코딩 이미지들(D1_Q1, D1_Q2,..,DM_Q1, DM_Q2)은 상기 연속적인 제 2 이미지들(Z1, Z2, Z3, A3)을 생성하는데 고려되는,
    이미지 인코딩 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    하나의 동일한 인코딩 방법 또는 2개의 상이한 인코딩 방법이 상기 제 1 인코딩 방법(CV1) 및 상기 제 2 인코딩 방법(CV2)으로서 사용되고, 특히 움직임-보상된 예측 인코딩은 상기 제 1 인코딩 방법(CV1)으로서 적용되고, 움직임-보상되고 시간적으로 필터링된 부분적 대역 인코딩은 상기 제 2 인코딩 방법(CV2)으로서 적용되는,
    이미지 인코딩 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    비트 스트림(BS)은 적어도 하나의 제 2 이미지(Z1, A3)의 생성에 적어도 하나의 디코딩 이미지(D1, D1_Q1, D1_Q2)의 사용을 지시하는 적어도 하나의 식별자(KN)를 포함하도록 상기 이미지 인코딩 방법의 골격 내에서 형성되는,
    이미지 인코딩 방법.
  9. 이미지 디코딩 방법, 특히 독일 출원 제10 2004 031 407.1호의 제1항 내지 제8항에 청구된 이미지 디코딩 방법으로서,
    제 1 항 내지 제 8 항 중 어느 한 항에 따른 이미지 인코딩 방법에 따라 인코딩된 적어도 하나의 이미지를 디코딩하기 위한 단계들을 포함하고, 특히, 연속적인 재구성된 원래 이미지들(K1, ...,KN)을 갖는 상기 제 2 이미지들(Z1, Z2, Z3, A3) 중 하나는 연속적인 제 2 이미지들(Z1, Z2, Z3, A3)로부터 제 2 디코딩 방법(DV2)의 도움으로 생성되고,
    - 상기 제 2 이미지들 중 하나(Z1)의 적어도 하나의 이미지 영역은 제 2 디코딩 방법(DV2)의 INTER 디코딩 모드의 도움으로 디코딩되고,
    - 제 1 인코딩 방법(CV1)에 의해 생성된 상기 디코딩 이미지들 중 적어도 하나(D5)는 참조 이미지(RB)로서 상기 INTER 디코딩 모드에 의해 사용되며,
    - 디코딩될 상기 이미지 영역의 상기 제 2 이미지(Z1)에 의해 표현된 원래 이미지(O4)와 상이한 원래 이미지(O5)는 참조 이미지(RB)로서 사용된 상기 디 코딩 이미지(D5)에 의해 표현되는,
    이미지 디코딩 방법.
  10. 제 9 항에 있어서,
    비트 스트림(BS)은 상기 이미지 디코딩 방법의 골격 내에서 디코딩되고, 상기 비트 스트림은 적어도 하나의 제 2 이미지(Z1, A3)의 생성에 적어도 하나의 디코딩 이미지(D1, D1_Q1, D1_Q2)의 사용을 지시하는 적어도 하나의 식별자(KN)를 포함하는,
    이미지 디코딩 방법.
  11. 인코딩 장치(EV), 특히 독일 출원 제10 2004 031 407.1호의 제 9 항에 청구된 인코딩 장치로서,
    이미지 인코딩 방법, 특히 제 1 항 내지 제 8 항 중 어느 한 항에 청구된 이미지 인코딩 방법을 실행하는 수단을 포함하고,
    a) 제 1 인코딩 방법(CV1)의 도움으로 연속적인 원래 이미지들(O1,...,ON)로부터 연속적인 디코딩 이미지들(D1,...,DM)을 형성하는 제 1 수단(M1),
    b) 제 2 인코딩 방법(CV2)의 도움으로 연속적인 원래 이미지들(O1,...,ON)의 이미지 그룹(GOP)으로부터 연속적인 제 2 이미지들(Z1, Z2, Z3, A3)을 생성하는 제 2 수단(M2),
    을 포함하며,
    - 상기 제 2 이미지들 중 하나(Z1)의 적어도 하나의 이미지 영역은 제 2 인코딩 방법(CV2)의 INTER 인코딩 모드의 도움으로 인코딩되고,
    - 상기 디코딩 이미지들 중 적어도 하나(D5)는 참조 이미지(RB)로서 상기 INTER 인코딩 모드에 의해 사용되며,
    - 상기 이미지 영역의 상기 제 2 이미지(Z1)에 의해 표현된 원래 이미지(O4)와 상이한 원래 이미지(O5)는 참조 이미지(RB)로서 사용된 상기 디코딩 이미지(D5)에 의해 표현되는,
    인코딩 장치(EV).
  12. 제 10 항에 있어서,
    비트 스트림(BS)을 전달하기 위한 전달 수단(MS)을 포함하고, 상기 비트 스트림(BS)은 적어도 하나의 제 2 이미지(Z1, A3)의 생성에 적어도 하나의 디코딩 이미지(D1, D1_Q1, D1_Q2)의 사용을 지시하는 적어도 하나의 식별자(KN)를 포함하도록 형성되는,
    인코딩 장치(EV).
  13. 디코딩 장치(DV), 특히 독일 출원 제10 2004 031 407.1호의 제 10 항에 청구된 디코딩 장치로서,
    이미지 디코딩 방법, 특히 제 9 항 또는 제 10 항에 따른 이미지 디코딩 방법을 실행하는 수단을 포함하고,
    제 2 디코딩 방법(DV2)의 도움으로 연속적인 제 2 이미지들(Z1, Z2, Z3, A3)로부터 연속적인 재구성된 원래 이미지들(K1, ...,KN)을 생성하는 제 3 수단(M3)을 포함하며,
    - 상기 제 2 이미지들 중 하나(Z1)의 적어도 하나의 이미지 영역은 제 2 디코딩 방법(DV2)의 INTER 디코딩 모드의 도움으로 디코딩되고,
    - 제 1 인코딩 방법(CV1)에 의해 생성된 상기 디코딩 이미지들 중 적어도 하나(D5)는 참조 이미지(RB)로서 상기 INTER 디코딩 모드에 의해 사용되며,
    - 디코딩될 상기 이미지 영역의 상기 제 2 이미지(Z1)에 의해 표현된 원래 이미지(O4)와 상이한 원래 이미지(O5)는 참조 이미지(RB)로서 사용된 상기 디코딩 이미지(D5)에 의해 표현되는,
    디코딩 장치(DV).
  14. 제 13 항에 있어서,
    비트 스트림(BS)을 수신하기 위한 수신 수단(ME)을 포함하고, 상기 비트 스트림(BS)은 적어도 하나의 제 2 이미지(Z1, A3)의 생성에 적어도 하나의 디코딩 이미지(D1, D1_Q1, D1_Q2)의 사용을 지시하는 적어도 하나의 식별자(KN)를 포함하도록 형성되는,
    디코딩 장치(DV).
KR1020077013090A 2004-12-22 2005-12-09 이미지 인코딩 방법 및 이와 연관된 이미지 디코딩 방법,인코딩 장치, 및 디코딩 장치 KR101236405B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102004061906A DE102004061906A1 (de) 2004-12-22 2004-12-22 Bildencodierverfahren, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung
DE102004061906.9 2004-12-22
PCT/EP2005/056626 WO2006067053A1 (de) 2004-12-22 2005-12-09 Bildencodierverfahren, sowie dazugehöriges bilddecodierverfahren, encodiervorrichtung und decodiervorrichtung

Publications (2)

Publication Number Publication Date
KR20070093975A true KR20070093975A (ko) 2007-09-19
KR101236405B1 KR101236405B1 (ko) 2013-02-22

Family

ID=36088352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077013090A KR101236405B1 (ko) 2004-12-22 2005-12-09 이미지 인코딩 방법 및 이와 연관된 이미지 디코딩 방법,인코딩 장치, 및 디코딩 장치

Country Status (8)

Country Link
US (1) US8121422B2 (ko)
EP (1) EP1829378B1 (ko)
JP (1) JP4944792B2 (ko)
KR (1) KR101236405B1 (ko)
CN (1) CN101088296B (ko)
DE (1) DE102004061906A1 (ko)
ES (1) ES2427427T3 (ko)
WO (1) WO2006067053A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009039095A1 (de) * 2009-08-27 2011-03-10 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms
US20110119240A1 (en) * 2009-11-18 2011-05-19 Dana Shapira Method and system for generating a bidirectional delta file
GB2493755B (en) * 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
US8856078B2 (en) * 2012-02-21 2014-10-07 Citrix Systems, Inc. Dynamic time reversal of a tree of images of a virtual hard disk

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US20020118742A1 (en) 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US7693220B2 (en) * 2002-01-03 2010-04-06 Nokia Corporation Transmission of video information
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
TWI230547B (en) * 2004-02-04 2005-04-01 Ind Tech Res Inst Low-complexity spatial downscaling video transcoder and method thereof
DE102004031407A1 (de) 2004-06-29 2006-01-26 Siemens Ag Verfahren zur Bildencodierung einer Folge von Originalbildern, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung

Also Published As

Publication number Publication date
US8121422B2 (en) 2012-02-21
JP2008524949A (ja) 2008-07-10
EP1829378A1 (de) 2007-09-05
DE102004061906A1 (de) 2006-07-13
JP4944792B2 (ja) 2012-06-06
CN101088296A (zh) 2007-12-12
US20080144950A1 (en) 2008-06-19
CN101088296B (zh) 2012-03-21
KR101236405B1 (ko) 2013-02-22
EP1829378B1 (de) 2013-08-14
WO2006067053A1 (de) 2006-06-29
ES2427427T3 (es) 2013-10-30

Similar Documents

Publication Publication Date Title
KR100760258B1 (ko) 범용적 다시점 동영상 부호화/복호화 장치 및 방법
EP1618744B1 (en) Video transcoding
US6031575A (en) Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
US11425409B2 (en) Encoder, decoder, encoding method, and decoding method
US11677975B2 (en) Encoder, decoder, encoding method, and decoding method
US8218619B2 (en) Transcoding apparatus and method between two codecs each including a deblocking filter
JP2001508633A (ja) 動き補償予測画像の符号化及び復号化
KR20100083824A (ko) 프레임간 예측 부호화 방법 및 장치
WO2007115325A2 (en) Apparatus and method of enhanced frame interpolation in video compression
US11202093B2 (en) Encoder, decoder, encoding method, and decoding method
US11425411B2 (en) Encoder, decoder, encoding method, and decoding method
US11716492B2 (en) Encoder, decoder, encoding method, and decoding method
US11671593B2 (en) Encoder, decoder, encoding method, and decoding method
WO2013031574A1 (ja) 画像処理装置および方法
KR101236405B1 (ko) 이미지 인코딩 방법 및 이와 연관된 이미지 디코딩 방법,인코딩 장치, 및 디코딩 장치
JP2011061302A (ja) 動画像符号化装置
CN111886865B (zh) 编码装置和解码装置
US8131088B2 (en) Scalable method for encoding a series of original images, and associated image encoding method, encoding device and decoding device
US11716470B2 (en) Encoder, decoder, encoding method, and decoding method
JP2000197051A (ja) 動画像符号化装置、及び動画像符号化方法
JPH06334985A (ja) 画像符号化装置
Peixoto et al. Mapping motion vectors for Awyner-Ziv video transcoder
Park et al. Improving side information generation using dynamic motion estimation for distributed video coding
Garrido-Cantos et al. An H. 264/AVC to SVC TemporalTranscoder in Baseline profile digest of technical papers
JP2011109528A (ja) 動画像符号化復号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160122

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170106

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee