KR20140005232A - 예측 값을 형성하기 위한 방법들 및 디바이스들 - Google Patents

예측 값을 형성하기 위한 방법들 및 디바이스들 Download PDF

Info

Publication number
KR20140005232A
KR20140005232A KR1020137021371A KR20137021371A KR20140005232A KR 20140005232 A KR20140005232 A KR 20140005232A KR 1020137021371 A KR1020137021371 A KR 1020137021371A KR 20137021371 A KR20137021371 A KR 20137021371A KR 20140005232 A KR20140005232 A KR 20140005232A
Authority
KR
South Korea
Prior art keywords
image
value
trajectory
image value
auxiliary
Prior art date
Application number
KR1020137021371A
Other languages
English (en)
Inventor
페터 아몬
Original Assignee
지멘스 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 악티엔게젤샤프트 filed Critical 지멘스 악티엔게젤샤프트
Publication of KR20140005232A publication Critical patent/KR20140005232A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

본 발명은 예측 값을 형성하기 위한 방법들 및 디바이스에 관한 것이다. 예측 방향은 비선형 궤적들에 의해 국부적으로 기술되고, 상기 예측 방향은 예측 값을 형성하는데 이용될 수 있다. 본 발명은 보다 정확한 예측 결정의 이점을 갖는다. 본 발명은 이미지 압축 또는 이미지-시퀀스 압축에 이용될 수 있다.

Description

예측 값을 형성하기 위한 방법들 및 디바이스들 {METHODS AND DEVICES FOR FORMING A PREDICTION VALUE}
본 발명은 예측 값을 형성하기 위한 방법들 및 디바이스에 관한 것이다.
이미지 및 비디오 코딩에서, 예를 들어 비디오의 이미지들이 압축되는 경우, 이미지 시퀀스의 몇몇 이미지들은, 적어도 다른 이미지들의 부분들에 대한 참조 없이 코딩된다. 이는 예를 들어 이미지 시퀀스의 시작시에 필요한데, 그 이유는 그러한 시점에서, 어떠한 이전에 코딩된 이미지 콘텐트도 아직까지 이용가능하지 않기 때문이다. 이는, 서로 독립적으로 디코딩가능하도록 의도되는 이미지들의 그룹들(GOP들)(GOP-픽처들의 그룹)의 경우에서 또한 필요하다.
과거에 이미 코딩된 이미지의 이미지 콘텐트들에 의지하지 않는 이미지 또는 비디오 코딩은 인트라 코딩(intra coding)으로 지칭된다. 심지어, 상기 유형의 이미지 콘텐트들에 액세스할 수 있을 이미지들의 경우에도, 이전에 코딩된 이미지의 기준 프레임에서 어떠한 양호한 시간 예측자도 발견될 수 없다면, 인트라 코딩을 수행하는 것이 유리할 수 있다. 이는 예를 들어, 이미지 내의 새로운 이미지 콘텐트들의 발견 또는 씬 변화(scene change)들의 시기에 발생한다.
그러나, 인트라 코딩을 이용시, 현재 코딩될 이미지의 이미 코딩된 이미지 콘텐트들은 예측 목적들을 위해 참조될 수 있다. 이는, 코딩된 또는 압축된 이미지 시퀀스를 디코딩하기를 원하는 디코더가, 이미 디코딩된 이미지 콘텐트들을 이용하고(draw upon), 그리고 따라서 디코딩에서의 에러들로 인한 드리프트(drift)를 회피하는 것을 가능하게 한다.
상이한 인트라 예측 방향들은 표준 ITU H.264/AVC(ITU - 국제 전기 통신 연합(International Telecommunications Union), AVC - 어드밴스드 비디오 코딩(Advanced Video Coding))에서 규정된다. 도 1은 이를 예시적으로 도시하며, 여기서 번호들 0 내지 1 그리고 3 내지 8은 미리규정가능한 예측 방향들을 나타낸다.
도 2는 5×5 픽셀들로 이루어진 이미지 구역을 도시한다. 각각의 픽셀의 위치를 결정하기 위해, 좌표계가 도 2에서 도입되었다: 값들 0, 1, 2, 3, 4를 갖는 수평선 및 값들 a, b, c, d, e를 갖는 수직선. 따라서, 바닥측 우측의 코너의 픽셀은 위치 e4를 갖는다. 부가하여, 도 2는 빗금쳐진(hatched) 이미지 구역 및 빗금없는(unhatched) 이미지 구역을 도시한다. 빗금쳐진 이미지 구역은 재구성된(reconstructed) 픽셀들, 즉 이미 코딩 및 디코딩되고, 그러므로 인트라 코딩을 위해 재구성된 형태로 이용가능한 픽셀들, 이를 테면 픽셀들 a0 내지 a4, b0, c0, d0, 및 e0만을 포함한다.
그에 반해, 본 경우에서 4×4 블록으로 구현되는 빗금없는 구역은, 예를 들어 인트라 예측 모드 4, 즉 대각 예측 방향 ― 도 1 참조 ― 이 적용될 예측 이미지 구역을 기술한다. 도 2에서 예측은 작은 화살표들에 의해 상징된다. 따라서, 예를 들어 예측 값(PRW)은 재구성된 이미지 값 a0에 기초하여 픽셀 b1에 대해 구현된다, 즉
Figure pct00001
이다. 예측 값과 유사하게, 픽셀의 이미지 값(W)은 또한, 각각의 픽셀의 휘도(luminance) 및/또는 색도(chrominance) 값을 위해 진폭값을 기술한다. 그 다음으로, 예측 값은 예를 들어, 픽셀 b1의 추가의 코딩을 위해, 차분(differential) 값 RES(.)을 결정하기 위해 차이를 형성하기 위한 기초로서 이용되며, 이를 테면, 예를 들어 이는 다음과 같다:
Figure pct00002
이러한 방식으로, 빗금없는 구역 내의 모든 이미지 값들을 위해 각각의 예측 값이 계산될 수 있다.
예측 다음 단계에서, 각각의 차분 이미지 값은 양자화 및 코딩된다. 코딩된 이미지 값들은 코딩된 이미지 데이터 스트림을 초래한다. 재구성된 이미지 값들은, 코딩된 이미지 값들의 디코딩, 역(inverse) 양자화, 및 예측 값과의 덧셈(addition)에 뒤따라 생성된다.
도 1 및 도 2로부터 명백한 바와 같이, 모든 예측들은, 도 2에서 예를 들어, 재구성된 픽셀 a0으로부터 직선으로, 예측될 픽셀 e4로의 선형 궤적(trajectory)들을 따른다. 예측될 그리고 이러한 선형 예측 규칙을 따르지 않는 이미지 구역 내에 포함되는 텍스츄얼(textural) 정보는 불충분한 정도(inadequate degree)로만 예측될 것이고, 낮은 압축 레이트, 또는 경우에 따라서는, 재구성에 뒤따라 열악한(poor) 이미지 품질을 초래할 것이다.
"라인-기반 인터예측(line-based interprediction)"으로 불리는 2개의 유사한 코딩 모드들은 최근에 공개된 인용문헌들 [1], [2]에서 기술된다. 상기 모드들에서, 이웃 픽셀들의 가중 평균화(weighted averaging)가, 예측될 픽셀을 위해 이용될 수 있다.
본 발명의 목적은 개선된 예측을 가능하게 하는 방법들 및 디바이스들을 개시하는 것이다.
상기 목적은 독립 청구항들에 의해 달성된다.
본 발명의 전개들은 종속 청구항들로부터 유도될 수 있다.
본 발명은 이미지의 적어도 하나의 재구성된 픽셀의 제 2 이미지 값에 기초하여 상기 이미지의 제 1 픽셀의 제 1 이미지 값을 위한 예측 값을 형성하기 위한 방법에 관한 것이며, 상기 방법은 아래의 단계들:
제 3 이미지 값을 갖는 적어도 하나의 궤적을 형성하는 단계 ― 각각의 궤적을 따르는 이미지 값은 각각의 제 3 이미지 값에 대응하고, 각각의 궤적은 직선이 아닌 형상을 가짐 ―;
제 2 이미지 값을 각각의 제 3 이미지 값에 할당하는 단계;
궤적들 중 적어도 하나를, 제 1 이미지 값의 위치로부터 떨어진 거리에 있는 보조 궤적으로서 결정하는 단계 ― 상기 거리는 상기 위치에 대한 최단 거리를 구성함 ―; 및
보조 궤적의 제 3 이미지 값에 기초하여 상기 예측 값을 발생시키는 단계를 포함한다.
본 발명은, 각각의 궤적에 의해 취해진 비선형 예측 방향들에 기초하여 보다 정확한 예측이 수행될 수 있다는 이점을 갖는다. 이는, 코딩된 데이터 스트림의 동일한 비트 레이트로, 이미지 품질에 있어서의 개선을 초래하거나, 또는 이미지 품질이 동일하게 유지되는 것으로 가정하면, 비트 레이트에 있어서의 또는 코딩된 비디오 데이터 스트림의 스토리지 공간에 있어서의 감소를 초래한다. 이러한 개선에 대한 이유는, 보다 정확한 예측이, 코딩될 제 1 이미지 값의 예측 값의 보다 정밀한 추정을 가능하게 하고, 결과적으로, 압축되는 것을 필요로 하는 보다 작은 차분 값이 차분 코딩을 위해 산출된다는 사실에서 확인된다.
궤적들의 로컬 위치들은, 예를 들어 가능한 궤적 위치들 또는 형상들의 선택을 통해 영구적으로 미리규정될 수 있거나, 또는 이미 코딩된 그리고 재구성된 이미지 값들 또는 픽셀들에 기초하여 초래될 수 있다. 이러한 방식으로, 코딩되는 것을 필요로 하는 제 1 이미지 값의 환경이 분석될 수 있고, 이로부터, 형성될 궤적들의 위치 또는 형상에 대한 계산 규칙이 확립된다.
제 2 이미지 값의 할당을 위해, 제 3 이미지 값에 할당된 궤적과 제 2 이미지 값 사이의 거리를 최소화하는 제 2 이미지 값을 선택하는 것이 추가로 가능하다. 이에 대안적으로, 제 3 이미지 값은, 제 1 이미지 값의 코딩 및 디코딩 후에 초래되는 재구성된 이미지 값에 의해 발생될 수 있다. 더욱이, 예측 값의 형성의 완료에 뒤따라 제 3 픽셀을 변경하는 것이 가능하며, 코딩 및 디코딩 후에 제 1 이미지 값의 재구성에 의해 발생된 제 2 이미지 값은 그 다음으로, 추가의 제 1 이미지 값을 위한 예측 값을 형성하기 위해 이용된다. 상기 방법의 이러한 확장의 결과로서 달성되는 것은, 재구성된 픽셀의 제 2 이미지 값이 각각의 궤적의 제 3 이미지 값으로서 이용되는 것이며, 상기 제 2 이미지 값은 예측 값의 양호한 결정을 위한 양호한 가능성(prospect)들을 나타낸다. 그러므로, 최소화의 결과로서 달성되는 것은 예를 들어, 제 3 이미지 값이, 제 2 이미지 값의 로컬 위치에 기초하여, 제 3 이미지 값과 가장 유사한 그러한 제 2 이미지 값을 할당받는 것이다. 예를 들어, 알려진 또는 표준화된 이미지 또는 비디오 압축 방법들, 이를 테면, 예를 들어 ITU H.263, H.264, 또는 MPEG-2(ITU-국제 전기 통신 연합, MPEG-동영상 전문가 그룹(Moving Pictures Expert Group))가 코딩 및 디코딩을 위해 이용될 수 있다.
상기 방법의 확장에서, 거리가 제로(zero)와 동일한 경우, 제 1 이미지 값을 발생시키기 위해 단지 하나의 궤적만이 고려된다. 이러한 경우, 고려되는 보조 궤적의 제 3 이미지 값은 제 1 이미지 값에 할당된다. 이러한 확장의 효과는, 궤적이 제 1 이미지 값 상에 놓이게 되는 경우에, 예측 값을 위한 양호한 결정이 가능해진다는 것이다. 더욱이, 이러한 확장의 결과로서 상기 방법의 덜 복잡한 구현이 가능해진다.
바로 전의 확장의 대안적인 실시예 변형에서, 각각의 보조 궤적과 제 1 이미지 값의 위치 사이의 거리가 최단 거리를 구성하는 방식으로, 적어도 2개의 보조 궤적들이 결정된다. 이러한 경우, 예측 값은 적어도 2개의 보조 궤적들의 제 3 이미지 값들에 의해 형성된다. 이러한 실시예 변형에서, 모든 이용가능한 보조 궤적들의 세트로부터 최단 거리들을 갖는 그러한 보조 궤적들이 고려되는 방식으로, 예측 값은 적어도 2개의 보조 궤적들의 제 3 이미지 값들에 의해 형성된다. 따라서, 한편으로는, 최단 거리를 갖는 보조 궤적이 이용되고, 부가하여 상기 위치에 대해 그 다음의(the next) 최단 거리를 갖는 추가의 보조 궤적이 고려된다.
이러한 실시예 변형의 전개에서, 예측 값은, 적어도 2개의 보조 궤적들의 제 3 이미지 값들의 가중 평균화에 의해 형성된다. 이에 의해 달성되는 것은, 예측 값이 제 1 이미지 값에 관하여 최대의 정확도로 추정될 수 있다는 것이다. 더욱이, 가중 평균화는 각각의 경우에서 거리들을 상호간의(reciprocal) 값들로서 고려할 수 있다. 이는 유리한데, 그 이유는 제 1 이미지 값에 더 가까이 위치된 보조 궤적의 제 3 값이, 더 멀리 위치된 추가의 보조 궤적의 제 3 값보다 더 크게 고려되기 때문이다. 일반적으로, 2개보다 많은 수의 보조 궤적들을 이용하는 것이 또한 가능하다. 이러한 경우, 예를 들어 보조 궤적들의 거리들 또는 보조 궤적들의 거리들의 상호간의 값에 따라 2개보다 많은 수의 선택된 보조 궤적들을 고려하는 가중 평균화가 고려된다.
더욱이, 새로운 궤적이 제 1 이미지 값의 위치에 기초하여 배열되는 방식으로 새로운 궤적이 형성될 수 있고, 새로운 궤적의 제 3 값은 예측 값 또는 제 1 이미지 값 또는 제 1 이미지 값의 재구성된 이미지 값을 할당받는다.
새로운 보조 궤적의 이용을 통해 달성되는 것은, 이미지 내의 추가의 픽셀들에 대한 예측 값의 형성시, 각각의 제 1 이미지 값의 보다 정확한 추정이 가능해진다는 것이다. 이는, 형성된 궤적들의 고려에 부가하여, 예측 값의 개량된(refined) 추정이 새로운 보조 궤적 또는 궤적들에 기초하여 달성될 수 있기 때문이다. 새로운 궤적의 제 3 이미지 값은 예측 값 그 자체에 의해, 제 1 이미지 값에 의해, 또는 제 1 이미지 값의 재구성된 이미지 값에 의해 형성될 수 있다는 것이 유의되어야 한다.
이러한 확장은, 새로운 궤적 상의 임의의 포인트에서, 상기 임의의 포인트와 2개의 보조 궤적들 사이의 최단 거리들의 비율이, 2개의 보조 궤적들의, 제 1 이미지 값에 대한 거리들의 비율과 동일한 방식으로, 새로운 궤적이 2개의 보조 궤적들 사이에 배열되는 점에서 보충될 수 있다. 이러한 확장은, 새로운 궤적의 가능한 위치 그리고 결과적으로 가능한 형상을 기술한다. 이러한 경우, 새로운 보조 궤적의 새로운 위치가 단순한 방식으로 결정될 수 있는 것이 유리하다.
본 발명은 또한, 이미지의 적어도 하나의 재구성된 픽셀의 제 2 이미지 값에 기초하여 상기 이미지의 제 1 픽셀의 제 1 이미지 값을 위한 예측 값을 형성하기 위한 디바이스에 관한 것이며, 상기 디바이스는 아래의 유닛들:
각각의 경우에서 제 3 이미지 값을 갖는 적어도 하나의 궤적을 형성하기 위한 제 1 유닛 ― 각각의 궤적을 따르는 이미지 값은 각각의 제 3 이미지 값에 대응하고, 각각의 궤적은 직선이 아닌 형상을 가짐 ―;
제 2 이미지 값을 각각의 제 3 이미지 값에 할당하기 위한 제 2 유닛;
궤적들 중 적어도 하나를, 제 1 이미지 값의 위치로부터 떨어진 거리에 있는 보조 궤적으로서 결정하기 위한 제 3 유닛 ― 상기 거리는 상기 위치에 대한 최단 거리를 구성함 ―; 및
보조 궤적의 제 3 이미지 값에 기초하여 예측 값을 발생시키기 위한 제 4 유닛을 포함한다.
상기 방법은 상기 디바이스의 도움으로 실현 및 수행될 수 있다. 이점들은 대응하는 방법과 유사하다.
상기 디바이스는 부가적으로 적어도 하나의 추가의 유닛을 가질 수 있으며, 이전의 전개들 또는 대안적인 실시예 변형들의 개개의 방법 단계들은 추가의 유닛에 의해 구현될 수 있다. 그 이점들은 예시된 실시예 변형들의 설명과 유사하다.
도 1은 ITU H.264 표준에 따른 가능한 예측 방향들을 도시한다(종래 기술).
도 2는 재구성된 픽셀들의 이미지 값들을 예측하기 위한 프로시저의 일반적인 설명을 제공한다.
도 3은 여러 궤적들을 갖는 본 발명에 따른 방법의 예시 실시예를 도시한다.
도 4는 2개의 기존의 궤적들에 기초하는 새로운 궤적을 형성하기 위한 예시 실시예를 도시한다.
도 5는 예측 값들을 결정하기 위한 비선형 궤적들을 형성하기 위한 예시 실시예를 도시한다.
도 6은 예측 값들을 결정하기 위한 적응적 비선형 궤적들에 관한 예시 실시예를 도시한다.
도 7은 예측 값을 결정하기 위한 디바이스를 도시한다.
도 1 및 도 2는 도입부에서 상세히 설명되었으므로, 여기서는 추가의 설명이 제공되지 않을 것이다.
본 발명의 제 1 실시예 변형이 도 3을 참조하여 보다 상세하게 설명된다.
도 3은 352×288 픽셀들로 이루어진 이미지(B)를 도시한다. 거기에서 픽셀들은 이미지 블록들(BB), 예를 들어 4×4 픽셀들 크기로 구성된다(organized). 픽셀들 각각은 각각의 경우에서, 예를 들어 8-비트 해상도의 형태로, 색도 값 및/또는 휘도 값을 나타내는 이미지 값을 갖는다. 이미지 블록(BB) 내의 각각의 정사각형은 픽셀, 이를 테면, 예를 들어 제 1 픽셀(BP1), 및 연관된 제 1 이미지 값(W1)을 나타낸다. 본 발명에 있어서, 이미지 값은 정사각형에 의해 지시되는 픽셀 내에 하나의 위치, 예를 들어 정사각형의 대각선들이 교차하는 포인트를 갖는 것으로 가정된다.
도 3은 재구성된 픽셀들(BR1, BR2) 및 연관된 제 2 픽셀 값들(W21, W22)을 포함하는 빗금쳐진 영역을 추가로 도시한다. 재구성된 픽셀들은 이전의 시점에서 코딩되었고, 예측 값을 형성하는 목적을 위해 그들의 디코딩된, 즉 재구성된 형태로 이용가능하다.
제 1 단계에서, 적어도 2개의 궤적들(T0, T1, T2, T3, T4)이 형성된다. 제 1 예시 실시예에서, 상기 궤적들은 사분원호(quadrant)들로서 도시되고, 따라서 직선을 나타내지 않는다. 각각의 궤적을 따르는 이미지 값은 각각의 제 3 이미지 값(W31, W32)에 대응한다. 본 예시 실시예에서, 각각의 궤적은 각각의 궤적의 제 3 이미지 값에 정확하게 대응하는 제 2 이미지 값에서 시작한다.
제 2 단계에서, 2개의 보조 궤적들(HT1, HT2)은, 결정될 보조 궤적(HT1, HT2)과 제 1 이미지 값(W1)의 위치(P1) 사이의 각각의 거리(A1, A2)가 최소인, 즉 각각의 경우에서 최단 거리를 구성하는 방식으로, 이용가능한 궤적들(T0, T1, T2, T3, T4)의 세트로부터 결정된다. 본 예시 실시예에서, 궤적들(T1 및 T2)은 제 1 픽셀에 가장 가까운 이웃들이어서, HT1 = T1이고 HT2 = T2이다.
도 3은 위치(P1)로부터의 궤적(T2)의 거리(A2), 및 궤적(T1)과 위치(P1) 사이에서의 궤적(T1)의 거리(A1)를 각각 도시한다. 이는 최단 거리이기 때문에, 각각의 궤적의 거리는 위치(P1)에 대해 90° 각을 형성한다.
뒤따르는 단계에서, 예측 값(PRW)은, 다음과 같이 연관된 거리들(A1, A2)을 고려하여 2개의 보조 궤적들(HT1 = T1, HT2 = T2)의 제 3 이미지 값들(W31, W32)의 가중 평균화에 의해 형성된다:
Figure pct00003
이러한 접근방식은 이중선형 보간법(bilinear interpolation)으로 알려져 있다.
본 발명의 확장은 도 4의 도움으로 기술된다. 도 4는 제 1 이미지 값(W1) 및 위치(P1)뿐만 아니라 보조 궤적들(HT1 및 HT2)을 갖는 도 3으로부터의 세부사항들을 도시한다. 첫째로, 도 3을 참조하여 설명된 바와 같이 예측 값이 형성된다. 예측 값(PRW)은 궤적들(T1, T2)의 제 3 이미지 값들(W31, W32)의 가중 평균화에 대응한다. 추가의 단계에서, 아래에서 T5로 지칭되는 새로운 궤적(T5)이 이제 기존의 궤적들(T1 및 T2) 사이에서 발생된다. 새로운 궤적(T5)은 적어도, 위치(P1)에 있는 제 1 이미지 값(W1)을 거쳐 이어진다(run). 더욱이, 새로운 궤적(T5)은, 새로운 궤적들 상의 임의의 포인트에서, 상기 임의의 포인트와 2개의 보조 궤적들 사이의 최단 거리들의 비율이, 제 1 이미지 값에서의 거리들(A1, A2)의 비율과 동일한 방식으로, 보조 궤적들(HT1, HT2) 사이에서 이어질 수 있다. 새로운 궤적(T5)의 제 3 이미지 값(W35)은 제 1 이미지 값에 대한 예측 값(PRW)과 동일하다.
이에 대한 대안적인 실시예 변형에서, 재구성된 이미지 값(WR)은 또한, 새로운 궤적(T5)의 제 3 이미지 값(W35)에 대해 결정될 수 있다. 그러한 목적을 위해, 다음과 같이 산출하도록, 첫째로 차분 값이 제 1 이미지 값(W1) 및 예측 값(PRW)으로부터 형성될 수 있다:
Figure pct00004
뒤따르는 단계에서, 차분 값은, 예를 들어 허프만(Huffmann) 코딩 방식에 의해 양자화된 형태로 코딩되고, 디코딩되고, 역으로 양자화된다. 복수의 차분 값들은 선택적으로, 양자화 전에 부가하여 변환되고, 역 양자화 후에 백-변환(back-transform) 될 수 있다. 마지막으로, 차분 값 RES(BP1)와 상이한 재구성된 차분 값 RES'(BP1)이 초래된다. 그 다음으로, 재구성된 이미지 값(WR)이 다음과 같이 형성된다:
Figure pct00005
이러한 재구성된 이미지 값은, 예를 들어 BPX에 대한 추가의 예측 값의 후속하는 형성들에서 새로운 궤적(T5)의 제 3 이미지 값(W35)으로서 이용된다(위치 c3 참조).
다른 예시 실시예가 도 5를 참조하여 설명된다. 이러한 경우, 5개의 궤적들(T0, T1, T2, T3, T4)이 도시되고, 궤적들 각각이 비선형 형상을 가진다. 각각의 경우에서 궤적들은 제 2 이미지 값들 중 하나(W22)에서 시작하고, 그러므로 제 2 이미지 값(W22)을 제 3 이미지 값(W32)으로서 가진다.
이러한 예에서, 제 1 픽셀(BP1)은 위치(c3) 상에 위치된다. 도 5에서, 궤적들은, 상기 궤적들이 각각의 이미지 값의 위치 상에 정밀하게 놓이는 방식으로, 구성되었다. 이러한 경우, 거리(A2)가 제로인 단지 하나의 보조 궤적(HT2)만이 결정된다. 물론, 위치들 중 하나 또는 둘 이상이 궤적 또는 보조 궤적 상에 놓이지 않는 하이브리드 형상들이 발생하는 것이 가능하다.
본 경우에서, 궤적(T2)은 보조 궤적(HT2)으로서 선택되는데, 그 이유는 보조 궤적(HT2)과 제 1 이미지 값의 위치 사이의 거리(A2)가 제로이기 때문이다. 따라서, 예측 값(PRW)은 궤적(T2)의 제 3 이미지 값(W32)과 동일하며, 상기 제 3 이미지 값(W32)은 재구성된 픽셀(BR2)의 제 2 이미지 값(W22)과 동일하다.
제 3 예시 실시예에서, 직선들을 이용한 통상의 예측과 직선이 아닌 궤적들의 조합이 설명된다. 이전의 예들에서, 미리규정된 예측 패턴들은 몇몇 경우들에서 궤적들의 도움으로 표시되었었다. 아래의 예에서, 적응적 인트라 예측이 기술된다. 이러한 경우, 예측은 한번에 한 단계로(one step at a time) 수행되며, 예측을 통과한 후에, 뒤따르는 예측을 위한 예측 방향은 적응적으로 조정될 수 있다.
도 3 내지 도 5의 이전의 표시에 반해서, 궤적은 이제 연속적인 연결을 나타내는 복수의 화살표들에 의해 형성된다. 제 1 단계에서, 제 1 이미지 값들의 제 1 행(좌표계의 위치들 b1, b2, b3, b4에서 연관된 픽셀들을 참조)은, 바로 위에 놓여 있는 재구성된 픽셀들(BR1, BR2, BR3, BR4)의 제 2 이미지 값들(W21, W22, W23, W24)에 기초하여 예측된다.
제 2 단계에서, 제 1 이미지 값들의 제 2 행(좌표계의 위치들 c1, c2, c3, c4에서 제 1 픽셀들을 참조)은 최상측 좌측으로부터 바닥측 우측으로 이어지는 대각 예측 방향에 기초하여 예측된다. 이는 예를 들어, 도 1로부터의 예측 방향 4에 대응한다. 이러한 예측 방향은 제 2 단계에서, 위치들(d1 및 e1)에서 제 1 픽셀들을 갖는 제 1 이미지 값들을 위해 또한 구현된다.
제 3 및 제 4 단계에서, 도 6에서 번호들 3 및 4에 의해 마킹된 하향-방향 예측이 발생한다.
궤적(T1)은 a1로부터, b1, c2, d2, e2로 이어진다. 궤적들(T2 및 T3)은 그와 유사한 방식으로 형성된다.
도 2를 참조하여 도입부에서 이미 언급된 바와 같이, 재구성된 픽셀의 제 2 이미지 값은 도 6에서의 예측을 위해, 예를 들어 위치(e2)에서 제 1 이미지 값을 위한 예측 값을 발생시키기 위해, 재구성된 픽셀(BR1)의 제 2 이미지 값(W21)을 위해 이용된다. 따라서, 이러한 경우에서, 도 6의 빗금쳐진 픽셀들에 따른 재구성된 픽셀들만이 이용된다.
이전의 예시 실시예들과 유사하게, 제 1 이미지 값을 위한 예측 값이 결정된 후에, 연관된 재구성된 이미지 값(WR)이 결정되어 뒤따르는 예측 단계를 위해 이용될 수 있다. 예를 들어, 예측 값은 위치(b1)에서 제 1 이미지 값을 위해 결정된다. 코딩 및 디코딩의 연관된 차분 값의 발생 후에, 위치(b1)에서 재구성된 픽셀을 위한 제 2 이미지 값이 발생된다. 그 다음으로, 이러한 제 2 이미지 값은, 위치(a1)로부터 재구성된 픽셀의 제 2 이미지 값 대신에, 위치(c2)에서 제 1 이미지 값을 위한 예측 값을 결정하기 위해 이용된다. 이러한 프로시저는 또한, 각각의 궤적을 따라 코딩되는 것을 필요로 하는 다른 제 1 픽셀들을 위해 유사하게 적용될 수 있다. 이러한 접근방식은 또한, 다른 실시예 변형들을 위한 적용을 찾을 수 있다.
기술된 실시예 변형들은 특정 디바이스들의 도움으로 구현 및 실행될 수 있다(도 7 참조). 디바이스들(VOR)은 실시예 변형들의 개개의 단계들을 실현 및 수행하는 유닛들(E1, E2, E3, E4, EW)을 갖는다. 이러한 경우, 유닛들은 소프트웨어로, 하드웨어로, 및/또는 소프트웨어 및 하드웨어의 조합으로 실현 및 구현될 수 있다. 이러한 어레인지먼트에서, 유닛들은 프로세서 상에서 실행될 수 있으며, 상기 경우 방법의 개개의 단계들이 메모리 내에 저장되고 프로세서에 로딩될 수 있다. 이미지 값들을 코딩 및 디코딩하기 위한 추가의 방법 단계들뿐만 아니라, 이미지 값들, 이를 테면 제 1, 제 2, 및 제 3 이미지 값들, 및 이미지에 관한 다른 정보가 또한 메모리 내에 저장될 수 있다.
인용문헌들
[1] H. Yang, J. Fu, S. Lin, J. Song, D. Wang, M. Yang, J. Zhou, H. Yu, C. Lai, Y. Lin, L. Liu, J. Zheng, X. Zheng, "Description of video coding technology proposal by Huawei Technologies & Hisilicon Technologies", ISO/ IEC JTC1/SC29/WG11(MPEG) and ITU-T SG16 Q.6(VCEG), document JCTVC-A111, Dresden, Germany, April 2010.
[2] F. Wu, X. Sun, J. Xu, Y. Zhou, W. Ding, X. Peng, Z. Xiong, "Description of video coding technology proposal by Microsoft", ISO/IEC JTC1/SC29/WG11(MPEG) and ITU-T SG16 Q.6(VCEG), document JCTVC-A118, Dresden, Germany, April 2010.

Claims (10)

  1. 이미지(B)의 적어도 하나의 재구성된 픽셀(BR1, BR2)의 제 2 이미지 값(W21, W22)에 기초하여 상기 이미지(B)의 제 1 픽셀(BP1)의 제 1 이미지 값(W1)을 위한 예측 값(PRW)을 형성하기 위한 방법으로서,
    제 3 이미지 값(W31, W32, W33)을 갖는 적어도 하나의 궤적(T1, T2, T3)을 형성하는 단계 ― 각각의 궤적(T1, T2, T3)을 따르는 이미지 값은 각각의 제 3 이미지 값(W31, W32, W33)에 대응하고, 각각의 궤적(T1, T2, T3)은 직선이 아닌 형상을 가짐 ―;
    상기 제 2 이미지 값(W21, W22)을 각각의 제 3 이미지 값(W31, W32)에 할당하는 단계;
    상기 궤적들 중 적어도 하나(T2)를, 상기 제 1 이미지 값(W1)의 위치(P1)로부터 떨어진 거리(A2)에 있는 보조 궤적(HT2)으로서 결정하는 단계 ― 상기 거리(A2)는 상기 위치(P1)에 대한 최단 거리를 구성함 ―; 및
    상기 보조 궤적(HT2)의 제 3 이미지 값(W32)에 기초하여 상기 예측 값(PRW)을 발생시키는 단계
    를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 제 2 이미지 값(W21)의 할당을 위해, 상기 제 3 이미지 값(W31)에 할당된 궤적(T1)과 상기 제 2 이미지 값(W21) 사이의 거리를 최소화하는, 또는 상기 제 1 픽셀의 재구성된 픽셀에 대응하는 제 2 이미지 값(W21)이 선택되는,
    방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 거리(A2)가 제로(zero)와 동일한 경우, 상기 제 1 이미지 값(W1)을 발생시키기 위해 단지 하나의 궤적(T1, T2, T3)만이 고려되고,
    상기 보조 궤적(HT2)의 제 3 이미지 값(W32)은 상기 제 1 이미지 값(W1)에 할당되는,
    방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    보조 궤적(HT1, HT2)과 상기 위치(P1) 사이의 각각의 거리(A1, A2)가 최단 거리를 구성하는 방식으로, 적어도 2개의 보조 궤적들(HT1, HT2)이 결정되고,
    상기 예측 값(PRW)은 상기 적어도 2개의 보조 궤적들(HT1, HT2)의 제 3 이미지 값들(W31, W32)에 의해 형성되는,
    방법.
  5. 제 4 항에 있어서,
    상기 예측 값(PRW)은, 상기 적어도 2개의 보조 궤적들(HT1, HT2)의 제 3 이미지 값들(W31, W32)의 가중 평균화(weighted averaging)에 의해 형성되는,
    방법.
  6. 제 5 항에 있어서,
    상기 가중 평균화는 각각의 경우에서 상기 거리들(A1, A2)을 상호간의 값(reciprocal value)으로서 고려하는,
    방법.
  7. 제 3 항에 있어서,
    새로운 궤적(T5)은,
    상기 새로운 궤적(T5)이 상기 제 1 이미지 값(W1)의 위치(P1)에 기초하여 배열되고,
    상기 새로운 궤적(T5)의 제 3 값(W35)에 상기 예측 값(PRW), 또는 상기 제 1 이미지 값(W1) 또는 상기 제 1 이미지 값(W1)의 재구성된 이미지 값(BR5)이 할당되는
    방식으로 형성되는,
    방법.
  8. 제 7 항에 있어서,
    상기 새로운 궤적(T5)은, 상기 새로운 궤적(T5) 상의 임의의 포인트에서, 상기 임의의 포인트와 2개의 보조 궤적들(HT1, HT2) 사이의 최단 거리들의 비율이, 상기 2개의 보조 궤적들(HT1, HT2)의, 상기 제 1 이미지 값(W1)에 대한 거리들(A1, A2)의 비율과 동일한 방식으로 2개의 보조 궤적들(HT1, HT2) 사이에 배열되는,
    방법.
  9. 이미지(B)의 적어도 하나의 재구성된 픽셀(BR1, BR2)의 제 2 이미지 값(W21, W22)에 기초하여 상기 이미지(B)의 제 1 픽셀(BP1)의 제 1 이미지 값(W1)을 위한 예측 값(PRW)을 형성하기 위한 디바이스로서,
    각각의 경우에서 제 3 이미지 값(W31, W32, W33)을 갖는 적어도 하나의 궤적(T1, T2, T3)을 형성하기 위한 제 1 유닛(E1) ― 각각의 궤적(T1, T2, T3)을 따르는 이미지 값은 각각의 제 3 이미지 값(W31, W32, W33)에 대응하고, 각각의 궤적(T1, T2, T3)은 직선이 아닌 형상을 가짐 ―;
    상기 제 2 이미지 값(W21, W22)을 각각의 제 3 이미지 값(W31, W32)에 할당하기 위한 제 2 유닛(E2);
    상기 궤적들 중 적어도 하나(T2)를, 상기 제 1 이미지 값(W1)의 위치(P1)로부터 떨어진 거리(A2)에 있는 보조 궤적(HT2)으로서 결정하기 위한 제 3 유닛(E3) ― 상기 거리(A2)는 상기 위치(P1)에 대한 최단 거리를 구성함 ―; 및
    상기 보조 궤적(HT2)의 제 3 이미지 값(W32)에 기초하여 상기 예측 값(PRW)을 발생시키기 위한 제 4 유닛(E4)
    을 포함하는,
    디바이스.
  10. 제 9 항에 있어서,
    상기 디바이스는 적어도 하나의 추가의 유닛(EW)을 가지며,
    제 2 항의 개개의 방법 단계들은 상기 추가의 유닛(EW)에 의해 수행되는,
    디바이스.
KR1020137021371A 2011-01-14 2012-01-05 예측 값을 형성하기 위한 방법들 및 디바이스들 KR20140005232A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102011002732 2011-01-14
DE102011002732.7 2011-01-14
DE102011006036.7 2011-03-24
DE102011006036A DE102011006036B4 (de) 2011-01-14 2011-03-24 Verfahren und Vorrichtungen zur Bildung eines Prädiktionswertes
PCT/EP2012/050133 WO2012095350A1 (de) 2011-01-14 2012-01-05 Verfahren und vorrichtungen zur bildung eines prädiktionswertes

Publications (1)

Publication Number Publication Date
KR20140005232A true KR20140005232A (ko) 2014-01-14

Family

ID=45509462

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137021371A KR20140005232A (ko) 2011-01-14 2012-01-05 예측 값을 형성하기 위한 방법들 및 디바이스들

Country Status (7)

Country Link
US (1) US9225985B2 (ko)
EP (1) EP2617197A1 (ko)
JP (1) JP5746370B2 (ko)
KR (1) KR20140005232A (ko)
CN (1) CN103283232B (ko)
DE (1) DE102011006036B4 (ko)
WO (1) WO2012095350A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017065534A1 (ko) * 2015-10-13 2017-04-20 엘지전자(주) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US9467692B2 (en) 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
EP3301931A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra prediction
EP3646599A1 (en) * 2017-06-30 2020-05-06 Telefonaktiebolaget LM Ericsson (PUBL) Encoding and decoding a picture block using a curved intra-prediction mode

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3857298B2 (ja) 1996-05-28 2006-12-13 松下電器産業株式会社 画像予測符号化装置及び方法、並びに画像予測復号化装置及び方法
JP2006005438A (ja) * 2004-06-15 2006-01-05 Sony Corp 画像処理装置およびその方法
EP2047687B1 (en) 2006-08-02 2018-05-16 Thomson Licensing DTV Adaptive geometric partitioning for video encoding
US8542726B2 (en) * 2006-10-17 2013-09-24 Microsoft Corporation Directional and motion-compensated discrete cosine transformation
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
JP2009284275A (ja) 2008-05-23 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
DE102008058489A1 (de) 2008-08-19 2010-04-15 Siemens Aktiengesellschaft Verfahren zum Codieren einer Folge von digitalisierten Bildern
US20110249733A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
US8860824B2 (en) * 2010-08-06 2014-10-14 Honeywell International Inc. Motion blur modeling for image formation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017065534A1 (ko) * 2015-10-13 2017-04-20 엘지전자(주) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
US10523945B2 (en) 2015-10-13 2019-12-31 Lg Electronics Inc. Method for encoding and decoding video signal

Also Published As

Publication number Publication date
CN103283232B (zh) 2016-04-13
JP5746370B2 (ja) 2015-07-08
DE102011006036B4 (de) 2012-12-27
DE102011006036A1 (de) 2012-07-19
JP2014507857A (ja) 2014-03-27
WO2012095350A1 (de) 2012-07-19
EP2617197A1 (de) 2013-07-24
US20130301718A1 (en) 2013-11-14
US9225985B2 (en) 2015-12-29
CN103283232A (zh) 2013-09-04

Similar Documents

Publication Publication Date Title
US20210329294A1 (en) Method and device using inter prediction information
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
JP6261660B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR102588425B1 (ko) 적응적 분할 코딩
KR102625609B1 (ko) 이미지 인코딩 장치, 이미지 디코딩 장치, 이미지 인코딩 방법 및 이미지 디코딩 방법
US9113168B2 (en) Method and apparatus of processing a video signal
KR20200014913A (ko) 인터 예측 기반의 영상 처리 방법 및 이를 위한 장치
US11792393B2 (en) Inter prediction encoding and decoding method using combination of prediction blocks, and computer-readable storage medium bitstream to be decoded thereby
US20070177668A1 (en) Method of and apparatus for deciding intraprediction mode
CN111630571A (zh) 处理点云
EP3038363A1 (en) Video coding with adaptive motion accuracy
JPWO2007077942A1 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR20140089486A (ko) 스케일러블 비디오의 부호화 및 복호화를 위한 움직임 보상 방법 및 장치
EP3915265A1 (en) Direction-based prediction for intra block copy in video coding
KR20140005232A (ko) 예측 값을 형성하기 위한 방법들 및 디바이스들
CN111083487A (zh) 仿射模式的运动信息的存储
CN113709488B (zh) 一种编解码方法、装置及其设备
KR101668133B1 (ko) 화상 데이터의 블록을 예측하는 방법, 이 방법을 실행하는 복호 장치 및 부호화 장치
CN113709499B (zh) 一种编解码方法、装置及其设备
JP2013098713A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN117597933A (zh) 空间局部光照补偿
CN114762346A (zh) 编码装置、解码装置、编码方法和解码方法
JP2018121282A (ja) 予測装置、符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application