KR20080041972A - 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법 - Google Patents

현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법 Download PDF

Info

Publication number
KR20080041972A
KR20080041972A KR1020070036513A KR20070036513A KR20080041972A KR 20080041972 A KR20080041972 A KR 20080041972A KR 1020070036513 A KR1020070036513 A KR 1020070036513A KR 20070036513 A KR20070036513 A KR 20070036513A KR 20080041972 A KR20080041972 A KR 20080041972A
Authority
KR
South Korea
Prior art keywords
image
prediction
current image
referring
current
Prior art date
Application number
KR1020070036513A
Other languages
English (en)
Other versions
KR100856392B1 (ko
Inventor
최해철
정세윤
서정일
백승권
장인선
김재곤
문경애
장대영
홍진우
김진웅
심동규
이영렬
오승준
안창범
박호종
유상준
Original Assignee
한국전자통신연구원
세종대학교산학협력단
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 세종대학교산학협력단, 광운대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20080041972A publication Critical patent/KR20080041972A/ko
Application granted granted Critical
Publication of KR100856392B1 publication Critical patent/KR100856392B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 블록 기반의 예측 부호화를 수행함에 있어서 부호화 대상인 현재 영상 프레임 내의 이미 복원된 영역을 참조하여 부호화함으로써 영상 압축 효율을 높일 수 있으며, 또한 기존의 예측 부호화 방법(인터 예측, 인트라 예측)과 함께 사용함으로써 영상 압축 효율을 더욱 증대시킬 수 있는, 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화 장치 및 그 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 블록 기반 동영상 부호화 장치에 있어서, 부호화 대상이 되는 현재 영상에 대해, 상기 현재 영상의 기 복원영역을 참조하여 예측 영상을 생성하기 위한 영상 예측 수단; 상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하기 위한 차분신호 생성 수단; 상기 차분신호를 부호화하기 위한 부호화 수단; 및 상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 영상 예측 수단에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하기 위한 복호화 수단을 포함함.
4. 발명의 중요한 용도
본 발명은 동영상 부호화/복호화 등에 이용됨.
Figure P1020070036513
동영상 부호화, 동영상 복호화, 움직임 보상, 인트라 예측, 인터 예측, 현재 영상 프레임, 부호화 모드 정보

Description

현재 영상의 복원영역을 참조하는 동영상 부호화/복호화 장치 및 그 방법{Video Encoding and Decoding Apparatus and Method referencing Reconstructed Blocks of a Current Frame}
도 1a는 종래의 영상 간 예측(인터 예측) 방법과 본 발명에 따른 현재 영상 프레임의 복원영역을 참조하는 예측 방법의 비교설명도,
도 1b는 종래의 영상 내 예측(인트라 예측) 방법과 본 발명에 따른 현재 영상 프레임의 복원영역을 참조하는 예측 방법의 비교설명도,
도 2는 본 발명에 따른 기존의 인터 예측/인트라 예측 방식과 독립적으로 현재 영상 프레임의 복원 영역을 참조하는 동영상 부호화 장치의 일실시예 구성도,
도 3은 본 발명에 따른 도 2의 부호화 장치에 대한 동영상 복호화 장치의 일실시예 구성도,
도 4a는 순방향 모드에서 복원된 영역과 예측 영역에 대한 설명도,
도 4b는 역방향 모드에서 복원된 영역과 예측 영역에 대한 설명도,
도 5a는 순방향 모드에서 복원된 주위 블록과 예측 블록에 대한 설명도,
도 5b는 순방향 모드에서 예측 블록들에 대한 예측모드에 대한 일실시예 설명도,
도 6은 본 발명에 따른 인터 예측 과정에서 현재 영상 프레임의 복원 영역을 참조하는 동영상 부호화 장치의 일실시예 구성도,
도 7은 본 발명에 따른 도 6의 부호화 장치에 대한 동영상 복호화 장치의 일실시예 구성도,
도 8은 본 발명에 따른 인트라 예측 과정에서 현재 영상 프레임의 복원 영역을 참조하는 동영상 부호화 장치의 일실시예 구성도,
도 9는 본 발명에 따른 도 8의 부호화 장치에 대한 동영상 복호화 장치의 일실시예 구성도,
도 10a 내지 도 10d는 다양한 테스트 영상에서 양자화 매개변수(QP) 변화에 따른 참조 영상 선택 비율의 변화에 대한 그래프이다.
* 도면의 주요 부분에 대한 부호 설명
20 : 영상 예측부 21 : 감산기(차분신호 생성기)
22 : 부호화부 23 : 복호화부
201, 601, 801 : 현재영상 기반 예측부(CFBP)
202, 205, 311 : 움직임 보상부(MC) 203, 312, 90 : 모드 선택부
204, 60 : 움직임 예측부(ME) 206 : 인트라 예측 선택부
207 : 인트라 예측부 30 : 차분신호 복호화부
31: 영상 복원부 602 : 이전 영상 기반 예측부(PFBP)
603, 802 : RDcost 비교부 70 : 확장형 움직임 보상부
80 : 인트라 예측 모듈
본 발명은 동영상 데이터의 부호화/복호화 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 블록 기반의 예측 부호화를 수행함에 있어서 현재 부호화 대상인 영상 프레임 내의 이미 복원된 영역을 참조하여 부호화함으로써 영상 압축 효율을 높일 수 있으며, 또한 기존의 예측 부호화 방법(인터 예측, 인트라 예측)과 함께 사용함으로써 영상 압축 효율을 더욱 증대시킬 수 있는, 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화 장치 및 그 방법에 관한 것이다.
동영상 데이터를 인코딩/디코딩하기 위해 마련된 H.264 표준에 따르면, 하나의 프레임에 포함된 복수 개의 매크로 블록, 또는 하나의 매크로 블록을 이분할하거나 사분할하여 얻어진 서브 블록 단위로 인코딩 및 디코딩이 수행된다. 여기서, 인코딩 및 디코딩은 '시간적 예측'과 '공간적 예측'을 기반으로 이루어진다.
'시간적 예측 기법'은 현재 프레임의 매크로 블록의 움직임을 예측하는데 있어서 인접한 프레임의 매크로 블록을 참조하여 예측을 수행하는 것을 말하고, '공간적 예측 기법'은 인코딩하고자 하는 현재 프레임의 매크로 블록을, 그 프레임 내에서 인접한 블록을 이용하여 예측을 수행하는 것을 말한다.
상기와 같은 종래의 시간적 예측 기법은 블록 단위의 예측으로서, 주변 영상 들 중에서 가장 유사한 블록으로 대치하여 예측하는 방법이다. 한편, 종래의 공간 예측 블록 기법은 인접 블록에서 예측부호화를 수행하는 방법이다.
현재 국제표준 비디오 압축 시스템에서는 프레임간 압축을 위하여 P(Prediction) 모드를 기반으로 한다. 그러나 장면전환과 같이 프레임간 압축이 효율적으로 적용되기 어려운 경우, 상기와 같은 종래의 방법에서는 인트라(I: Intra) 모드를 사용하는데, 이러한 경우에는 비트양이 증가하게 되어 압축효율이 떨어진다는 문제점이 있었다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 블록 기반의 예측 부호화를 수행함에 있어서 현재 부호화 대상인 영상 프레임 내의 이미 복원된 영역을 참조하여 부호화함으로써 영상 압축 효율을 높일 수 있으며, 또한 기존의 예측 부호화 방법(인터 예측, 인트라 예측)과 함께 사용함으로써 영상 압축 효율을 더욱 증대시킬 수 있는, 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 블록 기반 동영상 부호화 장치에 있어서, 부호화 대상이 되는 현재 영상에 대해, 상기 현재 영상의 기 복원영역을 참조하여 예측 영상을 생성하기 위한 영상 예측 수단; 상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하기 위한 차분신호 생성 수단; 상기 차분신호를 부호화하기 위한 부호화 수단; 및 상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 영상 예측 수단에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하기 위한 복호화 수단을 포함한다. 여기서, 상기 영상 예측 수단은, 과거/미래 영상을 참조하는 인터 예측 또는 상기 복호화 수단에서 복원된 현재 영상 중 인접한 경계 픽셀을 이용하는 인트라 예측 중 적어도 어느 하나의 예측 방식을 추가적으로 병행한 후, 각각의 예측 영상들 중에서 최적의 예측 영상을 선택하는 것을 특징으로 한다.
한편, 본 발명은 블록 기반 동영상 부호화 장치에 있어서, 부호화 대상이 되는 현재 영상에 대해, 과거/미래 영상과 상기 현재 영상의 기 복원된 영역을 참조하여 인터 예측(Inter Prediction)에 따라 최적의 예측 영상을 생성하기 위한 인터 예측 수단; 상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하기 위한 차분신호 생성 수단; 상기 차분신호를 부호화하기 위한 부호화 수단; 및 상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 인터 예측 수단에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하기 위한 복호화 수단을 포함한다. 또한, 상기 본 발명은, 상기 복호화 수단에서 복원된 영역 중에서 인접한 경계 픽셀 을 이용하여 예측 영상을 생성하기 위한 인트라 예측 수단; 및 상기 인터 예측 수단과 상기 인트라 예측 수단에서 생성된 예측 영상들 중 최적의 예측 영상을 선택하기 위한 모드 선택 수단을 더 포함한다.
한편, 본 발명은, 블록 기반 동영상 부호화 장치에 있어서, 부호화 대상이 되는 현재 영상에 대해, 상기 현재 영상의 복원된 인접 경계 픽셀과 기 복원된 영역을 참조하여 인트라 예측(Intra Prediction)에 따라 최적의 예측 영상을 생성하기 위한 인트라 예측 수단; 상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하기 위한 차분신호 생성 수단; 상기 차분신호를 부호화하기 위한 부호화 수단; 및 상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 인트라 예측 수단에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하기 위한 복호화 수단을 포함한다. 또한, 상기 본 발명은, 과거 영상 또는 미래 영상을 참조하여 예측 영상을 생성하기 위한 인터 예측 수단; 및 상기 인트라 예측 수단과 상기 인터 예측 수단에서 생성된 예측 영상들 중 최적의 예측 영상을 선택하기 위한 모드 선택 수단을 더 포함한다.
한편, 본 발명은, 블록 기반 동영상 복호화 장치에 있어서, 입력 비트열을 복호화하여 차분신호를 복원하기 위한 복호화 수단; 및 현재 영상의 복원 영역을 참조하여 예측 영상을 생성하고, 상기 복원된 차분신호와 상기 생성된 예측 영상을 이용하여 원래의 현재 영상을 복원하기 위한 영상 복원 수단을 포함한다.
한편, 본 발명은, 블록 기반 동영상 복호화 장치에 있어서, 입력 비트열을 복호화하여, 부호화 모드 정보를 획득하고 차분신호를 복원하기 위한 복호화 수단; 및 상기 부호화 모드 정보에 따라 과거/미래 영상 또는 현재 영상의 복원된 영역 중 어느 하나를 참조하여 예측 영상을 생성하고, 상기 복원된 차분신호와 상기 생성된 예측 영상을 이용하여 원래의 현재 영상을 복원하기 위한 영상 복원 수단을 포함한다.
한편, 본 발명은, 블록 기반 동영상 복호화 장치에 있어서, 입력 비트열을 복호화하여, 부호화 모드 정보를 획득하고 차분신호를 복원하기 위한 복호화 수단; 및 상기 부호화 모드 정보에 따라 현재 영상의 복원된 영역 또는 상기 현재 영상의 복원된 인접 경계픽셀 중 어느 하나를 참조하여 예측 영상을 생성하고, 상기 복원된 차분신호와 상기 생성된 예측 영상을 이용하여 원래의 현재 영상을 복원하기 위한 영상 복원 수단을 포함하며, 상기 영상 복원 수단은, 상기 부호화 모드 정보에 따라 과거/미래 영상을 참조하여 예측 영상을 생성하는 기능도 더 수행한다.
한편, 본 발명은, 블록 기반 동영상 부호화 방법에 있어서, 부호화 대상이 되는 현재 영상에 대해, 상기 현재 영상의 기 복원영역을 참조하여 예측 영상을 생성하는 영상 예측 단계; 상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하는 차분신호 생성 단계; 상기 차분신호를 부호화하는 부호화 단계; 및 상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 영상 예측 단계에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하는 복호화 단계를 포함한다.
한편, 본 발명은, 블록 기반 동영상 부호화 방법에 있어서, 부호화 대상이 되는 현재 영상에 대해, 과거/미래 영상과 상기 현재 영상의 기 복원된 영역을 참조하여 인터 예측에 따라 최적의 예측 영상을 생성하는 인터 예측 단계; 상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하는 차분신호 생성 단계; 상기 차분신호를 부호화하는 부호화 단계; 및 상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 인터 예측 단계에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하는 복호화 단계를 포함한다. 또한, 상기 본 발명은, 상기 복호화 단계에서 복원된 영역 중에서 인접한 경계 픽셀을 이용하여 예측 영상을 생성하는 인트라 예측 단계; 및 상기 인터 예측 방법과 상기 인트라 예측 단계에서 생성된 예측 영상들 중 최적의 예측 영상을 선택하는 모드 선택 단계를 더 포함한다.
한편, 본 발명은, 블록 기반 동영상 부호화 방법에 있어서, 부호화 대상이 되는 현재 영상에 대해, 상기 현재 영상의 복원된 인접 경계 픽셀과 기 복원된 영역을 참조하여 인트라 예측에 따라 최적의 예측 영상을 생성하는 인트라 예측 단계; 상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하는 차분신호 생성단계; 상기 차분신호를 부호화하는 부호화 단계; 및 상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 인트라 예측 단계에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하는 복호화 단계를 포함한다. 또한, 상기 본 발명은, 과거 영상 또는 미래 영상을 참조하여 예측 영상을 생성하는 인터 예측 단계; 및 상기 인트라 예측 단계와 상기 인터 예측 단계에서 생성된 예측 영상들 중 최적의 예측 영상을 선택하는 모드 선택 단계를 더 포함한다.
한편, 본 발명은, 블록 기반 동영상 복호화 방법에 있어서, 입력 비트열을 복호화하여 차분신호를 복원하는 복호화 단계; 현재 영상의 복원 영역을 참조하여 예측 영상을 생성하는 예측영상 생성 단계; 및 상기 복원된 차분신호와 상기 생성 된 예측 영상을 이용하여 원래의 현재 영상을 복원하는 영상 복원 단계를 포함한다.
한편, 본 발명은, 블록 기반 동영상 복호화 방법에 있어서, 입력 비트열로부터 부호화 모드 정보를 획득하는 모드정보 획득 단계; 상기 입력 비트열을 복호화하여 차분신호를 복원하는 복호화 단계; 상기 부호화 모드 정보에 따라 과거/미래 영상 또는 현재 영상의 복원된 영역 중 어느 하나를 참조하여 예측 영상을 생성하는 예측영상 생성 단계; 및 상기 복원된 차분신호와 상기 생성된 예측 영상을 이용하여 원래의 현재 영상을 복원하는 영상 복원 단계를 포함한다.
한편, 본 발명은, 블록 기반 동영상 복호화 방법에 있어서, 입력 비트열로부터 부호화 모드 정보를 획득하는 모드정보 획득 단계; 상기 입력 비트열을 복호화하여 차분신호를 복원하는 복호화 단계; 상기 부호화 모드 정보에 따라 현재 영상의 복원된 영역 또는 상기 현재 영상의 복원된 인접 경계픽셀 중 어느 하나를 참조하여 예측 영상을 생성하는 예측영상 생성 단계; 및 상기 복원된 차분신호와 상기 생성된 예측 영상을 이용하여 원래의 현재 영상을 복원하는 영상 복원 단계를 포함한다. 또한, 상기 본 발명은, 상기 부호화 모드 정보에 따라 과거/미래 영상을 참조하여 예측 영상을 생성하는 단계를 더 포함한다.
본 발명은, 블록 기반의 예측 부호화를 수행함에 있어서 이전 영상 프레임(과거 영상 프레임)이나 이후 영상 프레임(미래 영상 프레임)뿐만 아니라 현재 영상 프레임의 복원 영역까지도 참조할 수 있게 하는 방법에 관한 것으로서, 일정한 크기의 각 블록에 대하여 기존의 인트라 예측(영상 내 예측) 방식, 인터 예측(영상 간 예측) 방식과 함께 동일 영상(부호화 대상이 되는 현재 영상 프레임) 내의 이전 복원 영역에 의한 예측 방식을 사용함으로써, 최적의 대응 위치를 검출하고 이를 예측치로 사용하는 것이다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1a는 종래의 영상 간 예측(인터 예측) 방법과 본 발명에 따른 현재 영상 프레임의 복원영역을 참조하는 예측 방법의 비교설명도이다.
기존의 움직임 예측/보상 모델은, 도 1a에 도시된 바와 같이, 현재 영상 프레임(11)에서 부호화 대상이 되는 매크로 블록(A, 112)에 대하여, 이전에 복원된 영상 프레임들(과거 영상 프레임들)(10)의 탐색 영역(101) 내에서 오차가 가장 작은 블록(102)을 찾고 이 블록들 간의 상대적인 최소 움직임 벡터(13)를 찾는 방식을 취한다. 이하, 영상 프레임은 간단히 '영상'이라 한다.
기존의 움직임 예측/보상 모델은 현재 영상 In에서 (x,y)위치에서 시작하는 블록에 대하여 다음의 [수학식 1]을 이용하여 예측한다.
Figure 112007028452103-PAT00001
여기서, Ii(x,y)는 i번째 블록의 픽셀 집합을 나타내며, m은 n과는 다른 값으로 '주변 영상'을 나타낸다. 한편, 현재 영상 In(x,y)은 [수학식 1]과 달리, Im(x-u, y-v)이라는 예측 블록 이외에 추가적으로 Ik(x-u1, y-v1)와 같은 블록을 사용함으로써, 두 개 이상의 영상의 선형 조합으로 표현하기도 한다. In(x,y)와 예측한 Im(x-u,y-v)와의 차인 R(x,y)를 '잔여영상차이'라고 하며, 이를 변환 부호화하는 것이다,
한편, 본 발명에서는 m이 n과 같아지게 되는데, 이는 현재 영상에서 예측부호화 기법을 적용한다는 것을 의미한다. 이 경우, 움직임 벡터인 (u,v)는 (x,y) 좌표보다 각각 작은 값으로서, 현재 영상에서 현재 블록(현재 부호화 대상이 되는 블록) 이전까지 이미 복원된 영상 영역(블록)을 가리킨다. 본 발명은, 도 1a에 도시된 바와 같이, 현재 부호화 대상이 되는 블록에 대하여 현재 영상(11)의 탐색 영역(111) 내에서 '차'가 최소인 블록(113)과의 최소 움직임 벡터(12)를 구하는 것이다. 또한, 본 발명은 현재 영상의 복원된 영역을 참조하여 예측 부호화하는 경우에, 이전에 압축/복원된 영상을 보간하여 움직임 벡터를 탐색할 수도 있으며, 또는 주변의 다른 영상 프레임과 현재 영상 프레임을 조합하여 가중평균을 통하여 예측하고 관련 벡터(움직임 벡터) 및 예측 오차(차분신호)를 구할 수도 있다.
도 1b는 종래의 영상 내 예측(인트라 예측) 방법과 본 발명에 따른 현재 영상 프레임의 복원영역을 참조하는 예측 방법의 비교설명도로서, 상기 [수학식 1]에서 m이 n과 같은 경우, 기존의 인트라 예측(영상 내 예측) 방법과 현재 영상 기반의 예측 방법에 해당하는 본 발명의 차이점을 나타낸다.
영상 내 예측(인트라 예측) 방법은 도 1b의 경우에, 예측 블록을 얻기 위하여 위쪽 픽셀 열벡터(121)를 이용한다. 하지만, 본 발명은 현재 영상 프레임의 복원영역을 참조하는 방식으로서, 이전에 부호화되어 복원된 부분에서 R(x,y)(블록 오차)가 최소가 되는 위치(132)의 블록(131)을 예측 블록으로 한다. 영상 내 예측(인트라 예측)과 본 발명은 동일 영상 내의 이미 복원된 부분을 이용한다는 점에서는 유사하나, 영상 내 예측(인트라 예측)은 현재 부호화할 위치에 인접한 경계픽셀들만을 사용하지만, 본 발명은 최대로는 이전에 복원된 모든 영역을 예측에 사용할 수 있으며 아울러 부호화되지 않은 부분에서도 가상의 픽셀을 생성하여 예측 부호화 과정에 이용한다는 점에 차이가 있다.
본 발명은 다음과 같이 세 가지 형태(실시예)로 구현 가능하다. (1)첫 번째는, 도 2에 도시된 바와 같이 현재 영상(동일 영상) 내 예측 방식(현재 영상 내의 이미 복원된 영역을 참조하는 예측 부호화 방식)을 기존의 인터/인트라 예측 방식과 독립적으로 수행한 후, 그 중에서 최적의 예측값을 선택하는 동영상 부호화 장치, 즉, 현재 영상(동일 영상) 내 예측블록을 새로운 블록 타입으로 정의하고 대응벡터를 전송하는 동영상 부호화 장치, (2) 두 번째는, 도 6에 도시된 바와 같이, 인터 예측 과정에서 현재 영상의 복원 영역을 참조하는 동영상 부호화 장치(인터 예측 확장형 부호화 장치), 즉, 현재 영상 내 예측을 표현하기 위하여 기존의 인터 예측을 확장한 형태로서, 참조영상 인덱스로 현재 영상을 나타내고, 움직임 벡터를 전송하는 동영상 부호화 장치, (3)세 번째는, 도 8에 도시된 바와 같이, 인트라 예측 과정에서 현재 영상의 복원 영역을 참조하는 동영상 부호화 장치(인트라 예측 확장형 부호화 장치)를 나타낸다. 이하, 각각에 대하여 구체적으로 설명하기로 한다.
도 2는 본 발명에 따른 기존의 인터 예측/인트라 예측 방식과 독립적으로 현재 영상 프레임의 복원 영역을 참조하는 동영상 부호화 장치의 일실시예 구성도이다. 이하, 본 발명에 따른 동영상 부호화 장치에 적용되는 현재 영상 프레임의 복원 영역을 참조하는 동영상 부호화 방법도 함께 설명하기로 하며, 이는 도 6 및 도 8에서도 동일한 서술 방식을 취하기로 한다.
본 발명에 따른 동영상 부호화 장치는, 도 2에 도시된 바와 같이, 영상 예측부(20), 차분신호를 생성하는 감산기(차분신호 생성기)(21), 부호화부(22), 및 복호화부(23)를 포함하여 이루어진다.
영상 예측부(20)는 도 2에 도시된 바와 같이, (1)부호화 대상이 되는 현재 영상의 기 복원된 영역을 참조하는 예측 부호화 방식(간단히, '현재 모드'라 한다)(201, 202), (2)과거/미래 영상을 참조하는 움직임 예측(ME) 방식(기존의 H.264에서의 인터 예측 방식)(간단히, '인터모드'라 한다)(204, 205), (3)기존의 H.264에서의 인트라 예측 방식(간단히, '인트라 모드'라 한다)(206, 207)을 개별/독립적으로 수행한다.
여기서, 부호화 대상이 되는 현재 영상의 기 복원된 영역을 참조하는 예측 부호화 방식은 '현재영상 기반 예측부'(CFBP: Current Frame base Prediction)(201)와 '움직임 보상부(MC)'(202)를 통하여 수행된다. 즉, 현재영상 기반 예측부(CFBP)(201)는 부호화 대상이 되는 현재 영상(Fn)에 대하여, 복호화부(23)의 필터(234)에서 출력되는 '동일 영상(현재 영상) 내의 복원된 영역'을 참조하여, 움직임 예측을 수행한다. 움직임 보상부(MC)(202)는 현재영상 기반 예측부(CFBP)(201)의 예측 결과에 대하여 필터(234)의 출력(필터링된 복원 영상)을 이용하여 움직임 보상을 수행함으로써 예측 영상을 생성한다.
상기와 같은 세 가지 방식(모드)이 수행되면, 모드 선택부(203)는 영상 예측부(20)의 각 모드별 처리 결과 중에서 압축 효율이 가장 좋은 모드를 '부호화 모드'로 결정한다(203). 여기서, 압축 효율의 판단은 H.264에서 모드 선택시에 일반적으로 사용하는 비트-왜곡 최적화(RDO: Rate-Distortion Optimization) 방식에 따라 RDcost를 비교하여 결정된다. 이렇게 결정된 "부호화 모드 정보"는 부호화부(22)의 엔트로피 디코더(224)에 의하여 복호화 장치 측으로 전송된다.
즉, 영상 예측부(20)는 현재의 블록을 압축/표현하기 위하여 이전 영상이나 주변 영상에서 오차(R)를 최소화하는 블록을 찾는 기존 방식(기존의 인터 예측 방식)(204, 205), 인접 블록에 근거하여 예측을 수행하는 인트라(Intra) 예측 방식(206, 207)과 함께, 현재 영상 내에서 이전에 압축/복원된 영역에서도 차영상(R)을 구하는 방식(201, 202)을 수행하고, 세 가지 방식 중에서 최소의 차 값을 가지 는 방식을 선택하는 것이다.
기존의 동영상 압축에서는 인트라 프레임(Intra Frame)과 움직임 예측 프레임(Prediction Frame)이 존재한다. 동영상에서 첫 번째 영상을 포함한 일부의 영상이 인트라 프레임(Intra Frame)으로 압축이 되면, 이러한 영상의 모든 블록은 인트라(Intra) 모드로 설정된다. 그러나, 본 발명에서는, 인트라 프레임(Intra Frame)의 경우에도 기존의 인트라 예측(Intra Prediction) 모드와, 현재 영상 내의 이미 복원된 영역을 참조하는 예측 모드 중에서 효과적인 방식을 선택할 수 있다. 또한 움직임 예측 프레임(Prediction Frame)의 경우는 기존의 인트라/인터 모드와 함께, 현재 영상 내의 이미 복원된 영역을 참조하는 예측 모드(현재 모드)를 추가함으로써, 보다 효과적인 예측이 가능해진다.
요컨대, 본 발명은, 도 2에 도시된 바와 같이, 기존의 움직임 예측/보상 부분(204, 205), 인트라 예측 부분(206, 207)과 함께, 현재 영상 내의 이미 복원된 영역을 참조하는 예측/보상 부분(201, 202)을 추가한 것으로서, 압축 효율을 분석하여 최적의 모드를 선정한다. 이렇게 최적의 모드가 선정된 경우에는 해당 부호화 모드 정보와 대응 움직임 벡터가 추가 정보로 전송되게 된다.
다음은, 영상 예측부(20) 이후의 과정을 설명하면, 다음과 같다.
감산기(차분신호 생성기)(21)는 '현재 영상'과 '영상 예측부(20)에서 최종적으로 선택된 예측 영상' 간의 차분신호(오차 블록)(Dn)를 생성한다.
부호화부(22)는 이산여현변환부(DCT)(T)(221), 양자화부(Q)(222), 재정렬 부(Reorder)(223), 엔트로피 인코더(Entropy Encoder)(224)를 포함하여 이루어지는 것으로서, 감산기(21)에서 출력되는 차분신호에 대해서는 이산여현변환, 양자화, 재정렬 및 엔트로피 인코딩 과정을 통하여 영상 부호화한다.
한편, 복호화부(23)는 역양자화부(Q-1)(231), 역이산여현변환부(
Figure 112007028452103-PAT00002
)(232), 가산기(233), 필터(234)를 포함하여 이루어지는 것으로서, 다음 블록 또는 다음 프레임을 부호화하기 위해서 현재 블록 또는 현재 프레임을 부호화하는 과정에서도 원래 블록을 보상하여 영상을 복원하는 것이다.
즉, 복호화부(23)는 부호화부(22)에서 이산여현변환 및 양자화된 차분신호(양자화부(222)의 출력)에 역이산여현변환과 역양자화 과정을 적용함으로써 원래의 차분신호를 복원한 후, 그 복원된 차분신호(차분 영상)(Dn´)에 움직임 보상을 하여 원래 영상(현재 영상)을 복원한 후 이를 다음 영상의 부호화를 위한 새로운 기준영상으로 저장한다.
위에서는 현재 모드, 인터 모드, 인트라 모드를 모두 수행하고 최적의 예측 영상을 선택하는 방법에 대하여 설명하였으나, 현재 모드(201, 202)만 사용하거나, 현재 모드(201, 202)와 인터 모드(204, 205)를 결합하여 사용하거나, 또는 현재 모드(201, 202)와 인트라 모드(206, 207)를 결합하여 사용할 수도 있다.
도 3은 본 발명에 따른 도 2의 부호화 장치에 대한 동영상 복호화 장치의 일실시예 구성도로서, 크게 차분신호 복호화부(30)와 영상 복원부(31)를 포함하여 이루어진다. 이하, 본 발명에 따른 동영상 복호화 장치에 적용되는 현재 영상 프레임 의 복원 영역을 참조하는 동영상 복호화 방법도 함께 설명하기로 하며, 이는 도 7 및 도 9에서도 동일한 서술방식을 취하기로 한다.
차분신호 복호화부(30)는 엔트로피 디코더, 재정렬부, 역양자화부, 및 역이산여현변환부를 포함하여 이루어지는 것으로서, NAL로부터 받은 압축된 비트스트림을 기존의 동영상 압축 표준들처럼 엔트로피 디코딩, 데이터 재정렬, 역양자화, 및 역이산여현변환 등의 복호화 과정을 수행하며, 엔트로피 디코딩 과정을 통해서는 부호화 모드 정보, 움직임 벡터 등을 획득한다. 이러한 차분신호 복호화부(30)는 도 7 및 도 9에서도 동일하다.
그리고 나면, 영상 복원부(31)는 기준 프레임(Fn -1´)을 참조하는 움직임 보상부(MC), 인트라 예측부, 가산기, 필터를 포함하여 이루어지는 기존의 영상 복원부의 구조에, 현재 영상에 대하여 복원된 영상(Fn´)을 이용하여 움직임 보상을 수행하는 '움직임 보상부(MC)'(311)와 각 블록에 대하여 현재 모드/인터 모드/인트라 모드 중에서 하나의 모드를 선택하는 '모드 선택부(312)'를 추가하여 구성된다.
이와 같은 구조의 영상 복원부(31)는 차분신호 복호화부(30)에서 출력되는 복원된 차분신호(Dn´)와 모드 선택부(312)에서 선택된 영상을 이용하여 원래의 영상을 복원한다.
모드 선택부(312)는 차분신호 복호화부(30)의 엔트로피 디코더에서 획득된 부호화 모드 정보를 이용하여 "영상 복원부(31)"에서의 영상 복원에 사용되는 예측 영상의 유형을 선택한다. 특히, '현재 모드'가 선택된 경우에는, 현재 영상 내의 복원된 이전 영역에 대응되는 영상 밝기 값을 이용하여 예측 영상을 추정한다.
도 4a는 순방향 모드에서 복원된 영역과 예측 영역에 대한 설명도이고, 도 4b는 역방향 모드에서 복원된 영역과 예측 영역에 대한 설명도이다.
본 발명에 따라 현재 영상을 기반으로 움직임 예측을 수행하는 경우에는, 복원된 영상에 대하여 시간적 제약이 발생한다.
부호화 방향에 따라 순방향 모드와 역방향 모드로 구분할 수 있는데, 도 4a 및 도 4b는 각각의 모드에서의 '복원된 블록'(400, 410), '현재 부호화해야 하는 블록'(403, 413), '부호화하지 않아 아직 복원되지 않은 블록'(401, 411), '탐색 영역'(402, 412)을 나타낸다.
도 5a는 순방향 모드에서 복원된 주위 블록과 예측 블록에 대한 설명도이고, 도 5b는 순방향 모드에서 예측 블록들에 대한 예측모드에 대한 일실시예 설명도이다.
본 발명에서는, 도 5a에서 가로와 세로의 크기가 같지 않은 탐색 영역(50)의 경우, 현재 영상에 대하여 움직임 예측을 수행하는 경우에 발생하는 시간적인 제약을 해결하는 방법을 제시한다.
도 5a는 복원된 블록(a, b, c, d, e)과, 부호화하기 위해 예측해야 하는 블록(Px, Pn)(51)으로 구성되는 현재 영상을 나타낸다.
예측해야하는 블록(51)에 대해서는 도 5b에 도시된 바와 같이, 크게 3가지 경우로 구분하여 예측할 수 있다. 즉, "B"(513)에 대해서는 H.264에서의 인트라 모드 중 수평 방향 예측 방식을 적용하고, "A"(511)에 대해서는 수직 방향 예측 방식 을 적용하며, "C"(512)는 오른쪽으로 하강하는 대각 방향 예측 방식을 적용할 수 있다.
도 5a 및 도 5b에서는 비교적 간단한 방법을 나타냈지만, 이에 한정되지 않고 다양한 예측 방식을 통하여, 예측 블록들에 대하여 주위 복원된 블록의 정보를 이용하여 보다 효율적으로 예측 블록들을 만들 수 있다.
도 6은 본 발명에 따른 인터 예측 과정에서 현재 영상 프레임의 복원 영역을 참조하는 동영상 부호화 장치의 일실시예 구성도로서, 움직임 예측부(ME)(60)를 제외하고는 기존의 동영상 부호화 장치와 동일한 구조이다.
움직임 예측부(ME)(60)는 기존의 복원 영상(Fn -1´)을 참조하여 움직임 예측을 수행하는 '이전 영상 기반 예측부'(PFBP: Previous Frame base Prediction)(602), 현재 영상 내의 이미 복원된 영역(Fn´)을 참조하여 움직임 예측을 수행하는 '현재 영상 기반 예측부'(CFBP: Current Frame base Prediction)(601), 및 RDcost 비교부(603)를 포함하여 구성된다. 여기서, 현재 영상 기반 예측부(CFBP)에서의 현재 영상의 기 복원 영역을 참조하는 방법은 도 1b 및 도 2에서 설명한 바와 같다.
RDcost 비교부(603)는 이전 영상 기반 예측부(PFBP)(601)와 현재 영상 기반 예측부(CFBP)(602)의 각각의 예측 결과에 대하여 비트-왜곡 최적화(RDO: Rate-Distortion Optimization) 방식에 따라 RDcost를 구하여 최적의 값을 선택하고, 그 선택 결과에 따라 "modeFlag"라는 부호화 모드 정보(604)를 생성하여 움직임 예측 부(60)의 예측 결과를 선택한다("601"의 출력 또는 "602"의 출력 중 어느 하나를 선택한다). 또한, RDcost 비교부(603)는 부호화 모드 정보(604)에 따라, 움직임 보상부(MC)(61)에서 사용되는 또 다른 입력 영상을 선택한다. 도 6에 도시된 바와 같은 본 발명에 따른 부호화 장치에서 선택된 부호화 모드 정보는 엔트로피 인코더를 통하여 수신측으로 전송된다.
RDcost 비교부(603)의 제어에 따라 현재 영상 기반 예측부(CFBP)(602)에서 구한 움직임 벡터가 최적의 움직임 벡터로 결정된 경우에는, 현재 영상 기반 예측부(CFBP)(602)에 의한 움직임 추정값이 움직임 보상부(61)에서 보상되는데, 이때 현재 영상 내의 복원된 영역이 참조 된다.
도 7은 본 발명에 따른 도 6의 부호화 장치에 대한 동영상 복호화 장치의 일실시예 구성도로서, '확장형 움직임 보상부'(70)의 구조를 제외한 나머지 부분은 기존의 동영상 복호화 장치와 동일하다.
'확장형 움직임 보상부'(70)는 부호화 측으로부터 전송받은 부호화 모드 정보(예를 들면, modeFlag)에 따라 이전 영상(Fn -1´)을 참조할지 아니면 현재 영상의 복원된 영역(Fn´)을 참조할지를 선택하는 '모드 선택부'(701)와, 그 선택된 참조 영상을 바탕으로 움직임 보상값을 생성하는 '움직임 보상부'(702)를 포함하여 이루어진다.
도 8은 본 발명에 따른 인트라 예측 과정에서 현재 영상 프레임의 복원 영역을 참조하는 동영상 부호화 장치의 일실시예 구성도로서, 인트라 예측 모듈(80)을 제외하고는 기존의 동영상 부호화 장치와 동일한 구조이다.
인트라 예측 모듈(80)은 기존의 인트라 예측부(803) 및 인트라 예측부(804)에, 현재 영상 내의 이미 복원된 영역(Fn´)을 참조하여 움직임 예측을 수행하는 '현재 영상 기반 예측부'(CFBP: Current Frame base Prediction)(801)와 RDcost 비교부(802)가 추가된 형태이다.
여기서, 현재 영상 기반 예측부(CFBP)에서의 현재 영상의 기 복원 영역을 참조하는 방법은 도 1b 및 도 2에서 설명한 바와 같다. 다만, 현재 영상 기반 예측부(CFBP)는 도 2 및 도 6의 CFBP(201, 601)과 달리 예측 영상까지 생성하는 기능을 수행한다. 즉, 도 2 및 도 6에서의 MC(202, 61)까지 수행한다.
한편, RDcost 비교부(802)는 현재 영상 기반 예측부(CFBP)(801)의 예측 영상과, 기존의 인트라 예측 방식에 따른 예측 영상(803, 804 참조)을 비교하여 최적 값을 선택한다. 즉, RDcost 비교부(802)는 비트-왜곡 최적화(RDO) 방식에 따라 RDcost를 비교하여 최적의 예측 영상을 선택한다.
그리고, 도 8에 도시된 바와 같은 본 발명에 따른 부호화 장치에서 선택된 부호화 모드 정보는 엔트로피 인코더를 통하여 수신 측으로 전송된다.
한편, 기존의 인트라 예측 방식(803, 804)은 H.264에서 규정하고 있는 9가지 모드의 인트라 예측 중 하나의 방식을 선택하여 수행하는 예측 방식이다.
도 9는 본 발명에 따른 도 8의 부호화 장치에 대한 동영상 복호화 장치의 일실시예 구성도로서, '모드 선택부'(90)의 구조를 제외한 나머지 부분은 기존의 동 영상 복호화 장치와 동일하다.
'모드 선택부'(90)는 복원된 차분신호(Dn´)를 보상하여 원래의 영상을 복원함에 있어서, 부호화 측으로부터 전송받은 '부호화 모드 정보'(예: modeFlag)에 따라 현재 영상의 복원된 영역(Fn´)을 이용할지, 아니면 기존의 인트라 예측부의 예측값을 이용할지를 선택한다.
도 10a 내지 도 10d는 다양한 테스트 영상에서 양자화 매개변수(QP)의 변화에 따른 참조 영상 선택 비율의 변화에 대한 그래프를 나타낸다. 가로축은 양자화 매개변수(QP), 세로축은 참조 영상 선택 비율을 나타낸다.
상기와 같은 본 발명에 따라 H.264 참조 코덱(Reference Codec)인 JM10.2를 이용하여 여러 가지 테스트 영상에 대하여 수행한 실험결과를 나타낸다.
실험 환경은 [표 1]과 같으며, 그 실험 결과는 도 10a 내지 도 10d에 도시된 바와 같다. 즉, 도 10a는 New_QCIF 영상, 도 10b는 Stefan_QCIF 영상, 도 10c는 Foreman_QCIF 영상, 도 10d는 Mobile_QCIF 영상에 대하여 수행한 실험 결과이다.
Figure 112007028452103-PAT00003
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 주변 영상프레임(과거/미래 프레임)뿐만 아니라, 동 일 영상 프레임(부호화 대상이 되는 현재 프레임) 내의 이전 복원블록을 참조하여 예측함으로써, 압축 효율을 증대시키는 효과가 있다. 즉, 본 발명은 이전 프레임(과거 프레임)보다 동일 영상 프레임에서 현재 부호화 대상이 되는 블록과 더 유사한 블록을 효과적으로 예측할 수 있다는 점을 바탕으로 한 것으로서, 이로 인하여 압축효율을 향상시키는 효과가 있다.
특히, 본 발명은, 장면전환과 같이 프레임간 압축이 효율적으로 적용되기 어려운 경우에도 압축효율을 현저히 향상시키는 효과가 있다.

Claims (32)

  1. 블록 기반 동영상 부호화 장치에 있어서,
    부호화 대상이 되는 현재 영상에 대해, 상기 현재 영상의 기 복원영역을 참조하여 예측 영상을 생성하기 위한 영상 예측 수단;
    상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하기 위한 차분신호 생성 수단;
    상기 차분신호를 부호화하기 위한 부호화 수단; 및
    상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 영상 예측 수단에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하기 위한 복호화 수단
    을 포함하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  2. 제 1 항에 있어서,
    상기 영상 예측 수단은,
    과거/미래 영상을 참조하는 인터 예측 또는 상기 복호화 수단에서 복원된 현재 영상 중 인접한 경계 픽셀을 이용하는 인트라 예측 중 적어도 어느 하나의 예측 방식을 추가적으로 병행한 후, 각각의 예측 영상들 중에서 최적의 예측 영상을 선택하는 것을 특징으로 하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  3. 제 2 항에 있어서,
    상기 영상 예측 수단은,
    상기 복호화 수단에서 복원된 영역을 참조하여 상기 현재 영상에 대한 예측 영상을 생성하기 위한 현재영상 기반 예측 수단;
    과거/미래 영상을 참조하여 상기 현재 영상에 대하여 움직임 예측 및 보상을 통하여 예측 영상을 생성하기 위한 인터 예측 수단;
    상기 복호화 수단에서 복원된 현재 영상 중 인접한 경계 픽셀을 참조하여 상기 현재 영상에 대한 예측 영상을 생성하기 위한 인트라 예측 수단; 및
    상기 현재영상 기반 예측 수단, 상기 인터 예측 수단, 및 상기 인트라 예측 수단에서 생성된 예측 영상들 중에서 최적의 예측 영상을 선택하기 위한 모드 선택 수단
    을 포함하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  4. 제 3 항에 있어서,
    상기 현재영상 기반 예측 수단은,
    상기 현재 영상에 대해 이미 복원된 모든 블록을 참조하여 영상 예측을 수행하는 것을 특징으로 하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  5. 제 4 항에 있어서,
    상기 현재영상 기반 예측 수단은,
    상기 현재 영상의 부호화되지 않은 부분에 대해서는 가상의 픽셀값을 생성하여 영상 예측에 참조하는 것을 특징으로 하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  6. 제 3 항에 있어서,
    상기 모드 선택 수단은,
    비트-왜곡 최적화(RDO) 방식에 따라 RDcost를 비교하여 최적의 예측 영상을 선택하는 것을 특징으로 하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  7. 제 3 항에 있어서,
    상기 부호화 수단은,
    상기 모드 선택 수단에서 결정된 부호화 모드 정보도 수신 측으로 전송하는 것을 특징으로 하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  8. 블록 기반 동영상 부호화 장치에 있어서,
    부호화 대상이 되는 현재 영상에 대해, 과거/미래 영상과 상기 현재 영상의 기 복원된 영역을 참조하여 인터 예측(Inter Prediction)에 따라 최적의 예측 영상을 생성하기 위한 인터 예측 수단;
    상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하기 위한 차분신호 생성 수단;
    상기 차분신호를 부호화하기 위한 부호화 수단; 및
    상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 인터 예측 수단에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하기 위한 복호화 수단
    을 포함하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  9. 제 8 항에 있어서,
    상기 복호화 수단에서 복원된 영역 중에서 인접한 경계 픽셀을 이용하여 예측 영상을 생성하기 위한 인트라 예측 수단; 및
    상기 인터 예측 수단과 상기 인트라 예측 수단에서 생성된 예측 영상들 중 최적의 예측 영상을 선택하기 위한 모드 선택 수단
    을 더 포함하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 인터 예측 수단은,
    상기 현재 영상의 기 복원된 영역을 참조하여 영상 예측하는 경우, 이미 복원된 모든 블록을 참조하고 상기 현재 영상의 부호화되지 않은 부분에 대해서는 가상의 픽셀값을 생성하여 영상 예측에 참조하는 것을 특징으로 하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  11. 블록 기반 동영상 부호화 장치에 있어서,
    부호화 대상이 되는 현재 영상에 대해, 상기 현재 영상의 복원된 인접 경계 픽셀과 기 복원된 영역을 참조하여 인트라 예측(Intra Prediction)에 따라 최적의 예측 영상을 생성하기 위한 인트라 예측 수단;
    상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하기 위한 차분신호 생성 수단;
    상기 차분신호를 부호화하기 위한 부호화 수단; 및
    상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 인트라 예측 수단에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하기 위한 복호화 수단
    을 포함하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  12. 제 11 항에 있어서,
    과거 영상 또는 미래 영상을 참조하여 예측 영상을 생성하기 위한 인터 예측 수단; 및
    상기 인트라 예측 수단과 상기 인터 예측 수단에서 생성된 예측 영상들 중 최적의 예측 영상을 선택하기 위한 모드 선택 수단
    을 더 포함하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 인트라 예측 수단은,
    상기 현재 영상의 기 복원된 영역을 참조하는 경우, 이미 복원된 모든 블록을 참조하고 상기 현재 영상의 부호화되지 않은 부분에 대해서는 가상의 픽셀값을 생성하여 영상 예측에 참조하는 것을 특징으로 하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  14. 제 9 항 또는 제 12 항에 있어서,
    상기 모드 선택 수단은,
    비트-왜곡 최적화(RDO) 방식에 따라 RDcost를 비교하여 최적의 예측 영상을 선택하는 것을 특징으로 하는 현재 영상의 복원영역을 참조하는 동영상 부호화 장치.
  15. 블록 기반 동영상 복호화 장치에 있어서,
    입력 비트열을 복호화하여 차분신호를 복원하기 위한 복호화 수단; 및
    현재 영상의 복원 영역을 참조하여 예측 영상을 생성하고, 상기 복원된 차분신호와 상기 생성된 예측 영상을 이용하여 원래의 현재 영상을 복원하기 위한 영상 복원 수단
    을 포함하는 현재 영상의 복원영역을 참조하는 동영상 복호화 장치.
  16. 블록 기반 동영상 복호화 장치에 있어서,
    입력 비트열을 복호화하여, 부호화 모드 정보를 획득하고 차분신호를 복원하기 위한 복호화 수단; 및
    상기 부호화 모드 정보에 따라 과거/미래 영상 또는 현재 영상의 복원된 영역 중 어느 하나를 참조하여 예측 영상을 생성하고, 상기 복원된 차분신호와 상기 생성된 예측 영상을 이용하여 원래의 현재 영상을 복원하기 위한 영상 복원 수단
    을 포함하는 현재 영상의 복원영역을 참조하는 동영상 복호화 장치.
  17. 블록 기반 동영상 복호화 장치에 있어서,
    입력 비트열을 복호화하여, 부호화 모드 정보를 획득하고 차분신호를 복원하기 위한 복호화 수단; 및
    상기 부호화 모드 정보에 따라 현재 영상의 복원된 영역 또는 상기 현재 영상의 복원된 인접 경계픽셀 중 어느 하나를 참조하여 예측 영상을 생성하고, 상기 복원된 차분신호와 상기 생성된 예측 영상을 이용하여 원래의 현재 영상을 복원하기 위한 영상 복원 수단
    을 포함하는 현재 영상의 복원영역을 참조하는 동영상 복호화 장치.
  18. 제 17 항에 있어서,
    상기 영상 복원 수단은,
    상기 부호화 모드 정보에 따라 과거/미래 영상을 참조하여 예측 영상을 생성하는 기능도 더 수행하는 것을 특징으로 하는 현재 영상의 복원영역을 참조하는 동영상 복호화 장치.
  19. 블록 기반 동영상 부호화 방법에 있어서,
    부호화 대상이 되는 현재 영상에 대해, 상기 현재 영상의 기 복원영역을 참 조하여 예측 영상을 생성하는 영상 예측 단계;
    상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하는 차분신호 생성 단계;
    상기 차분신호를 부호화하는 부호화 단계; 및
    상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 영상 예측 단계에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하는 복호화 단계
    를 포함하는 현재 영상의 복원영역을 참조하는 동영상 부호화 방법.
  20. 제 19 항에 있어서,
    상기 영상 예측 단계는,
    상기 복호화 단계에서 복원된 영역을 참조하여 상기 현재 영상에 대한 예측 영상을 생성하는 현재영상 기반 예측 단계;
    과거/미래 영상을 참조하여 상기 현재 영상에 대하여 움직임 예측 및 보상을 통하여 예측 영상을 생성하는 인터 예측 단계;
    상기 복호화 단계에서 복원된 현재 영상 중에서 인접한 경계 픽셀을 참조하여 상기 현재 영상에 대한 예측 영상을 생성하는 인트라 예측 단계; 및
    상기 현재영상 기반 예측 단계, 상기 인터 예측 단계, 및 상기 인트라 예측 단계에서 생성된 예측 영상들 중에서 최적의 예측 영상을 선택하는 모드 선택 단계
    를 포함하는 현재 영상의 복원영역을 참조하는 동영상 부호화 방법.
  21. 제 20 항에 있어서,
    상기 현재영상 기반 예측 단계는,
    상기 현재 영상에 대해 이미 복원된 모든 블록을 참조하고, 상기 현재 영상의 부호화되지 않은 부분에 대해서는 가상의 픽셀값을 생성하여 참조하는 것을 특징으로 하는 현재 영상의 복원영역을 참조하는 동영상 부호화 방법.
  22. 제 20 항에 있어서,
    상기 모드 선택 단계는,
    비트-왜곡 최적화(RDO) 방식에 따라 RDcost를 비교하여 최적의 예측 영상을 선택하는 것을 특징으로 하는 현재 영상의 복원영역을 참조하는 동영상 부호화 방법.
  23. 블록 기반 동영상 부호화 방법에 있어서,
    부호화 대상이 되는 현재 영상에 대해, 과거/미래 영상과 상기 현재 영상의 기 복원된 영역을 참조하여 인터 예측에 따라 최적의 예측 영상을 생성하는 인터 예측 단계;
    상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하는 차분신호 생성 단계;
    상기 차분신호를 부호화하는 부호화 단계; 및
    상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 인터 예측 단계에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하는 복호화 단계
    를 포함하는 현재 영상의 복원영역을 참조하는 동영상 부호화 방법.
  24. 제 23 항에 있어서,
    상기 복호화 단계에서 복원된 영역 중에서 인접한 경계 픽셀을 이용하여 예측 영상을 생성하는 인트라 예측 단계; 및
    상기 인터 예측 단계와 상기 인트라 예측 단계에서 생성된 예측 영상들 중 최적의 예측 영상을 선택하는 모드 선택 단계
    를 더 포함하는 현재 영상의 복원영역을 참조하는 동영상 부호화 방법.
  25. 제 23 항 또는 제 24 항에 있어서,
    상기 인터 예측 단계는,
    상기 현재 영상의 기 복원된 영역을 참조하여 영상 예측하는 경우, 이미 복원된 모든 블록을 참조하고 상기 현재 영상의 부호화되지 않은 부분에 대해서는 가상의 픽셀값을 생성하여 영상 예측에 참조하는 것을 특징으로 하는 현재 영상의 복 원영역을 참조하는 동영상 부호화 방법.
  26. 블록 기반 동영상 부호화 방법에 있어서,
    부호화 대상이 되는 현재 영상에 대해, 상기 현재 영상의 복원된 인접 경계 픽셀과 기 복원된 영역을 참조하여 인트라 예측에 따라 최적의 예측 영상을 생성하는 인트라 예측 단계;
    상기 현재 영상과 상기 예측 영상 간의 차분신호를 생성하는 차분신호 생성단계;
    상기 차분신호를 부호화하는 부호화 단계; 및
    상기 부호화된 차분신호를 복원하고, 상기 복원된 차분신호에 상기 인트라 예측 단계에서 생성된 예측 영상을 결합하여 상기 현재 영상을 복원하는 복호화 단계
    를 포함하는 현재 영상의 복원영역을 참조하는 동영상 부호화 방법.
  27. 제 26 항에 있어서,
    과거 영상 또는 미래 영상을 참조하여 예측 영상을 생성하는 인터 예측 단계; 및
    상기 인트라 예측 단계와 상기 인터 예측 단계에서 생성된 예측 영상들 중 최적의 예측 영상을 선택하는 모드 선택 단계
    를 더 포함하는 현재 영상의 복원영역을 참조하는 동영상 부호화 방법.
  28. 제 26 항 또는 제 27 항에 있어서,
    상기 인트라 예측 단계는,
    상기 현재 영상의 기 복원된 영역을 참조하는 경우, 이미 복원된 모든 블록을 참조하고 상기 현재 영상의 부호화되지 않은 부분에 대해서는 가상의 픽셀값을 생성하여 영상 예측에 참조하는 것을 특징으로 하는 현재 영상의 복원영역을 참조하는 동영상 부호화 방법.
  29. 블록 기반 동영상 복호화 방법에 있어서,
    입력 비트열을 복호화하여 차분신호를 복원하는 복호화 단계;
    현재 영상의 복원 영역을 참조하여 예측 영상을 생성하는 예측영상 생성 단계; 및
    상기 복원된 차분신호와 상기 생성된 예측 영상을 이용하여 원래의 현재 영상을 복원하는 영상 복원 단계
    를 포함하는 현재 영상의 복원영역을 참조하는 동영상 복호화 방법.
  30. 블록 기반 동영상 복호화 방법에 있어서,
    입력 비트열로부터 부호화 모드 정보를 획득하는 모드정보 획득 단계;
    상기 입력 비트열을 복호화하여 차분신호를 복원하는 복호화 단계;
    상기 부호화 모드 정보에 따라 과거/미래 영상 또는 현재 영상의 복원된 영역 중 어느 하나를 참조하여 예측 영상을 생성하는 예측영상 생성 단계; 및
    상기 복원된 차분신호와 상기 생성된 예측 영상을 이용하여 원래의 현재 영상을 복원하는 영상 복원 단계
    를 포함하는 현재 영상의 복원영역을 참조하는 동영상 복호화 방법.
  31. 블록 기반 동영상 복호화 방법에 있어서,
    입력 비트열로부터 부호화 모드 정보를 획득하는 모드정보 획득 단계;
    상기 입력 비트열을 복호화하여 차분신호를 복원하는 복호화 단계;
    상기 부호화 모드 정보에 따라 현재 영상의 복원된 영역 또는 상기 현재 영상의 복원된 인접 경계픽셀 중 어느 하나를 참조하여 예측 영상을 생성하는 예측영상 생성 단계; 및
    상기 복원된 차분신호와 상기 생성된 예측 영상을 이용하여 원래의 현재 영상을 복원하는 영상 복원 단계
    를 포함하는 현재 영상의 복원영역을 참조하는 동영상 복호화 방법.
  32. 제 31 항에 있어서,
    상기 부호화 모드 정보에 따라 과거/미래 영상을 참조하여 예측 영상을 생성하는 단계
    를 더 포함하는 현재 영상의 복원영역을 참조하는 동영상 복호화 방법.
KR1020070036513A 2006-11-08 2007-04-13 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법 KR100856392B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060110118 2006-11-08
KR20060110118 2006-11-08

Publications (2)

Publication Number Publication Date
KR20080041972A true KR20080041972A (ko) 2008-05-14
KR100856392B1 KR100856392B1 (ko) 2008-09-04

Family

ID=39648907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070036513A KR100856392B1 (ko) 2006-11-08 2007-04-13 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100856392B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140057672A (ko) * 2010-08-17 2014-05-13 엠앤케이홀딩스 주식회사 인트라 예측 복호화 방법
WO2014163437A2 (ko) * 2013-04-05 2014-10-09 한국전자통신연구원 계층 간 결합된 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 그 장치
RU2571410C2 (ru) * 2011-09-23 2015-12-20 Квэлкомм Инкорпорейтед Построение списка опорных изображений для видеокодирования
US9307246B2 (en) 2010-07-31 2016-04-05 M & K Holdings Inc. Apparatus for decoding moving picture
KR20180028430A (ko) * 2010-02-17 2018-03-16 한국전자통신연구원 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
WO2018070790A1 (ko) * 2016-10-14 2018-04-19 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
US11284072B2 (en) 2010-08-17 2022-03-22 M&K Holdings Inc. Apparatus for decoding an image

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100242653B1 (ko) * 1997-07-31 2000-02-01 윤종용 프레임내 부호화방법 및 그 장치
US7120196B2 (en) * 2002-04-29 2006-10-10 Ess Technology, Inc. Intra-prediction using intra-macroblock motion compensation

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180028430A (ko) * 2010-02-17 2018-03-16 한국전자통신연구원 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
US9307246B2 (en) 2010-07-31 2016-04-05 M & K Holdings Inc. Apparatus for decoding moving picture
KR20140057672A (ko) * 2010-08-17 2014-05-13 엠앤케이홀딩스 주식회사 인트라 예측 복호화 방법
US9491478B2 (en) 2010-08-17 2016-11-08 M&K Holdings Inc. Method for decoding in intra prediction mode
US11284072B2 (en) 2010-08-17 2022-03-22 M&K Holdings Inc. Apparatus for decoding an image
US9237356B2 (en) 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
RU2571410C2 (ru) * 2011-09-23 2015-12-20 Квэлкомм Инкорпорейтед Построение списка опорных изображений для видеокодирования
US9998757B2 (en) 2011-09-23 2018-06-12 Velos Media, Llc Reference picture signaling and decoded picture buffer management
US10034018B2 (en) 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
US10542285B2 (en) 2011-09-23 2020-01-21 Velos Media, Llc Decoded picture buffer management
US10856007B2 (en) 2011-09-23 2020-12-01 Velos Media, Llc Decoded picture buffer management
US11490119B2 (en) 2011-09-23 2022-11-01 Qualcomm Incorporated Decoded picture buffer management
WO2014163437A3 (ko) * 2013-04-05 2014-11-27 한국전자통신연구원 계층 간 결합된 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 그 장치
WO2014163437A2 (ko) * 2013-04-05 2014-10-09 한국전자통신연구원 계층 간 결합된 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 그 장치
WO2018070790A1 (ko) * 2016-10-14 2018-04-19 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
US11039148B2 (en) 2016-10-14 2021-06-15 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding an image
US11792409B2 (en) 2016-10-14 2023-10-17 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding an image
US12096002B2 (en) 2016-10-14 2024-09-17 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding an image

Also Published As

Publication number Publication date
KR100856392B1 (ko) 2008-09-04

Similar Documents

Publication Publication Date Title
KR102026856B1 (ko) 다중 참조를 허용하는 비디오 코덱에서 모션 벡터를 예측하는 방법, 및 그 방법을 이용한 모션 벡터 부호화/복호화 장치
KR101431545B1 (ko) 영상의 부호화, 복호화 방법 및 장치
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
US9232223B2 (en) Method for decoding a stream representative of a sequence of pictures, method for coding a sequence of pictures and coded data structure
KR20130016172A (ko) 인터 예측 부호화된 동영상 복호화 방법
WO2012172668A1 (ja) 動画像符号化方法及び装置並びに動画復号化方法及び装置
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
KR20110081304A (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
KR20190089834A (ko) 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
KR100856392B1 (ko) 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR20090090152A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
Suzuki et al. Block-based reduced resolution inter frame coding with template matching prediction
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
KR20190052022A (ko) 인트라 기반의 로컬 인터-계층 예측을 위한 방법
KR20110134404A (ko) 화상 데이터의 블록을 예측하는 방법, 이 방법을 실행하는 복호 장치 및 부호화 장치
KR100667815B1 (ko) 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
KR20160053848A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
KR101285841B1 (ko) 움직임 벡터 부호화 장치 및 복호화 장치, 그리고 그것의 부호화 및 복호화 방법
KR101307469B1 (ko) 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법
KR101373083B1 (ko) 움직임 정보 부호화/복호화 장치 및 움직임 정보를 부호화/복호화하는 방법
KR20140129418A (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
KR20120079561A (ko) 선택적 다중 예측을 통한 적응적 인트라 예측 부호화/복호화 장치 및 방법
KR20120138426A (ko) 교차 삽입법을 이용한 향상된 움직임 백터 예측 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130729

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140728

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150728

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160726

Year of fee payment: 9