KR20080052255A - 실시간 비디오 신호 압축을 위한 인트라 모드 예측 검색방법 및 장치 - Google Patents

실시간 비디오 신호 압축을 위한 인트라 모드 예측 검색방법 및 장치 Download PDF

Info

Publication number
KR20080052255A
KR20080052255A KR1020070064972A KR20070064972A KR20080052255A KR 20080052255 A KR20080052255 A KR 20080052255A KR 1020070064972 A KR1020070064972 A KR 1020070064972A KR 20070064972 A KR20070064972 A KR 20070064972A KR 20080052255 A KR20080052255 A KR 20080052255A
Authority
KR
South Korea
Prior art keywords
mode
intra
search
prediction
inter
Prior art date
Application number
KR1020070064972A
Other languages
English (en)
Other versions
KR100900316B1 (ko
Inventor
김병규
김종호
조창식
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US11/950,718 priority Critical patent/US20080137743A1/en
Publication of KR20080052255A publication Critical patent/KR20080052255A/ko
Application granted granted Critical
Publication of KR100900316B1 publication Critical patent/KR100900316B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 외부로부터 수신되는 비디오 신호 매크로 블록의 율-왜곡 비용을 측정하는 단계, 수신된 매크로 블록의 율-왜곡 비용과 인접하는 매크로 블록의 율-왜곡 비용을 비교하여 검색 임계치를 결정하는 단계, 수신된 매크로 블록의 인터 모드(inter mode) 별 오차합을 측정하여 최소 오차합을 가지는 인터 모드를 결정하는 단계, 결정된 인터 모드의 최소 오차합과 검색 임계치에 상응하여 인트라 모드(intra mode) 예측 검색을 결정하는 단계를 포함하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 방법을 제공할 수 있다.
H.264, 인트라(Intra) 예측 검색, 인터(Inter) 예측 검색

Description

실시간 비디오 신호 압축을 위한 인트라 모드 예측 검색 방법 및 장치{Method and Apparatus for Intra mode prediction searching for compression of real time video signal}
도 1은 본 발명이 적용되는 비디오 압축기의 구조를 개략적으로 나타내는 도면.
도 2는 본 발명이 적용되는 비디오 압축기의 진행 순서를 간단히 나타내는 도면.
도 3은 본 발명과 비교되는 기존의 화면 움직임 예측을 위한 순서를 개략적으로 나타내는 도면.
도 4는 H.264 방식에서 적용되는 매크로 블록을 설명하는 도면.
도 5는 본 발명의 바람직한 일 실시예에 따른 화면 움직임 예측을 위한 움직임 추정부의 구성을 개략적으로 나타낸 도면.
도 6은 본 발명의 바람직한 일 실시예에 따른 화면 움직임 예측을 위한 순서를 개략적으로 나타내는 도면.
도 7은 본 발명의 바람직한 일 실시예에 따른 인터모드에 기반한 인 트라 모드 검색 방법을 나타내는 도면.
도 8은 H.264 방식에서 인터 모드의 가변 블록 종류를 나타내는 도면.
도 9는 H.264 방식에서 인트라 모드의 예측 검색 모드를 나타내는 도면.
도 10은 본 발명이 적용되는 경우의 실제적인 일 실시예를 설명한 도면.
<도면의 주요 부분에 대한 부호의 설명>
101 : 블록 단위화부 103 : 블록 DCT(Discrete cosine transform)부
105 : 양자화기 107 : 가변길이 부호화부
109 : 움직임 보상기 111 : 역양자화 및 IDCT부(inverse-DCT)
113 : 움직임 추정부 115 : 멀티플렉서
117 : 가산부 119 : 감산부
본 발명은 실시간 비디오 신호 압축을 위한 인트라 모드 예측 검색 방법 및 장치에 관한 것이다.
실시간 비디오 신호 압축 방법으로 현재 사용되고 있는 압축 방법 중 H.264 방식이 존재한다. H.264 방식은 가장 최근에 표준화된 동영상 압축 부호화 방식으로 이전의 비디오 부호화 방식에 비해 율-왜곡(Rate-Distortion :R-D) 관점에서 높은 성능을 보이지만 더불어 부호기의 복잡도가 상당히 증가하는 단점이 존재 하였다.
H.264 방식은 비디오 신호의 압축을 위하여 화면을 매크로 블록으로 분할하고 각 매크로 블록을 인터 모드 예측 검색 및 인트라 모드 예측 검색을 모두 수행하여 매크로 블록을 압축하여 전체 비디오 화면을 실시간으로 압축하는 방식이다.
도 7 및 도 8은 본 H.264 방식에서 인터 모드를 결정하는 가변 블록의 종류와 인트라 모드의 검색을 위해 정의된 모드를 표시하고 있다.
인터 모드는 상기 도 7에서 알 수 있는 바와 같이 7 가지를 포함하고 있으며 최종 인터 모드를 결정하기 위해서는 각 매크로 블록에 상기 7 가지의 율-왜곡 비용을 측정하여 최소 값을 가지는 모드를 결정한다.
인트라 모드는 상기 도 8에서 알 수 있는 바와 같이 4x4 ,8x8 및 16x16의 세 종류의 블록 크기가 존재하며, I16x16MB(Intra 16x16 Luminance Macro Block) 즉 흑백 16x16 크기의 매크로 블록에는 4가지 모 드(예측 방향)가 존재하며, I4x4MB에는 9가지 모드가 존재한다. 또한 칼라 성분에 대해서는 Chroma(Chrominance) 8x8 블록에 대해서는 4종류의 모드가 존재한다.
이러한 인트라 모드의 검색에서도 최종 인트라 모드의 검색은 잔차(residual) 데이터가 가장 적은 모드를 최종 인트라 모드로 선택한다.
상기에서 살펴본 바와 같이 H.264 방식에서는 인터 모드와 인트라 모드의 모든 예측 검색을 수행해야 하므로 부호기의 구성이 매우 복잡해지고, 그 결과 전력 소모 및 연산 속도가 느려진다는 단점이 존재하였다.
이에 따라 이러한 복잡도를 해소하기 위한 여러 가지 방법이 논의 되어 왔다.
본 발명은 실시간 비디오 신호 압축을 위한 인트라 모드 예측 검색 방법 및 장치를 제공하는데 그 목적이 있다.
또한 본 발명은 인터 모드 (inter-mode) 예측과 인트라 모드 (intra-mode) 예측 기법 중에서 인트라 모드 예측 검색을 고속화함으로써 H.264 비디오 압축 시스템의 성능을 비트율 측면과 압축 속도 측면에서 개선하는데 그 목적이 있다.
상술한 목적들을 달성하기 위하여, 본 발명의 일 측면에 따르면, 외부로부터 수신되는 비디오 신호 매크로 블록의 율-왜곡 비용을 측정하는 단계, 상기 수신된 매크로 블록의 율-왜곡 비용과 인접하는 미리 분할된 매크로 블록의 율-왜곡 비용을 비교하여 검색 임계치를 결정하는 단계, 상기 수신된 매크로 블록의 인터 모드(inter mode) 별 오차합을 측정하여 최소 오차합을 가지는 인터 모드를 결정하는 단계, 상기 결정된 인터 모드의 최소 오차합과 상기 검색 임계치에 상응하여 인트라 모드(intra mode) 예측 검색을 결정하는 단계를 포함하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 방법을 제공할 수 있다.
바람직한 실시예에 있어서, 상기 인트라 모드 예측 검색을 결정하는 단계에서, 상기 결정된 인터 모드의 최소 오차합이 상기 검색 임계치를 초과하는 경우에는 인트라 모드 예측 검색을 생략하는 것을 특징으로 할 수 있다. 또한, 상기 인트라 모드 예측 검색을 결정하는 단계에서, 상기 결정된 인터 모드의 최소 오차합이 상기 검색 임계치보다 작거나 같은 경우에는 상기 최소 오차값을 가지는 인터 모드에 상응하여 인트라 모드를 예측 검색하는 것을 특징으로 할 수 있다.
또한, 상기 인트라 모드 예측 검색은 상기 최소 오차합을 가지는 인터 모드가 16x16 일 경우에는 I16MB(Intra 16x16 Macro Block Luminance) 의 DC 모드 및 인트라 8x8 Chroma(Chrominance)의 DC(directionless) 모드로 예측 검색하고 I4MB 모드는 생략하여 최적 인트라 모드를 예측 검색하는 단계를 더 포함하는 것을 특징으로 할 수 있다. 또한, 상기 최소 오차합을 가지는 인터 모드가 16x8 일 경우에는 I16MB의 DC 모드 및 HOR 모드, 인트라 8x8 Chroma의 DC 모드로 예측 검색하고 I4MB 모드는 생략하여 최적 인트라 모드를 예측 검색하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 최소 오차합을 가지는 인터 모드가 8x16 일 경우에는 I16MB의 DC 모드 및 VER 모드, 인트라 8x8 Chroma의 DC 모드로 예측 검색하고 I4MB 모드는 생략하여 최적 인트라 모드를 예측 검색하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 최소 오차합을 가지는 인터 모드가 8x8 서브-블록(sub-block) 일 경우에는 I16MB의 DC 모드, 인트라 8x8 Chroma의 DC 모드로 예측 검색하고 서브-블록 모드가 8x4 일 경우에는 I4MB의 DC 및 HOR 모드로 예측 검색하고, 서브-블록 모드가 8x8 및 4x4 중 어느 하나 일 경우에는 I4MB의 DC 모드로 예측 검색하고, 서브-블록 모드가 4x8 일 경우에는 I4MB의 DC 모드 및 VER 모드로 예측 검색하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
본 발명의 다른 일 측면을 참조하면, 외부로부터 수신되는 비디오 신호 매크로 블록의 율-왜곡 비용을 측정하고, 상기 수신된 매크로 블록의 율-왜곡 비용과 인접하는 매크로 블록의 율-왜곡 비용을 비교하여 검색 임계치를 결정하는 임계치 결정부, 상기 수신된 매크로 블록의 인터 모드(inter mode) 별 오차합을 측정하는 인터 모드 계산부, 상기 측정된 인터 모드 별 오차합을 비교하여 최소 오차합을 가지는 최종 인터 모드를 결정하는 최종 인터 모드 결정부 및 상기 결정된 최종 인터 모드의 최소 오차합과 상기 검색 임계치에 상응하여 인트라 모드(intra mode) 예측 검색을 결정하는 인트라 모드 결정부를 포함하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 장치를 제공할 수 있다.
바람직한 실시예에 있어서, 상기 인트라 모드 결정부는 결정된 최종 인터 모드의 최소 오차합이 상기 검색 임계치를 초과하는 경우에는 상기 인트라 모드 예측 검색을 생략하는 것을 특징으로 할 수 있다. 또한, 상기 최소 오차값을 가지는 최종 인터 모드에 상응하여 인트라 모드를 예측 검색하는 인트라 모드 계산부를 더 포함할 수 있다.
또한, 상기 인트라 모드 계산부는 I16MB의 DC 모드 및 인트라 8x8 Chroma의 DC 모드로 예측 검색하고 I4MB 모드는 생략하여 최적 인트라 모드를 예측 검색하는 16x16 인터 모드 검색 예측부를 더 포함하는 것을 특징으로 할 수 있다. 또한, 상기 인트라 모드 계산부는 I16MB의 DC 모드 및 HOR 모드, 인트라 8x8 Chroma의 DC 모드로 예측 검색하고 I4MB 모드는 생략하여 최적 인트라 모드를 예측 검색하는 16x8 인터 모드 검색 예측부를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 인트라 모드 계산부는 I16MB의 DC 모드 및 VER 모드, 인트라 8x8 Chroma의 DC 모드로 예측 검색하고 I4MB 모드는 생략하여 최적 인트라 모드를 예측 검색하는 8x16 인터 모드 검색 예측부를 더 포함하는 것을 특징으로 할 수 있다.
또한, 상기 인트라 모드 계산부는 I16MB의 DC 모드, 인트라 8x8 Chroma의 DC 모드, I4MB의 DC 및 HOR 모드, I4MB의 DC 모드, I4MB의 DC 모드 및 VER 모드 중 적어도 한 모드로 예측 검색하는 8x8 서브-블록(sub-block) 인터 모드 검색 예측부를 더 포함하는 것을 특징으로 할 수 있다.
이어서, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명이 적용되는 비디오 압축기의 구조를 개략적으로 나타내는 도면이다.
도 1을 참조하면, 상기 비디오 압축기는 블록 단위화부(101), 블록 DCT(Discrete cosine transform)부(103), 양자화기(105), 가변길이 부호화부(107), 움직임 보상기(109), 역양자화 및 IDCT부(inverse-DCT)(111), 움 직임 추정부(113), 멀티플렉서(115)를 포함하며 감산부(119) 및 가산부(117)를 더 포함한다.
블록 단위화부(101)는 외부로부터 프레임 단위로 입력되는 비디오 신호를 블록 단위로 분할하는 역할을 담당한다. 이는 움직임 추정기(113)에서 비디오 신호를 예측하기 위해서 사용되는 매크로 블록을 설정하는 것이다.
블록 DCT(Discrete cosine transform)부(103)는 감산부(119)에서 블록 단위화부(101)와 움직임 보상기(109)의 감산 연산을 한 신호를 이산 코사인 변환(Discrete Cosine Transform : DCT)하는 역할을 담당한다. 이산 코사인 변환부는 화소를 주파수로 변환하는 역할을 담당한다.
양자화기(105)는 블록 DCT부(103)에서 변환된 신호를 양자화하여 디지털 신호로 변환하는 역할을 담당하며 가변길이 부호화부(107)는 양자화기(105)에서 양자화된 신호를 가변 길이 부호화(variable length coding)하여 외부로 전송할 압축 스트림을 생성한다.
역양자화 및 IDCT부(Inverse-DCT)(111)는 상기 양자화기(105)에서 양자화된 신호를 다시 역양자화 및 역 DCT 변환하여 원본 프레임을 재생하는 역할을 담당한다.
움직임 추정부(113)는 블록 단위화부(101)에서 수신된 비디오 입력 신호와 역양자화 및 IDCT부(111)에서 재생된 이전 프레임 및 움직임 보상 부(109)에서 수신된 신호를 합산부(117)에서 합한 신호를 이용하여 움직임을 추정하고 예측하는 부분이다. 이러한 움직임 추정부(113)는 인트라 모드 예측 검색 및 인터 모드 예측 검색을 수행하는 역할을 담당한다.
움직임 보상기(109)는 블록단위화부(101)와 감산부(119)에서 결합하여 원 프레임에서 보상된 움직임을 빼는 역할을 수행하는 부분이다.
멀티플렉서(115)는 압축된 비디오 스트림을 전송하기 위하여 다중화하는 부분이다.
도 2는 본 발명이 적용되는 비디오 압축기의 진행 순서를 간단히 나타내는 도면이다.
도 2를 참조하면, 우선 비디오 압축기에 비디오 신호가 입력된다(단계 201). 그 후 입력된 비디오 신호를 블록화 하고, 블록화된 비디오 신호를 바탕으로 프레임에서 움직임을 예측한다(단계 203). 이러한 움직임 예측을 위해서 H.264 방식의 인터(Inter) 모드 및 인트라(Intra) 모드를 이용한 예측 검색이 사용될 수 있다.
움직임의 예측이 끝나면 이산 코사인 변환부에서 화면을 변환하고(단계 205), 변환된 화면을 양자화 및 부호화 하여 암축 스트림 신호로 변환한다(단계 207). 이러한 단계를 모두 끝마치면 다중화 하여 암축 스트림으로 비디오 신호를 외부로 전송한다(단계 209).
도 3은 본 발명과 비교되는 기존의 화면 움직임 예측을 위한 순서를 개략적으로 나타내는 도면이다.
H.264 방식을 이용하는 화면 압축에서는 화면을 여러 개의 매크로 블록(Macro Block : MB)으로 분할하여 인터 모드 예측 및 인트라 모드 예측을 한다. 따라서 우선 인터 모드의 율-왜곡(Rate-Distortion : R-D) 비용을 측정하여 최적의 인터 모드를 결정하고 결정된 인터모드에 따라서 각각 인트라 모드 예측을 하게 된다.
따라서 도 3을 참조하면 우선 16x16 매크로 블록에 대한 율-왜곡 비용을 측정하고(301), 그 후 16x8 매크로 블록에 대한 율-왜곡 비용을 측정하고(303), 그 후 8x16 매크로 블록에 대한 율-왜곡 비용을 측정하고(305)그 후 8x8 매크로 블록에 대한 율-왜곡 비용을 측정한다(307).
이러한 각 매크로 블록에 따른 율-왜곡 비용의 측정은 인터 모드에서 형성되는 각 가변 블록이 16x16 생략(skip) 모드, 16x16 모드, 8x16 모드, 16x8 모드 및 8x8 모드가 존재하기 때문이다. 특히 8x8 모드의 하위(sub) 모드로 8x8 모드, 8x4 모드, 4x8 모드 및 4x4 모드가 다시 존재한다.
이렇게 인터 모드에서 가능한 각 가변 블록에 관해서 모두 율-왜곡 비용을 측정한 다음 각 블록의 율-왜곡 비용을 비교하여 최저 값을 가지는 최적 인터 모드를 결정한다(단계 309).
그런 다음 예측 방식이 Frext(Fidelity Range Extensions) 방식인지를 확인하여(단계311) Frext 방식이라면, 인트라 모드 예측 중 Luma(Luminance) 16x16 방식의 예측 검색을 수행하고(단계 313), 그 후 Luma 4x4 방식의 예측 검색(단계 315), Chroma(Chrominance) 8x8 방식의 예측 검색(단계 317) 및 Luma 8x8 방식의 예측 검색(단계 319)을 모두 수행한 후 각 예측 검색치를 비교하여 최적의 인트라 모드를 결정한다(단계321).
반면에, 예측 방식이 Frext 방식이 아니라면, 인트라 모드 예측 중 Luma 16x16 방식의 예측 검색(단계 323), Luma 4x4 방식의 예측 검색(단계 325) 및 Chroma 8x8 방식의 예측 검색(단계 327)을 하여 각 예측 검색치를 비교하여 최적의 인트라 모드를 결정한다(단계 329).
그런 다음 인트라 모드 및 인터 모드의 각 최적 모드를 이용하여 최종 모드를 결정하고(단계331), 그것이 압축이 수행되는 매크로 블록의 최종 모드가 된다(단계 333).
이러한 방식의 경우 인터 모드의 검색을 위하여 많은 계산량이 필요한데다가, 이에 더하여 인트라 모드의 검색까지 빠짐없이 해야 하므로 계산량이 매우 많아지고 따라서, 실시간 비디오 압축에 많은 문제가 존재하였다.
도 4는 H.264 방식에서 적용되는 매크로 블록을 설명하는 도면이다.
도 4를 참조하면, 전체 화면 프레임에서 각 매크로 블록의 위치를 설명하고 있다. 여기서, MBkl이 현재 처리하는 매크로 블록(400)이라 하면, 프레임에서 매크로 블록의 처리는 왼쪽 상부에서 오른쪽 하부의 방향으로 순차적으로 처리되므로, 상기 MBkl(400) 매크로 블록을 처리할 때 발생하는 이웃 매크로 블록은 처리 블록의 상부에 3개 및 왼쪽에 1개가 생길 수 있다. 즉, (k,l-1)좌표를 가지는 왼쪽 블록(407), (k-1,l+1)좌표를 가지는 우측 상단 블록(405), (k-1,l) 좌표를 가지는 상단 블록이 그것이다. 이러한 방식으로 처리되는 경우 미리 처리된 이웃한 매크로 블록의 값과 비교하여 화면을 압축 처리 할 수 있게 된다.
도 5는 본 발명의 바람직한 일 실시예에 따른 화면 움직임 예측을 위한 움직임 추정부의 구성을 개략적으로 나타낸 도면이다.
도 5를 참조하면, 본 발명에 따른 움직임 추정부(500)는 임계치 결정부(503), 인터 모드 계산부(505), 최종 인터 모드 결정부(507), 인트라 모드 결정부(509), 인트라 모드 계산부(511) 및 출력부(513)를 포함한다.
임계치 결정부(503)는 입력되는 매크로 블록 신호(501)를 미리 계산된 이웃하는 매크로 블록의 율 왜곡 비용을 이용하여 임계치를 결정하는 역할을 담당한다.
이러한 임계치 결정의 자세한 사항은 도 6에서 다시 설명하도록 한다.
인터 모드 계산부(505)는 입력된 매크로 블록 신호(501)의 인터 모드를 계산하는 역할을 담당한다. 이러한 인터 모드 계산부(505)는 도 8에서 설명되는 각 인터 모드에 대하여 각각 오차합을 계산하는 역할을 담당한다. 이러한 인터 모드 계산 방법에 대해서는 도 6에서 자세히 설명하도록 한다.
최종 인터 모드 결정부(507)는 상기 인터 모드 계산부(505)에서 각각 계산된 인터 모드의 오차합을 이용하여 최소의 오차합을 가지는 인터 모드를 결정하는 역할을 담당한다.
인트라 모드 결정부(509)는 임계치 결정부(503)에서 결정된 임계치와 인터 모드 결정부(507)에서 결정된 최적의 인터 모드의 오차합을 비교하여 인트라 모드를 계산할지를 결정하는 역할을 담당한다.
인트라 모드 계산부(511)는 상기 인트라 모드 결정부(509)에서 인트라 모드를 계산할 것으로 결정되는 경우에 인트라 모드를 계산하는 부분이다. 이러한 인트라 모드 계산부(511)에서 인트라 모드를 계산하는 방법은 도 7에서 자세히 설명 하도록 한다.
출력부(513) 출력부는 상기의 방법으로 입력된 매크로 블록 신호를 인트라 모드 및 인터 모드 예측 검색을 실시하여 압축된 신호를 외부로 발송하는 역할을 담당한다.
도 6은 본 발명의 바람직한 일 실시예에 따른 화면 움직임 예측을 위한 순서를 개략적으로 나타내는 도면이다.
도 6을 참조하면 우선 검색 임계치를 결정한다(단계601). 검색 임계치는 이후 단계에서 인트라 모드 예측 검색을 하는지 여부를 결정하는 중요한 부분이다.
이러한 검색 임계치는
[수식 1]
Tkl = min RD Costij {RD cost (m, n)|(m, n) ∈ Neighbors},
의 수식을 통해 구할 수 있는데
Tkl 값은 검색 임계치를 의미하고, RD Cost는 율-왜곡 비용을 의미한다.
또한, (m,n)은 이웃 블록에 대한 인덱스 값을 의미하고, kl은 현재 처리하고자 하는 매크로 블록을 의미한다.
여기서 각 (M,n) 값 및 kl 값의 프레임 상의 위치는 도면 4에 설명되어 있다. 상기 도 4에서 설명한 바와 같이 화면에서 매크로 블록이 구성되므로, 검색 임계치를 이웃 블록을 이용하여 결정하면, 그 후 현재 매크 로 블록의 인터 모드의 가변 블록에 따른 오차합(sum of absolute error : SAD)을 각각 계산한다.
처음으로 16x16 매크로 블록에 대한 오차합을 측정하고(단계 603), 그 후 16x8 매크로 블록에 대한 오차합을 측정하고(단계 605), 그 후 8x16 매크로 블록에 대한 오차합을 측정하고(단계 607) 그 후, 8x8 매크로 블록에 대한 오차합을 측정한다(단계 609).
이렇게 각 가변 블록에 대한 오차합을 모두 측정하고 나서, 최소 오차합의 인터 모드를 결정한다(단계 611).
그런 다음 최소 오차합이 검색 임계치보다 더 큰 값을 가지는 지를 판단하여 (단계 613), 최소 오차합이 검색 임계치보다 크지 않으면 인트라 모드의 예측 검색을 생략하고(단계 619), 그렇지 않은 경우에는 상위 단계에서 결정된 최소 오차합 인터 모드에 기반한 인트라 모드를 검색한다(단계 615).
그 후, 최종 모드를 선택하고(단계 617), 이를 최종 매크로 블록의 모드로 결정한다(단계 621).
도 7은 본 발명의 바람직한 일 실시예에 따른 인터모드에 기반한 인트라 모드 검색 방법을 나타내는 도면이다.
도 7을 참조하면, 상기 도 6의 참조 단계 615를 세부적으로 나타낸 것으로, 우선 최적의 인터 모드를 확인한다(단계 701). 이러한 최적 인터 모드의 확인은 상기 도 5의 참조 단계 611에서 결정되는 단계이다.
그 후, 최적의 인터 모드 단계가 16x16 인 경우에는, 우선 I16MB(Intra 16x16 Macro Block luminance)의 DC(directionless) 모드를 수행하고(단계703), 그 후 8x8 Chroma의 DC 모드를 수행하고(단계 705), I4MB은 생략(SKIP)하여(단계 707)최적 인트라 모드를 검색한다(단계733).
한편, 최적의 인터 모드 단계가 16x16 인 경우에는, 우선 I16MB의 DC(directionless) 모드를 수행하고(단계703), 그 후 8x8 Chroma의 DC 모드를 수행하고(단계 705), I4MB은 생략(SKIP)하여(단계 707)최적 인트라 모드를 검색한다(단계733).
또 한편, 최적의 인터 모드 단계가 16x8 인 경우에는, 우선 I16MB에서 DC(directionless) 모드 및 HOR(horizontal) 모드를 수행하고(단계709), 그 후 8x8 Chroma의 DC 모드를 수행하고(단계 711), I4MB은 생략(SKIP)하여(단계 713)최적 인트라 모드를 검색한다(단계733).
또 한편, 최적의 인터 모드 단계가 8x16 인 경우에는, 우선 I16MB의 DC(directionless) 모드 및 VER(vertical) 모드를 수행하고(단계715), 그 후 8x8 Chroma의 DC 모드를 수행하고(단계 727), I4MB은 생략(SKIP)하여(단계 719)최적 인트라 모드를 검색한다(단계733).
마지막으로, 최적의 인터 모드 단계가 8x8의 서브 모드를 가지는 경 우에는, 우선 I16MB의 DC(directionless) 모드 및 VER(vertical) 모드를 수행하고(단계715), 그 후 8x8 Chroma의 DC 모드를 수행하고(단계 727), 상기 8x8 모드의 서브 블록을 판단하여(단계 725) 8x4 모드일 경우에는 I4MB에서 DC 모드 및 HOR 모드로 수행하고(단계 727), 8x8 모드나 4x4 모드인 경우에는 I4MB에서 DC 모드를 수행하고(단계 729), 4x8 모드인 경우에는 DC 모드 및 HOR 모드로 수행하여(단계 731)
각 모드 수행 후 최적의 인트라 모드를 검색한다(단계 733).
이러한 방식의 인트라 모드 예측 검색을 도 3에서 설명한 기존의 인트라 모드 예측 검색과 비교하면, 각 인터 모드에 따라 인트라 모드의 예측 모드가 현저히 줄어들었음을 알 수 있다. 따라서 기존의 방식에 비하여 계산양이 줄어들어 실시간 비디오 신호의 압축에 매우 효율적일 수 있다.
도 10은 본 발명이 적용되는 경우의 실제적인 일 실시예를 설명한 도면이다.
도 10을 참조하면, 우선 압축될 비디오 신호의 한 프레임(1000)이 입력되면, 상기 프레임(1000)은 여러 개의 매크로 블록으로 분할된 프레임(1010)이 된다.
이러한 경우 h.264 방식에서는 각 매크로 블록이 인터 예측 방식에 의하여 동일한 매크로 블록으로 분할되지 않고, 비디오 신호에 존재하는 이미지의 색감(Luminance)이나, 휘도(Chrominance)에 따라 도 7에서 설명한 크기의 가변 블록으로 예측 검색된다.
이렇게 인터 예측 검색된 가변 블록은 상기 참조 번호 1011 및 1013과 같이 여러 도 8에서 설명한 가변 블록으로 분리될 수 있으며, 각 블록에 따라서 인트라 모드의 예측 검색 방법이 달라지게된다.
기존의 방식에 있어서는 상기 도 3의 순서도에서 볼 수 있는 바와 같이 각 블록의 종류에 상관없이 인트라 모드 검색 방법을 모두 진행 하였으나, 본 발명에서는 상기 도 7의 순서도에서와 같이, 이웃하는 매크로 블록을 참조한 검색 임계치와 각 가변 블록에 따른 오차합에 따라 각각 다른 방식으로 인트라 모드를 결정하게 된다. 즉, 상기 참조 번호 1011 블록의 경우와 상기 참조 번호 1013의 경우에 각각 다르게 인트라 예측 검색을 수행한다.
예를 들어 상기 참조 번호 1011 블록의 경우 8x8 서브 블록(1021)을 가지고 있어, 상기 도면 7의 8x8 서브 블록 경로를 따라서, I16MB:DC 모드, 8x8Chroma:DC 모드 및 I4MB:DC 모드의 경우에만 인트라 예측 검색을 하면 된다.
또한 상기 참조 번호 1013 블록의 경우 8x16 블록(1023)을 가지고 있어, 상기 도면 7의 8x16 경로를 따라서 I16MB:DC 모드 및 HOR 모드, 8x8Chroma:DC 모드의 경우에만 인트라 예측 검색 하면 된다.
이러한 경우 참조 번호 911 및 1013 블록의 경우 인트라 모드 예측 검색을 3종류만 하면 될 뿐이지만, 기존의 방식을 사용하면 모두 상기 도 9에서 설명한 각 모드의 검색을 모두 해야 함으로 적어도 17종류의 인트라 모드 예측 검색을 수행해야 한다. 상기의 예시에서 기존의 방식에 비하여 계산양이 줄어들어 실시간 비디오 신호의 압축에 매우 효율적임을 알 수 있다.
본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.
본 발명에 의하여, 실시간 비디오 압축을 위한 인트라 모드 예측 검색 방법 및 장치를 제공할 수 있다.
또한 본 발명에 의하여, 인터 모드 (inter-mode) 예측과 인트라 모드 (intra-mode) 예측 기법 중에서 인트라 모드 예측 검색을 고속화함으로써 H.264 비디오 압축 시스템의 성능을 비트율 측면과 압축 속도 측면에서 개선할 수 있다.

Claims (14)

  1. 외부로부터 수신되는 비디오 신호 매크로 블록의 율-왜곡 비용을 측정하는 단계;
    상기 수신된 매크로 블록의 율-왜곡 비용과 인접하는 매크로 블록의 율-왜곡 비용을 비교하여 검색 임계치를 결정하는 단계;
    상기 수신된 매크로 블록의 인터 모드(inter mode) 별 오차합을 측정하여 최소 오차합을 가지는 인터 모드를 결정하는 단계;
    상기 결정된 인터 모드의 최소 오차합과 상기 검색 임계치에 상응하여 인트라 모드(intra mode) 예측 검색을 결정하는 단계
    를 포함하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 방법.
  2. 제1항에 있어서,
    상기 인트라 모드 예측 검색을 결정하는 단계에서,
    상기 결정된 인터 모드의 최소 오차합이 상기 검색 임계치를 초과하는 경우에는 인트라 모드 예측 검색을 생략하는 것
    을 특징으로 하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 방법.
  3. 제1항에 있어서,
    상기 인트라 모드 예측 검색을 결정하는 단계에서,
    상기 결정된 인터 모드의 최소 오차합이 상기 검색 임계치보다 작거나 같은 경우에는 상기 최소 오차값을 가지는 인터 모드에 상응하여 인트라 모드를 예측 검색하는 것
    을 특징으로 하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 방법.
  4. 제3항에 있어서,
    상기 인트라 모드 예측 검색은
    상기 최소 오차합을 가지는 인터 모드가 16x16 일 경우에는 I16MB(Intra 16x16 Macro Block Luminance)의 DC(directionless) 모드 및 인트라 8x8 Chroma(Chrominance)의 DC 모드로 예측 검색하고 I4MB 모드는 생략하여 최적 인트라 모드를 예측 검색하는 단계
    를 더 포함하는 것을 특징으로 하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 방법.
  5. 제3항에 있어서,
    상기 최소 오차합을 가지는 인터 모드가 16x8 일 경우에는 I16MB의 DC 모드 및 HOR 모드, 인트라 8x8 Chroma의 DC 모드로 예측 검색하고 I4MB 모드는 생략하여 최적 인트라 모드를 예측 검색하는 단계
    를 더 포함하는 것을 특징으로 하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 방법.
  6. 제3항에 있어서,
    상기 최소 오차합을 가지는 인터 모드가 8x16 일 경우에는 I16MB의 DC 모드 및 VER 모드, 인트라 8x8 Chroma의 DC 모드로 예측 검색하고 I4MB 모드는 생략하여 최적 인트라 모드를 예측 검색하는 단계
    를 더 포함하는 것을 특징으로 하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 방법.
  7. 제3항에 있어서,
    상기 최소 오차합을 가지는 인터 모드가 8x8 서브-블록(sub-block) 일 경우에는 I16MB의 DC 모드, 인트라 8x8 Chroma의 DC 모드로 예측 검색하고 서브-블록 모드가 8x4 일 경우에는 I4MB의 DC 및 HOR 모드로 예측 검색하고, 서브-블록 모드가 8x8 및 4x4 중 어느 하나 일 경우에는 I4MB의 DC 모드로 예측 검색하고, 서브-블록 모드가 4x8 일 경우에는 I4MB의 DC 모드 및 VER 모드로 예측 검색하는 단계
    를 더 포함하는 것을 특징으로 하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 방법.
  8. 외부로부터 수신되는 비디오 신호 매크로 블록의 율-왜곡 비용을 측정하고, 상기 수신된 매크로 블록의 율-왜곡 비용과 인접하는 매크로 블록의 율-왜곡 비용을 비교하여 검색 임계치를 결정하는 임계치 결정부;
    상기 수신된 매크로 블록의 인터 모드(inter mode) 별 오차합을 측정하는 인터 모드 계산부;
    상기 측정된 인터 모드 별 오차합을 비교하여 최소 오차합을 가지는 최종 인터 모드를 결정하는 최종 인터 모드 결정부; 및
    상기 결정된 최종 인터 모드의 최소 오차합과 상기 검색 임계치에 상응하여 인트라 모드(intra mode) 예측 검색을 결정하는 인트라 모드 결정부
    를 포함하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 장치.
  9. 제8항에 있어서,
    상기 인트라 모드 결정부는
    상기 결정된 최종 인터 모드의 최소 오차합이 상기 검색 임계치를 초과하는 경우에는 상기 인트라 모드 예측 검색을 생략하는 것
    을 특징으로 하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 장치.
  10. 제8항에 있어서,
    상기 인트라 모드 결정부는
    상기 최소 오차값을 가지는 최종 인터 모드에 상응하여 인트라 모드를 예측 검색하는 인트라 모드 계산부
    를 더 포함하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 장치.
  11. 제10항에 있어서,
    상기 인트라 모드 계산부는
    I16MB의 DC 모드 및 인트라 8x8 Chroma의 DC 모드로 예측 검색하고 I4MB 모드는 생략하여 최적 인트라 모드를 예측 검색하는 16x16 인터 모드 검색 예측부
    를 더 포함하는 것을 특징으로 하는 실시간 비디오 압축을 위한 인 트라 모드 예측 검색 장치.
  12. 제10항에 있어서,
    상기 인트라 모드 계산부는
    I16MB의 DC 모드 및 HOR 모드, 인트라 8x8 Chroma의 DC 모드로 예측 검색하고 I4MB 모드는 생략하여 최적 인트라 모드를 예측 검색하는 16x8 인터 모드 검색 예측부
    를 더 포함하는 것을 특징으로 하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 장치.
  13. 제10항에 있어서,
    상기 인트라 모드 계산부는
    I16MB의 DC 모드 및 VER 모드, 인트라 8x8 Chroma의 DC 모드로 예측 검색하고 I4MB 모드는 생략하여 최적 인트라 모드를 예측 검색하는 8x16 인터 모드 검색 예측부
    를 더 포함하는 것을 특징으로 실시간 비디오 압축을 위한 인트라 모드 예측 검색 장치.
  14. 제10항에 있어서,
    상기 인트라 모드 계산부는
    I16MB의 DC 모드, 인트라 8x8 Chroma의 DC 모드, I4MB의 DC 및 HOR 모드, I4MB의 DC 모드, I4MB의 DC 모드 및 VER 모드 중 적어도 한 모드로 예측 검색하는 8x8 서브-블록(sub-block) 인터 모드 검색 예측부
    를 더 포함하는 것을 특징으로 하는 실시간 비디오 압축을 위한 인트라 모드 예측 검색 장치.
KR1020070064972A 2006-12-06 2007-06-29 실시간 비디오 신호 압축을 위한 인트라 모드 예측 검색방법 및 장치 KR100900316B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/950,718 US20080137743A1 (en) 2006-12-06 2007-12-05 Intra-mode predication search method and apparatus for compression of real-time video signal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060122870 2006-12-06
KR1020060122870 2006-12-06

Publications (2)

Publication Number Publication Date
KR20080052255A true KR20080052255A (ko) 2008-06-11
KR100900316B1 KR100900316B1 (ko) 2009-06-02

Family

ID=39807100

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070064972A KR100900316B1 (ko) 2006-12-06 2007-06-29 실시간 비디오 신호 압축을 위한 인트라 모드 예측 검색방법 및 장치

Country Status (1)

Country Link
KR (1) KR100900316B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101359496B1 (ko) * 2008-08-06 2014-02-11 에스케이 텔레콤주식회사 부호화 모드 결정 방법 및 장치와 그를 이용한 영상 부호화장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
KR100627329B1 (ko) * 2004-08-19 2006-09-25 전자부품연구원 Ｈ.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
KR100657277B1 (ko) * 2004-09-02 2006-12-14 삼성전자주식회사 매크로블록 타입 결정 방법
JP4529615B2 (ja) 2004-09-24 2010-08-25 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101359496B1 (ko) * 2008-08-06 2014-02-11 에스케이 텔레콤주식회사 부호화 모드 결정 방법 및 장치와 그를 이용한 영상 부호화장치

Also Published As

Publication number Publication date
KR100900316B1 (ko) 2009-06-02

Similar Documents

Publication Publication Date Title
KR101228651B1 (ko) 모션 추정을 수행하기 위한 방법 및 장치
KR100952340B1 (ko) 시공간적 복잡도를 이용한 부호화 모드 결정 방법 및 장치
KR100871588B1 (ko) 인트라 부호화 장치 및 그 방법
KR101210528B1 (ko) 인터 또는 인트라 모드에서 비디오 화상을 코딩하기 위한 방법 및 디바이스
KR101420957B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
US20110176614A1 (en) Image processing device and method, and program
KR101375664B1 (ko) 영상의 디퓨전 특성을 이용한 영상 부호화/복호화 방법 및장치
KR20070064598A (ko) 인터프레임에 대한 고속 모드 결정 방법 및 장치
KR20070090700A (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR20070005848A (ko) 인트라 예측 모드 결정 방법 및 장치
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
KR20110073263A (ko) 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치
KR20150099165A (ko) Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치
JP2006180298A (ja) 画像符号化制御方法及びその装置
US20080137743A1 (en) Intra-mode predication search method and apparatus for compression of real-time video signal
JP5649296B2 (ja) 画像符号化装置
KR100807330B1 (ko) Ｈ.264/ａｖｃ 인코더의 인트라 매크로블록 모드 스킵 방법
KR100771640B1 (ko) 고속 모드 결정 기능을 구비한 ｈ.２６４ 인코더
KR100900316B1 (ko) 실시간 비디오 신호 압축을 위한 인트라 모드 예측 검색방법 및 장치
KR20070077955A (ko) 인트라 예측 모드 결정 방법 및 장치
KR100771641B1 (ko) Ｈ.２６４ 고속 모드 결정 방법
KR100657277B1 (ko) 매크로블록 타입 결정 방법
KR101610029B1 (ko) 가변 크기 블록 매칭 기반의 모션 추정 방법 및 이를 이용한 비디오 인코딩 장치
KR101319916B1 (ko) 움직임 추정방법 및 장치, 및 이를 이용한 영상 부호화방법및 장치
KR101610028B1 (ko) 고속 모션 추정 방법 및 장치, 이를 이용한 비디오 인코딩 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee