KR101312647B1 - 부호화 모드 결정 장치, 영상 부호화 방법 및 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록매체 - Google Patents

부호화 모드 결정 장치, 영상 부호화 방법 및 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록매체 Download PDF

Info

Publication number
KR101312647B1
KR101312647B1 KR1020090018484A KR20090018484A KR101312647B1 KR 101312647 B1 KR101312647 B1 KR 101312647B1 KR 1020090018484 A KR1020090018484 A KR 1020090018484A KR 20090018484 A KR20090018484 A KR 20090018484A KR 101312647 B1 KR101312647 B1 KR 101312647B1
Authority
KR
South Korea
Prior art keywords
signal
encoding
cost
image
video
Prior art date
Application number
KR1020090018484A
Other languages
English (en)
Other versions
KR20100099911A (ko
Inventor
문재원
조남익
이상헌
Original Assignee
서울대학교산학협력단
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 에스케이텔레콤 주식회사 filed Critical 서울대학교산학협력단
Priority to KR1020090018484A priority Critical patent/KR101312647B1/ko
Publication of KR20100099911A publication Critical patent/KR20100099911A/ko
Application granted granted Critical
Publication of KR101312647B1 publication Critical patent/KR101312647B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 부호화 모드 결정 장치, 영상 부호화 방법 및 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
본 발명은 영상 신호를 디스플레이 신호로 변환하고 변환된 디스플레이 신호를 이용하여 부호화 비용을 계산하여 부호화 비용에 따라 부호화 모드를 결정하는 것을 특징으로 하는 부호화 모드 결정 장치를 제공한다.
본 발명에 의하면, 디스플레이 단에서 표시되지 않는 정보들을 전송하지 않게 함으로써 적은 전송량만으로도 디스플레이 단에서 동일한 화질을 얻을 수 있으며, 그를 통해 영상의 압축 성능을 향상시킬 뿐만 아니라 더욱 좋은 영상을 모바일 기기에서 표시할 수 있다.
영상, 부호화, 모드, 율-왜곡 비용, YUV, RGB 565

Description

부호화 모드 결정 장치, 영상 부호화 방법 및 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록매체{Encoding Mode Determination Apparatus, Video Encoding Method and Apparatus and Computer Readable Recording Medium Therefor}
본 발명은 부호화 모드 결정 장치, 영상 부호화 방법 및 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다. 더욱 상세하게는, 모바일 기기에서의 동영상 서비스의 화질을 개선하기 위해, 모바일 기기의 특성에 맞도록 영상을 부호화하는데 적합한 부호화 모드를 결정하고 그에 따라 영상을 부호화하는 방법 및 장치와 그를 위한 기록매체에 관한 것이다.
도 1은 통상적인 모바일 기기에서의 색 좌표계를 변환하는 과정을 나타낸 예시도이다.
모바일 기기들의 디스플레이 장치는 도 1에 도시한 바와 같이, 복호화기(Decoder)로부터 출력되는 YUV 신호를 RGB 신호로 변환하고, RGB 각 채널의 신호를 8 비트 그대로 디스플레이(Display)에 표시하지 않고, R 채널은 5 비트, G 채널은 6 비트, B 채널은 5 비트로 원 RGB 신호를 양자화해서 RGB 565라고 하는 정보로서 디스플레이에 표시한다. 따라서, 8 비트 신호들이 그대로 디스플레이된다고 가 정하고 있는 기존의 영상 부호화 방법에 의하여 전송되는 신호들 중 일부는 디스플레이 단에서 전혀 반영되지 않는 문제가 발생할 수 있다.
즉, 통상적인 영상 부호화 장치는 움직임 정보를 이용하여 영상의 각 블록을 예측한 후 원래의 블록과 예측된 블록 간의 차인 잔여 블록을 부호화하여 전송하고, 영상 복호화 장치는 부호화된 잔여 블록을 복호화하고 예측된 블록과 더하여 원래의 블록을 복원하는데, 이때 복원된 블록의 YUV 신호를 RGB 신호, RGB 565 신호로 차례로 변환할 경우, RGB 565 신호가 모두 사라지는 문제가 발생할 수 있다. 이와 같이, 디스플레이에서 표시되는 신호의 포맷을 고려하지 않고 기존의 영상 부호화 방법을 통해 영상을 부호화하면, 디스플레이에서 표시되지 않고 사라지는 불필요한 정보를 전송하는 경우가 발생하여 결국에는 부호화 효율을 저하하는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 디스플레이 단에서의 RGB 변환 특성을 고려하여 디스플레이 단에서는 표시되지 않는 정보들이 전송되는 것을 방지하고 그를 통해 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 부호화 모드를 결정하는 장치에 있어서, 영상 신호를 디스플레이 신호로 변환하는 신호 변환기; 변환된 디스플레이 신호를 이용하여 부호화 비용을 계산하는 비용 계산기; 및 부호화 비용에 따라 부 호화 모드를 결정하는 모드 결정기를 포함하는 것을 특징으로 하는 부호화 모드 결정 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 부호화 모드를 결정하는 방법에 있어서, 블록의 영상 신호를 디스플레이 신호로 변환하는 신호 변환 단계; 복수 개의 부호화 모드에 대해 변환된 디스플레이 신호를 이용하여 부호화 비용을 계산하는 비용 계산 단계; 및 복수 개의 부호화 모드 중 부호화 비용이 최소가 되는 부호화 모드를 블록의 부호화 모드로서 결정하는 모드 결정 단계를 포함하는 것을 특징으로 하는 부호화 모드 결정 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 블록의 영상 신호의 원래 신호 또는 잔여 신호를 변환 및 양자화하여 양자화 변환 계수를 발생하는 계수 발생기; 영상 신호를 디스플레이 신호로 변환하는 신호 변환기; 영상 신호를 이용하여 영상 신호 부호화 비용을 계산하고 변환된 디스플레이 신호를 이용하여 디스플레이 신호 부호화 비용을 계산하는 비용 계산기; 및 영상 신호 부호화 비용 및 디스플레이 신호 부호화 비용을 비교한 결과에 따라 양자화 변환 계수를 부호화하는 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 블록의 영상 신호의 원래 신호 또는 잔여 신호를 변환 및 양자화하여 양자화 변환 계수를 발생하는 계수 발생 단계; 영상 신호를 디스플레이 신호로 변환하는 신호 변환 단계; 영상 신호를 이용하여 영상 신호 부호화 비용을 계산하는 영상 신호 비 용 계산 단계; 변환된 디스플레이 신호를 이용하여 디스플레이 신호 부호화 비용을 계산하는 디스플레이 신호 비용 계산 단계; 및 영상 신호 부호화 비용이 디스플레이 신호 부호화 비용보다 작은 경우에만 양자화 변환 계수를 부호화하는 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 블록의 영상 신호의 원래 신호 또는 잔여 신호를 변환 및 양자화하여 양자화 변환 계수열을 발생하는 계수 발생기; 양자화 변환 계수열의 하나 이상의 양자화 변환 계수의 값을 변경하여 복수 개의 양자화 변환 계수열을 생성하는 계수 변경기; 영상 신호를 디스플레이 신호로 변환하는 신호 변환기; 복수 개의 양자화 변환 계수열 각각에 대해 변환된 디스플레이 신호를 이용하여 부호화 비용을 계산하는 비용 계산기; 및 복수 개의 양자화 변환 계수열 중 부호화 비용이 최소인 양자화 변환 계수열의 양자화 변환 계수를 부호화하는 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 블록의 영상 신호의 원래 신호 또는 잔여 신호를 변환 및 양자화하여 양자화 변환 계수열을 발생하는 계수열 발생 단계; 양자화 변환 계수열의 하나 이상의 양자화 변환 계수의 값을 변경하여 복수 개의 양자화 변환 계수열을 생성하는 계수열 변경 단계; 영상 신호를 디스플레이 신호로 변환하는 신호 변환 단계; 복수 개의 양자화 변환 계수열 각각에 대해 변환된 디스플레이 신호를 이용하여 부호화 비용을 계산하는 비용 계산 단계; 및 복수 개의 양자화 변환 계수열 중 부호화 비용이 최소인 양자화 변환 계수열의 양자화 변환 계수를 부호화하는 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 전술한 부호화 모드 결정 방법 및 영상 부호화 방법 중 어느 하나를 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 디스플레이 단에서 표시되지 않는 정보들을 전송하지 않게 함으로써 적은 전송량만으로도 디스플레이 단에서 동일한 화질을 얻을 수 있으며, 그를 통해 영상의 압축 성능을 향상시킬 뿐만 아니라 더욱 좋은 영상을 모바일 기기에서 표시할 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순 서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 2는 본 발명의 제 1 실시예에 따른 부호화 모드 결정 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 제 1 실시예에 따른 부호화 모드 결정 장치(Encoding Mode Determination Apparatus, 200)는 신호 변환기(Signal Transformaer, 210), 비용 계산기(Cost Calculator, 220) 및 모드 결정기(Mode Determiner, 230)를 포함하여 구성될 수 있다. 이러한 부호화 모드 결정 장치(200)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 부호화 모드를 결정하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다. 또한, 부호화 모드 결정 장치(200)는 전술한 예와 같이 독립적인 장치로 구현될 수도 있지만, 영상 부호화 장치와 같은 독립적인 장치 내의 일종의 하드웨어 또는 소프트웨어 모듈로서 구현되어 영상을 부호화기 위해 부호화 모드를 결정할 수도 있다.
신호 변환기(210)는 영상 신호(Picture Signal)를 디스플레이 신호(Display Signal)로 변환한다. 즉, 신호 변환기(210)는 영상을 부호화하거나 복호화하는 데 사용되는 신호인 YUV 신호, YCbCr 신호, RGB 신호 등의 영상 신호를 모바일 기기의 표시 장치(Display)에서 영상을 표시하기 위해 사용하는 신호인 RGB 565와 같은 디스플레이 신호로 변환한다. 따라서, 영상 신호는 YUV 신호 및 RGB 신호 중 하나일 수 있으며, 디스플레이 신호는 RGB 565 신호일 수 있다. 여기서, YUV 신호, YCbCr 신호, RGB 신호 등의 영상 신호를 RGB 565와 같은 디스플레이 신호로 변환하는 방법에 대해서는 본원발명의 기술분야의 전문가에게 자명하므로 상세한 설명은 생략한다.
비용 계산기(220)는 변환된 디스플레이 신호를 이용하여 부호화 비용(Encoding Cost)을 계산한다. 즉, 비용 계산기(220)는 기 설정된 복수 개의 부호화 모드(Encoding Mode)로 영상을 부호화할 때 소요되는 부호화 비용을 계산하는데, 이때 영상 신호를 이용하여 부호화 비용을 계산하는 것이 아니라 변환된 디스플레이 신호를 이용하여 부호화 비용을 계산한다. 여기서, 부호화 비용은 율-왜곡 비용(Rate-Distortion Cost)일 수 있는데, 반드시 이에 한정되는 것은 아니다. 여기서, 부호화 모드란 인트라 예측 모드 및 인터 예측 모드를 포함할 수 있으며, 더욱 세부적으로는 인트라 16x16 모드, 인트라 8x8 모드, 인트라 4x4 모드, 인터 16x16 모드, 인터 16x8 모드, 인터 8x16 모드, P8x8 모드(인터 8x8 모드, 인터 8x4 모드, 인터 4x8 모드, 인터 4x4 모드를 포함) 등을 포함할 수 있다.
모드 결정기(230)는 부호화 비용에 따라 부호화 모드를 결정한다. 즉, 모드 결정기(230)는 기 설정된 복수 개의 부호화 모드 중에서 비용 계산기(220)에서 계산된 부호화 비용에 따라 최종적인 블록의 부호화 모드를 결정하는데, 부호화 비용이 최소가 되는 부호화 모드를 최종적인 블록의 부호화 모드로서 결정할 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 3은 본 발명의 제 1 실시예에 따라 율-왜곡 최적화를 수행하는 과정을 설명하기 위한 예시도이다.
통상적으로 영상을 압축하는 성능이 뛰어난 것으로 알려져 있는 H.264/AVC의 경우 매크로블록을 여러 가지 종류의 파티션(Partition, 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4)으로 나누고, 파티션마다 서로 다른 움직임 벡터를 전송하는 기술을 사용한다. 이는 하나의 매크로블록 안에 서로 다른 움직임이 내재되어 있는 경우 압축 성능 향상에 크게 기여한다. 하나의 매크로블록마다 여러 가지 예측 방법이 존재하기 때문에 실제 압축했을 때, 어떤 예측 방법이 가장 효율적인가를 따져서 최적의 방법을 선택하여 예측하게 되고, 이를 율-왜곡 최적화(Rate-Distortion Optimization) 과정이라 부른다.
율-왜곡 최적화란 여러 가지 예측 방법에 대응하는 각 부호화 모드마다 발생하는 총 비트량과 부호화하여 다시 복호화하여 복원한 후의 복원 신호와 부호화하기 전의 원래의 신호 간의 차분 신호의 제곱합(SSD: Sum of Squared Difference, 이하 'SSD'라 칭함)을 이용하여 율-왜곡 비용(Rate-Distortion Cost)을 계산하고 그 값이 최소인 부호화 모드를 최종적인 부호화 모드로서 결정한다. 즉, 계산된 총 비트량을 율로서 이용하고 계산된 SSD를 왜곡으로서 이용하여 계산되는 율-왜곡 비 용을 이용한다.
여기서, SSD를 계산할 때, 통상적인 압축 기술에서는 도 3에 도시한 바와 같이, Y 신호, U 신호, V 신호 각각의 정보에 대하여 SSD을 왜곡값으로 계산하고 계산된 율값과 함께 이용하여 수학식 1과 같이 율-왜곡 비용을 계산한다.
Figure 112009013343401-pat00001
수학식 1에서 J는 율-왜곡 비용을 나타내며, D는 왜곡값을 나타내며, λ는 양자화 계수(QP: Quantization Parameter)에 의해 결정되는 상수이며, R은 율값을 나타낸다. 왜곡값 D는 수학식 1에서와 같이 Y 신호, U 신호, V 신호 각각에 대한 SSD으로 계산될 수 있다. Yorg는 Y 신호의 원래의 신호를 나타내며, Yrec는 Y 신호의 복원 신호를 나타내며, Uorg, Urec, Vorg, Vrec도 Y 신호와 마찬가지로 각 신호의 원래의 신호와 복원 신호를 나타낸다.
하지만, 수학식 1을 이용하여 율-왜곡 비용을 계산하면, 왜곡값이 YUV 신호와 같은 영상 신호 상에서의 왜곡값으로 계산되므로 RGB 565와 같은 디스플레이 신호로 표시되는 모바일 기기의 표시 장치와 같은 디스플레이에서의 왜곡과는 차이가 있을 수 있다. 즉, YUV 신호 상에서는 원래의 신호와 복원 신호 간의 차이가 커서 왜곡값이 커지고 결과적으로 율-왜곡 비용이 커질 수 있는데, RGB 565 신호 상에서는 복원 신호가 디스플레이되지 않기 때문에 원래의 신호와 복원 신호 간의 차이가 없는 것으로 계산되어 율-왜곡 비용이 작아질 수 있다.
따라서, 본 발명의 제 1 실시예에서는 모바일 기기 등의 표시 장치와 같이 압축되고 복원되는 영상 신호에 대한 정보보다 작은 정보를 가지는 디스플레이 신호로 영상을 표시하는 디스플레이의 특성을 고려하여, 3B에 도시한 바와 같이, YUV 신호, RGB 신호와 같은 영상 신호를 RGB 565 신호와 같은 디스플레이 신호로 변환시켜 왜곡값을 계산함으로써 수학식 2와 같이 율-왜곡 비용을 계산한다.
Figure 112009013343401-pat00002
수학식 2에서 J, D, λ, R 등은 수학식 1에서 설명한 바와 같다. 다만, R565org, R565rec, G565org, G565rec, B565org, R565rec는 RGB 565 신호의 원래의 신호와 복원 신호를 나타낸다.
수학식 2를 이용하여 모바일 기기의 실제 디스플레이에서 보여지는 왜곡값을 구하게 되고 결과적으로 YUV 신호에서 RGB 565 신호로 변환하는 과정에서 없어지는 신호에 대한 정보를 고려하여 율-왜곡 비용을 계산할 수 있다. 따라서, 이와 같이 계산된 율-왜곡 비용을 이용하여 부호화 모드를 결정하면, YUV 신호에서는 작은 왜곡값을 가지는 반면 많은 비트를 발생하는 부호화 모드들과 YUV 신호에서는 큰 왜곡값을 가지는 반면 적은 비트를 발생시키는 모드들 중 최적화된 하나의 모드를 효율적으로 선택할 수 있다.
예를 들어, 특정한 부호화 모드가 YUV 신호에서는 큰 왜곡값을 가지지만 RGB 565 신호에서는 다른 부호화 모드와 유사한 왜곡값을 가지고 다른 부호화 모드보다 발생하는 비트량이 적은 경우, YUV 신호를 이용하여 계산된 율-왜곡 비용에 따라 부호화 모드를 결정할 때보다 더 적은 비트량을 발생하는 부호화 모드가 결정될 확률이 높아지기 때문에 부호화를 통해 전송되는 비트량을 절감할 수 있다.
이상에서 전술한 바와 같이, 본 발명의 제 1 실시예에 따른 부호화 모드 결정 장치(200)는 율-왜곡 최적화를 이용하여 부호화 모드를 결정할 때, YUV 신호나 RGB 신호와 같은 영상 신호가 아닌 RGB 565 신호와 같은 디스플레이 신호를 이용하여 율-왜곡 최적화를 수행함으로써 부호화 모드를 결정한다. 이하에서는 부호화 모드 결정 장치(200)가 부호화 모드를 결정하는 방법을 도 4를 통해 설명한다.
도 4는 본 발명의 제 1 실시예에 따른 부호화 모드 결정 방법을 설명하기 위한 순서도이다.
부호화 모드 결정 장치(200)는 영상에서 부호화하고자 하는 픽처(Picture) 또는 슬라이스(Slice)의 블록이 입력되면, 블록의 영상 신호를 디스플레이 신호로 변환하고(S410), 기 설정된 복수 개의 부호화 모드에 대해 변환된 디스플레이 신호를 이용하여 부호화 비용을 계산하며(S420), 복수 개의 부호화 모드 중 부호화 비용이 최소가 되는 부호화 모드를 블록의 부호화 모드로서 결정한다(S430).
단계 S420에서 디스플레이 신호를 이용하여 부호화 비용을 계산하는 것에 대해서는 도 2 및 도 3과 수학식 2를 통해 전술하였으므로, 상세한 설명은 생략한다. 또한, 단계 S430에서는 부호화 비용이 최소가 되는 부호화 모드를 블록의 부호화 모드로서 결정하는 것으로 설명했지만, 반드시 이에 한정되지 않고 부호화 비용에 따라 다르게 결정될 수 있다. 또한, 도 4에 도시하고 설명한 각 단계의 순서는 예시적인 것일 뿐, 각 단계의 일부 또는 전부의 순서는 구현 방식에 따라 선택적으로 변경될 수 있을 뿐만 아니라, 병행적으로 수행될 수도 있을 것이다.
한편, 기존의 통상적인 영상 부호화 장치는 비트율 제어기(Bitrate Controller)에서 결정한 양자화 간격(Quantization Step)에 따라 원래 신호 또는 잔여 신호를 이산 여현 변환(Ddiscrete Cosine Transform) 등의 변환을 수행하고 양자화한다. 그리고 통상적인 영상 부호화 장치는 양자화 후에 발생하는 양자화 변환 계수들 중 '0'이 아닌 계수들을 엔트로피 부호화 등의 기법을 통해 부호화하여 비트스트림으로 생성한 후 영상 복호화 장치로 전송한다.
하지만, 영상 복호화 장치에서 YUV 신호가 RGB 신호로 변환되고 다시 RGB 565 신호로 변환되는 점을 고려할 때, 전송되는 '0'이 아닌 양자화 변환 계수 중 일부는 실제의 모바일 기기의 표시 장치에 표시되는 영상에 아무런 영향을 미치지 못할 가능성이 있다. 따라서, 아무런 영향을 미치지 않는 계수들을 부호화하여 전송하는 것은 영상 부호화 장치의 시스템 자원을 불필요하게 낭비하는 것이며, 무선 매체를 통해 데이터를 전송하는 모바일 기기의 특성상 불필요한 데이터의 전송은 서비스의 품질을 저하시키는 원인이 될 뿐만 아니라, 영상 복호화 장치에서도 불필요하게 크기가 큰 데이터를 저장하고 처리해야 하므로, 전체적인 압축 효율이 저하된다.
따라서, 본 발명의 제 2 실시예에서는 '0'이 아닌 양자화 변환 계수가 발생 한 경우, RGB 565 신호로 변환했을 때 의미가 있는 계수인지 여부를 판단하여 의미가 있는 계수만을 부호화하고 전송한다.
도 5는 본 발명의 제 2 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 제 2 실시예에 따른 영상 부호화 장치(Video Encoding Apparatus, 500)는 계수 발생기(Coefficient Generator, 510), 신호 변환기(Signal Transformer, 520), 비용 계산기(Cost Calculator, 530) 및 부호화기(Encoder, 540)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(500)는 개인용 컴퓨터, 노트북 컴퓨터, 개인 휴대 단말기, 휴대형 멀티미디어 플레이어, 플레이스테이션 포터블, 이동통신 단말기 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
계수 발생기(510)는 블록의 영상 신호의 원래 신호(Original Signal) 또는 잔여 신호(Residual Signal)를 변환(Transform) 및 양자화(Quantization)하여 양자화 변환 계수(Quantized Transform Coefficient)를 발생시킨다. 즉, 계수 발생기(510)는 영상에서 부호화하고자 하는 픽처 또는 슬라이스의 해당 블록이 입력되면 블록의 영상 신호를 그대로 변환 및 양자화하거나 블록의 영상 신호의 원래 신호와 그를 예측한 예측 신호 간의 차이인 잔여 신호를 변환 및 양자화하여 양자화 변환 계수를 발생시킨다. 여기서, 영상 신호의 원래 신호를 예측하는 방식은 인트 라 예측(Intra Prediction)과 인터 예측(Inter Prediction) 등 다양한 방식이 있을 수 있는데, 이러한 방식은 도 2를 통해 전술한 부호화 모드 결정 장치(200)에 의해 결정된 부호화 모드에 따를 수 있다. 따라서, 계수 발생기(510)는 부호화 모드 결정 장치(200)를 구성 요소로서 포함할 수 있다.
신호 변환기(520)는 영상 신호를 디스플레이 신호로 변환한다. 여기서, 영상 신호는 YUV 신호 및 RGB 신호 중 하나일 수 있고, 디스플레이 신호는 RGB 565 신호일 수 있다.
비용 계산기(530)는 영상 신호를 이용하여 영상 신호 부호화 비용을 계산하고 변환된 디스플레이 신호를 이용하여 디스플레이 신호 부호화 비용을 계산한다. 여기서, 영상 신호 부호화 비용은 부호화 정보를 부호화하고 양자화 변환 계수를 부호화하는 데 소요되는 비트량을 이용하여 계산되는 율-왜곡 비용이며, 디스플레이 신호 부호화 비용은 부호화 정보를 부호화하는 데 소요되는 비트량을 이용하여 계산되는 율-왜곡 비용일 수 있다.
부호화 정보란 영상 신호를 부호화하는 과정에서 양자화 변환 계수를 제외한 나머지 모든 정보를 말하며, 영상 복호화 장치가 부호화된 양자화 변환 계수를 복호화하여 영상 신호를 복원하는 데 필요한 정보를 말한다. 예를 들어, 양자화 변환 계수가 영상 신호의 원래 신호를 예측하여 생성되는 잔여 신호가 변환 및 양자화된 것이라며, 원래 신호를 예측할 때 이용한 부호화 모드에 대한 정보, 인트라 예측을 수행한 경우에는 인트라 예측 모드에 대한 정보, 인터 예측을 수행한 경우에는 인터 예측 모드에 대한 정보와 예측에 이용한 움직임 벡터에 대한 정보, 양자화 계수 에 대한 정보 등일 수 있다.
영상 신호 부호화 비용은 수학식 3을 이용하여 계산될 수 있으며, 디스플레이 신호 부호화 비용은 수학식 4를 이용하여 계산될 수 있다.
Figure 112009013343401-pat00003
수학식 3에서, D는 왜곡값인 SSD를 나타내며, SSD(Sorg, Srec)는 YUV 신호와 같은 영상 신호의 원래 신호와 복원 신호의 SSD를 나타내며, R은 율값을 나타내는데, Rmotion은 움직임 벡터와 같이 예측하는 데 필요한 움직임 정보를 부호화하는 데 소요되는 비트량을 나타내며, Rresidual은 양자화 변환 계수를 부호화하는 데 소요되는 비트량을 나타낸다.
Figure 112009013343401-pat00004
수학식 4에서, D는 왜고값인 SSD를 나타내며, SSD(S565org, S565pred)는 RGB 565 신호와 같은 디스플레이 신호의 원래 신호와 원래의 신호를 예측한 예측 신호 의 SSD를 나타내며, R은 율값을 나타내는데, Rmotion은 움직임 벡터와 같이 예측하는 데 필요한 움직임 정보를 부호화하는 데 소요되는 비트량을 나타낸다.
수학식 3과 수학식 4에서, Rmotion은 부호화 정보로서 움직임 정보를 부호화하는 데 소요되는 비트량을 예를 들어 나타낸 것일 뿐, 예측 모드에 대한 정보 등 다른 다양한 정보를 부호화하는 데 소요되는 비트량을 더 포함할 수 있다.
수학식 3을 통해 알 수 있듯이, 영상 신호 부호화 비용의 왜곡값은 영상 신호의 원래 신호와 복원 신호 간의 SSD로 계산되고, 율값은 양자화 변환 계수뿐만 아니라 부호화 정보를 부호화하는 데 소요되는 비트량으로 계산된다. 또한, 수학식 4를 통해 알 수 있듯이, 디스플레이 신호 부호화 비용의 왜곡값은 디스플레이 신호의 원래 신호와 예측 신호 간의 SSD로 계산되고, 율값은 부호화 정보만을 부호화하는 데 소요되는 비트량으로 계산된다.
부호화기(540)는 영상 신호 부호화 비용 및 디스플레이 신호 부호화 비용을 비교한 결과에 따라 양자화 변환 계수를 부호화한다. 여기서, 부호화기(540)는 영상 신호 부호화 비용이 디스플레이 신호 부호화 비용보다 작은 경우에만 양자화 변환 계수를 부호화하고, 영상 신호 부호화 비용이 디스플레이 신호 부호화 비용보다 크거나 같은 경우에는 양자화 변환 계수를 부호화하지 않는다.
예를 들어, 영상 신호 부호화 비용이 디스플레이 신호 부호화 비용보다 작은 경우에는 '0'이 아닌 양자화 변환 계수를 부호화하여 전송하는 것이 비트량이 커지더라도 전체적인 율-왜곡 비용을 감소시키므로 압축 효율을 향상시키지만, 영상 신 호 부호화 비용이 디스플레이 신호 부호화 비용보다 크거나 같다면 '0'이 아닌 양자화 변환 계수를 부호화하여 전송하는 것이 비트량을 증가시켜서 전체적인 율-왜곡 비용을 증가시키므로 '0'이 아닌 양자화 변환 계수를 부호화하지 않음으로써 압축 효율을 향상시킨다. 즉, '0'이 아닌 양자화 변환 계수를 부호화하여 전송하는 경우 비트량이 증가하기 때문에, RGB 565와 같이 디스플레이 신호로 변환된 후 왜곡값이 크게 증가하지 않는다면, '0'이 아닌 양자화 변환 계수를 부호화지 않고 전송하지 않는 것이 압축 효율을 향상시킬 수 있다.
도 6은 본 발명의 제 2 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(500)는 블록의 영상 신호의 원래 신호 또는 잔여 신호를 변환 및 양자화하여 양자화 변환 계수를 생성한다(S610). 영상 부호화 장치(500)는 양자화 변환 계수 중 하나 이상이 '0'이 아닌지 여부를 판단하여(S620), 하나 이상이 '0'이 아니지 않은 경우 즉, 모든 양자화 변환 계수가 '0'인 경우에는 양자화 변환 계수를 전송할 필요가 없으므로 부호화를 종료하고, 하나 이상이 '0'이 아닌 경우에는 '0'이 아닌 양자화 변환 계수를 부호화하여 전송할지 여부를 결정하기 위해, 영상 신호를 디스플레이 신호로 변환한다(S630).
또한, 영상 부호화 장치(500)는 영상 신호를 이용하여 영상 신호 부호화 비용을 계산하고(S640), 변환된 디스플레이 신호를 이용하여 디스플레이 신호 부호화 비용을 계산하여(S650), 영상 신호 부호화 비용과 디스플레이 신호 부호화 비용을 비교함으로써 영상 신호 부호화 비용이 디스플레이 신호 부호화 비용보다 작은지 여부를 판단하여(S660), 영상 신호 부호화 비용이 디스플레이 신호 부호화 비용보다 작은 경우에만 '0'이 아닌 양자화 변환 계수를 부호화하고(S670), 영상 신호 부호화 비용이 디스플레이 신호 부호화 비용보다 크거나 같은 경우에는 '0'이 아닌 양자화 변환 계수를 전송할 필요가 없으므로 부호화하지 않고 부호화 과정을 종료한다.
즉, 영상 부호화 장치(500)는 블록의 영상 신호의 원래 신호 또는 잔여 신호를 변환 및 양자화하여 양자화 변환 계수를 발생시키고, 영상 신호를 디스플레이 신호로 변환하며, 영상 신호를 이용하여 영상 신호 부호화 비용을 계산하고 변환된 디스플레이 신호를 이용하여 디스플레이 신호 부호화 비용을 계산하며, 영상 신호 부호화 비용이 디스플레이 신호 부호화 비용보다 작은 경우에만 양자화 변환 계수를 부호화함으로써 압축 효율을 향상시킨다. 이때, 영상 부호화 장치(500)는 양자화 변환 계수 중 하나 이상이 '0'이 아닌지 여부를 미리 판단하여 모두 '0'인 경우에는 어차피 양자화 변환 계수가 부호화되지 않으므로, 하나 이상이 '0'이 아닌 경우에만 이러한 방법을 수행할 수 있다.
여기서, 도 6에 도시하고 설명한 각 단계의 순서는 예시적인 것일 뿐, 각 단계의 일부 또는 전부의 순서는 구현 방식에 따라 선택적으로 변경될 수 있을 뿐만 아니라, 병행적으로 수행될 수도 있을 것이다.
또한, 전술한 제 2 실시예에서와 같이, '0'이 아닌 양자화 변환 계수가 발생한 경우, RGB 565 신호로 변환했을 때 의미가 있는 계수인지 여부를 판단하여 의미가 있는 계수만을 부호화하고 전송할 수도 있지만, 후술할 제 3 실시예와 같이, 양 자화 변환 계수를 모두 '0'으로 만들지 않고 일부의 양자화 변환 계수만 '0'으로 만들어 '0'이 아닌 양자화 변환 계수의 개수를 줄이거나 '0'이 아닌 양자화 변환 계수의 크기를 감소시켜 부호화에 따른 비트량을 줄일 수도 있다.
도 7은 본 발명의 제 3 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 제 3 실시예에 따른 영상 부호화 장치(700)는 계수 발생기(710), 계수 변경기(720), 신호 변환기(730), 비용 계산기(740) 및 부호화기(750)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(700)는 도 5를 통해 전술한 영상 부호화 장치(500)와 같은 다양한 컴퓨터 등으로 구현될 수 있다.
계수 발생기(710)와 신호 변환기(730)는 도 5를 통해 전술한 계수 발생기(510)와 신호 변환기(520)와 그 기능 및 역할이 동일 또는 유사하므로 상세한 설명은 생략한다.
계수 변경기(720)는 계수 발생기(710)에 의해 발생되는 양자화 변환 계수열의 하나 이상의 양자화 변환 계수의 값을 변경하여 복수 개의 양자화 변환 계수열을 생성한다. 즉, 계수 변경기(720)는 계수 발생기(710)에 의해 양자화 변환 계수열이 발생되면, 양자화 변환 계수열의 하나 이상의 양자화 변환 계수의 값을 감소시켜 변경한 개수만큼의 복수 개의 양자화 변환 계수열을 생성한다. 이와 같이, 생성되는 복수 개의 양자화 변환 계수열은 비용 계산기(740)로 출력된다.
여기서, 계수 변경기는 양자화 변환 계수열의 하나 이상의 양자화 변환 계수의 값을 감소시키도록 변경할 수 있는데, 양자화 변환 계수열 내에서 '0'이 아닌 양자화 변환 계수 모두를 감소시킬 수도 있지만, 양자화 변환 계수열의 고주파 성분의 양자화 변환 계수부터 차례로 값을 감소시켜 양자화 변환 계수열을 생성할 수 있다.
비용 계산기(740)는 복수 개의 양자화 변환 계수열 각각에 대해 변환된 디스플레이 신호를 이용하여 부호화 비용을 계산한다. 즉, 비용 계산기(740)는 신호 변환기(730)에 의해 변환된 RGB 565 신호와 같은 디스플레이 신호를 이용하여 계수 변경기(720)로부터 출력되는 복수 개의 양자화 변환 계수열에 대해 부호화 비용을 계산한다.
여기서, 영상 신호는 YUV 신호 및 RGB 신호 중 하나일 수 있으며, 디스플레이 신호는 RGB 565 신호일 수 있다. 또한, 부호화 비용은 율-왜곡 비용일 수 있는데, 그 구현 방식에 따라 수학식 2를 이용하여 계산될 수도 있고, 수학식 4를 이용하여 계산될 수도 있다.
일 예로, 양자화 변환 계수열의 양자화 변환 계수 중에서 3 개의 양자화 변환 계수만이 '0'이 아니고 나머지 양자화 변환 계수는 모두 '0'이며, 그 계수열이 (3,1,1,0,0,…,0)이라고 가정하면, '0'이 아닌 모든 양자화 변환 계수, 3, 1, 1 중 하나 이상을 '1'씩 감소시켜 생성할 수 있는 복수 개의 양자화 변환 계수열은 (3,1,1,0,0,…,0), (3,1,0,0,0,…,0), (3,0,1,0,0,…,0), (3,0,0,0,0,…,0) (2,1,1,0,0,…,0), (2,1,0,0,0,…,0), (2,0,1,0,0,…,0), (2,0,0,0,0,…,0), (1,1,1,0,0,…,0), (1,1,0,0,0,…,0), (1,0,1,0,0,…,0), (1,0,0,0,0,…,0), (0,1,1,0,0,…,0), (0,1,0,0,0,…,0), (0,0,1,0,0,…,0), (0,0,0,0,0,…,0)로 생성 될 수 있다. 따라서, 이 경우, 계수 변경기(720)는 16 개의 양자화 변환 계수열을 출력하고, 비용 계산기(740)는 신호 변환기(730)에서 변환된 디스플레이 신호를 이용하여 16 개의 양자화 변환 계수열 각각에 대해 율-왜곡 비용을 계산하며, 부호화기(750)는 16 개의 양자화 변환 계수열 중 율-왜곡 비용이 최소인 양자화 변환 계수열을 부호화하여 출력한다.
다른 예로, 전술한 예와 동일한 가정하에서, '0'이 아닌 양자화 변환 계수 중 고주파 성분의 양자화 변환 계수부터 차례로 값을 감소시켜 양자화 변환 계수열을 생성하면, (3,1,1,0,0,…,0), (3,1,0,0,0,…,0), (3,0,0,0,0,…,0), (2,0,0,0,0,…,0), (1,0,0,0,0,…,0), (0,0,0,0,0,…,0)의 6 개의 양자화 변환 계수열이 생성될 수 있다. 따라서, 이 경우, 계수 변경기(720)는 6 개의 양자화 변환 계수열을 출력하고, 비용 계산기(740)는 신호 변환기(730)에서 변환된 디스플레이 신호를 이용하여 6 개의 양자화 변환 계수열 각각에 대해 율-왜곡 비용을 계산하며, 부호화기(750)는 66 개의 양자화 변환 계수열 중 율-왜곡 비용이 최소인 양자화 변환 계수열을 부호화하여 출력한다.
전술한 일 예와 같이, '0'이 아닌 모든 양자화 변환 계수들의 값을 변경하여 생성되는 모든 양자화 변환 계수열에 대해 부호화 비용을 계산하고 각 부호화 비용을 비교하여 최소인 부호화 비용을 가지는 양자화 변환 계수열을 결정하면, 계산량이 증가하여 압축 성능이 저하될 수 있다. 따라서, 다른 예와 같이, '0'이 아닌 양자화 변환 계수들 중에서 고주파 성분의 양자화 변환 계수부터 차례로 값을 감소시켜 나가면 생성되는 양자화 변환 계수열의 개수를 줄여 계산량을 줄일 수 있으며, 부호화 비용이 적은 양자화 변환 계수열을 생성할 확률을 높일 수 있다.
이와 같이, 본 발명의 제 3 실시예에 따르면, 생성되는 양자화 변환 계수들의 특정 주파수 성분의 에너지를 감소시켰을 때, RGB 565 신호에서의 왜곡값에 큰 영향을 미치지 않는다면 더 적은 비트량을 전송하여도 디스플레이에서 동일한 화질을 구할 수 있기 때문에 전체적인 부호화 효율이 증가하고 그에 따라 압축 성능을 향상시킬 수 있다.
도 8은 본 발명의 제 3 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(700)는 부호화하고자 하는 영상의 픽처 또는 슬라이스의 블록이 입력되면, 블록의 영상 신호의 원래 신호 또는 잔여 신호를 변환 및 양자화하여 양자화 변환 계수열을 발생시키고(S810), 양자화 변환 계수열 중 하나 이상이 '0'이 아닌지 여부를 판단하여 모두 '0'인 경우에는 부호화하지 않아도 되므로 부호화 과정을 종료하고, 하나 이상이 '0'이 아닌 경우에는 양자화 변환 계수열의 하나 이상의 양자화 변환 계수의 값을 변경하여 복수 개의 양자화 변환 계수열을 생성한다(S830).
또한, 영상 부호화 장치(700)는 영상 신호를 디스플레이 신호로 변환하고(S840), 복수 개의 양자화 변환 계수열 각각에 대해 변환된 디스플레이 신호를 이용하여 부호화 비용을 계산하여(S850), 복수 개의 양자화 변환 계수열 중 부호화 비용이 최소인 양자화 변환 계수열의 양자화 변환 계수를 부호화한다(S860). 이와 같이 부호화된 영상은 비트스트림으로 출력된 영상 복호화 장치로 저장 매체를 통 해 전달되거나 또는 전송 매체를 통해 전송되어 영상 복호화 장치에서 복호화되어 디스플레이에 복원된 영상이 출력된다.
즉, 영상 부호화 장치(700)는 블록의 영상 신호의 원래 신호 또는 잔여 신호를 변환 및 양자화하여 양자화 변환 계수를 발생시키고, 양자화 변환 계수열의 하나 이상의 양자화 변환 계수의 값을 변경하여 복수 개의 양자화 변환 계수열을 생성하며, 영상 신호를 디스플레이 신호로 변환하고 복수 개의 양자화 변환 계수열 각각에 대해 변환된 디스플레이 신호를 이용하여 부호화 비용을 계산하여 복수 개의 양자화 변환 계수열 중 부호화 비용이 최소인 양자화 변환 계수열의 양자화 변환 계수를 부호화하여 비트스트림으로 출력한다. 이때, 영상 부호화 장치(700)는 양자화 변환 계수 중 하나 이상이 '0'이 아닌지 여부를 미리 판단하여 모두 '0'인 경우에는 양자화 변환 계수가 부호화되지 않으므로, 하나 이상이 '0'이 아닌 경우에만 이러한 방법을 수행할 수 있다.
도 8에 도시하고 설명한 각 단계의 순서는 예시적인 것일 뿐, 각 단계의 일부 또는 전부의 순서는 구현 방식에 따라 선택적으로 변경될 수 있을 뿐만 아니라, 병행적으로 수행될 수도 있을 것이다.
또한, 이상에서 도 4, 도 6 및 도 8을 통해 전술한 부호화 모드 결정 방법 및 영상 부호화 방법은 부호화 모드 결정 프로그램 또는 영상 부호화 프로그램에 의해 실현될 수 있는데, 부호화 모드 결정 프로그램 또는 영상 부호화 프로그램은 도 2, 도 5 및 도 7을 통해 전술한 바와 같은, 부호화 모드 결정 장치(200), 영상 부호화 장치(500, 700)와 같은 컴퓨터 등에 구비되는 메모리와 같은 기록매체에 저 장되며, 컴퓨터에 의해 읽혀지고 실행될 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어 와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 모바일 기기에서의 동영상 서비스의 화질을 개선하기 위해, 모바일 기기의 특성에 맞도록 영상을 부호화하는 영상 처리 분야에 적용되어, 디스플레이 단에서 표시되지 않는 정보들을 전송하지 않게 함으로써 적은 전송량만으로도 디스플레이 단에서 동일한 화질을 얻을 수 있으며, 그를 통해 영상의 압축 성능을 향상시킬 뿐만 아니라 더욱 좋은 영상을 모바일 기기에서 표시할 수 있는 효과를 발생하는 매우 유용한 발명이다.
도 1은 통상적인 모바일 기기에서의 색 좌표계를 변환하는 과정을 나타낸 예시도,
도 2는 본 발명의 제 1 실시예에 따른 부호화 모드 결정 장치를 간략하게 나타낸 블록 구성도,
도 3은 본 발명의 제 1 실시예에 따라 율-왜곡 최적화를 수행하는 과정을 설명하기 위한 예시도,
도 4는 본 발명의 제 1 실시예에 따른 부호화 모드 결정 방법을 설명하기 위한 순서도,
도 5는 본 발명의 제 2 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 6은 본 발명의 제 2 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 7은 본 발명의 제 3 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 8은 본 발명의 제 3 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
210: 신호 변환기 220: 비용 계산기
230: 모드 결정기 510: 계수 발생기
540: 부호화기 720: 계수 변경기

Claims (18)

  1. 부호화 모드를 결정하는 장치에 있어서,
    영상 신호를 영상 복호화 장치가 디스플레이 가능한 신호인 디스플레이 신호로 변환하는 신호 변환기;
    복수 개의 부호화 모드에 대해 상기 디스플레이 신호에 대한 복원된 디스플레이 신호의 왜곡 값, 및 상기 영상 신호에 대한 율값에 따라 부호화 비용을 계산하는 비용 계산기; 및
    상기 복수 개의 부호화 모드 중 상기 부호화 비용이 최소가 되는 부호화 모드를 상기 영상 신호의 부호화 모드로서 결정하는 모드 결정기
    를 포함하는 것을 특징으로 하는 부호화 모드 결정 장치.
  2. 제 1 항에 있어서,
    상기 영상 신호는 YUV 신호 및 RGB 신호 중 하나이고, 상기 디스플레이 신호는 RGB 565 신호인 것을 특징으로 하는 부호화 모드 결정 장치.
  3. 삭제
  4. 부호화 모드를 결정하는 방법에 있어서,
    블록의 영상 신호를 영상 복호화 장치가 디스플레이 가능한 신호인 디스플레이 신호로 변환하는 신호 변환 단계;
    복수 개의 부호화 모드에 대해 상기 디스플레이 신호에 대한 복원된 디스플레이 신호의 왜곡 값, 및 상기 영상 신호에 대한 율값에 따라 부호화 비용을 계산하는 비용 계산 단계; 및
    상기 복수 개의 부호화 모드 중 상기 부호화 비용이 최소가 되는 부호화 모드를 상기 블록의 부호화 모드로서 결정하는 모드 결정 단계
    를 포함하는 것을 특징으로 하는 부호화 모드 결정 방법.
  5. 영상을 부호화하는 장치에 있어서,
    블록의 영상 신호의 원래 신호 또는 잔여 신호를 변환 및 양자화하여 양자화 변환 계수를 발생하는 계수 발생기;
    상기 영상 신호를 영상 복호화 장치가 디스플레이 가능한 신호인 디스플레이 신호로 변환하는 신호 변환기;
    상기 영상 신호에 대한 복원된 영상신호의 왜곡값과, 상기 양자화 변환계수 및 부호화 정보를 부호화하는 율값을 이용하여 영상 신호 부호화 비용을 계산하고 상기 디스플레이 신호에 대한 상기 디스플레이 신호의 예측신호의 왜곡값과, 상기 부호화 정보를 부호화하는 율값을 이용하여 디스플레이 신호 부호화 비용을 계산하는 비용 계산기; 및
    상기 영상 신호 부호화 비용 및 상기 디스플레이 신호 부호화 비용을 비교한 결과 상기 영상 신호 부호화 비용이 상기 디스플레이 신호 부호화 비용보다 작은 경우에 상기 양자화 변환 계수를 부호화하여 상기 영상 복호화 장치에게 전송하는 부호화기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 5 항에 있어서,
    상기 영상 신호는 YUV 신호 및 RGB 신호 중 하나이고, 상기 디스플레이 신호는 RGB 565 신호인 것을 특징으로 하는 영상 부호화 장치.
  7. 삭제
  8. 삭제
  9. 영상을 부호화하는 방법에 있어서,
    블록의 영상 신호의 원래 신호 또는 잔여 신호를 변환 및 양자화하여 양자화 변환 계수를 발생하는 계수 발생 단계;
    상기 영상 신호를 영상 복호화 장치가 디스플레이 가능한 신호인 디스플레이 신호로 변환하는 신호 변환 단계;
    상기 영상 신호에 대한 복원된 영상신호의 왜곡값과, 상기 양자화 변환계수 및 부호화 정보를 부호화하는 율값을 이용하여 영상 신호 부호화 비용을 계산하는 영상 신호 비용 계산 단계;
    상기 디스플레이 신호에 대한 상기 디스플레이 신호의 예측신호의 왜곡값과, 상기 부호화 정보를 부호화하는 율값을 이용하여 디스플레이 신호 부호화 비용을 계산하는 디스플레이 신호 비용 계산 단계; 및
    상기 영상 신호 부호화 비용이 상기 디스플레이 신호 부호화 비용보다 작은 경우에 상기 양자화 변환 계수를 부호화하여 상기 영상 복호화 장치에게 전송하는 부호화 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제 9 항에 있어서, 상기 영상 부호화 방법은,
    상기 양자화 변환 계수 중 하나 이상이 '0'이 아닌지 여부를 판단하는 단계를 추가로 포함하되, 상기 신호 변환 단계, 상기 영상 신호 비용 계산 단계, 상기 디스플레이 신호 비용 계산 단계 및 상기 부호화 단계는 상기 양자화 변환 계수 중 하나 이상이 '0'이 아닌 경우에만 수행되는 것을 특징으로 하는 영상 부호화 방법.
  11. 영상을 부호화하는 장치에 있어서,
    블록의 영상 신호의 원래 신호 또는 잔여 신호를 변환 및 양자화하여 양자화 변환 계수열을 발생하는 계수 발생기;
    상기 양자화 변환 계수열의 '0'이 아닌 하나 이상의 양자화 변환 계수의 값을 변경하되 서로 다른 조합의 계수값을 갖도록 변경된 복수 개의 양자화 변환 계수열을 생성하는 계수 변경기;
    상기 영상 신호를 영상 복호화 장치가 디스플레이 가능한 신호인 디스플레이 신호로 변환하는 신호 변환기;
    상기 변경된 복수 개의 양자화 변환 계수열 각각에 대해 상기 디스플레이 신호를 이용하여 부호화 비용을 계산하는 비용 계산기; 및
    상기 변경된 복수 개의 양자화 변환 계수열 중 부호화 비용이 최소인 계수열을 부호화하여 상기 영상 복호화 장치에게 전송하는 부호화기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  12. 제 11 항에 있어서,
    상기 영상 신호는 YUV 신호 및 RGB 신호 중 하나이고, 상기 디스플레이 신호는 RGB 565 신호인 것을 특징으로 하는 영상 부호화 장치.
  13. 제 11 항에 있어서, 상기 부호화 비용은,
    율-왜곡 비용인 것을 특징으로 하는 영상 부호화 장치.
  14. 제 11 항에 있어서, 상기 계수 변경기는,
    상기 양자화 변환 계수열의 '0'이 아닌 하나 이상의 양자화 변환 계수의 값을 감소시키는 것을 특징으로 하는 영상 부호화 장치.
  15. 제 11 항에 있어서, 상기 계수 변경기는,
    상기 양자화 변환 계수열의 고주파 성분의 양자화 변환 계수부터 차례로 하나 이상의 값을 1씩 감소시켜 상기 변경된 복수 개의 양자화 변환 계수열을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  16. 영상을 부호화하는 방법에 있어서,
    블록의 영상 신호의 원래 신호 또는 잔여 신호를 변환 및 양자화하여 양자화 변환 계수열을 발생하는 계수열 발생 단계;
    상기 양자화 변환 계수열의 '0'이 아닌 하나 이상의 양자화 변환 계수의 값을 변경하되 서로 다른 조합의 변환계수 값을 갖도록 변경된 복수 개의 양자화 변환 계수열을 생성하는 계수열 변경 단계;
    상기 영상 신호를 영상 복호화 장치가 디스플레이 가능한 신호인 디스플레이 신호로 변환하는 신호 변환 단계;
    상기 변경된 복수 개의 양자화 변환 계수열 각각에 대해 상기 디스플레이 신호를 이용하여 부호화 비용을 계산하는 비용 계산 단계; 및
    상기 변경된 복수 개의 양자화 변환 계수열 중 부호화 비용이 최소인 계수열을 부호화하여 상기 영상 복호화 장치에게 전송하는 부호화 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  17. 제 16 항에 있어서, 상기 영상 부호화 방법은,
    상기 양자화 변환 계수열의 양자화 변환 계수 중 하나 이상이 '0'이 아닌지 여부를 판단하는 단계를 추가로 포함하되, 상기 계수열 변경 단계, 상기 신호 변환 단계, 상기 비용 계산 단계 및 상기 부호화 단계는 상기 양자화 변환 계수 중 하나 이상이 '0'이 아닌 경우에만 수행되는 것을 특징으로 하는 영상 부호화 방법.
  18. 제 4 항, 제 9 항, 제 10 항, 제 16 항 및 제 17 항 중 어느 한 항의 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020090018484A 2009-03-04 2009-03-04 부호화 모드 결정 장치, 영상 부호화 방법 및 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록매체 KR101312647B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090018484A KR101312647B1 (ko) 2009-03-04 2009-03-04 부호화 모드 결정 장치, 영상 부호화 방법 및 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090018484A KR101312647B1 (ko) 2009-03-04 2009-03-04 부호화 모드 결정 장치, 영상 부호화 방법 및 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록매체

Publications (2)

Publication Number Publication Date
KR20100099911A KR20100099911A (ko) 2010-09-15
KR101312647B1 true KR101312647B1 (ko) 2013-09-27

Family

ID=43006047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090018484A KR101312647B1 (ko) 2009-03-04 2009-03-04 부호화 모드 결정 장치, 영상 부호화 방법 및 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록매체

Country Status (1)

Country Link
KR (1) KR101312647B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100773761B1 (ko) 2006-09-14 2007-11-09 한국전자통신연구원 동영상 부호화 장치 및 방법
KR20080012026A (ko) * 2006-08-02 2008-02-11 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR20080033333A (ko) * 2005-08-03 2008-04-16 노키아 코포레이션 비디오 인코딩시 개선된 인코딩 모드 제어를 위한 방법,장치 및 모듈
KR20080035390A (ko) * 2006-10-19 2008-04-23 삼성전자주식회사 영상 예측 모드 결정 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080033333A (ko) * 2005-08-03 2008-04-16 노키아 코포레이션 비디오 인코딩시 개선된 인코딩 모드 제어를 위한 방법,장치 및 모듈
KR20080012026A (ko) * 2006-08-02 2008-02-11 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR100773761B1 (ko) 2006-09-14 2007-11-09 한국전자통신연구원 동영상 부호화 장치 및 방법
KR20080035390A (ko) * 2006-10-19 2008-04-23 삼성전자주식회사 영상 예측 모드 결정 방법 및 장치

Also Published As

Publication number Publication date
KR20100099911A (ko) 2010-09-15

Similar Documents

Publication Publication Date Title
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
US10123014B2 (en) Method and apparatus for coding/decoding image
KR101379185B1 (ko) 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101377660B1 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP5590133B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
KR20130051384A (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101955374B1 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR20110003414A (ko) 영상 부호화/복호화 방법 및 장치
KR101366086B1 (ko) 잔차 블록의 계수들에 대한 부호화 결정 방법, 장치,인코더 및 디코더
KR20120011428A (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20120025174A (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR20110000438A (ko) 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법
KR20120062307A (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
KR20110101443A (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20120015495A (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101596085B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR100712532B1 (ko) 단일표현과 다중표현 전환을 이용한 동영상 변환부호화장치 및 방법
KR20110048004A (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20100035243A (ko) 양자화 계수 결정 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101911587B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR20110023023A (ko) 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20130023444A (ko) 다단계 화면간 예측을 이용한 영상 부호화/복호화 장치 및 방법
JPWO2011148887A1 (ja) 動画像配信システム、動画像送信装置、動画像配信方法および動画像配信プログラム
KR20100044333A (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160906

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170905

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 7