KR20030033479A - 이미지 축소를 위한 스케일-다운 기능을 가지는 압축비디오 복호화기 및 방법 - Google Patents

이미지 축소를 위한 스케일-다운 기능을 가지는 압축비디오 복호화기 및 방법 Download PDF

Info

Publication number
KR20030033479A
KR20030033479A KR1020010065476A KR20010065476A KR20030033479A KR 20030033479 A KR20030033479 A KR 20030033479A KR 1020010065476 A KR1020010065476 A KR 1020010065476A KR 20010065476 A KR20010065476 A KR 20010065476A KR 20030033479 A KR20030033479 A KR 20030033479A
Authority
KR
South Korea
Prior art keywords
image
block
processing
idct
dct
Prior art date
Application number
KR1020010065476A
Other languages
English (en)
Other versions
KR100450939B1 (ko
Inventor
이승철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2001-0065476A priority Critical patent/KR100450939B1/ko
Priority to US10/267,076 priority patent/US20030081843A1/en
Priority to JP2002306098A priority patent/JP2003189307A/ja
Priority to EP20020023727 priority patent/EP1307054A3/en
Priority to CN02147140A priority patent/CN1414793A/zh
Publication of KR20030033479A publication Critical patent/KR20030033479A/ko
Application granted granted Critical
Publication of KR100450939B1 publication Critical patent/KR100450939B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 표준 압축 부호화 비디오 스트림을 복호화함과 아울러 별도의 이미지 축소를 위한 스케일-다운 블록을 사용치 않고 디스플레이장치의 화면 크기에 맞게 직접 출력시킬 수 있게 하며 이미지를 축소하는데 필요한 계산량을 줄여 빠른 속도로 원래 이미지의 화질을 유지함과 아울러 왜곡을 최소화할 수 있도록 한다. 이를 위해 본 발명은 이산여현변환(DCT: Discret Cosine Transform) 및 움직임 보상(MC: Motion Compensation)을 채용한 비디오 압축방식의 압축 부호화 비디오 스트림을 복호화함에 있어서, 압축 부호화 비디오 스트림으로 부터 얻어진 역이산여현변환(IDCT: Inverse Discret Cosine Transform)할 8×8 블록 DCT 이미지 중에서 DC 계수를 기준으로 이미지 축소 비율에 따른 N×N 블록 DCT 이미지만을 취하여 각 계수에 N/8을 곱하고 IDCT 처리를 하고, IDCT된 참조 이미지와 현재 이미지를 사용함과 아울러 움직임 벡터의 크기와 MC의 범위를 N:8의 비율로 축소하여 MC 처리를 한다.

Description

이미지 축소를 위한 스케일-다운 기능을 가지는 압축 비디오 복호화기 및 방법{COMPRESSED VIDEO DECODER WITH SCALE-DOWN FUNCTION FOR IMAGE REDUCTION AND METHOD THEREOF}
본 발명은 비디오 압축 부호화 시스템에 관한 것으로, 특히 압축 부호화 비디오 스트림을 복호화함과 아울러 이미지 축소를 위해 스케일-다운(scale-down)하는 방법에 관한 것이다.
IMT-2000(International Mobile Telecommunications-2000) 기술이 본격적으로 추진되고 있는 요즈음 동영상을 디스플레이가 가능해진 멀티미디어(multimedia) 기능을 가지는 이동통신단말기들이 등장하고 있다. 이와 같이 동영상 기능을 구비한 이동통신단말기(이하 "동영상 단말기"라 칭함)에서는 이전보다 크기가 커지고 단색이 아닌 컬러 LCD(Liquid Crystal Display)를 채용하여 VOD(Video On Demand)가 가능할 뿐만 아니라 카메라를 장착하게 되면 동영상 단말기의 사용자들이 서로 상대방의 영상을 바라보며 통화를 할 수 있게 된다. 이러한 동영상은 어떤 동영상 단말기상에서도 상영 가능해야 하기 때문에 표준 코덱(CODEC: coder/decoder)을 사용하게 되는데, 주로 쓰이는 것들은 MPEG-4(Moving Picture Expert Group-4)와 H.263, 26L과 같은 저 비트율(bit rate) 압축 비디오 코덱 등이다.
한편 MPEG-1, MPEG-2, MPEG-4, H.261, H.263, H.26L 등과 같은 비디오 압축 부호화에서는 영상압축을 위해 공간중복성을 제거함과 아울러 시간중복성을 제거하고 있다. 먼저 공간중복성 제거에 대하여 살펴본다. 공간적 도메인과 주파수 도메인 사이에는 직교적인(orthogonal) 관계가 있다. 이에 따라 서로 가역 변환이 가능하기 때문에 사용 목적에 맞게 변환하여 사용할 수 있는데, 이를 이용한 이산여현변환(DCT: Discret Cosine Transform)은 다른 주파수변환과 비교할 때, 에너지 콤팩션(energy compaction) 특성이 강하게 나타나며 최적화가 용이하여 알려진 고속알고리즘(fast algorithm)이 많이 존재한다는 장점을 가진다. 이와 같이 DCT 변환을 한 후 2차원 영상의 에너지가 저주파항, 즉 DC(Direct Current) 계수들에 집중되는 특성, 즉 큰 값은 좌측 상단에, 작은 값은 우측 하단에 편중되게 집중되는 특성을 이용하여 공간적인 중복성을 제거하게 된다. 그리고 큰 값은 DCT 이후에 이루어지는 양자화(quantization)에 의해 작아지고, 작은 값은 0에 수렴하여 가변장 부호화(VLC: Variable Length coding)에 의해 압축을 크게 기대할 수 있게 된다.
그리고 시간중복성을 제거하기 위해서는 움직임 보상(MC: Motion Compensation)이 채용되고 있다. MPEG-4 심플 프로파일(simple profile)에서의 예를 들면, I-VOP(Intra - Video Object Plane)와 P-VOP(Predicitive - Video Object Plane)를 사용하는데, I-VOP는 전체 화면을 부호화한 이미지이고 P-VOP는 이전 화면과의 차이만 나타내는 시간중복성이 제거된 이미지인 차분 이미지이다. 압축 비디오 복호화기의 MC 블록에서는 이러한 P-VOP를 복호화한 후 참조 이미지와 합하여 화면을 재생하는데, 이전 화면에서 움직임 벡터(Motion Vector)만큼 이동하여 참조 블록을 읽어 이미지를 재구성한다. 이때 MC는 16×16의 매크로 블록 단위로 0.5화소단위의 벡터 크기만큼 이동하며 이루어진다. 여기서 16×16는 이하의 설명에 있어서와 마찬가지로 가로 ×세로의 화소 수를 의미한다.
도 1은 통상적인 동영상 단말기에서 상기한 바와 같은 DCT 및 MC를 채용한 비디오 압축방식에 따른 압축 비디오 복호화기(100)와 이의 출력단에 접속되는 스케일-다운을 위한 스케일-다운 블록(114) 및 프레임 버퍼(116)로 구성되는 블록구성도를 보인 것이다. 압축 비디오 복호화기(100)에 입력되는 압축 부호화 비디오스트림(stream)은 상기한 바와 같이 DCT 및 MC를 채용한 비디오 압축방식들 중에 MPEG-4 심플 프로파일(simple profile) 형식에 의해 압축 부호화된 비디오 스트림으로 예를 든다.
상기한 압축 비디오 복호화기(100)는 헤더 파서(header parser)(102)와, 가변장 복호화기(104)와, 역양자화(DQ:Dequantization) 블록(106)과, 역이산여현변환 (IDCT: Inverse Discret Cosine Transform) 블록(108)과, MC 블록(110)과 프레임 버퍼(frame buffer)(112)로 구성되어 압축 부호화 비디오 스트림으로 부터 압축 부호화 이전의 원래의 이미지를 복호화해 낸다. 압축 부호화 비디오 스트림은 먼저 헤더 파서(102)에 의해 압축 부호화에 따른 각종 정보가 분석되고, 가변장 복호화기(104)에 의해 가변장 복호화된 다음에 DQ 블록(106)에 의해 DQ되어 IDCT 블록(108)에 인가된다. IDCT 블록(108)은 DQ된 이미지, 즉 8×8 블록 DCT 이미지 들을 IDCT하는데, I-VOP를 복호화한 영상은 출력 이미지로서 출력됨과 아울러 프레임 버퍼(112)에 저장하며, P-VOP는 MC 블록(110)에 인가한다. 그러면 MC 블록(110)은 I-VOP와 P-VOP를 사용하여 MC 처리를 함으로써 P-VOP에 따른 이미지를 복호화하여 출력 이미지로서 출력한다. 이와 같이 출력되는 복호화된 이미지는 디스플레이할 디스플레이장치의 화면 크기에 맞게 축소시키기 위해 스케일-다운 블록(114)에 의해 설정된 비율만큼 스케일-다운 처리를 한다. 그리고 프레임 버퍼(116)는 스케일-다운 블록(114)에서 스케일-다운 처리를 하기 위해 이미지를 저장하는데 사용된다. 이처럼 스케일-다운 처리된 이미지는 디스플레이장치에 인가됨으로써 화면상에 디스플레이되게 된다.
한편 동영상 단말기의 경우 CPU(Central Processing Unit)의 처리능력의 한계로 인하여 예를 들어 퀄컴(QUALCOMM)의 MSM(Mobile System Modem) 칩과 같이 주제어장치로서 사용되는 칩 이외에 추가적인 칩과 대용량의 RAM(Random Access Memory)이 장착되어야 한다. 이러한 제한된 플랫폼(platform)상에서 많은 처리능력과 저장공간을 필요로 하는 멀티미디어 기술을 구현하려면 일반적인 유선환경의 컴퓨터상에서와는 달리 계산복잡도를 획기적으로 줄인 엄격히 최적화된 코드가 요구된다.
또한 동영상 단말기 제조업자들은 화려한 UI(User Interface)를 구현하기 위하여 점차 LCD의 크기를 늘려가고 있으며, 그 크기는 매우 다양하다. 반면 표준 코덱은 QCIF(Quarter Common Interchange Format), CIF(Common Interchange Format) 등의 일반적인 크기만을 지원하므로, 다양한 동영상 단말기에 적용하려면 설계상에서 이미지 확대/축소를 수행하는 모듈이 ASIC(Application Specific Integrated Circuit)으로 구현되어야만 한다.
한편 동영상 단말기는 점차 소형화되고 있는 추세에 따라 LCD 크기도 제한을 받게 된다. 이에 따라 표준 코덱에 의해 복호화된 출력 이미지를 작은 크기의 LCD상에 디스플레이하도록 하기 위해서는 스케일-다운하여 축소된 이미지를 얻어야만 한다. 이와 같이 이미지 축소를 위해 상기한 도 1에 보인 것처럼 스케일-다운 블록(114)을 별도로 사용하여 왔으며 그에 따라 프레임 버퍼(116)도 필요하였었다.
또한 스케일-다운을 하기 위한 방법으로서, 공간적 도메인(spatial domain)에서 처리하는 방법과 주파수 도메인(frequency domain)에서 처리하는 방법을 사용할 수 있다. 이들중에 공간적 방법은 계산량이 작아서 속도는 빠르지만 화질의 왜곡이 심하다. 주파수 도메인 방법은 공간적 방법에 비해서는 깨끗한 화질을 얻을 수 있지만 계산량이 많기 때문에 속도가 느리며 계산 오차의 많은 누적으로 인해 화질의 열화가 발생할 수도 있다. 또한 추가되는 많은 계산량으로 인해 속도가 느려지는 것을 해결하기 위해서는 인하여 더욱 뛰어난 성능의 CPU를 탑재해야 하고 RAM 용량을 늘려야 한다.
따라서 본 발명의 목적은 표준 압축 부호화 비디오 스트림을 복호화함과 아울러 별도의 이미지 축소를 위한 스케일-다운 블록을 사용치 않고 디스플레이장치의 화면 크기에 맞게 직접 출력시킬 수 있는 압축 비디오 부호화기 및 방법을 제공함에 있다.
본 발명의 다른 목적은 이미지를 축소하는데 필용한 계산량을 줄여 빠른 속도로 원래 이미지의 화질을 유지함과 아울러 왜곡을 최소화할 수 있는 압축 비디오 부호화기 및 방법을 제공함에 있다.
도 1은 통상적인 동영상 이동통신단말기의 압축 비디오 복호화 및 스케일-다운 블록구성도,
도 2는 본 발명의 실시예에 따른 압축 비디오 복호화기의 블록구성도,
도 3은 본 발명의 실시예에 따른 IDCT 블록의 처리 흐름도,
도 4는 본 발명의 실시예에 따른 IDCT 블록의 이미지 축소 처리 예시도,
도 5는 본 발명의 실시예에 따른 MC 블록의 처리 흐름도,
도 6은 본 발명의 MC 블록의 이미지 축소 처리 예시도,
도 7 및 도 8은 본 발명과 종래 기술들의 스케일-다운에 따른 축소 이미지의 화질을 비교한 시뮬레이션 결과를 보인 도면.
상술한 목적을 달성하기 위한 본 발명은 DCT 및 MC을 채용한 비디오 압축방식의 압축 부호화 비디오 스트림을 복호화함에 있어서, 압축 부호화 비디오 스트림으로 부터 얻어진 IDCT할 8×8 블록 DCT 이미지 중에서 DC 계수를 기준으로 이미지축소 비율에 따른 N×N 블록 DCT 이미지만을 취하여 각 계수에 N/8을 곱하고 IDCT 처리를 하고, IDCT된 참조 이미지와 현재 이미지를 사용함과 아울러 움직임 벡터의 크기와 MC의 범위를 N:8의 비율로 축소하여 MC 처리를 한다.
이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 2는 본 발명의 실시예에 따른 압축 비디오 복호화기의 블록구성도로서, 전술한 도 1과 마찬가지로 MPEG-4 심플 프로파일의 압축 부호화 비디오 스트림을 복호화하는 예를 든 것이다. 여기서 헤더 파서(102)와 가변장 복호화기(104)와 DQ 블록(106)은 전술한 도 1의 압축 비디오 복호화기(100)와 동일하며, 이에따라 동일한 참조부호를 부여 하였다. 이에 반하여 도 1의 압축 비디오 복호화기(100)에서 사용된 IDCT 블록(108) 대신에 N×N IDCT 블록(200)을 사용하고, MC 블록(110) 대신에 N×N MC 블록(202)를 사용한다. 또한 프레임 버퍼(204)는 도 1의 프레임 버퍼(112)와 달리 N/8의 크기를 갖는다. 여기서 N값은 8×8 블록 DCT 이미지를 축소하는 것이므로 7이하가 되고, N×N은 8×8 블록 DCT 이미지에 대하여 이미지 축소 비율에 따른 크기로 정해지게 되며, 예를 들어 축소된 화면의 크기가 132×108이어야 하는 경우에는 6×6로 정해진다.
상기한 N×N IDCT 블록(200)의 처리 흐름도를 (300)∼(310)단계로 보인 도 3을 참조하면, N×N IDCT 블록(200)은 압축 부호화 비디오 스트림으로 부터 얻어진 IDCT할 DCT 이미지, 즉 DQ 블록(106)에 의해 DQ된 하나의 전체 화면을 (300)단계에서 8×8 블록 단위로 분할한다. 다음에 (302)단계에서 8×8 블록 DCT 이미지 중에서 DC 계수를 기준으로 이미지 축소 비율에 따른 N×N 블록 DCT 이미지만을 취하여 각 계수에 N/8을 곱하고 (304)단계에서 N×N IDCT 처리를 한다. 이와 같이 8×8 블록 DCT 이미지에서 N×N 블록 DCT 이미지만을 취하므로 N/8의 비율만큼 해상도가 떨어지게 되나, 재구성되는 영상 또한 N×N으로 축소되므로 결과적으로 화질은 그대로 유지된다. 그리고 8×8 블록 DCT 이미지에서 N×N 블록 DCT 이미지를 제외한 나머지 부분은 버리게 되기 때문에 전체적인 DCT 계수값이 N/8 비율로 작아져야 하므로, N×N 블록 DCT 이미지의 각 계수에 N/8을 곱하는 것이다.
여기서 예를 들어 도 4a의 (a)와 같은 원래의 화면을 도 4a의 (b)와 같은 화면으로 축소하는 경우에 축소 비율이 75%라고 가정하면 N×N은 6×6이 된다. 또한 도 4a(a)의 화면내에 사각형으로 표시한 부분, 즉 도 4b(a)와 같은 이미지가 도 4b(b)와 같은 하나의 8×8 블록 DCT 이미지라고 가정할 때, 상기한 (302)단계에서는 도 4b(b)의 사각형으로 표시한 부분, 즉 도 4b(c)와 같은 6×6의 블록 DCT 이미지만을 추출하게 된다. 그리고 도 4b(c)의 6×6 블록 DCT 이미지의 전체적인 계수값을 N:8의 비율로 줄이기 위해 각 계수에 N/8을 곱하면, 도 4b(d)와 같이 된다. 이와 같이 얻어지는 도 4b(d)의 6×6 블록 DCT 이미지는 도 4b(e)와 같이 축소된 이미지가 된다.
다음에 (306)단계에서는 상기한 (304)단계에서 N×N IDCT 처리한 블록을 추가하여 전체 화면을 N×N 블록으로 재구성하고, (308)단계에서 하나의 전체 화면의 모든 8×8 DCT 블록 이미지에 대한 처리가 완료되면 (310)단계를 수행하고, 처리가완료되지 않았으면 상기한 (302)단계로 진행하여 다음의 8×8 DCT 블록 이미지에 대하여 상기한 바와 같은 N×N IDCT 처리를 반복한다. 여기서 모든 8×8 블록에 대한 N×N IDCT 처리를 종료한 다음에 전체 화면을 N×N 블록으로 재구성하는 대신에 상기한 (306)단계에서 처럼 하나의 N×N IDCT 처리를 완료한 때마다 그 블록을 전체 화면에 추가함으로써 N×N IDCT 처리된 블록들을 별도로 저장하거나 한꺼번에 전체 화면을 N×N 블록으로 재구성하기 위한 처리를 별도로 하지 않아도 된다. 상기한 (310)단계에서는 IDCT 처리가 완료된 전체 화면의 이미지에 대하여 표준 압축 부호화에 따르면 테두리에 8 크기의 패딩(padding) 처리를 하는 것을 N 크기로 축소하여 패딩 처리를 하고, 하나의 화면에 대한 IDCT 처리를 종료한다.
상기한 바와 같이 8×8 블록 DCT 이미지에서 N×N 블록 DCT 이미지만을 취하므로 N/8의 비율만큼 해상도가 떨어지게 되지만, 재구성되는 영상 또한 N×N으로 축소되므로 결과적으로 화질은 그대로 유지되는데 반하여, 축소되는 비율의 제곱에 비례하여 IDCT 처리를 하는 DCT 계수의 개수가 감소하므로 계산량은 크게 감소된다. 예를 들어 8×8 블록 이미지를 6×6 블록 이미지로 재구성하게 되면 IDCT 함수의 실행 빈도는 동일하나, 입력되는 계수의 수는 64개에서 36개로 크게 감소한다. 또한 통상적으로 IDCT의 계산 복잡도는이고, 고속 알고리즘이 적용된 적응(adaptive) IDCT조차도이므로, 실제 계산 복잡도는 축소 비율의 5제곱 또는 4제곱에 비례하여 감소하게 된다.
참고적으로 본 발명의 실시예에 따른 N×N IDCT를 수학식으로 보이면 하기수학식 1과 같다.
상기한 바와 같이 N×N IDCT 블록(200)에 의해 IDCT 처리된 이미지는 전술한 도 1의 압축 비디오 복호화기(100)에서와 마찬가지로 I-VOP를 복호화한 영상은 출력 이미지로서 출력됨과 아울러 프레임 버퍼(204)에 저장하며, P-VOP는 N×N MC 블록(202)에 인가한다. 그러면 MC 블록(202)은 I-VOP와 P-VOP를 사용하여 MC 처리를 함으로써 P-VOP에 따른 이미지를 복호화하여 출력 이미지로서 출력하는데, 본 발명에 따라 움직임 벡터의 크기와 MC의 범위를 N:8의 비율로 축소하여 MC 처리를 한다. 이는 움직임 벡터의 크기도 이미지의 축소 비율만큼 줄여주여야 제대로 된 위치를 가리키게 되기 때문이며, MC의 범위도 이미지의 축소 비율만큼 줄어주여야 유효한 범위만을 보상하게 되기 때문이다. 예를 들어 도 6(c)가 8×8 블록 IDCT 처리를 할 경우에 MC 처리에 의해 얻어져야 할 이미지라면, N×N MC 블록(202)에 의해 MC 처리가 되어야 할 참조 이미지인 I-VOP와 현재 이미지인 P-VOP가 각각 도 6(a)와 도 6(b)와 같이 축소된 이미지이어야 하기 때문이다.
상기한 N×N MC 블록(202)의 처리 흐름도를 (400)∼(410)단계로 보인 도 4을 참조하면, N×N MC 블록(202)은 (400)단계에서 IDCT 블록(200)로 부터 MC 처리할매크로 블록을 가져온다. 다음에 도 6에서 보는 바와 같이 (402)단계에서 해당 매크로 블록의 움직임 벡터 MV의 크기를 N:8의 비율로 축소하고, (404)단계에서 MC 범위를 N:8의 비율로 축소한다. 그리고 (406)단계에서 해당 움직임벡터 MV가 가리키는 참조 화면, 즉 프레임 버퍼(204)에 저장된 I-VOP의 영역의 값을 현재 화면에 더하여 MC 처리를 한다. 이후 (408)단계에서 모든 매크로 블록 처리를 완료하면 (410)단계를 수행하고, 완료되지 않았으면 상기한 (400)단계로 진행하여 다음의 매크로 블록에 대하여 상기한 바와 같은 MC 처리를 반복한다. 상기한 (410)단계에서는 MC 처리가 완료된 전체 화면의 이미지에 대하여 N×N IDCT 블록(200)에서와 마찬가지로 테두리에 N 크기로 축소하여 패딩 처리를 하고, 하나의 전체 화면에 대한 MC 처리를 종료한다.
도 7 및 도 8은 본 발명과 종래 기술들의 스케일 다운에 따른 축소 이미지의 화질을 비교한 시뮬레이션(simulation) 결과를 보인 도면으로, 2가지의 원본 이미지에 대하여 페인트샵 프로 5(Paintshop Pro 5)를 이용하여 얻은 축소 이미지를 기준 이미지로 하고, 본 발명 및 다른 3가지의 방법에 의해 얻은 축소 이미지의 화질과 처리 속도를 비교하여 보인 것이다. 도 7,8에서 샘플 1,2, 즉 "sample1", "sample2"는 각각 샘플 이미지를 의미하고, "Method 1"은 본 발명에 따른 DCT 도메인에서의 처리의해 얻은 축소 이미지의 화질과 처리 속도를 나타내고, 나머지 방법 2,3,4, 즉 Method 1,2,3중에 "Method 2"는 공간적 도메인 방법으로서 다운 샘플링(down sampling)에 의해 얻은 축소 이미지의 화질과 처리 속도를 나타내며, "Method 3"은 공간적 도메인 방법으로서 다운 샘플링(down sampling) 및 인터폴레이션(interpolation)에 의해 얻은 축소 이미지의 화질과 처리 속도를 나타내며, "Method 4"는 공간적 도메인 방법으로서 DDA에 의해 얻은 축소 이미지의 화질과 처리 속도를 나타낸다. 그리고 화질은 PSNR(Peak Signal to Noise Ratio) 값에 의한 비교를 하였고, 처리 속도는 처리에 소요된 시간에 의해 비교를 하였다. 도 7,8에서 "PSNR"은 PSNR값을 나타내며 단위는 ㏈이며 수치가 높을수록 화질이 좋음을 나타내고, "TIME"은 처리 시간을 나타내는데 단위는 초이며 시뮬레이션 환경을 MS-Windows 98 환경이었기 때문에 50회 반복하는데 소요된 측정하였다.
상기한 바와 같이 2가지 원본 이미지로 부터 얻은 축소 이미지의 PSNR과 처리시간의 표로서 정리하여 보이면 하기 표 1,2와 같다.
본 발명 방법 2 방법 3 방법 4
샘플 1 37.787 34.068 27.974 12.28
샘플 2 35.493 32.29 26.335 13.27
평균 36.64 33.179 27.1545 13.275
본 발명 방법 2 방법 3 방법 4
샘플 1 3.05 4.48 4.76 5.66
샘플 2 3.52 4.48 4.9 5.68
평균 3.285 4.48 4.83 5.67
상기 표 1,2에서 보는 바와 같이 본 발명에 따른 스케일-다운에 의한 이미지 축소가 다른 방법에 비해 화질이 좋으면서도 처리 속도가 빠른 것을 알 수 있다.
따라서 8×8 블록 DCT 이미지 중에서 DC 계수를 기준으로 이미지 축소 비율에 따른 N×N 블록 DCT 이미지만을 취하여 IDCT 처리를 하고 그에 맞게 MC 처리를 함으로써 별도의 이미지 축소를 위한 스케일-다운 블록을 사용치 않고 디스플레이장치의 화면 크기에 맞게 직접 출력시킬 수 있게 되며, 이미지를 축소하는데 필용한 계산량을 줄여 빠른 속도로 원래 이미지의 화질을 유지함과 아울러 왜곡을 최소화할 수 있게 된다.
한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시예에서는 예를 들어 MPEG-4 심플 프로파일의 압축 부호화 비디오 스트림을 복호화 및 스케일-다운하는데 적용하는 예를 들었으나, MPEG-1, MPEG-2, MPEG-4, H.261, H.263, H.26L 등과 같이 DCT 및 MC를 채용한 비디오 압축방식의 압축 부호화 비디오 스트림을 복호화 및 스케일-다운하는 경우에는 모두 적용된다. 또한 동영상 단말기뿐만 아니라 압축 부호화 비디오 스트림의 복호화 및 스케일-다운이 필요한 장치에는 마찬가지로 적용된다. 따라서 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의하여 정하여져야 한다.
상술한 바와 같이 본 발명은 별도의 스케일-다운 블록을 사용할 필요가 없고 계산 복잡도를 줄일 수 있어 필요한 동영상 단말기에 적용할 경우 제조 단가를 줄이거나 다른 부가기능을 추가하는 것이 가능하게 되는 잇점이 있다. 또한 DCT 도메인에 의한 처리를 하면서도 불필요한 연산에 의한 오차의 누적을 방지하여 사용자에게 깨끗한 화질의 영상을 제공할 수 있는 잇점이 있다.

Claims (5)

  1. 이산여현변환(DCT: Discret Cosine Transform) 및 움직임 보상(MC: Motion Compensation)을 채용한 비디오 압축방식의 압축 부호화 비디오 스트림을 복호화하는 복호화기에 있어서,
    상기 압축 부호화 비디오 스트림으로 부터 얻어진 역이산여현변환(IDCT: Inverse Discret Cosine Transform)할 8×8 블록 DCT 이미지 중에서 DC 계수를 기준으로 이미지 축소 비율에 따른 N×N 블록 DCT 이미지만을 취하여 각 계수에 N/8을 곱하고 IDCT 처리를 하는 IDCT 블록과,
    상기 IDCT 블록에 의해 IDCT된 참조 이미지와 현재 이미지를 사용함과 아울러 움직임 벡터의 크기와 MC의 범위를 N:8의 비율로 축소하여 MC 처리를 하는 MC 블록과,
    상기 MC 처리를 위한 상기 참조 이미지와 상기 현재 이미지를 저장하는 프레임 버퍼를 구비함을 특징으로 하는 압축 비디오 복호화기.
  2. 제1항에 있어서, 상기 MC 블록이, N×N 또는 2N×2N 크기로 MC 처리를 함을 특징으로 하는 압축 비디오 복호화기.
  3. 이산여현변환(DCT: Discret Cosine Transform) 및 움직임 보상(MC: Motion Compensation)을 채용한 비디오 압축방식의 압축 부호화 비디오 스트림을 복호화하는 방법에 있어서,
    상기 압축 부호화 비디오 스트림으로 부터 얻어진 역이산여현변환(IDCT: Inverse Discret Cosine Transform)할 8×8 블록 DCT 이미지 중에서 DC 계수를 기준으로 이미지 축소 비율에 따른 N×N 블록 DCT 이미지만을 취하여 각 계수에 N/8을 곱하고 IDCT 처리를 하는 과정과,
    상기 IDCT된 참조 이미지와 현재 이미지를 사용함과 아울러 움직임 벡터의 크기와 MC의 범위를 N:8의 비율로 축소하여 MC 처리를 하는 과정을 구비함을 특징으로 하는 압축 비디오 복호화방법.
  4. 제3항에 있어서, 상기 IDCT 처리과정과 상기 MC 처리과정이 각각, 테두리에 N크기의 패딩을 처리하는 과정을 포함함을 특징으로 하는 압축 비디오 복호화방법.
  5. 제3항 또는 제4항에 있어서, 상기 MC 처리과정이, N×N 또는 2N×2N 크기로 MC 처리를 함을 특징으로 하는 압축 비디오 복호화방법.
KR10-2001-0065476A 2001-10-23 2001-10-23 이미지 축소를 위한 스케일-다운 기능을 가지는 압축비디오 복호화기 및 방법 KR100450939B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-2001-0065476A KR100450939B1 (ko) 2001-10-23 2001-10-23 이미지 축소를 위한 스케일-다운 기능을 가지는 압축비디오 복호화기 및 방법
US10/267,076 US20030081843A1 (en) 2001-10-23 2002-10-08 Compression video decoder including a scale-down function for scaling down an image, and method thereof
JP2002306098A JP2003189307A (ja) 2001-10-23 2002-10-21 イメージ縮小のためのスケール−ダウン機能を有する圧縮ビデオ復号化器及び方法
EP20020023727 EP1307054A3 (en) 2001-10-23 2002-10-23 Video decoder including a scale-down function for scaling down an image and method thereof
CN02147140A CN1414793A (zh) 2001-10-23 2002-10-23 具有缩小图像功能的压缩视频解码器及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0065476A KR100450939B1 (ko) 2001-10-23 2001-10-23 이미지 축소를 위한 스케일-다운 기능을 가지는 압축비디오 복호화기 및 방법

Publications (2)

Publication Number Publication Date
KR20030033479A true KR20030033479A (ko) 2003-05-01
KR100450939B1 KR100450939B1 (ko) 2004-10-02

Family

ID=19715338

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0065476A KR100450939B1 (ko) 2001-10-23 2001-10-23 이미지 축소를 위한 스케일-다운 기능을 가지는 압축비디오 복호화기 및 방법

Country Status (5)

Country Link
US (1) US20030081843A1 (ko)
EP (1) EP1307054A3 (ko)
JP (1) JP2003189307A (ko)
KR (1) KR100450939B1 (ko)
CN (1) CN1414793A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760952B2 (en) 2003-09-09 2010-07-20 Lg Electronics Inc. Method for setting motion vector of digital video

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7660352B2 (en) * 2003-04-04 2010-02-09 Sony Corporation Apparatus and method of parallel processing an MPEG-4 data stream
US20050060578A1 (en) * 2003-09-17 2005-03-17 Sony Corporation Method of and system for authentication downloading
JP4289126B2 (ja) * 2003-11-04 2009-07-01 ソニー株式会社 データ処理装置およびその方法と符号化装置
KR100575984B1 (ko) * 2003-12-06 2006-05-02 삼성전자주식회사 휴대용 단말기의 섬네일 영상 데이터 서비스 방법
JP4222982B2 (ja) * 2004-08-20 2009-02-12 富士フイルム株式会社 画像復号縮小装置および方法
EP1655966A3 (en) * 2004-10-26 2011-04-27 Samsung Electronics Co., Ltd. Apparatus and method for processing an image signal in a digital broadcast receiver
KR100722972B1 (ko) * 2004-10-26 2007-05-30 삼성전자주식회사 디지털방송 수신기의 영상신호 처리 장치 및 방법
CN101112098A (zh) * 2005-03-29 2008-01-23 日本电气株式会社 移动终端
CN100377597C (zh) * 2005-06-22 2008-03-26 浙江大学 面向移动设备的视频压缩方法
CN100442847C (zh) * 2005-11-25 2008-12-10 浙江大学 H.264整数变换加速的装置
KR101270167B1 (ko) * 2006-08-17 2013-05-31 삼성전자주식회사 저복잡도의 이미지 압축 방법 및 장치, 저복잡도의 이미지복원 방법 및 장치
US20090016428A1 (en) * 2007-07-09 2009-01-15 Legend Silicon Corp. Method and apparatus for decoding of video signals having reduced memory and a novel method for output therefore
US20090019068A1 (en) * 2007-07-09 2009-01-15 Legend Silicon Corp. Decoder with reduced memory requirements decoding of video signals
WO2009047684A2 (en) * 2007-10-08 2009-04-16 Nxp B.V. Video decoding
US8094955B2 (en) * 2007-12-25 2012-01-10 Fujifilm Corporation Image reducing apparatus and reduced image generating method
WO2011134144A1 (zh) * 2010-04-28 2011-11-03 深圳艾科创新微电子有限公司 图像缩小方法和装置
US9942593B2 (en) * 2011-02-10 2018-04-10 Intel Corporation Producing decoded audio at graphics engine of host processing platform
JP5875236B2 (ja) * 2011-03-09 2016-03-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227875A (en) * 1990-08-20 1993-07-13 Kabushiki Kaisha Toshiba System for transmitting encoded image data with quick image expansion and contraction
JPH05145762A (ja) * 1991-11-20 1993-06-11 Sanyo Electric Co Ltd 静止画受信装置
KR0128245B1 (ko) * 1992-10-07 1998-04-02 배순훈 화면 분할 기능을 갖는 디지탈 방식 고선명 텔레비젼
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
WO1995015538A1 (en) * 1993-11-30 1995-06-08 Polaroid Corporation Coding methods and apparatus for scaling and filtering images using discrete cosine transforms
JPH07160865A (ja) * 1993-12-10 1995-06-23 Fujitsu General Ltd 静止画再生装置
US5845015A (en) * 1995-10-12 1998-12-01 Sarnoff Corporation Method and apparatus for resizing images using the discrete cosine transform
US5832120A (en) * 1995-12-22 1998-11-03 Cirrus Logic, Inc. Universal MPEG decoder with scalable picture size
US5737019A (en) * 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
JPH09322165A (ja) * 1996-05-31 1997-12-12 Sony Corp 画像復号化装置とその方法、および、画像再生装置
KR100240770B1 (ko) * 1997-07-11 2000-01-15 이형도 에너지보상/역보상기능을개선한스케러블부호화기및그방법
JPH11146400A (ja) * 1997-11-07 1999-05-28 Matsushita Electric Ind Co Ltd 画像処理装置
EP0926899A3 (en) * 1997-12-25 1999-12-15 SANYO ELECTRIC Co., Ltd. An apparatus and process for decoding motion pictures
US6141456A (en) * 1997-12-31 2000-10-31 Hitachi America, Ltd. Methods and apparatus for combining downsampling and inverse discrete cosine transform operations
US6222944B1 (en) * 1998-05-07 2001-04-24 Sarnoff Corporation Down-sampling MPEG image decoder
US6792149B1 (en) * 1998-05-07 2004-09-14 Sarnoff Corporation Method and apparatus for resizing an image frame including field-mode encoding
JP2000032463A (ja) * 1998-05-07 2000-01-28 Sarnoff Corp 映像情報をサイズ変更する方法及び装置
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
JPH11341496A (ja) * 1998-05-28 1999-12-10 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置，及びデータ記憶媒体
AU4701999A (en) * 1998-06-19 2000-01-05 Equator Technologies, Inc. Decoding an encoded image having a first resolution directly into a decoded image having a second resolution
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US20030021486A1 (en) * 2001-07-27 2003-01-30 Tinku Acharya Method and apparatus for image scaling

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760952B2 (en) 2003-09-09 2010-07-20 Lg Electronics Inc. Method for setting motion vector of digital video

Also Published As

Publication number Publication date
US20030081843A1 (en) 2003-05-01
EP1307054A2 (en) 2003-05-02
KR100450939B1 (ko) 2004-10-02
CN1414793A (zh) 2003-04-30
EP1307054A3 (en) 2004-09-01
JP2003189307A (ja) 2003-07-04

Similar Documents

Publication Publication Date Title
KR100450939B1 (ko) 이미지 축소를 위한 스케일-다운 기능을 가지는 압축비디오 복호화기 및 방법
US7606304B2 (en) Method and apparatus for memory efficient compressed domain video processing
US6385248B1 (en) Methods and apparatus for processing luminance and chrominance image data
US6067322A (en) Half pixel motion estimation in motion video signal encoding
US6310919B1 (en) Method and apparatus for adaptively scaling motion vector information in an information stream decoder
US7848425B2 (en) Method and apparatus for encoding and decoding stereoscopic video
US8705624B2 (en) Parallel decoding for scalable video coding
JP4393875B2 (ja) 複雑さの軽減された復号化に適したシングルレイヤビデオ符号化されたビットストリームを供給するシステム及び方法
US20090141808A1 (en) System and methods for improved video decoding
US6122321A (en) Methods and apparatus for reducing the complexity of inverse quantization operations
JP2009531980A (ja) デジタルビデオエンコーダの内部予測及びモード決定処理の計算を低減する方法
JP2004537223A (ja) Ｂフレームへの逆離散コサイン変換の計算を減少したことによる、複雑さを低減したビデオ復号化
US6148032A (en) Methods and apparatus for reducing the cost of video decoders
US7502415B2 (en) Range reduction
US9185417B2 (en) Video decoding switchable between two modes
JP2003348598A (ja) メモリ効率のいい圧縮領域ビデオ処理のための且つ因数分解及び整数近似法を用いる高速逆動き補償のための方法並びに装置
JP2007503787A (ja) メモリ帯域幅要求が低いビデオ処理装置
EP1751984B1 (en) Device for producing progressive frames from interlaced encoded frames
KR100489040B1 (ko) 동영상 부호화기, 동영상 복호화기에서 슬라이스 메모리와프레임 메모리간의 데이터 처리 방법
KR20040069445A (ko) 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법
US20030202603A1 (en) Method and apparatus for fast inverse motion compensation using factorization and integer approximation
KR100689406B1 (ko) 이동 통신 단말기의 동영상 전송 방법
JP3862479B2 (ja) ビデオダウンコンバージョンにおけるドリフトエラーを防ぐ方法
KR20030006641A (ko) 트랜스코더 및 그의 트랜스 코딩 방법
KR20040073095A (ko) Ｍｐｅｇ／ｊｐｅｇ 인코딩 및 디코딩 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110830

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20120830

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee