KR20170102033A

KR20170102033A - 비디오 영상 프루닝 방법 및 장치

Info

Publication number: KR20170102033A
Application number: KR1020177023640A
Authority: KR
Inventors: 덩 트룽 보; 조엘 솔; 펑 인; 윤페이 정
Original assignee: 톰슨 라이센싱
Priority date: 2008-09-18
Filing date: 2009-09-01
Publication date: 2017-09-06
Also published as: EP2335419A1; CN102217314A; KR20110059766A; EP2335419B1; BRPI0918044A2; KR101915425B1; US20110170615A1; US9571857B2; TW201031215A; JP2014060805A; TWI499310B; WO2010033151A1; KR20160114186A; JP2012503416A; CN102217314B; JP5907941B2

Abstract

비디오 영상 프루닝 방법 및 장치가 제공된다. 장치는 인코딩에 의한 압축 전에 그리고 이 압축에 대비하여 화상을 전처리하기 위한 데이터 프루너(110)를 포함한다. 데이터 프루너(110)는 공간 영역에서 상기 화상 내의 적어도 하나의 영역을 선택적으로 제거한다. 디코더단에서, 장치는 디코딩에 의한 압축해제에 이어서 압축해제된 화상을 수신하고, 이전에 수행된 인코딩 프로세스 전에 적어도 하나의 영역의 제거를 나타내는 정보에 기초하여 공간 영역에서 상기 압축해제된 화상 내의 상기 적어도 하나의 영역을 선택적으로 복구함으로써 상기 압축해제된 화상을 후처리하기 위한 데이터 복구기(140)를 포함한다.

Description

비디오 영상 프루닝 방법 및 장치{METHODS AND APPARATUS FOR VIDEO IMAGING PRUNING}

본 발명은 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로, 특히 비디오 영상 프루닝 방법 및 장치에 관한 것이다.

최근 고품질 비디오에 대한 요구가 지속적으로 증가하고 있다. 비디오 콘텐츠 요구는 해상도, 프레임 레이트 및 비트 깊이가 더욱 높아지는 경향을 보이고 있다. 고화질(HD) 비디오와 기타 여러 가지 비트 레이트 집중 개발에 대응하는 비트 레이트 증가를 방지하기 위해, 특히 네트워크와 통신 기술의 전송 제약 요건을 충족하기 위해 비트 레이트를 더 감소시키는 새로운 기술이 강하게 요구된다.

압축 비트 레이트를 감소시키는데는 적어도 2가지 기본 방식이 있다. 첫 번째 방식은 압축 기술을 개선하는 것이고 두 번째 방식은 압축 전에 전처리를 수행하는 것이다.

첫 번째 방식, 즉 압축 기술을 개선하는 것에 대해서는, 그 진전은 예컨대, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG(Moving Picture Experts Group)-1 표준, ISO/IEC MPEG-2 표준, ISO/IEC MPEG-4 표준 및 ISO/IEC MPEG-4 파트 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안(이하, "MPEG-4 VAC 표준")과 같은 각종 MPEG 비디오 코딩 표준의 개발에서 쉽게 볼 수 있다.

대부분의 비디오 코딩 표준에서 양자화 스텝 사이즈를 증가시키는 것은 비트 레이트를 줄이는데 이용되는 수단이다. 그러나 이 기법은 고주파 정보의 손실로 인해 심각한 블록키 아티팩트(blocky artifacts)와 기타 코딩 아티팩트가 생길 수가 있다.

두 번째 방식, 즉 압축 전에 어떤 전처리를 수행하는 것에 대해서는, 이 전처리의 목표는 시각적 인식에 있어 가장 덜 중요한 정보, 또는 디코딩 프로세스 후에 콘텐츠가 크게 변경됨이 없이 복구될 수 있는 정보를 제거하는 것이다. 이러한 비트 레이트 감소는 보통, 데이터 프루닝(data pruning)이라고도 한다. 이러한 비트 레이트 감소를 데이터 프루닝을 통해 수행하는 일반적인 기법들은 먼저 로우패스 필터를 이용하여 다운샘플링하고(필터링 프로세스로 볼 수 있음) 그 다음에 디코더에서 업샘플링하는 것이다. 이 기법들의 한 가지 효과는, 이 기법들이 비트 레이트를 감소시키기 위해 비디오 내의 고주파 정보를 제거하도록 설계되어 있기 때문에, 디코딩되어 재구성된 비디오가 약간 흐릿해 보인다는 것이다.

예컨대 전술한 업샘플링에 이용될 수 있는 보간에 대해서 말하자면, 종래의 바이리니어(bilinear) 보간 및 바이큐빅(bi-cubic) 보간에서부터 시작하여 POCS(projection onto convex sets) 및 비볼록(non-convex) 비선형 편미방과 같은 복잡한 반복 보간법에 이르기까지 다양한 보간법에 대해 논의되고 개발되어 왔다.

엣지를 따라 발생하는 영상 끊김(jerkiness)을 방지하기 위해 저해상 영상의 마르코프 랜덤 필드 및 공분산(Markov random field and covariance)을 이용한 엣지 방향성(edge-oriented) 보간법이 제안되어 있다.

한 가지 종래의 방식은 방향성 필터링과 데이터 융합(data fusion)의 조합을 이용하여 LMMSE(linear minimum mean square error)법에 따라서 어떤 손실된 고해상(HR) 화소를 추정해 낸다. 다른 보간 알고리즘 그룹은 HR 영상의 미세 구조를 웨이브렛 변환(wavelet transformation)이나 컨튜어렛(contourlet) 변환과 같은 각종 변환을 이용하여 그 대응 저해상(LR) 영상으로부터 예측해 낸다.

상기 방법들은 수평 방향과 수직 방향 모두에서, 즉 고정된 정규의 데이터 그리드(data grid)에서 동일 비율을 업샘플링하는데 적합하다(즉 모든 데이터 포인트가 직사각형 그리드 내에 있다). 그러나 보간을 데이터 프루닝과 함께 이용하는 경우에는 폐기된 데이터에 적응하여 각 화소의 가변적인 환경에 맞도록하여 최상의 성능을 발휘하기 위해 유연성이 필요하다.

종래 기술의 이들 및 다른 결점과 단점은 비디오 영상 데이터 프루닝 방법 및 장치에 관한 본 발명에 따라 해소된다.

본 발명의 양상에 따라서, 인코딩에 의한 압축 전에 그리고 이 압축에 대비하여 화상을 전처리하기 위한 데이터 프루너(data pruner)를 포함하는 장치가 제공된다. 이 데이터 프루너는 공간 영역(spatial domain)에서 상기 화상 내의 적어도 하나의 영역을 선택적으로 제거한다.

본 발명의 다른 양상에 따라서, 인코딩에 의한 압축 전에 그리고 이 압축에 대비하여 화상을 전처리하는 단계를 포함하는 방법이 제공된다. 이 전처리 단계는 프로세서를 가진 데이터 프루너를 이용하여 공간 영역에서 상기 화상 내의 적어도 하나의 영역을 선택적으로 제거하는 단계를 포함한다.

본 발명의 또 다른 양상에 따라서, 디코딩에 의한 압축해제에 이어서 압축해제된 화상을 수신하고, 이전에 수행된 인코딩 프로세스 전에 적어도 하나의 영역의 제거를 나타내는 정보에 기초하여 공간 영역에서 상기 압축해제된 화상 내의 상기 적어도 하나의 영역을 선택적으로 복구함으로써 상기 압축해제된 화상을 후처리하기 위한 데이터 복구기를 포함하는 장치가 제공된다.

본 발명의 또 다른 양상에 따라서, 디코딩에 의한 압축해제에 이어서 압축해제된 화상을 수신하는 단계를 포함하는 방법이 제공된다. 이 방법은 프로세서를 가진 데이터 복구기를 이용하여, 이전에 수행된 인코딩 프로세스 전에 적어도 하나의 영역의 제거를 나타내는 정보에 기초하여 공간 영역에서 상기 압축해제된 화상 내의 상기 적어도 하나의 영역을 선택적으로 복구함으로써 상기 압축해제된 화상을 후처리하는 단계를 더 포함한다.

본 발명의 이들 및 다른 양상, 특성 및 이점들은 첨부 도면을 참조하여 예시적인 실시예에 대한 하기의 상세한 설명으로부터 명백하게 드러날 것이다.

본 발명에 따르면 종래 기술의 문제점을 개선할 수 있다.

본 발명은 하기의 예시적인 도면 참조로 더 잘 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 예시적인 데이터 프루닝 및 복구 시스템을 도시한 블록도.
도 2는 본 발명의 실시예에 따른 예시적인 데이터 프루닝 및 복구 방법을 보여주는 흐름도.
도 3은 본 발명의 실시예에 따른, 본 발명이 적용될 수 있는 예시적인 비디오 인코더를 도시한 블록도.
도 4는 본 발명의 실시예에 따른, 본 발명이 적용될 수 있는 예시적인 비디오 디코더를 도시한 블록도.
도 5a는 본 발명의 실시예에 따른, NEDI-4 및 NEDI-8에 관련된 고차 엣지 방향성 보간의 모델 파라미터를 보여주는 도.
도 5b는 본 발명의 실시예에 따른, NEDI-6에 관련된 고차 엣지 방향성 보간의 모델 파라미터를 보여주는 도.
도 6은 본 발명의 실시예에 따른, 임의의 라인을 탈락시키는 데이터 프루닝의 예를 보여주는 도.
도 7은 본 발명의 실시예에 따른, 한 프레임에서 열과 행을 탈락시키는 데이터 프루닝의 예를 보여주는 도.
도 8은 본 발명의 실시예에 따른, 화상 그룹(GOP) 및/또는 장면 전체에 대한 동일 열 및 행을 탈락시키는 데이터 프루닝의 예를 보여주는 도.
도 9a는 본 발명의 실시예에 따른, 주지의 아키요 시퀀스의 첫 번째 프레임 중의 탈락된 열과 행을 나타내는 라인을 보여주는 도.
도 9b는 본 발명의 실시예에 따른, 도 7A의 예에 대응하는 잘라낸 프레임을 보여주는 도.
도 10은 본 발명의 실시예에 따른, 예시적인 데이터 프루닝 기반 압축 시스템을 도시한 블록도.
도 11은 본 발명의 실시예에 따른, 예시적인 데이터 프루닝 처리 시스템을 도시한 블록도.
도 12는 본 발명의 실시예에 따른, 예시적인 최적 데이터 프루닝 방법을 보여주는 흐름도.
도 13은 본 발명의 실시예에 따른, 예시적인 최적 데이터 복구 방법을 보여주는 흐름도.

본 발명은 비디오 영상 데이터 프루닝 방법 및 장치에 관한 것이다.

하기의 상세한 설명에서는 본 발명을 예시를 통해 설명한다. 따라서 당업자라면 여기에 명시적으로 기술되고 도시되지는 않아도 본 발명을 구현하고 그 본질과 범위 내에 있는 각종 구성을 고안해낼 수 있을 것이다.

여기서 설명되는 예와 조건적 표현들은 모두 본 발명자들이 기술 발전의 촉진에 기여한 본 발명의 원리와 개념을 이해시키는데 도움을 주고자 한 것이며, 본 발명은 그러한 특정의 예와 조건에 의해 제한되는 것으로 해석해서는 않된다.

더욱이 여기서 본 발명의 원리, 양상 및 실시예는 물론 그 구체적인 예에 대한 모든 설명은 그 구조적 기능적 등가물을 포함하는 것이다. 게다가 그와 같은 등가는 현재 알려져 있는 등가물은 물론이고 장래에 개발될 등가물, 즉 구조에 상관없이 동일 기능을 수행하는 개발될 구성요소를 모두 포함하는 것이다.

따라서, 예컨대 당업자라면 여기서 제시된 블록도들이 본 발명의 원리를 구체화하는 예시적인 회로의 개념도임을 잘 알 것이다. 마찬가지로 플로우차트, 흐름도, 상태 천이도, 의사코드 등은 컴퓨터 판독 매체에 실체적으로 표현되고, 컴퓨터나 프로세서에 의해(이런 컴퓨터나 프로세서가 명시적으로 나타나 있는지 여부에 관계없이) 실행될 수 있는 여러 가지 프로세스를 표현하는 것임을 잘 알 것이다.

도면에 도시된 여러 가지 구성요소의 기능은 전용 하드웨어는 물론 적당한 소프트웨어와 연관하여 소프트웨어를 실행할 수 있는 하드웨어를 통해 제공될 수 있다. 프로세서가 제공하는 이 기능들은 단일의 전용 프로세서, 단일의 공유 프로세서, 복수의 개별적 프로세서(그 일부는 공유될 수 있음)에 의해 제공될 수 있다. 더욱이 "프로세서"나 "컨트롤러"라는 용어를 명시적으로 사용하더라도 이는 소프트웨어를 실행할 수 있는 하드웨어에만 국한되는 것으로 해석해서는 않되고, 아무런 제한없이, DSP(digital signal processor) 하드웨어, 소프트웨어를 저장하는 ROM(read-only memory), RAM(random access memory), 및 불휘발성 저장장치를 암시적으로 포함하는 것이다.

기타 다른 종래의 그리고/또는 주문형 하드웨어도 포함될 수 있다. 마찬가지로 도면에 도시된 스위치들은 단지 개념적인 것이다. 이들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 컨트롤 및 전용 로직의 상호작용을 통해, 또는 수동적으로도 실시될 수 있으며, 그 특정 기술은 본 명세서의 내용으로부터 더 구체적으로 이해되는 바와 같이 구현자에 의해 선택될 수 있다.

청구범위에서 특정 기능을 수행하기 위한 수단으로 표현된 구성요소는, 예컨대 a) 그 기능을 수행하는 회로 구성요소들의 조합, 또는 b) 소프트웨어를 실행하여 그 기능을 수행하는 적당한 회로와 결합된 펌웨어, 마이크로코드 등을 포함한 임의 형태의 소프트웨어를 포함하여 그 기능을 수행하는 임의의 방식을 포함하는 것이다. 그와 같은 청구범위에 의해 정해지는 본 발명의 원리는 이러한 여러 가지 설명된 수단이 제공하는 기능들이 청구범위가 필요로 하는 방식으로 조합되고 합체된다는 사실에 있다. 따라서 이들 기능을 제공할 수 있는 수단은 여기서 보여진 것들과 등가인 것으로 간주된다.

본 명세서에서 본 발명의 "일 실시예"나 "소정 실시예"라는 말과 그 변형은 그 실시예와 관련하여 설명된 특정 형상, 구조, 특성 등이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서 본 명세서의 여러 곳에서 나타내는 "일 실시예에서"나 "소정 실시예에서"라는 구절과 그 변형은 반드시 같은 실시예를 말하는 것은 아니다.

예컨대 "A/B", "A 및/또는 B" 및 "A와 B 중 적어도 어느 하나"의 경우에서 "/", "및/또는" 및 "적어도 어느 하나"를 사용하는 것은 첫번째 옵션 (A)만, 두번째 옵션 (B)만, 양 옵션 (A 및 B)를 선택하는 것을 포함하는 것임을 알아야 한다. 추가 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 어느 하나"의 경우에 이러한 구절은 첫번째 옵션 (A)만, 두번째 옵션 (B)만, 세번째 옵션 (C)만, 첫번째 옵션 (A)와 두번째 옵션 (B)만, 첫번째 옵션 (A)와 세번째 옵션 (C)만, 두번째 옵션 (B)와 세번째 옵션 (C)만, 세가지 옵션 모두(A, B 및 C)를 선택하는 것을 포함하는 것이다. 이것은 당업자라면 쉽게 알 수 있는 바와 같이 더 많은 옵션에 대해서도 확장될 수 있다.

여기서 사용된 용어 '영상'과 '화상'은 상호 교환적으로 사용되며, 비디오 시퀀스의 일부인 비디오 화상 및/또는 정지 영상을 말할 수 있다.

전술한 바와 같이 본 발명은 비디오 영상 데이터 프루닝 방법 및 장치에 관한 것이다.

더욱이 본 발명의 하나 이상의 실시예는 여기서는 MPEG-4 AVC 표준과 관련하여 설명되지만 본 발명은 이 표준에만 한정되는 것은 아니고 본 발명의 본질을 그대로 유지하면서 다른 비디오 코딩 표준, 권고안, 그리고 MPEG-4 AVC 표준의 확장을 포함한 여러 확장과 관련해서 이용될 수 있음을 알아야 한다.

도 1을 참조로 설명하면, 예시적인 데이터 프루닝 및 복구 시스템은 도면부호 100으로 총괄적으로 나타낸다. 이 시스템(100)은 데이터 프루너(110), 인코더(또는 압축기)(120), 디코더(또는 압축해제기)(130) 및 데이터 복구기(140)를 포함한다. 데이터 프루너(110)는 인코딩에 의한 압축 전에 공간 영역(spatial domain)에서 적어도 하나의 영역(region)(예컨대 라인, 곡선, 영역 등)을 제거하는 전처리를 수행한다. 그런 다음에, 인코더(120)는 이 적어도 하나의 영역이 제거된 화상을 코딩한다. 디코더(130)는 이 적어도 하나의 영역이 제거된 코딩된 화상을 디코딩한다. 데이터 복구기(140)는 공간 영역에서 적어도 하나의 영역을 디코딩된 화상으로 복구하는 후처리를 수행한다. 데이터 프루너(110), 인코더(120), 디코더(130) 및 데이터 복구기(140)는 각자의 기능을 수행하기 위해 예컨대 하나 이상의 프로세서, 메모리 등을 포함할 수 있다. 예컨대 데이터 프루너(110)의 적어도 하나의 프로세서는 여기서 설명된 전처리를 수행할 수 있고, 데이터 복구기(140)의 하나 이상의 프로세서는 여기서 설명된 후처리를 수행할 수 있다. 데이터 프루너(110)는, 일부 실시예에서는 데이터 프루너와 별개일 수 있고, 다른 실시예에서는 데이터 프루너와 일체로 될 수 있는 다른 구성요소들을 포함할 수 있다. 예컨대 소정 실시예에서 데이터 프루너(110)(또는 데이터 프루닝 처리)는 데시메이터(decimator)와 보간기를 포함할 수 있다(예컨대 도 11 참조). 다른 실시예에서 데이터 프루너(110)(또는 데이터 프루닝 처리)는 (적어도 하나의 영역을 실제로 제거하는 하위 구성요소로서의) 데이터 프루너, 저장 또는 압축기 및 보간기를 포함할 수 있다(예컨대 도 10 참조). 당업자라면 본 발명의 본질을 그대로 유지하면서 도 1의 구성요소들의 이들 및 다른 변형을 쉽게 생각해낼 수 있을 것이다.

도 2를 참조로 설명하면, 예시적인 데이터 프루닝 및 복구 방법은 도면부호 200으로 총괄적으로 나타낸다. 이 방법(200)은 제어를 기능 블록(210)으로 넘기는 시작 블록(205)을 포함한다. 기능 블록(210)은 화상을 수신하고 제어를 기능 블록(215)으로 넘긴다. 기능 블록(215)은 공간 영역에서 화상으로부터 적어도 하나의 영역(예컨대, 라인, 곡선, 영역 등)을 제거하는 화상 전처리를 수행하고 제어를 기능 블록(220)으로 넘긴다. 기능 블록(220)은 적어도 하나의 영역이 제거된 화상을 코딩하고 제어를 기능 블록(225)으로 넘긴다. 기능 블록(225)은 코딩된 화상을 디코더(또는 디코더를 가진 장치)에 공급(또는 전송)하고 제어를 기능 블록(230)으로 넘긴다. 기능 블록(230)은 적어도 하나의 영역이 제거된 코딩된 화상을 디코딩하고 제어를 기능 블록(235)으로 넘긴다. 기능 블록(235)은 적어도 하나의 영역이 제거된 디코딩된 화상을 수신하고, 공간 영역에서 적어도 하나의 영역을 디코딩된 화상으로 복구하는 후처리를 수행하고, 제어를 종료 블록(299)으로 넘긴다.

도 3을 참조로 설명하면, 본 발명이 적용될 수 있는 예시적인 비디오 인코더는 도면부호 300으로 총괄적으로 나타낸다.

비디오 인코더(300)는 결합기(385)의 비반전 입력부와 신호 통신하는 출력부를 가진 프레임 정렬 버퍼(310)를 포함한다. 결합기(385)의 출력부는 변환기 및 양자화기(325)의 제1 입력부와 신호 통신하도록 연결된다. 변환기 및 양자화기(325)의 출력부는 엔트로피 코더(345)의 제1 입력부 및 역변환기 및 역양자화기(350)의 제1 입력부와 신호 통신하도록 연결된다. 엔트로피 코더(345)의 출력부는 결합기(390)의 제1 비반전 입력부와 신호 통신하도록 연결된다. 결합기(390)의 출력부는 출력 버퍼(335)의 제1 입력부와 신호 통신하도록 연결된다.

인코더 제어기(305)의 제1 출력부는 프레임 정렬 버퍼(310)의 제2 입력부, 역변환기 및 역양자화기(350)의 제2 입력부, 화상 타입 판정 모듈(315)의 입력부, 마크로블록(MB) 타입 판정 모듈(320)의 입력부, 인트라 예측 모듈(360)의 제2 입력부, 디블록킹 필터(365)의 제2 입력부, 동작 보상기(motion compensator, 370)의 제1 입력부, 동작 추정기(motion estimator, 375)의 제1 입력부 및 기준 화상 버퍼(380)의 제2 입력부와 신호 통신하도록 연결된다.

인코더 제어기(305)의 제2 출력부는 SEI(Supplemental Enhancement Information) 삽입기(330)의 제1 입력부, 변환기 및 양자화기(325)의 제2 입력부, 엔트로피 코더(345)의 제2 입력부, 출력 버퍼(335)의 제2 입력부 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(340)의 입력부와 신호 통신하도록 연결된다.

화상 타입 판정 모듈(315)의 제1 출력부는 프레임 정력 버퍼(310)의 제3 입력부와 신호 통신하도록 연결된다. 화상 타입 판정 모듈(315)의 제2 출력부는 마크로블록 타입 판정 모듈(320)의 제2 입력부와 신호 통신하도록 연결된다.

SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(340)의 출력부는 결합기(390)의 제3 비반전 입력부와 신호 통신하도록 연결된다.

역변환기 및 역양자화기(350)의 출력부는 결합기(319)의 제1 비반전 입력부와 신호 통신하도록 연결된다. 결합기(319)의 출력부는 인트라 예측 모듈(360)의 제1 입력부 및 디블록킹 필터(365)의 제1 입력부와 신호 통신하도록 연결된다. 디블록킹 필터(365)의 출력부는 기준 화상 버퍼(380)의 제1 입력부와 신호 통신하도록 연결된다. 기준 화상 버퍼(380)의 출력부는 동작 추정기(375)의 제2 입력부와 신호 통신하도록 연결된다. 동작 추정기(375)의 제1 출력부는 동작 보상기(370)의 제2 입력부와 신호 통신하도록 연결된다. 동작 추정기(375)의 제2 출력부는 엔트로피 코더(345)의 제3 입력부와 신호 통신하도록 연결된다.

동작 보상기(370)의 출력부는 스위치(397)의 제1 입력부와 신호 통신하도록 연결된다. 인트라 예측 모듈(360)의 출력부는 스위치(397)의 제2 입력부와 신호 통신하도록 연결된다. 마크로블록 타입 판정 모듈(320)의 출력부는 스위치(397)의 제3 입력부와 신호 통신하도록 연결된다. 스위치(397)의 제3 입력부는 (제어 입력, 즉 제3 입력과 비교해서) 스위치의 "데이터" 입력이 동작 보상기(370) 또는 인트라 예측 모듈(360)에 의해 제공될 것인지 여부를 판단한다. 스위치(397)의 출력부는 결합기(319)의 제2 비반전 입력부 및 결합기(385)의 반전 입력부와 신호 통신하도록 연결된다.

프레임 정력 버퍼(310) 및 인코더 제어기(305)의 입력부는 입력 화상(310)을 수신하는 인코더(300)의 입력부로서 이용될 수 있다. 더욱이 SEI(Supplemental Enhancement Information) 삽입기(330)의 입력부는 메타데이터를 수신하는 인코더(300)의 입력부로서 이용될 수 있다. 출력 버퍼(335)의 출력부는 비트스트림을 출력하는 인코더(300)의 출력부로서 이용될 수 있다.

도 4를 참조로 설명하면, 본 발명이 적용될 수 있는 예시적인 비디오 디코더는 도면부호 400으로 총괄적으로 나타낸다.

비디오 디코더(400)는 엔트로피 디코더(445)의 제1 입력부와 신호 통신하도록 연결된 출력부를 가진 입력 버퍼(410)를 포함한다. 엔트로피 디코더(445)의 제1 출력부는 역변환기 및 역양자화기(450)의 제1 입력부와 신호 통신하도록 연결된다. 역변환기 및 역양자화기(450)의 출력부는 결합기(425)의 제2 비반전 입력부와 신호 통신하도록 연결된다. 결합기(425)의 출력부는 디블록킹 필터(465)의 제2 입력부 및 인트라 예측 모듈(460)의 제1 입력부와 신호 통신하도록 연결된다. 디블록킹 필터(465)의 제2 출력부는 기준 화상 버퍼(480)의 제1 입력부와 신호 통신하도록 연결된다. 기준 화상 버퍼(480)의 출력부는 동작 보상기(470)의 제2 입력부와 신호 통신하도록 연결된다.

엔트로피 디코더(445)의 제2 출력부는 동작 보상기(470)의 제3 입력부 및 디블록킹 필터(465)의 제1 입력부와 신호 통신하도록 연결된다. 엔트로피 디코더(445)의 제3 출력부는 디코더 제어기(405)의 입력부와 신호 통신하도록 연결된다. 디코더 제어기(405)의 제1 출력부는 엔트로피 디코더(445)의 제2 입력부와 신호 통신하도록 연결된다. 디코더 제어기(405)의 제2 출력부는 역변환기 및 역양자화기(450)의 제2 입력부와 신호 통신하도록 연결된다. 디코더 제어기(405)의 제3 출력부는 디블록킹 제어기(465)의 제3 입력부와 신호 통신하도록 연결된다. 디코더 제어기(405)의 제4 출력부는 인트라 예측 모듈(460)의제2 입력부, 동작 보상기(470)의 제1 입력부 및 기준 화상 버퍼(480)의 제2 입력부와 신호 통신하도록 연결된다.

동작 보상기(470)의 출력부는 스위치(497)의 제1 입력부와 신호 통신하도록 연결된다. 인트라 예측 모듈(460)의 출력부는 스위치(497)의 제2 입력부와 신호 통신하도록 연결된다. 스위치(497)의 출력부는 결합기(425)의 제1 비반전 입력부와 신호 통신하도록 연결된다.

입력 버퍼(410)의 입력부는 입력 비트스트림을 수신하는 디코더(400)의 입력부로서 이용될 수 있다. 디블록킹 필터(465)의 제1 출력부는 출력 화상을 출력하는 디코더(400)의 출력부로서 이용될 수 있다.

본 발명에 따라서, 압축 비디오 비트레이트를 감소시키기 위해 데이터 프루닝하는 것과 동시에 디코더단에서 매우 높은 화질의 디코딩 및 재구성된 화상을 보존하는 새로운 방식을 제안한다. 소정 실시예에 대해 더 자세히 설명하면 원 영상/화상은 압축 전에 더 작은 크기로 잘라지고(pruned) 이어서 디코딩 후에 원 크기로 보간된다. 이 보간은 데이터 프루닝 단계 중에 어느 라인, 부분 또는 영역이 잘라졌는지에 대한 정보를 이용하여 비디오 영상/화상을 원 크기로 복구한다. 프루닝은 인코딩 전에 몇 가지 가능한 평가 방식 중 하나에 따라서 공간 영역에서 라인, 부분 및/또는 영역을 탈락시키고, 비트스트림을 다시 공간 영역으로 디코딩한 후에 이들 라인, 부분 및/또는 영역을 복구함으로써 수행된다. 소정 실시예에서 엣지 방향 보간을 이용하여 디코딩된 화상을 원 크기로 재구성한다. 영상/비디오 화상 내의 나머지 화소를 필터링하는 것을 피하기 때문에 재구성된 화상은 낮은 비트 레이트로부터 높은 품질을 달성할 수 있다.

일 실시예에서 데이터 프루닝은 행 또는 열만이 탈락되고, 따라서 일 방향에서의 업샘플링만이 이들 영역에서 필요한 방식으로 수행된다. 그러한 맥락에서 설명되었지만 당업자라면 본 발명의 본질을 그대로 유지하면서 공간 영역에서 부분을 탈락시키는 다른 수단도 인코딩 전에 이용될 수 있음을 잘 알 것이다. 따라서 탈락된 라인은 행 또는 열일 수 있지만 이것에만 한정되는 것은 아니다. 예컨대 탈락된 라인은 라인 대신에 그리고/또는 라인에 더하여 대각선이거나 비선형 곡선일 수 있다. 더욱이 이 원리는 잘라질 필수 단위가 공간 영역 또는 곡선이 아니라 부분 또는 영역인 경우에도 적용될 수 있으며, 이것도 본 발명의 범위 내에 있는 것이다. 따라서 라인과 관련하여 여기서 제공된 본 발명의 설명은 본 발명의 범위를 라인에만 국한하는 것이 아니라, 인코딩 전에 탈락될(그리고 결과적으로 디코딩 후에 복구될) 공간 영역 내의 라인, 곡선, 부분 및/또는 영역도 포함하는 것이다. 따라서 여기서 제공된 본 발명의 교시에 따라서 당업자라면 본 발명의 본질을 그대로 유지하면서 본 발명의 이들 및 다른 변형을 고려하고 쉽게 구현할 수 있을 것이다. 여기서 사용된 용어 "영역"은 라인, 곡선, 부분 및/또는 영역 중 하나 이상을 나타낼 수 있음을 알아야 한다.

설명 목적상, 보간을 위한 NEDI(New Edge-Directed Interpolation)(특히 NEDI-4)를 조정하는 방법에 대해 중점적으로 설명한다. 도 5a를 참조로 설명하면, NEDI-4 및 NEDI-8에 관련된 고차 엣지 방향성 보간의 모델 파라미터를 도면부호 500으로 총괄적으로 나타낸다. 여기에 도시된 바와 같이 오점형 부격자(quincunx sub-lattice)를 이용하여 2개의 패스(pass)가 수행된다. 제1 패스에서 4개의 가장 가까운 저해상 화소의 교차점에 있는 고해상 화소는 적응형 4차 보간기를 이용하여 이 4개의 가장 가까운 화소로부터 보간된다. 나머지 고해상 화소는 저해상 화소와 제1 패스에서 보간된 화소를 이용하여 제2 패스에서 동일한 알고리즘을 가지고 보간된다. 보간기의 고해상 모델 파라미터는 저해상 모델 파라미터로부터 추정된다.

데이터 프루닝

데이터 프루닝은 화상에서 라인을 탈락시킴으로써 구현된다. 라인이 직선인 특정 경우가 있을 것이다. 그 경우에 라인은 행이나 열 또는 (도 6에서 보는 바와 같은) 방향을 가진 직선일 수 있다. 도 6을 참조로 설명하면, 임의의 라인을 탈락시키는 데이터 프루닝의 예를 도면부호 600으로 총괄적으로 나타낸다. 데이터 프루닝(600)은 프레임(610), 프루닝된 라인(620) 및 프루닝된 곡선(630)을 포함한다.

도 7을 참조로 설명하면, 한 프레임에서 열과 행을 탈락시키는 데이터 프루닝의 예를 도면부호 700으로 총괄적으로 나타낸다. 데이터 프루닝(700)은 프레임(710), 프루닝된 열(720) 및 프루닝된 행(730)을 포함한다.

도 8을 참조로 설명하면, 화상 그룹(GOP) 및/또는 장면 전체에 대한 동일 열 및 행을 탈락시키는 데이터 프루닝의 예를 도면부호 800으로 총괄적으로 나타낸다. 데이터 프루닝(800)은 제1 프레임(810), 중간 프레임(820), 마지막 프레임(830), 프루닝된 행(840) 및 프루닝된 열(850)을 포함한다.

도 9a를 참조로 설명하면, 주지의 아키요 시퀀스의 제1 프레임 중의 탈락된 열과 행을 나타내는 라인을 도면부호 900으로 총괄적으로 나타낸다. 도 9b를 참조로 설명하면, 도 9a의 예에 대응하는 프루닝된 프레임을 도면부호 950으로 총괄적으로 나타낸다.

디코더는 누락된 화소를 보간할 필요가 있기 때문에 디코더측에서 그 탈락된 라인의 위치를 알 필요가 있다. 탈락된 라인의 위치를 시스널링(signaling)하는 것과 이 탈락된 라인의 추적하는 경비(overhead) 간에는 절충관계(tradeoff)가 있다. 일 실시예에서 그 라인을 표시하는 경비를 트게 감소시키기 위해 열과 행만을 탈락시킨다. 이 경우에 행/열 당 1 비트만을 사용하여 추적하는데, 이는 (한 프레임에서 열과 행을 탈락시키는 도 7, 한 GOP/장면에서 열과 행을 탈락시키는 도 8, 탈락된 열과 행을 표시하는 백색 라인을 가진 도 9a, 그리고 프루닝된 프레임에 대한 도 9b에서 보는 바와 같이) 라인의 탈락 여부를 나타낸다. 다른 실시예에서 홀수 라인(odd lines)만을 탈락시키고 짝수 라인(even lines)은 그대로 둔다. 일 실시예에서 GOP/장면 내의 모든 화상은 경비를 더 줄이기 위해 동일한 탈락 패턴을 갖는다. 어느 라인이 먼저 탈락되어야 하는지를 판단하기 위해, 일 실시예에서, 압축이 없다고 가정하고 왜곡 기준을 이용한다. 먼저 최종 타깃을 설정한다. 이 타깃은 왜곡, 화소 탈락 비율 및/또는 임의의 복잡성 제약일 수 있다. 물론, 여기서 설명된 본 발명의 교시에 따르면 이 타깃은 이에 한정되지 않으며, 본 발명에 따라서 본 발명의 본질을 그대로 유지하면서 다른 타깃도 이용될 수 있다. 일 실시예에서, 하나의 라인이 탈락된다고 가정하면, 압축을 고려하지 않고 그 탈락된 라인을 보간한다. 그런 다음에, 그 보간된 라인의 MSE(Mean Square Error)를 원 영상의 동일 라인과 비교한다. 최소 MSE를 가진 라인이 먼저 탈락된 것으로 선택된다. 다른 실시예에서 라인의 왜곡과 비트 레이트 모두를 고려한다. 일 실시예에서 라인 비트 레이트는 그 분산을 이용하여 근사화될 수 있다.

최적 데이터 프루닝 실시예

도 10을 참조로 설명하면, 예시적인 데이터 프루닝 기반 압축 시스템을 도면부호 1000으로 총괄적으로 나타낸다. 이 시스템(1000)은 데이터 프루너(1010), 데이터 저장소 또는 압축기(1020) 및 보간기(1030)를 포함한다. 별개의 구성요소로서 도시되어 있지만, 데이터 프루너(1010), 데이터 저장소 또는 압축기(1020) 및 보간기(1030) 중 하나 이상은 조합되어 하나의 집적 구성요소가 될 수 있다. 예컨대 소정 실시예에서 데이터 프루너(1010)는 데이터 저장소 또는 압축기(1020) 내에 포함될 수 있다. 데이터 저장소 또는 압축기(1020)는 본 발명의 목적상 인코더로서 간주될 수 있다. 크기가 M×N인 원 프레임(I)은 더 작은 크기 (M-M_p)×(N-N_p)의 프레임(P)으로 프루닝된다. 여기서, M_p와 N_p는 각각 탈락된 행과 열의 수이다. 데이터 프루닝의 목적은 저장 또는 압축 프레임(P')을 나타내는 비트의 수를 줄이는 것이다. 그런 다음에, P'는 I'로 보간되어 원 프레임 크기로 재구성된다. 여기서 고려되는 압축 단계는 도 3에 도시된 인코더와 도 4에 도시된 디코더를 가진 MPEG-4 AVC 표준 코덱이다. 그러나 전술한 바와 같이 본 발명은 MPEG-4 AVC 표준에 한정되는 것은 아니며, 본 발명의 본질을 그대로 유지하면서 다른 비디오 코딩 표준, 권고안 및 그 확장에도 적용될 수 있다.

짝수 행과 열만이 탈락되는 것으로 고려하고 홀수 행과 열은 뒤에 보간을 위해 그대로 둔다. 도 11을 참조로 설명하면, 예시적인 데이터 프루닝 처리 시스템을 도면부호 1100으로 총괄적으로 나타낸다. 이 시스템(1100)은 데시메이터(1110)와 보간기(1120)를 포함한다. 데이터 프루닝 처리에서 원 프레임(I)은 데시메이터(1110)에 각각 열만을 탈락시키는 경우, 행만을 탈락시키는 경우, 그리고 열과 행 모두 탈락시키는 경우에 대해 1×2, 2×1 및 2×2의 비로 저해상(LR) 프레임(I_l)으로 데시메이트된다. 그 다음에, 프레임(I_l)은 보간기(1120)에 의해 고해상(HR) 프레임(I_h)으로 보간된다. 이 보간으로 인해, 재구성된 프레임은 원 프레임과 다르게 된다. I 내의 대응 행과 열과 비교해 최소 예러를 가진 I_h내의 행과 열은 탈락되는 것으로 선택된다. MSE(mean squared error)는 I_h와 I 간의 평균 자승 오차로서 정의된다.

타깃 MSE_max가 주어지면, 데이터 프루닝은 총 MSE를 MSE_max보다 작도록 유지하면서 대부분의 화소를 탈락시키도록 최적화된다. 탈락된 행과 열의 위치는 각각 α_m과 α_n으로 표시한다. i번째 짝수 라인(행 또는 열)은 α_i값이 1이면 탈락되고, 그렇지 않으면 그대로 유지된다. 이 표시자는 코딩된 비트스트림 내에 보조 정보(side information)로서 저장된다. 하나의 탈락된 라인에 대한 MSLE(mean square line error)는 그 라인에만 있는 화소에 대한 I_h와 I간의 평균 자승 오차로서 정의된다. 상대적으로 작은 MSLE를 가진 라인이 상대적으로 큰 MSLE를 가진 라인보다 탈락 우선순위가 더 높다. 최소 MSLE를 가진 M_p 행과 N_p 열이 탈락되고 이들 라인의 최대 MSLE는 MSLE_max라고 가정한다. 총 MSE는 모든 탈락된 화소의 평균 MSE가 된다. MSE의 상한은 예컨대 탈락된 행의 수 M_p, 탈락된 열의 수 N_p 및 MSLE_max에 기초하여 얻어진다. 이 상한은 최적 데이터 프루닝 방식을 찾기 위한 조건으로서 MSE_max보다 작아야 한다.

도 12를 참조로 설명하면, 예시적인 최적 데이터 프루닝 방법을 도면부호 1200으로 총괄적으로 나타낸다. 이 방법(1200)은 제어를 기능 블록(1203)으로 넘기는 시작 블록(1201)을 포함한다. 기능 블록(1203)은 프레임 또는 GOP를 입력하고 제어를 기능 블록(1206), 기능 블록(1209) 및 기능 블록(1212)으로 넘긴다. 기능 블록(1206)은 짝수 행(even rows)을 제거하고 제어를 기능 블록(1215)으로 넘긴다. 기능 블록(1215)은 예컨대 NEDI-6에 기초하여 보간을 수행하고 제어를 기능 블록(1224)으로 넘긴다. 기능 블록(1224)은 원 행과 재구성된 행(1) 사이의 에러를 찾고 제어를 기능 블록(1233)으로 넘긴다.

기능 블록(1209)은 짝수 열을 제거하고 제어를 기능 블록(1218)으로 넘긴다. 기능 블록(1218)은 예컨대 NEDI-6에 기초하여 보간을 수행하고 제어를 기능 블록(1227)으로 넘긴다. 기능 블록(1227)은 원 행과 재구성된 행(2) 사이의 에러를 찾고 제어를 기능 블록(1233)으로 넘긴다.

기능 블록(1212)은 짝수 행과 열을 제거하고 제어를 기능 블록(1221)으로 넘긴다. 기능 블록(1221)은 예컨대 NEDI-8에 기초하여 보간을 수행하고 제어를 기능 블록(1230)으로 넘긴다. 기능 블록(1230)은 원 행과 재구성된 행(3) 사이의 에러를 찾고 제어를 기능 블록(1233)으로 넘긴다.

기능 블록(1233)은 탈락된 행 수 M_d를 0으로 설정하고, 탈락된 열 수 N_d를 0으로 설정하고, 최대 탈락 화소 수 Pel을 0으로 설정하고, 제어를 판단 블록(1236)으로 넘긴다. 판단 블록(1236)은 M_d가 0인지 여부를 판단한다. 만일 0이면 제어는 기능 블록(1242)으로 넘어가고, 0이아니면 제어는 판단 블록(1239)으로 넘어간다.

기능 블록(1242)은 (1)에서 최소 에러, 즉 기능 블록(1224) 당 산출된 에러를 가진 N_d개 열 탈락을 선택하고, 제어를 기능 블록(1246)으로 넘긴다. 기능 블록(1246)은 에러 MSE와 탈락된 화소 수 Pel을 산출하고 제어를 판단 블록(1252)으로 넘긴다. 판단 블록(1252)은 MSE<MSE_max인지와 Pel>Pel_max인지를 판단한다. YES이면 제어는 기능 블록(1255)으로 넘어가고 NO이면 제어는 기능 블록(1270)으로 넘어간다.

기능 블록(1255)은 Pel_max를 Pel로, M_d_opt를 M_d로, N_d_opt를 N_d로 설정하고, 제어를 기능 블록(1258)으로 넘긴다. 기능 블록(1258)은 N_d<N인지 여부를 판단한다. YES이면 제어는 기능 블록(1264)으로 넘어가고 NO이면 제어는 기능 블록(1261)으로 넘어간다.

기능 블록(1264)은 N_d를 N_d+16으로 설정하고, 제어를 판단 블록(1236)으로 넘긴다.

기능 블록(1261)은 M_d<M인지 여부를 판단한다. YES이면 제어는 기능 블록(1267)으로 넘어가고 NO이면 제어는 기능 블록(1270)으로 넘어간다.

판단 블록(1239)은 N_d=0인지 여부를 판단한다. YES이면 제어는 기능 블록(1245)으로 넘어가고 NO이면 제어는 기능 블록(1249)으로 넘어간다.

기능 블록(1245)은 (2)에서 최소 에러, 즉 기능 블록(1227) 당 산출된 에러를 가진 M_d개 열 탈락을 선택하고, 제어를 기능 블록(1246)으로 넘긴다.

기능 블록(1249)은 (3)에서 최소 에러, 기능 블록(1230) 당 산출된 에러를 가진 M_d개 열과 N_d개 행 탈락을 선택하고, 제어를 기능 블록(1246)으로 넘긴다.

기능 블록(1270)은 M_d_opt와 N_d_opt를 출력하고, 제어를 종료 블록(1299)으로 넘긴다.

도 13을 참조로 설명하면, 예시적인 최적 데이터 복구 방법을 도면부호 1300으로 총괄적으로 나타낸다. 이 방법(1300)은 제어를 기능 블록(1310)으로 넘기는 시작 블록(1305)을 포함한다. 기능 블록(1310)은 프루닝된 프레임 및/또는 GOP(group of pictures), 및 탈락된 프레임 리스트를 입력하고 제어를 기능 블록(1315)으로 넘긴다. 기능 블록(1315)은 프레임 크기를 원래 크기로 조정하고 제어를 기능 블록(1320)으로 넘긴다. 루프 제한 블록(1320)은 프루닝된 데이터에 대해 루핑하고 제어를 판단 블록(1325)으로 넘긴다. 판단 블록(1325)은 짝수 행 및 열이 제거되었는지 여부를 판단한다. YES이면 제어는 기능 블록(1330)으로 넘어가고 NO이면 제어는 기능 블록(1340)으로 넘어간다.

기능 블록(1330)은 NEDI-8로 행 및 열을 보간하고 제어를 루프 제한 블록(1335)으로 넘긴다.

루프 제한 블록(1335)은 루프를 종료하고 제어를 기능 블록(1360)으로 넘긴다. 기능 블록(1360)은 재구성된 프레임/GOP를 출력하고 제어를 종료 블록(1399)으로 넘긴다.

판단 블록(1340)은 짝수 행이 제거되었는지 여부를 판단한다. YES이면 제어는 기능 블록(1345)으로 넘어가고 NO이면 제어는 기능 블록(1350)으로 넘어간다.

기능 블록(1345)은 NEDI-6으로 그 행을 보간하고 제어를 루프 제한 블록(1335)으로 넘긴다.

판단 블록(1350)은 짝수 열이 제거되었는지 여부를 판단한다. YES이면 제어는 기능 블록(1355)으로 넘어가고 NO이면 제어는 기능 블록(1335)으로 넘어간다.

기능 블록(1355)은 NEDI-6으로 그 열을 보간하고 제어를 루프 제한 블록(1335)으로 넘긴다.

고차 엣지 방향 보간

보간에 의해서 동일한 또는 시간적으로 관련된 프레임의 주위 화소로부터 누락된 화소를 추정/채울 수 있는 방법이 제공된다. 이 방법은 바이큐빅(bi-cubic)법과 같은 고전적인 보간, NEDI와 같은 새로운 방법, 또는 주위 화소로부터 누락된 화소의 구멍을 채우는 인페인팅(inpainting)과 같은 다른 종류의 방법일 수 있다. 물론 본 발명에 따른 보간은 이 설명된 보간 기법에만 한정되는 것은 아니며, 본 발명의 본질을 그대로 유지하면서 다른 보간 기법도 이용될 수 있다.

디코더에서의 보간을 위해, 더 많은 방향에 적응될 수 있도록 고차 엣지 방향 보간을 적용하는 것을 제시한다. 이 방법은 4개의 인접한 화소만을 이용하고 2×2의 확대비에 대해서만 적용될 수 있는 저해상 영상의 공분산에 관련된 종래 방식에서 설명된 것과는 다르다. 이 방법은 제안된 데이터 프루닝 방식에 이용될 수 있도록 조정된다. 소정 실시예에서 1차원만(행만 또는 열만)에서와 2차원(행과 열 모두)에서 라인을 탈락시키는 경우에 대해 6차 및 8차 엣지 방향 보간을 이용한다.

실시예: NEDI-6

열만을 탈락시키는 알고리즘에 대해 설명하지만, 이 알고리즘은 열만을 탈락시키는 경우 뿐만 아니라 행만을 탈락시키는 경우에도 적용될 수 있다. 먼저 원 프레임(I) 내의 홀수 열에 대응하는 P'의 열을 추출하여 크기 M×N/2의 저해상 프레임(P'_l)을 구성한다. P'_l의 열은 크기 M×N의 HR 프레임(P'_h)의 홀수 열에 맵핑된다. P'_h의 짝수 열은 여기서 설명된 6차 보간에 의해 홀수 열로부터 보간된다.

보간된 화소는 도 5b에 도시된 가중된 6개 인접 주변 화소의 합이다. 도 5b를 참조로 설명하면, NEDI-6에 관련된 고차 엣지 방향 보간의 모델 파라미터를 도면부호 500으로 총괄적으로 나타낸다. 이들 가중치는 고해상 프레임의 모델 파라미터이다. 최적의 모델 파라미터는 모델 파라미터가 로컬 윈도우(local window)에서 상수라고 가정하면 보간된 화소와 원 화소 간의 MSE를 최소화함으로써 구해진다. 가하 쌍대성(geometric duality) 가정을 적용하면, 모델 파라미터는 상이한 스케일들에 대해 상수로 간주되며 저해상 화소로부터 추정될 수 있다. 도 5b에 도시된 바와 같이 원 화소와 보간된 화소를 이용하는 저해상 프레임의 모델 파라미터는 이들 간의 에러를 최소화함으로써 구해질 수 있다. 그러면 이들 저해상 모델 파라미터를 고해상 모델 파라미터로서 이용하여 누락된 고해상 화소를 보간할 수 있다. 마지막으로 열 표시자를 이용하여 압축 프루닝된 프레임 또는 보간된 프레임으로부터 화소를 선택하여 최종 재구성된 프레임을 구성한다. 이 열 표시자가 1이면 재구성된 열은 보간된 프레임으로부터 얻는다. 열 표시자가 0이면 재구성된 열은 압축 프루닝된 프레임으로부터 얻는다.

실시예: NEDI-8

NEDI-6과 마찬가지로 원 프레임(I) 내의 다운샘플링비 2×2의 저해상 화소에 대응하는 P'의 화소를 추출하여 크기 M/2×N/2의 LR 프레임(P'_l)을 구성한다. 이 보간은 제1 라운드(round)에 대해서는 NEDI-4를 제2 라운드에 대해서는 NEDI-8을 이용하여 수행된다. 제2 라운드에서 8개의 인접한 화소 모두를 이용하여 NEDI-8은 4 방향으로부터 여분의 정보를 얻도록 구현된다. 이 라운드의 이점은 모델 파라미터가 그 고해상 화소로부터 바로 추정될 수 있고 따라서 NEDI-4의 과적합(over-fitting) 문제가 완화된다는 것이다. NEDI-8은 일관성을 유지하기 위해 누락된 고해상 화소 전부에 대해 적용된다. HR 스케일에 대한 4차 모델 파라미터 h₄와 8차 모델 파라미터 h₈은 도 3A에 나타나 있다. 최적의 h₈은 NEDI-6에 이용된 것과 유사한 알고리즘에 의해 산출된다.

이제 본 발명의 다른 여러 가지 부수적인 이점/특징들에 대해(그 일부는 이미 전술하였음) 설명한다. 예컨대 한 가지 이점/특징은 인코딩에 의한 압축 전에 그리고 이에 대비하여 화상을 전처리하는 데이터 프루너를 가진 장치이다. 이 데이터 프루너는 선택적으로 공간 영역에서 화상 내의 적어도 하나의 영역을 제거한다.

다른 이점/특징은 데이터 프루너가 인코더에 포함된 전술한 데이터 프루너를 가진 장치이다.

또 다른 이점/특징은 적어도 하나의 영역이 제거된 화상을 인코딩하기 위해 데이터 프루너에 연결된 인코더를 더 포함하는 전술한 데이터 프루너를 가진 장치이다.

또 다른 이점/특징은 화상 내의 적어도 하나의 영역의 위치를 나타내는 보조 정보가 디코더나 기타 다른 장치에 명시적으로 또는 암시적으로 전송되는 전술한 데이터 프루너를 가진 장치이다.

또 다른 이점/특징은 적어도 하나의 영역이 직선, 비선형 곡선 및 영역 중 적어도 하나를 포함하는 전술한 데이터 프루너를 가진 장치이다.

또 다른 이점/특징은 짝수 또는 홀수 라인만이 데이터 프루너에 의해 제거되는 전술한 데이터 프루너를 가진 장치이다.

또 다른 이점/특징은 화상이 화상 그룹 내에 포함되고, 화상 그룹 내의 모든 화상에 동일한 제거 패턴이 할당되는 전술한 데이터 프루너를 가진 장치이다.

또 다른 이점/특징은 선택적으로 제거된 적어도 하나의 영역이 영상 왜곡 계량(metric), 레이트 왜곡 계량, 탈락 화소 계량 및 복잡성 계량 중 적어도 하나의 평가에 따라서 결정되는 전술한 데이터 프루너를 가진 장치이다.

또 다른 이점/특징은 1차원에서 적어도 하나의 영역을 제거하는데는 6차 보간을 이용하고 2차원에서 적어도 하나의 영역을 제거하는데는 8차 보간을 이용하는 전술한 데이터 프루너를 가진 장치이다.

본 발명의 이들 및 다른 특징과 이점들은 당업자라면 여기서의 교시에 따라서 쉽게 확인할 수 있다. 본 발명의 교시는 여러 가지 형태의 하드웨어, 소프트웨어, 펌웨어, 전용 프로세서, 또는 이들의 조합으로 구현될 수 있음을 알아야 한다.

가장 바람직하게는, 본 발명의 교시는 하드웨어와 소프트웨의 조합으로서 구현된다. 더욱이 소프트웨어는 프로그램 저장 유닛에서 구체화된 애플리케이션 프로그램으로서 구현될 수 있다. 애플리케이션 프로그램은 임의의 적당한 구조를 가진 기계로 업로드되어 실행될 수 있다. 바람직하게는, 기계는 하나 이상의 CPU(central processing unit), RAM(random access memory), I/O(input/output) 인터페이스와 같은 하드웨어를 가진 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 운영 체제와 마이크로명령어 코드도 포함할 수 있다. 여기서 설명된 여러 가지 프로세스와 기능들은 CPU에 의해 실행될 수 있는 마이크로명령어 코드의 일부, 애플리케이션 프로그램의 일부, 또는 이들의 조합일 수 있다. 게다가, 컴퓨터 플랫폼에는 부가 데이터 저장 장치나 프린트 장치와 같은 각종 다른 주변장치가 연결될 수 있다.

더욱이 첨부도면에 나타낸 시스템 구성성분과 방법들 중 일부는 바람직하게는 소프트웨어로 구현되기 때문에, 시스템 구성성분들 간 또는 프로세스 기능 블록들 간의 실제 연결은 본 발명이 프로그램되는 방식에 따라 다를 수 있다. 당업자는 여기서의 교시를 고려하여 본 발명의 이들 및 이와 유사한 구현이나 구성을 생각해낼 수 있을 것이다.

지금까지 첨부도면을 참조로 예시적인 실시예들에 대해 설명하였지만, 본 발명은 이들 실시예들에만 한정되는 것이 아니며, 당업자라면 본 발명의 범위와 본질로부터 벗어남이 없이 여러 가지로 수정 및 변형을 가할 수 있음은 물론이다. 그러한 수정이나 변형도 첨부된 청구범위에 기재된 본 발명의 범위 내에 포함된다고 할 것이다.

Claims

인코딩에 의한 압축 전에 그리고 이 압축에 대비하여 화상을 전처리하기 위한 데이터 프루너(data pruner, 110, 1010)를 포함하되,
상기 데이터 프루너는 주파수 영역(frequency domain)이 아닌 공간 영역(spatial domain)에서 적어도 하나의 영역(region), 라인 또는 인코딩되는 상기 화상 내의 라인들을 포함하는 부분을 포함하는 상기 화상의 부분을 선택적으로 제거하고, 상기 화상의 나머지 부분은 인코딩되도록 놓아두며,
인코딩되는 상기 화상의 상기 적어도 하나의 영역을 1차원에서 제거하는데는 6차 보간을 이용하고, 인코딩되는 상기 화상의 상기 적어도 하나의 영역을 2차원에서 제거하는데는 8차 보간을 이용하는(1215, 1221)는 장치.
인코딩에 의한 압축 전에 그리고 이 압축에 대비하여 화상을 전처리하는 단계(215)를 포함하되,
상기 전처리하는 단계는 주파수 영역(frequency domain)이 아닌 공간 영역(spatial domain)에서 적어도 하나의 영역(region), 라인 또는 인코딩되는 상기 화상 내의 라인들을 포함하는 부분을 포함하는 상기 화상의 부분을 선택적으로 제거하고, 상기 화상의 나머지 부분은 인코딩되도록 놓아두는 단계를 포함하며,
인코딩되는 상기 화상의 상기 적어도 하나의 영역을 1차원에서 제거하는데는 6차 보간을 이용하고, 인코딩되는 상기 화상의 상기 적어도 하나의 영역을 2차원에서 제거하는데는 8차 보간을 이용하는(1215, 1221)는, 방법.
제2항에 있어서,
상기 방법은 인코더에 포함되어 있는, 방법.
제2항에 있어서,
상기 적어도 하나의 영역이 제거된(220) 화상을 인코딩하는 단계(220)를 더 포함하는 방법.
제2항에 있어서,
상기 화상 내의 상기 적어도 하나의 영역의 위치를 나타내는 보조 정보가 디코더 또는 다른 장치에 명시적으로 또는 암시적으로 전송되는 방법.
제2항에 있어서,
상기 적어도 하나의 영역은 직선, 비선형 곡선 및 영역 중 적어도 하나를 포함하는 방법.
제2항에 있어서,
상기 전처리 단계에 의해 짝수 또는 홀수 라인만이 제거되는(1206, 1209, 1212) 방법.
제2항에 있어서,
상기 화상은 화상 그룹에 포함되고, 상기 화상 그룹 내의 화상 전부에 동일한 제거 패턴이 할당되는(1203) 방법.
제2항에 있어서,
선택적으로 제거된 상기 적어도 하나의 영역은 영상 왜곡 계량, 레이트 왜곡 계량, 탈락 화소 계량 및 복잡성 계량 중 적어도 하나의 평가에 따라서 결정되는(1246, 1252) 방법.
디코딩에 의한 압축해제에 이어서 압축해제된 화상을 수신하고, 이전에 수행된 인코딩 프로세스(1300) 전에 적어도 하나의 영역의 제거를 나타내는 정보에 기초하여, 주파수 영역이 아닌 공간 영역에서 상기 적어도 하나의 영역, 라인 또는 상기 압축해제된 화상의 라인들을 포함하는 부분을 포함하는 상기 화상의 부분을 선택적으로 복구함으로써 상기 압축해제된 화상을 후처리하기 위한 데이터 복구기(data restorer, 140)를 포함하고,
상기 압축해제된 화상의 상기 적어도 하나의 영역을 1차원에서 제거하는데는 6차 보간을 이용하고, 상기 압축해제된 화상의 상기 적어도 하나의 영역을 2차원에서 제거하는데는 8차 보간을 이용하는 장치.
디코딩에 의한 압축해제에 이어서 압축해제된 화상을 수신하는 단계(235); 및
프로세서를 가진 데이터 복구기를 이용하여, 이전에 수행된 인코딩 프로세스(1300) 전에 적어도 하나의 영역의 제거를 나타내는 정보에 기초하여, 주파수 영역이 아닌 공간 영역에서 상기 적어도 하나의 영역, 라인 또는 상기 압축해제된 화상의 라인들을 포함하는 부분을 포함하는 상기 화상의 부분을 선택적으로 복구함으로써 상기 압축해제된 화상을 후처리하는 단계(235)를 포함하고,
상기 압축해제된 화상의 상기 적어도 하나의 영역을 1차원에서 제거하는데는 6차 보간을 이용하고, 상기 압축해제된 화상의 상기 적어도 하나의 영역을 2차원에서 제거하는데는 8차 보간을 이용하는 방법.
제11항에 있어서,
상기 방법은 디코더에 포함되어 있는 방법.
제11항에 있어서,
상기 수신 단계 전에 상기 적어도 하나의 영역이 제거된 화상을 디코딩하는 단계(230, 1300)를 더 포함하는 방법.
제11항에 있어서,
상기 데이터 복구기는 상기 화상 내의 상기 적어도 하나의 영역의 위치를 나타내는 보조 정보를 수신하고, 상기 보조 정보는 디코더 또는 다른 장치로부터 명시적으로 또는 암시적으로 수신되는, 방법.
제11항에 있어서,
상기 적어도 하나의 영역은 직선, 비선형 곡선 및 영역 중 적어도 하나를 포함하는(1300) 방법.
제11항에 있어서,
상기 후처리 단계에 의해 짝수 또는 홀수 라인만이 복구되는(1325, 1340, 1350) 방법.
제11항에 있어서,
상기 화상은 화상 그룹에 포함되고, 상기 화상 그룹 내의 화상 전부에 동일한 제거 패턴이 할당되는(1310) 방법.
제11항에 있어서,
1차원에서 상기 적어도 하나의 영역을 복구하는데는 6차 보간을 이용하고 2차원에서 상기 적어도 하나의 영역을 복구하는데는 8차 보간을 이용하는(1345, 1330) 방법.