KR101715150B1 - 패치-기반의 샘플링 텍스쳐 합성을 사용하여 텍스쳐 압축을 위한 방법 및 장치 - Google Patents

패치-기반의 샘플링 텍스쳐 합성을 사용하여 텍스쳐 압축을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101715150B1
KR101715150B1 KR1020107029036A KR20107029036A KR101715150B1 KR 101715150 B1 KR101715150 B1 KR 101715150B1 KR 1020107029036 A KR1020107029036 A KR 1020107029036A KR 20107029036 A KR20107029036 A KR 20107029036A KR 101715150 B1 KR101715150 B1 KR 101715150B1
Authority
KR
South Korea
Prior art keywords
texture
input
picture
patch
displacement vector
Prior art date
Application number
KR1020107029036A
Other languages
English (en)
Other versions
KR20110023863A (ko
Inventor
펭 인
질 맥도날드 보이스
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20110023863A publication Critical patent/KR20110023863A/ko
Application granted granted Critical
Publication of KR101715150B1 publication Critical patent/KR101715150B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

패치-기반의 샘플링 텍스쳐(texture) 합성을 사용하여 텍스쳐 압축을 위한 방법 및 장치가 제공된다. 장치는 텍스쳐를 합성함으로써, 픽쳐에 대한 텍스쳐를 인코딩하기 위한 인코더를 포함한다. 인코더는 패치-기반의 샘플링 방법을 사용함으로써, 합성될 입력 샘플 텍스쳐에서 패치의 위치를 지정하는 "변위 벡터"를 결정하여, 텍스쳐 합성을 수행한다. 인코더에서, 입력 샘플 텍스쳐와, "변위 벡터"를 나타내는 정보 모두 코딩된다. 디코더에서, 새로운 패치는 "변위 벡터"를 직접 사용함으로써 생성된다.

Description

패치-기반의 샘플링 텍스쳐 합성을 사용하여 텍스쳐 압축을 위한 방법 및 장치{METHODS AND APPARATUS FOR TEXTURE COMPRESSION USING PATCH-BASED SAMPLING TEXTURE SYNTHESIS}
본 발명의 원리는 일반적으로 비디오 코딩 및 디코딩에 관한 것이고, 더 구체적으로 텍스쳐(texture) 압축을 위한 방법 및 장치에 관한 것이다.
다수의 이미지 및 비디오 코딩 표준, 권고, 및 이들의 확장(아래에, 비디오 코딩 표준으로서 공동으로 참조되는)의 존재에 반하여, 텍스쳐(texture) 압축은 충분히 개발되지는 않은 기술이다. 먼저, 대부분의 현재 비디오 코딩 표준은 비디오 픽쳐를 인코딩하기 위하여, 변환(transform)-기반의 방법을 사용한다. 특정 비디오 픽쳐에 대한 세부 텍스쳐를 보존하기 위하여, 이러한 방법은 상당한 비트를 요구하는데, 이미지가 큰 텍스쳐 배경을 포함할 때 특히 그러하다.
일반적으로, 이미지 영역은 평면(flat) 영역, 윤곽(edge) 영역, 또는 텍스쳐 영역으로 분류된다. 대부분의 현재 비디오 코딩 표준은 비디오 픽쳐에 내포되는 영역의 타입에 관계없이, 일반적으로 비디오 픽쳐에 적용되는 변환 기반의 방법을 채택한다. 이러한 변환 기반의 방법이 비디오 픽쳐의 텍스쳐 영역에 적용될 때, 일련의 높은 주파수 성분이 생성되며, 이들은 필터링과 같은 동작을 통하여 실질적으로 버려진다. 그러므로, 이러한 영역이 이러한 높은 주파수 성분에 관련되고, 이러한 텍스쳐 영역을 반영하기에, 압축 동안 텍스쳐 세부 묘사를 보존하는 것은 매우 어렵다.
텍스쳐 합성이 컴퓨터 비젼 및 컴퓨터 그래픽 응용 모두에 사용되지만, 높은 복잡도에 기인하여, 텍스쳐 합성은 이미지 및 비디오 압축 동작을 위해 자주 사용되지는 않는다. 텍스쳐 합성으로 유도되는 접근법에 따라, 텍스쳐는 어느 정도의 규모로 정지 분포를 갖는 무한한 2-차원(2-D) 표면상에 일부 시각적 패턴으로 정의될 수 있다. 텍스쳐 합성의 타겟은 다음으로 서술될 수 있다; 특정 텍스쳐 샘플이 주어지면, 사람 관측자에 의해 감지되었을 때, 텍스쳐 샘플과 동일한 근원적인 추측 통계학적 처리에 의해 생성된 것으로 보이는 새로운 택스쳐가 합성된다.
텍스쳐 합성 동작을 수행하는 하나의 방식은 특징부 공간에서 범용 통계치 및 텍스쳐 앙상블로부터 샘플 이미지를 직접적으로 결정하는 것이다. 이 텍스쳐 합성 동작은 모델-기반의 코딩의 형식이다. 인코더에서 이러한 텍스쳐 합성 동작을 수행하기 위하여, 먼저 이미지는 텍스쳐에 대해 분석되고, 이러한 텍스쳐에 대한 파라미터는 추정되고 코딩된다. 디코더에서, 이들 파라미터는 데이터 비트 스트림으로부터 추출되고, 모델링 된 텍스쳐를 재구성하는데 사용된다. 구체적으로, 텍스쳐는 추출된 파라미터로부터 확률 분포를 결정함으로써, 디코더에서 재구성된다. 텍스쳐 합성의 이러한 접근법의 결점은, 텍스쳐를 분석하고 재구성하기 위해 인코더 및 디코더 모두에서 요구되는 높은 복잡도이다.
종래 기술의 이러한 및 다른 결점 및 단점은, 패치-기반의 샘플링 텍스쳐 합성을 사용하여 텍스쳐 압축을 위한 방법 및 장치에 관한 본 발명의 원리에 의해 다루어진다.
본 발명의 원리의 한 양상에 따라, 장치가 제공된다. 장치는 텍스쳐를 합성함으로써, 픽쳐에 대한 텍스쳐를 인코딩하기 위한 인코더를 포함한다. 인코더는 패치-기반의 샘플링 방법을 사용하여 텍스쳐를 합성할 때, 디코딩 복잡도 동작을 인코더에 전가하는 정보를 사용한다.
본 발명의 원리의 다른 양상에 따라, 방법이 제공된다. 방법은 텍스쳐를 합성함으로써, 픽쳐에 대한 텍스쳐를 인코딩하는 단계를 포함한다. 이 인코딩 단계는 패치-기반의 샘플링 방법을 사용하여 텍스쳐를 합성할 때, 디코딩 복잡도 동작을 인코더에 전가하는 정보를 사용한다.
본 발명의 원리의 또 다른 양상에 따라, 장치가 제공된다. 장치는 텍스쳐를 합성함으로써, 픽쳐에 대한 텍스쳐를 디코딩하기 위한 디코더를 포함한다. 이 디코더는 패치-기반의 샘플링 방법을 사용하여 텍스쳐를 합성할 때, 디코딩 복잡도 동작을 인코더에 전가시키기 위하여 구성되는 정보를 사용한다.
본 발명의 원리의 추가 양상에 따라, 방법이 제공된다. 방법은 텍스쳐를 합성함으로써, 픽쳐에 대한 텍스쳐를 디코딩하는 단계를 포함한다. 이 디코딩 단계는 패치-기반의 샘플링 방법을 사용하여 텍스쳐를 합성할 때, 디코딩 복잡도 동작을 인코더에 전가하는 정보를 사용한다.
본 발명의 원리의 이들 및 다른 양상, 특징 및 장점은 첨부 도면과 함께 읽혀지는, 예시적인 실시예의 다음의 상세한 서술로부터 명백해질 것이다.
본 발명의 원리는 다음의 예시적인 도면들에 따라서, 더욱 이해가 잘 될 것이다.
본 발명은 다수의 이미지 및 비디오 코딩 표준 권고 및 이들의 확장에 반하여, 아직 충분히 개발되지 않은 텍스쳐 압축에 대한 방법 및 장치를 제공한다.
도 1은 생성된 패치-기반의 샘플링 접근법의 개략도.
도 2는 본 발명의 원리의 실시예에 따른, 패치-기반의 샘플링 접근법의 개략도.
도 3은 본 발명의 원리의 실시예에 따라, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 인코더에 대한 블록도.
도 4은 본 발명의 원리의 실시예에 따라, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 디코더에 대한 블록도.
도 5는 본 발명의 원리의 실시예에 따라, 패치-기반의 샘플링 텍스쳐 합성을 사용하는, 예시적인 비디오 텍스쳐 인코딩 방법에 대한 흐름도.
도 6은 본 발명의 원리의 실시예에 따라, 패치-기반의 샘플링 텍스쳐 합성을 사용하는, 예시적인 비디오 텍스쳐 디코딩 방법에 대한 흐름도.
본 발명의 원리는 패치-기반의 샘플링 텍스쳐 합성을 사용하여, 텍스쳐 압축을 위한 방법 및 장치에 관한 것이다.
본 발명의 서술은 본 발명의 원리를 설명한다. 따라서, 당업자라면, 본 명세서에서 명시적으로 서술되거나 도시되지 않더라도, 본 명세서의 상세한 서술의 관점에서 본 발명의 원리를 구현하는 다양한 장치를 안출할 수 있다고 인식될 것이다.
본 발명의 원리의 특정 예시들뿐만이 아니라, 본 발명의 원리, 양상 및 실시예를 언급하는 모든 설명은 이들의 구조적이고 기능적인 등가물을 포함하는 것으로 의도된다. 추가로, 이러한 등가물은 현재 알려진 등가물뿐 아니라 미래에 개발될 등가물, 즉, 구조에 관계없이 동일한 기능을 수행하도록 개발된 임의의 요소 모두를 포함하는 것으로 의도된다.
따라서, 예를 들어, 당업자라면 본 명세서에 제공된 블록도가 본 발명의 원리를 구현하는 예시적인 회로의 개념적인 도면들을 나타내는 것이라고 인식될 것이다. 마찬가지로, 임의의 플로우 차트(flow chart), 흐름도, 및 상태천이도, 의사코드 등은 컴퓨터 또는 처리기가 명시적으로 도시되었는지에 관계없이, 컴퓨터가 판독할 수 있는 매체에 실질적으로 제공되어, 컴퓨터 또는 처리기에 의해 실행될 수 있는 다양한 처리를 나타내는 것임을 인식할 것이므로, 당업자라면 본 명세서의 다양한 개시물로부터 컴퓨터 코드를 구현할 수 있다.
도면에 도시되는 다양한 요소의 기능은 적합한 소프트웨어에 관한 소프트웨어를 실행할 수 있는 하드웨어뿐만이 아니라, 전용 하드웨어의 사용을 통하여 제공될 수 있다. 처리기에 의해 기능이 제공될 때, 기능은 단일 전용의 처리기에 의해, 단일 공유된 처리기에 의해, 또는 일부가 공유될 수 있는 복수의 개별적인 처리기에 의해 제공될 수 있다. 더욱이, 용어 "처리기" 또는 "제어기"의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어에 배타적으로 참조하는 것으로 해석이 되어선 안 되고, 제한 없이, 디지털 신호 처리기("DSP") 하드웨어, 소프트웨어를 저장하기 위한 읽기 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 그래픽 처리기("GPU") 및 비 휘발성의 저장장치를 암묵적으로 포함할 수 있다.
다른 종래의 및/또는 맞춤형(custom) 하드웨어 또한 포함될 수 있다. 마찬가지로, 도면에 도시된 임의의 스위치도 오직 개념적이다. 이들의 기능은 프로그램 로직(logic)의 동작을 통하여, 전용 로직을 통하여, 프로그램 제어 및 전용 로직의 상호작용을 통하여, 심지어 수동으로 수행될 수 있고, 이러한 특정 기술은 이러한 배경으로부터 명확히 이해될 시, 구현자에 의해 선택될 수 있다.
본 명세서의 청구항에서, 특정 기능을 수행하기 위한 수단으로서 표현된 임의의 요소는 다음을 포함하는 기능을 수행하기 위한 임의의 방식을 포함하기 위해 의도되고, 이 기능은 예를 들어, a) 이러한 기능을 수행하는 회로 요소의 조합, 또는 b) 임의의 형식의, 따라서, 기능을 수행하기 위하여 이러한 소프트웨어를 실행하는 적합한 회로와 결합 된 펌웨어(firmware), 마이크로 코드 등을 포함하는 소프트웨어를 포함한다. 이러한 청구항에 의해 정의된 본 발명의 원리는 다양하게 언급된 수단에 의해 제공된 기능이, 청구항이 요구하는 방식으로 결합 되어, 함께 초래된다는 사실에 있다. 따라서, 이들 기능을 제공할 수 있는 임의의 수단이 본 명세에서 나타난 수단에 상응한다고 여겨진다.
본 명세서에서 본 발명의 원리의 "일 실시예" 또는 "실시예"에 대한 언급은 실시예와 연관되어 서술되는 특정 특징, 구조, 또는 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전체에 걸쳐서 다양한 곳에 기재된 "하나의 실시예에서" 또는 "실시예에서" 라는 구의 출현은 모두 동일한 실시예를 반드시 참조해야 하는 것은 아니다.
예를 들어, "A 및/또는 B" 및 "A 및 B 중 적어도 하나"에서, 용어 "및/또는", 및 "중 적어도 하나의" 사용은, 첫 번째로 열거된 옵션(A)의 선택만을, 또는 두 번째로 열거된 옵션(B)의 선택만을, 또는 이 2가지 옵션(A 및 B)의 선택을 포함하는 것으로 의도된다. 추가적인 예시로서, "A,B 및/또는 C" 및 "A,B 및 C 중 적어도 하나의"인 경우에서, 이러한 어법은 첫 번째로 열거된 옵션(A)의 선택만을, 또는 두 번째로 열거된 옵션(B)의 선택만을, 또는 세 번째로 열거된 옵션(C)의 선택만을, 또는 첫 번째 및 두 번째로 열거된 옵션(A 및 B)의 선택만을, 또는 첫 번째 및 세 번째로 열거된 옵션(A 및 C)의 선택만을, 또는 두 번째 및 세 번째로 열거된 옵션(B 및 C)의 선택만을, 또는 모든 3가지 옵션(A 및 B 및 C)의 선택을 포함하는 것으로 의도된다. 이는 당업자에게 있어 자명한 바와 같이, 열거된 다수의 항목에 대하여 확장될 수 있다.
더욱이, 본 발명의 원리의 하나 이상의 실시예 및/또는 구현이 본 명세서에서 MPEG-4 AVC(ISO/IEC 14496-10) 표준에 대하여 서술되었지만, 본 발명의 원리는 오직 이러한 표준에 제한되지 않으므로, 본 발명의 원리의 사상을 유지하면서, MPEG-4 AVC 표준, VC-1 (SMPTE 421M)의 확장을 포함하여, 다른 비디오 코딩 표준, 권고 및 이들의 확장에 대해 활용될 수 있다.
본 명세서에서 사용되는, "고 레벨 구문(syntax)"은 매크로블록 계층 위에 계층적으로 존재하는 비트스트림에 있는 구문을 참조한다. 예를 들어, 본 명세서에서 사용되는 고 레벨 구문은 슬라이스(slice) 헤더 레벨, 보충 증진 정보(SEI: Supplemental Enhancement Information) 레벨, 픽쳐 파라미터 세트(PPS: Picture Parameter Set) 레벨, 시퀀스 파라미터 세트(SPS: Sequence Parameter Set) 레벨, 네트워크 추상 계층(NAL: Network Abstraction Layer) 유닛 헤더 레벨에서의 구문을 참조할 수 있지만, 이에 제한되지 않는다.
이러한 응용은, 종래 기술의 통계적 모델링 접근법과는 다른, "패치-기반의 샘플링"이라 불리는 텍스쳐 모델링을 수행하는, 대안적인 접근법을 개시하고, 향상시킨다. 이러한 텍스쳐 비디오 코딩 접근법은 합성된 텍스쳐를 구성하기 위한 빌딩 블록으로서 입력 샘플 텍스쳐의 텍스쳐 패치의 사용을 수반한다. 도 1로 넘어가면, 종래 기술에 따른 패치-기반의 샘플링 접근법의 개략적인 설명은 일반적으로 참조 번호(100)로 나타난다.
도 1의 패치-기반의 샘플링 접근법에 수반되는 각 단계에서, 입력 샘플 텍스쳐(Iin)의 패치는 합성된 텍스쳐(Iout)에 붙여 넣는다. 패치 경계를 가로질러 특징부의 부정합(mismatch)을 회피하기 위하여, 새로운 패치(Bk)가 이미 붙여진 패치(B0,...Bk -1}를 기초로 선택된다. 단순화를 위하여, 오직 규정된 크기 (ωB ×ωB)의 정사각형 패치만이 사용된다. 텍스쳐 패치의 경계 존은 패치의 경계를 따라 폭(ωE)의 밴드로 정의된다. 새로운 패치는 경계 존에서 오래된 패치와 겹쳐진다. 새로운 패치는, 경계 존이 일부 규정된 조건을 사용하여, 오래된 패치와 정합되는 모든 패치(ψB)에 대하여 입력 샘플 텍스쳐(Iin)를 검색함으로써 선택된다. 합성기는 ψB로부터 하나의 패치를 무작위로 선택하고, 선택된 패치를 합성된 텍스쳐(Iout)에 위치시킨다. 이미지에 대한 패치 생성의 순서는 하단에서 상단으로, 좌측에서 우측으로이다. 텍스쳐의 무작위 상태에 기인하여, 패치-기반의 샘플링 접근법(100)은 정기 스캐닝(scanning) 순서가 수행되는 한, 어떤 순서가 사용되었는 지 상관하지 않는다. 그러나 인코더와 디코더는 동일한 순서를 사용한다.
또한, 도 1의 패치-기반의 샘플링 접근법은 다음과 같이 서술될 수 있다.
(a) 입력 샘플 텍스쳐(Iin)로부터 텍스쳐 패치(B0)를 무작위로 선택. Iout의 좌측 하단의 모서리에, B0를 붙여 넣는다. k=1 로 설정.
(b) Iin으로부터의 모든 텍스쳐 패치의 세트(ψB)를 형성하여, (ψB)의 각 텍스쳐 패치에 대하여, 그 경계 존이 오래된 이웃하는 패치의 경계와 정합하도록 한다.
(c) k-번째 텍스쳐 패치(Bk)로서 ψB로부터 요소를 무작위로 선택. 출력 텍스쳐(Iout)에 Bk를 붙여 넣는다. k=k+1로 설정.
(d) Iout이 완전히 덮일 때까지, 단계(b) 및 단계 (c)를 반복.
(e) 경계 존에서 블렌딩(blending)을 수행.
(e)에서의 블렌딩 단계는 Iout이 텍스쳐 패치로 완전히 덮힌 이후에, 인접한 텍스쳐 패치 사이의 평탄한 천이를 제공한다.
위의 알고리즘이 강제되지 않은 텍스쳐 합성에 대한 것이라는 것이 주목될 것이다. 테두리를 갖는 텍스쳐를 합성하기 위하여, 텍스쳐 영역에 인접한 테두리 영역은 ψB를 검색할 때, 경계 존으로 간주된다.
패치-기반의 샘플링 방법이 텍스쳐 압축을 위해 사용될 때, 오직 입력 텍스쳐 샘플만이 인코더로 코딩된다. 디코더에서, 텍스쳐는 도 1의 패치-기반의 샘플링 접근법에 대한 위의 알고리즘에 따라, 재구성된다. 패치-기반의 샘플링 접근법은 통계적 모델-기반의 접근법보다, 속도 및 품질 모두 더 우수하다. 그렇지만, 패치-기반의 샘플링 접근법은 여전히 몇몇 결점을 갖는데, 이러한 결점은 다음의 결점을 포함하는데, 이에 제한되지는 않는다. (1) 디코더는 인코더보다 더 복잡하다는 단점, (2) 디코더의 속도는 시간을 소비하는 동작인 ψB를 검색함으로써 강제된다는 단점, (3) 코덱의 성능은 인코더에 대한 디코더 구성에 의존하는 검색 알고리즘에 좌우된다는 단점.
본 발명의 원리는 도 1과 함께 알려진 패치-기반의 샘플링 방법보다 더 나은, 패치-기반의 샘플링 텍스쳐 합성을 사용하는 텍스쳐 압축을 위한 방법 및 장치에 관한 것이다. 대부분의 이미지 및 비디오 코딩 표준과는 다르게, 본 발명은 패치-기반의 샘플링을 통하여 텍스쳐 합성을 사용하는 텍스쳐를 코딩할 수 있다. 유리하게, 그리고 종래기술과는 다르게, 본 발명의 원리는 디코더에서 실-시간 텍스쳐 합성을 구현하기 위한 정보를 사용한다.
본 발명의 원리에 따라, 복잡도는 디코더로부터 인코더로 이동한다. 이러한 전략을 사용함으로써, 디코더에서 어떠한 검색도 요구되지 않으며, 인코더는 성능(예를 들어, 압축 효율)을 필수적으로 결정한다.
도 2로 넘어가서, 예시적인 패치-기반의 샘플링 접근법의 개략적인 설명은 일반적으로 참조 번호(200)로 나타난다. 도 2의 접근법이 패치-기반의 샘플링 접근법에 대한 정보를 사용하는 것이 주목된다.
일 실시예에서, 사용되는 정보는 입력 샘플 텍스쳐(Iin) 내에 새로운 패치(Bk)의 위치를 서술하는 "변위 벡터"이다. 변위 벡터는 도 2에 도시되는 바와 같이 dv로 정의된다. 도 2의 실시예에서, dv는 Bk의 좌측 상단의 지점으로부터 Iin의 좌측 상단의 지점으로의 거리이다. 본 발명의 원리에 따라, 이러한 "변위 벡터"는 현재 비디오 압축 표준 및 권고에서의 움직임 보상에 사용되는 움직임 벡터와는 다른데, 이는 기준 픽쳐가 입력 텍스쳐(Iin)이고, 변위 벡터는 일반적으로 시간적 변위를 언급하는 종래의 "움직임 벡터"와 다른, 공간의 변위이기 때문이다. 따라서, 본 발명의 원리에 따라 본 명세서에서 서술되는 공간의 변위 벡터 또한, "입력 텍스쳐 공간 변위 벡터"로서 본 명세서에서 교환 가능하게 언급된다. 인코더에서, 입력 샘플 텍스쳐와, 공간 변위 벡터(dv)를 나타내는 정보 모두는 코딩된다. 디코더에서, 새로운 패치는 "변위 벡터"를 직접 사용함으로써 생성된다.
입력 샘플 텍스쳐 및 공간 변위 벡터를 나타내는 정보는 손실이 있거나 손실이 없는 임의의 방법으로 코딩될 수 있다. 일 실시예에서, 입력 샘플 텍스쳐는 벡터 양자화 및 엔트로피(entropy) 코딩을 사용하여 손실이 있게 코딩되고, 차분 펄스 코드 변조(DPCM: Differential Pulse Code Modulation) 및 엔트로피 코딩을 사용하여, 무손실 방식으로 변위 벡터를 코딩한다. 유리하게, 본 발명의 원리의 실시예는 패치-기반의 샘플링에 기초로 하는 임의의 방식에 적용될 수 있고, 이러한 방식은, 각 해상도에서, 변위 벡터가 생성될 수 있는 다중-해상도 패치-기반의 샘플링 텍스쳐 합성을 포함하나, 이에 제한되지 않는다.
도 3으로 넘어가서, MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더는 일반적으로 참조 번호(300)로 나타난다.
비디오 인코더(300)는 결합기(385)의 비-반전 입력과 연결되는 출력을 갖는 프레임 순서(ordering) 버퍼(310)를 포함한다. 결합기(385)의 출력은 트랜스포머(transformer) 및 양자화기(325)의 제 1 입력과 연결된다. 트랜스포머 및 양자화기(325)의 출력은 엔트로피 코더(345)의 제 1 입력과, 역 트랜스포머 및 역 양자화기(350)의 제 1 입력과 연결된다. 엔트로피 코더(345)의 출력은 결합기(290)의 제 1 비-반전 입력과 연결된다. 결합기(390)의 출력은 출력 버퍼(335)의 제 1 입력과 연결된다.
인코더 제어기(305)의 제 1 출력은 프레임 순서 버퍼(310)의 제 2 입력, 역 트랜스포머 및 역 양자화기(350)의 제 2 입력, 픽쳐-타입 결정 모듈(315)의 입력, 매크로블록-타입(MB-type: macroblock-type) 결정 모듈(320)의 입력, 내부(intra) 예측 모듈(360)의 제 2 입력, 블로킹 해제 필터(365)의 제 2 입력, 움직임 보상기(370)의 제 1 입력, 움직임 추정기(375)의 제 1 입력, 기준 픽쳐 버퍼(380)의 제 2 입력, 텍스쳐 합성기(333)의 제 1 입력, 및 변위 벡터 추출기(334)의 제 1 입력과 연결된다.
인코더 제어기(305)의 제 2 출력은 보충 증진 정보(SEI) 삽입기(330)의 제 1 입력, 트랜스포머 및 양자화기(325)의 제 2 입력, 엔트로피 코더(345)의 제 2 입력, 출력 버퍼(335)의 제 2 입력, 시퀀스 파라미터 세트(SPS) 및 픽쳐 파라미터 세트(PPS) 삽입기(340)의 입력과 연결된다.
픽쳐-타입 결정 모듈(315)의 제 1 출력은 프레임 순서 버퍼(310)의 제 3 입력과 연결된다. 픽쳐 타입 결정 모듈(315)의 제 2 출력은 매크로블록-타입 결정 모듈(320)의 제 2 입력과 연결된다.
시퀀스 파라미터 세트(SPS) 및 픽쳐 파라미터 세트(PPS) 삽입기(340)의 출력은 결합기(390)의 제 3 비-반전 입력과 연결된다.
역 트랜스포머 및 역 양자화기(350)의 출력은 결합기(319)의 제 1 비-반전 입력과 연결된다. 결합기(319)의 출력은 내부 예측 모듈(360)의 제 1 입력 및 블로킹 해제 필터(365)의 제 1 입력과 연결된다. 블로킹 해제 필터(365)의 출력은 기준 픽쳐 버퍼(380)의 제 1 입력과 연결된다. 기준 픽쳐 버퍼(380)의 제 1 출력은 움직임 추정기(375)의 제 2 입력 및 움직임 보상기(370)의 제 3 입력과 연결된다. 기준 픽쳐 버퍼(380)의 제 2 출력은 텍스쳐 합성기(333)의 제 2 입력과 연결된다. 텍스쳐 합성기(333)의 제 1 출력은 블로킹 해제 필터(365)의 제 3 입력과 연결된다. 텍스쳐 합성기(333)의 제 2 출력은 변위 벡터 추출기(334)의 제 2 입력과 연결된다. 변위 벡터 추출기(334)의 출력은 움직임 벡터를 엔트로피 코더(345)에 제공하기 위하여, 엔트로피 코더(345)의 제 3 입력과 연결된다. 움직임 추정기(375)의 제 1 출력은 움직임 보상기(370)의 제 2 입력과 연결된다. 움직임 추정기(375)의 제 2 출력은 변위 벡터를 엔트로피 코더(345)에 제공하기 위하여, 엔트로피 코더(345)의 제 4 입력에 연결된다. 실시예에서, 움직임 벡터 및 변위 벡터가, 이들 모두가 크기 및 방향을 내포할 수 있기에, 비슷하게 코딩될 수 있다.
움직임 보상기(370)의 출력은 스위치(397)의 제 1 입력과 연결된다. 내부 예측 모듈(360)의 출력은 스위치(397)의 제 2 입력과 연결된다. 매크로블록-타입 결정 모듈(320)의 출력은 스위치(397)의 제 3 입력과 연결된다. 스위치(397)의 제 3 입력은 스위치의 "데이터" 입력(제어 입력, 즉, 제 3 입력과 비교하여)이 움직임 보상기(370) 또는 내부 예측 모듈(360)에 의해 제공될지를 결정한다. 스위치(397)의 출력은 결합기(319)의 제 2 비-반전 입력 및, 결합기(385)의 반전 입력과 연결된다.
프레임 순서 버퍼(310)와 인코더 제어기(305)의 입력은 입력 픽쳐(301)를 수신하기 위하여, 인코더(300)의 입력으로서 이용가능하다. 더욱이, 보충 증진 정보(SEI) 삽입기(330)의 입력은 메타데이터를 수신하기 위하여 인코더(300)의 입력으로서 이용가능하다. 출력 버퍼(335)의 출력은 비트스트림을 출력하기 위하여 인코더(300)의 출력으로서 이용가능하다.
도 4로 넘어가서, MPEG-4 AVC 표준에 따라, 비디오 디코딩을 수행할 수 있는 비디오 디코더는 참조 번호(400)로 나타난다.
비디오 디코더(400)는 엔트로피 디코더(445)의 제 1 입력과 연결된 출력을 갖는 입력 버퍼(410)를 포함한다. 엔트로피 디코더(445)의 제 1 출력은 역 트랜스포머 및 역 양자화기(450)의 제 1 입력과 연결된다. 역 트랜스포머 및 역 양자화기(450)의 출력은 결합기(425)의 제 2 비-반전 입력과 연결된다. 결합기(425)의 출력은 블로킹 해제 필터(465)의 제 2 입력, 및 내부 예측 모듈(460)의 제 1 입력과 연결된다. 블로킹 해제 필터(465)의 제 2 출력은 기준 픽쳐 버퍼(480)의 제 1 입력과 연결된다. 기준 픽쳐 버퍼(480)의 제 1 입력은 움직임 보상기(470)의 제 2 입력과 연결된다. 기준 픽쳐 버퍼(480)의 제 2 출력은 텍스쳐 합성기(433)의 제 1 입력과 연결된다. 변위 벡터 디코더(434)의 출력은 텍스쳐 합성기(433)의 제 2 입력과 연결된다.
엔트로피 디코더(445)의 제 2 출력은 움직임 보상기(470)의 제 3 입력, 블로킹 해제 필터(465)의 제 1 입력, 및 내부 예측 모듈(460)의 제 2 입력과 연결된다. 엔트로피 디코더(445)의 제 3 출력은 디코더 제어기(405)의 입력과 연결된다. 엔트로피 디코더(445)의 제 4 출력은 변위 벡터 디코더(434)의 제 2 입력과 연결된다. 디코더 제어기(405)의 제 1 입력은 엔트로피 디코더(445)의 제 2 입력과 연결된다. 디코더 제어기(405)의 제 2 출력은 역 트랜스포머 및 역 양자화기(450)의 제 2 입력과 연결된다. 디코더 제어기(405)의 제 3 출력은 내부 예측기(460)의 제 3 입력, 움직임 보상기(470)의 제 1 입력, 기준 픽쳐 버퍼(480)의 제 2 입력, 텍스쳐 합성기(433)의 제 3 입력, 및 변위 벡터 디코더(434)의 제 1 입력과 연결된다. 디코더 제어기(405)의 제 4 출력은 블로킹 해제 필터(465)의 제 3 입력과 연결된다.
움직임 보상기(470)의 출력은 스위치(497)의 제 1 입력과 연결된다. 내부 예측 모듈(460)의 출력은 스위치(497)의 제 2 입력과 연결된다. 스위치(497)의 출력은 결합기(425)의 제 1 비-반전 입력과 연결된다.
입력 버퍼(410)의 입력은 입력 비트스트림을 수신하기 위하여 디코더(400)의 입력으로서 이용가능하다. 블로킹 해제 필터(465)의 제 1 출력은 출력 픽쳐를 출력하기 위하여, 디코더(400)의 출력으로서 이용가능하다.
도 5로 넘어가서, 패치-기반의 샘플링 텍스쳐 합성을 사용하는 예시적인 비디오 텍스쳐 인코딩 방법은 일반적으로 참조 번호(500)로 나타난다.
방법(500)은 제어를 기능 블록(510)에 전달하는 시작 블록(505)을 포함한다. 기능 블록(510)은 입력 이미지상에 이미지 분할(segmentation)을 수행하고, 제어를 결정 블록(515)에 전달한다. 결정 블록(515)은 현재 이미지 분할 유닛(예를 들어, 이미지 블록 또는 이미지 영역)이 텍스쳐 영역인지를 결정한다. 만일 텍스쳐 영역이라면, 제어는 기능 블록(520)에 전달된다. 만일 텍스쳐 영역이 아니라면, 제어는 기능 블록(545)에 전달된다.
기능 블록(520)은 텍스쳐 영역(예를 들어, 하나 이상의 고 레벨 구문 요소를 사용하는)을 신호화하고, 텍스쳐 영역으로부터 입력 샘플 텍스쳐(Iin)를 선택하며, 입력 샘플 텍스쳐를 코딩 및 디코딩하고, 제어를 기능 블록(525)에 전달한다. 기능 블록(525)은 디코딩된 샘플 텍스쳐로부터 패치-기반의 샘플링을 사용하여 텍스쳐 영역(Bk)을 재구성함으로써, 텍스쳐 합성을 수행하고, 제어를 기능 블록(530) 및 기능 블록(550)에 전달한다. 단계{(a) 내지 (d)}에 대하여 위에 서술된 종래 기술의 패치-기반의 샘플링을 포함하나, 이에 제한되지 않는 임의의 패치-기반의 샘플링 방법을 사용하여 패치-기반의 샘플링이 수행될 수 있다는 것이 인식될 것이다.
기능 블록(530)은 출력 텍스쳐에서 각 패치를 위하여, 대응하는 정보 공간 변위 벡터(dv)를 계산하고, 제어를 기능 블록(535)에 전달한다. 기능 블록(535)은 모든 공간 변위 벡터(dv)를 코딩하고, 제어를 기능 블록(540)에 전달한다.
기능 블록(540)은 대응하는 데이터(예를 들어, 코딩된 변위 벡터)를 출력하고, 제어를 종료 블록(599)에 전달한다.
기능 블록(545)은 비-텍스쳐 영역을 코딩하기 위하여, 다른 코딩 방법(블록(520 내지 535)에 대하여 특정되는 방법이 아닌)을 사용하고, 제어를 기능 블록(540)에 전달한다.
인코딩 동안 디코딩 동작을 수행하는 기능 블록(550)은 경계 존의 블렌딩을 수행하고, 제어를 기능 블록(545)에 전달한다.
도 6으로 넘어가면, 패치-기반의 샘플링 텍스쳐 합성을 사용하는 예시적인 비디오 텍스쳐 디코딩 방법은 일반적으로 참조 번호(600)로 나타난다.
방법(600)은 제어를 기능 블록(610)에 전달하는 시작 블록(605)을 포함한다. 기능 블록(610)은 비트스트림에 관한 현재 비트스트림 및/또는 패킷(들)에 대한 헤더를 추출하고(임의의 텍스쳐 영역이 이 영역에 대해 신호화되는 지를 결정하기 위하여), 제어를 결정 블록(615)에 전달한다. 결정 블록(615)은 현재 이미지 분할 유닛(예를 들어, 이미지 블록 또는 이미지 영역)이 텍스쳐 영역인지를 결정한다. 만일 텍스쳐 영역이라면, 제어는 기능 블록(620)에 전달된다. 만일 텍스쳐 영역이 아니라면, 제어는 기능 블록(645)에 전달된다.
기능 블록(620)은 입력 샘플 텍스쳐(Iin)와 모든 공간 변위 벡터(dv)를 디코딩하고, 제어를 기능 블록(625)에 전달한다. 기능 블록(625)은 공간 변위 벡터(dv)에 대응하는 정보를 사용하여 입력 샘플 텍스쳐로부터 패치(Bk)를 붙임으로써, 출력 텍스쳐 영역을 재구성하고, 제어를 기능 블록(630)에 전달한다. 기능 블록(630)은 모든 패치까지의 경계 존에서 블렌딩을 수행하고, 제어를 기능 블록(635)에 전달한다.
기능 블록(635)은 텍스쳐 영역을 합치고, 제어를 기능 블록(640)에 전달한다. 기능 블록(640)은 대응하는 데이터(예를 들어, 디코딩된 텍스쳐 영역)를 출력하고, 제어를 종료 블록(699)에 전달한다.
기능 블록(645)은 비-텍스쳐 영역을 디코딩하기 위하여, 다른 디코딩 방법(블록(620 내지 630)에 대해 특정되는 방법이 아닌)을 사용하고, 제어를 기능 블록(635)에 전달한다.
본 발명의 원리에 따른 텍스쳐 모드의 신호화가 임의의 신호화 기술을 사용하여 수행될 수 있음이 인식될 것이다. 예를 들어, 도 5의 기능 블록에 대해 위에 언급된 바와 같이, 이러한 신호화는 하나 이상의 고 레벨 구문 요소를 사용하여 수행될 수 있다. 이러한 구문 요소 또는 다른 기술은 텍스쳐 모드와 같은 관련된 모드를 간단히 나타낼 수 있고/있거나 이와 달리 구체화할 수 있다. 물론, 본 발명의 원리는 텍스쳐를 신호화 하는 것에 대한 상기 접근법에만 오로지 제한되는 것은 아니므로, 다른 접근법 또한, 본 발명의 원리의 사상을 유지하면서 본 발명의 원리에 따라, 사용될 수 있다.
기능 블록(630)에 대해 위에서 서술된 블렌딩이 임의의 블렌딩 기술을 사용하여 수행될 수 있다는 것이 더 인식될 것이다. 예를 들어, 일 실시예에서, 몇몇의블렌딩 방법이 경계 존에서 상이한 패치 사이에 천이를 평탄하게 하기 위하여 적용될 수 있다. 추가의 예시로서, 일 실시예에서, 하나의 방법은 MPEG-4 AVC 표준 및/또는 페더링(feathering) 방법에 관련된 블로킹 해제 필터의 개념을 사용할 수 있다. 일 실시예에서, 페더링 방법은 2개의 가장 인접한 경계 또는 현재 경계 및/또는 처리되는 경계로부터 2중 선형 보간(예를 들어, 가중 2중 선형 보간)의 사용을 수반한다. 동일한 블렌딩 방법이 부정합을 회피하기 위하여, 인코더의 디코딩 부와 디코더 모두에 적용되는 것은 바람직하다. 물론, 본 발명의 원리는 블렌딩에 대해 상기 접근법만으로 오로지 제한되는 것은 아니므로, 다른 접근법 또한, 본 발명의 원리의 사상을 유지하면서, 본 발명의 원리에 따라 사용될 수 있다.
이제부터, 본 발명의 다수의 수반하는 장점/특징의 일부 서술이 제공될 것이고, 일부의 서술은 위에서 언급되었다. 예를 들어, 하나의 장점/특징은 텍스쳐를 합성함으로써, 픽쳐에 대한 텍스쳐를 인코딩하기 위한 인코더를 포함하는 장치이다. 인코더는 패치-기반의 샘플링 방법을 사용하여 텍스쳐를 합성할 때, 정상적으로 디코딩 복잡도를 인코더에 전가하는 정보를 사용한다.
다른 장점/특징은 위에서 서술된 인코더를 갖는 장치이고, 이 장치에서 정보는 픽쳐에 대한 텍스쳐를 실질적으로 디코딩하는, 대응하는 디코더에서 대응하는 텍스쳐 영역 검색을 없애는 적어도 하나의 텍스쳐 공간 변위 벡터를 포함한다.
또 다른 장점/특징은 위에서 서술된 인코더를 갖는 장치이고, 이 장치에서 픽쳐는 복수의 영역을 포함하며, 인코더는 복수의 영역 중 어느 영역이 텍스쳐로 코딩되는 지를 신호화한다.
또 다른 장점/특징은 위에서 서술된 인코더를 갖는 장치이고, 이 장치에서 텍스쳐는 픽쳐로부터 얻어지는 입력 샘플 텍스쳐이고, 인코더는 대응하는 정보와 입력 샘플 텍스쳐를 인코딩한다.
더욱이, 다른 장점/특징은 위에 서술된 인코더를 갖는 장치이고, 이 장치에서 정보는 대응하는 디코더에서 픽쳐의 텍스쳐 영역에 직접적으로 텍스쳐 패치를 붙이는 것을 지원하기 위하여 구성된다.
게다가, 다른 장점/특징은 위에서 서술된 인코더를 갖는 장치이고, 텍스쳐는 픽쳐로부터 얻어지는 입력 샘플 텍스쳐이고, 인코더는 입력 샘플 텍스쳐로부터 복수의 텍스쳐 패치를 선택하며, 블로킹 해제 필터링과 페더링 중 적어도 하나를 사용하여 복수의 텍스쳐 패치 중 개별적인 텍스쳐 패치의 겹쳐진 경계 존에 천이를 평탄하게 한다.
본 발명의 원리의 이들 및 다른 특징 및 장점은 본 명세서의 교지를 기초로 당업자에 의해 쉽게 확인될 수 있다. 본 발명의 원리의 교지가 하드웨어, 소프트웨어, 펌웨어, 특수 목적 처리기, 또는 이들의 조합의 다양한 형식으로 구현될 수 있다는 것이 이해될 것이다.
더 바람직하게, 본 발명의 원리의 교지는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 더욱이, 소프트웨어는 프로그램 저장 유닛 상에 명백하게 구현되는 응용프로그램으로 바람직하게 구현될 수 있다. 응용 프로그램은 임의의 적합한 아키텍처를 포함하는 기계에 업로드 될 수 있고, 기계에 의해 실행될 수 있다. 현재 바람직한 실시예에서, 기계는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM") 및 입/출력("I/O") 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼상에서 구현될 수 있다. 또한, 이 컴퓨터 플랫폼은 운영체제 및 마이크로지령 코드를 포함할 수 있다. 본 명세서에서 서술된 다양한 처리 및 기능은 CPU에 의해 실행될 수 있는, 마이크로지령 코드의 일부, 응용 프로그램의 일부 또는 이들의 임의의 조합일 수 있다. 게다가, 추가의 데이터 저장 유닛 및 프린팅 유닛과 같은 다양한 다른 주변 장치는 컴퓨터 플랫폼에 연결될 수 있다.
구성 시스템 요소의 일부와 첨부 도면에서 서술된 방법이 소프트웨어로 바람직하게 구현되기에, 시스템 구성 요소 사이의 실제 연결 또는, 처리 기능 블록은 본 발명의 원리가 프로그래밍 되는 방식에 따라 달라질 수 있음이 더 이해되어야 한다. 또한, 본 명세에서 교지가 제공되면, 당업자라면 본 발명의 원리의 이들 및 유사한 구현 또는 구성을 계획할 수도 있다.
예시적인 실시예가 첨부 도면을 참조로, 본 명세서에서 서술되었지만, 본 발명의 원리가 이러한 정확한 실시예에 제한되지 않는 것과, 본 명세서에서의 다양한 변형 및 수정이 당업자에 의해, 본 발명의 원리의 범주 또는 사상으로부터의 벗어남 없이도 초래될 수 있음이 이해되어야 한다. 모든 이러한 변형 및 수정은 청구항에서 본 발명의 원리의 범주 내에 포함되는 것으로 의도된다.
301 : 입력 픽쳐 305 : 인코더 제어기
345 : 엔트로피 코더 365 : 블로킹 해제 필터
333 : 텍스쳐 합성기 334 : 변위 벡터 추출기
370 : 움직임 보상 기 375 : 움직임 추정기

Claims (23)

  1. 텍스쳐 압축(texture compression)을 위한 장치로서,
    텍스쳐를 합성함으로써, 픽쳐에 대한 텍스쳐를 인코딩하기 위한 인코더(300)를 포함하고, 상기 인코더는 패치-기반의(patch-based) 샘플링 방법을 사용하여 텍스쳐를 합성할 때, 디코딩 동작을 인코더에 전가하기 위한 입력 텍스쳐 공간 변위 벡터를 나타내는 정보를 사용하며, 입력 텍스쳐 공간 변위 벡터는 자신의 기준 픽쳐가 입력 샘플 텍스쳐이고, 입력 텍스쳐 공간 변위 벡터는 입력 샘플 텍스쳐 내에 새로운 패치의 위치를 서술하는, 텍스쳐 압축을 위한 장치.
  2. 제 1항에 있어서, 정보는 픽쳐에 대한 텍스쳐를 디코딩할 수 있는 디코더에서 대응하는 텍스쳐 영역 검색을 수행하는 디코딩 동작을 없애는 적어도 하나의 입력 텍스쳐 공간 변위 벡터를 포함하는, 텍스쳐 압축을 위한 장치.
  3. 제 1항에 있어서, 픽쳐는 복수의 영역을 포함하고, 상기 인코더는 복수 영역 중 어느 영역이 텍스쳐 영역으로 코딩되는 지를 신호화하는, 텍스쳐 압축을 위한 장치.
  4. 제 1항에 있어서, 텍스쳐는 픽쳐로부터 얻어진 입력 샘플 텍스쳐이고, 상기 인코더(300)는 정보 및 입력 샘플 텍스쳐를 인코딩하는, 텍스쳐 압축을 위한 장치.
  5. 제 1항에 있어서, 정보는 텍스쳐 패치를, 대응하는 디코더에서 픽쳐의 텍스쳐 영역에 직접 붙이는(pasting) 것을 지원하기 위하여 구성되는, 텍스쳐 압축을 위한 장치.
  6. 제 1항에 있어서, 텍스쳐는 픽쳐로부터 얻어지는 입력 샘플 텍스쳐이고, 상기 인코더(300)는 입력 샘플 텍스쳐로부터 복수의 텍스쳐 패치를 선택하며, 블로킹 해제(deblocking) 필터링과 페더링(feathering) 중 적어도 하나를 사용하여, 복수의 텍스쳐 패치 중 개별적인 텍스쳐 패치의 겹쳐진(overlapped) 경계 존에서 천이를 평탄하게 하는, 텍스쳐 압축을 위한 장치.
  7. 텍스쳐 압축을 위한 방법으로서,
    텍스쳐를 합성함으로써, 픽쳐에 대한 텍스쳐를 인코딩하는 단계를 포함하고, 상기 인코딩 단계는 패치-기반의 샘플링 방법(500)을 사용하여, 텍스쳐를 합성할 때, 디코딩 동작을 인코더에 전가하기 위한 입력 텍스쳐 공간 변위 벡터를 나타내는 정보를 사용하며, 입력 텍스쳐 공간 변위 벡터는 자신의 기준 픽쳐가 입력 샘플 텍스쳐이고, 입력 텍스쳐 공간 변위 벡터는 입력 샘플 텍스쳐 내에 새로운 패치의 위치를 서술하는, 텍스쳐 압축을 위한 방법.
  8. 제 7항에 있어서, 정보는 적어도 하나의 입력 텍스쳐 공간 변위 벡터를 포함(530)하고, 입력 텍스트 공간 변위 벡터는 상기 인코더가 텍스쳐 영역 검색을 수행하도록 허용하는, 텍스쳐 압축을 위한 방법.
  9. 제 7항에 있어서, 픽쳐는 복수의 영역을 포함하고, 상기 방법은 복수의 영역 중 어느 영역이 텍스쳐로 코딩되는지를 신호화하는 단계(520)를 더 포함하는, 텍스쳐 압축을 위한 방법.
  10. 제 7항에 있어서, 텍스쳐는 픽쳐로부터 얻어지는 입력 샘플 텍스쳐이고, 상기 인코딩 단계는 정보 및 입력 샘플 텍스쳐를 인코딩하는 단계(520,535)를 포함하는, 텍스쳐 압축을 위한 방법.
  11. 제 7항에 있어서, 정보는 대응하는 디코더에서 텍스쳐 패치를 픽쳐의 텍스쳐 영역에 직접 붙이는 것을 지원하기 위하여(530) 구성되는, 텍스쳐 압축을 위한 방법.
  12. 제 7항에 있어서, 텍스쳐는 픽쳐로부터 얻어지는 입력 샘플 텍스쳐이고, 상기 인코딩 단계는,
    입력 샘플 텍스쳐로부터 복수의 텍스쳐 패치를 선택하는 단계(525), 및
    블로킹 해제 필터링 및 페더링 중 적어도 하나를 사용하여 복수의 텍스쳐 패치 중 개별적인 텍스쳐 패치의 겹쳐진 경계 존에서 천이를 평탄하게 하는 단계(550)를
    포함하는, 텍스쳐 압축을 위한 방법.
  13. 텍스쳐 압축을 위한 장치로서,
    텍스쳐를 합성함으로써, 픽쳐에 대한 텍스쳐를 디코딩하기 위한 디코더(400)를 포함하고, 상기 디코더는 패치-기반의 샘플링 방법을 사용하여 텍스쳐를 합성할 때, 입력 텍스쳐 공간 변위 벡터를 나타내며 상기 디코더로부터 인코더로 디코딩 동작을 전가하도록 구성되는 정보를 사용하며, 입력 텍스쳐 공간 변위 벡터는 자신의 기준 픽쳐가 입력 샘플 텍스쳐이고, 입력 텍스쳐 공간 변위 벡터는 입력 샘플 텍스쳐 내에 새로운 패치의 위치를 서술하는, 텍스쳐 압축을 위한 장치.
  14. 제 13항에 있어서, 정보는 상기 디코더에서 대응하는 텍스쳐 영역 검색을 없애는 적어도 하나의 입력 텍스쳐 공간 변위 벡터를 포함하는, 텍스쳐 압축을 위한 장치.
  15. 제 13항에 있어서, 픽쳐는 복수의 영역을 포함하고, 상기 디코더(400)는 복수의 영역 중 어느 영역이 수신된 신호화를 기초로 하는 상기 텍스쳐로 코딩될 지를 결정하는, 텍스쳐 압축을 위한 장치.
  16. 제 13항에 있어서, 텍스쳐는 픽쳐로부터 얻어지는 입력 샘플 텍스쳐이고, 상기 디코더(400)는 정보 및 입력 샘플 텍스쳐를 디코딩하는, 텍스쳐 압축을 위한 장치.
  17. 제 13항에 있어서, 정보는 상기 디코더에서 텍스쳐 패치를 픽쳐의 텍스쳐 영역에 직접 붙이는 것을 지원하기 위하여 구성되는, 텍스쳐 압축을 위한 장치.
  18. 제 13항에 있어서, 텍스쳐는 픽쳐로부터 얻어지는 입력 샘플 텍스쳐이고, 상기 디코더(400)는 입력 샘플 텍스쳐로부터 복수의 텍스쳐 패치를 선택하며, 블로킹 해제 필터링 및 페더링 중 적어도 하나를 사용하여 복수의 텍스쳐 패치 중 개별적인 텍스쳐 패치의 겹쳐진 경계 존에서 천이를 평탄하게 하는, 텍스쳐 압축을 위한 장치.
  19. 텍스쳐 압축을 위한 방법으로서,
    텍스쳐를 합성함으로써, 픽쳐에 대한 텍스쳐를 디코딩하는 단계를 포함하고, 상기 디코딩 단계는 패치-기반의 샘플링 방법(600)을 사용하여 텍스쳐를 합성할 때, 입력 텍스쳐 공간 변위 벡터를 나타내며 디코딩 동작이 인코더에 전가되는 동작으로부터 생성된 정보를 사용하며, 입력 텍스쳐 공간 변위 벡터는 자신의 기준 픽쳐가 입력 샘플 텍스쳐이고, 입력 텍스쳐 공간 변위 벡터는 입력 샘플 텍스쳐 내에 새로운 패치의 위치를 서술하는, 텍스쳐 압축을 위한 방법.
  20. 제 19항에 있어서, 정보는 대응하는 텍스쳐 영역 검색을 없애는(620) 적어도 하나의 입력 텍스쳐 공간 변위 벡터를 포함하는, 텍스쳐 압축을 위한 방법.
  21. 제 19항에 있어서, 픽쳐는 복수의 영역을 포함하고, 상기 방법은 복수의 영역 중 어느 영역이 상기 정보를 기초로 하는 텍스쳐 영역으로 코딩되는 지를 결정하는 단계(610)를 더 포함하는, 텍스쳐 압축을 위한 방법.
  22. 제 19항에 있어서, 정보는 상기 디코딩 단계동안, 텍스쳐 패치를 픽쳐의 텍스쳐 영역에 직접 붙이는 것을 지원하기 위하여 구성(625)되는, 텍스쳐 압축을 위한 방법.
  23. 제 19항에 있어서, 텍스쳐는 픽쳐로부터 얻어지는 입력 샘플 텍스쳐이고, 상기 디코딩 단계는
    입력 샘플 텍스쳐로부터 복수의 텍스쳐 패치를 선택하는 단계(625), 및
    블로킹 해제 필터링 및 페더링 중 적어도 하나를 사용하여, 복수의 텍스쳐 패치 중 개별적인 텍스쳐 패치의 겹쳐진 경계 존에서 천이를 평탄하게 하는 단계(630)를
    더 포함하는, 텍스쳐 압축을 위한 방법.
KR1020107029036A 2008-06-27 2008-06-27 패치-기반의 샘플링 텍스쳐 합성을 사용하여 텍스쳐 압축을 위한 방법 및 장치 KR101715150B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/008050 WO2009157904A1 (en) 2008-06-27 2008-06-27 Methods and apparatus for texture compression using patch-based sampling texture synthesis

Publications (2)

Publication Number Publication Date
KR20110023863A KR20110023863A (ko) 2011-03-08
KR101715150B1 true KR101715150B1 (ko) 2017-03-10

Family

ID=40846885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107029036A KR101715150B1 (ko) 2008-06-27 2008-06-27 패치-기반의 샘플링 텍스쳐 합성을 사용하여 텍스쳐 압축을 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US8577158B2 (ko)
EP (1) EP2304958B1 (ko)
JP (1) JP5872896B2 (ko)
KR (1) KR101715150B1 (ko)
BR (1) BRPI0822815A2 (ko)
WO (1) WO2009157904A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088435A1 (ko) * 2017-11-02 2019-05-09 삼성전자 주식회사 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011090790A1 (en) 2010-01-22 2011-07-28 Thomson Licensing Methods and apparatus for sampling -based super resolution vido encoding and decoding
CN102726044B (zh) 2010-01-22 2016-08-10 汤姆逊许可证公司 使用基于示例的超分辨率的用于视频压缩的数据剪切
WO2012033972A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
JP5905889B2 (ja) * 2010-09-10 2016-04-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 事例ベースのデータ・プルーニングを用いたビデオ符号化
US9338477B2 (en) 2010-09-10 2016-05-10 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity
GB2536734B (en) * 2015-04-17 2017-08-02 Imagination Tech Ltd Image synthesis
EP3662670A1 (en) * 2017-12-08 2020-06-10 Huawei Technologies Co., Ltd. Polynomial fitting for motion compensation and luminance reconstruction in texture synthesis
EP3662669A1 (en) * 2017-12-08 2020-06-10 Huawei Technologies Co., Ltd. Frequency adjustment for texture synthesis in video coding
JP2019205011A (ja) * 2018-05-21 2019-11-28 日本電信電話株式会社 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム
CN109345604B (zh) * 2018-08-01 2023-07-18 深圳大学 图片处理方法、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218827A1 (en) * 2003-05-02 2004-11-04 Michael Cohen System and method for low bandwidth video streaming for face-to-face teleconferencing
US20050146539A1 (en) 2003-12-29 2005-07-07 Arcsoft, Inc. Texture synthesis for repairing damaged images
US20050243099A1 (en) 2001-10-11 2005-11-03 At&T Corp. Texture replacement in video sequences and images
US20060039617A1 (en) 2003-02-28 2006-02-23 Bela Makai Method and assembly for video encoding, the video encoding including texture analysis and texture synthesis, and corresponding computer program and corresponding computer-readable storage medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2684829A1 (fr) * 1991-12-04 1993-06-11 Philips Electronique Lab Methodes de synthese de signaux de texture et de transmission et/ou stockage de tels signaux, ainsi que dispositifs et systemes pour leur mise en óoeuvre.
KR987001186A (ko) 1995-10-18 1998-04-30 요트.게.아.롤페즈 영역기준 텍스쳐 코딩 방법과 디코딩 방법, 및 그 대응 시스템(Region-based Texture Coding and Decoding Method, and Corresponding Systems)
JP2003179931A (ja) * 2001-12-10 2003-06-27 Akuseru:Kk 動画符号化装置及びその方法並びに動画符号化プログラム
US6762769B2 (en) * 2002-01-23 2004-07-13 Microsoft Corporation System and method for real-time texture synthesis using patch-based sampling
US7606435B1 (en) * 2002-02-21 2009-10-20 At&T Intellectual Property Ii, L.P. System and method for encoding and decoding using texture replacement
US6940511B2 (en) 2002-06-07 2005-09-06 Telefonaktiebolaget L M Ericsson (Publ) Graphics texture processing methods, apparatus and computer program products using texture compression, block overlapping and/or texture filtering
JP4536505B2 (ja) * 2004-12-17 2010-09-01 パナソニック株式会社 予測画像生成方法および画像符号化方法
CN100490537C (zh) 2005-06-15 2009-05-20 华为技术有限公司 一种降低图像方块效应的方法
US8208556B2 (en) * 2007-06-26 2012-06-26 Microsoft Corporation Video coding using spatio-temporal texture synthesis
US8204325B2 (en) * 2008-01-18 2012-06-19 Sharp Laboratories Of America, Inc. Systems and methods for texture synthesis for video coding with side information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243099A1 (en) 2001-10-11 2005-11-03 At&T Corp. Texture replacement in video sequences and images
US20060039617A1 (en) 2003-02-28 2006-02-23 Bela Makai Method and assembly for video encoding, the video encoding including texture analysis and texture synthesis, and corresponding computer program and corresponding computer-readable storage medium
US20040218827A1 (en) * 2003-05-02 2004-11-04 Michael Cohen System and method for low bandwidth video streaming for face-to-face teleconferencing
US20050146539A1 (en) 2003-12-29 2005-07-07 Arcsoft, Inc. Texture synthesis for repairing damaged images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088435A1 (ko) * 2017-11-02 2019-05-09 삼성전자 주식회사 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치

Also Published As

Publication number Publication date
BRPI0822815A2 (pt) 2015-06-30
EP2304958B1 (en) 2018-03-21
JP2011526124A (ja) 2011-09-29
US20110091120A1 (en) 2011-04-21
CN102077589A (zh) 2011-05-25
EP2304958A1 (en) 2011-04-06
JP5872896B2 (ja) 2016-03-01
WO2009157904A1 (en) 2009-12-30
KR20110023863A (ko) 2011-03-08
US8577158B2 (en) 2013-11-05

Similar Documents

Publication Publication Date Title
KR101715150B1 (ko) 패치-기반의 샘플링 텍스쳐 합성을 사용하여 텍스쳐 압축을 위한 방법 및 장치
US10194174B2 (en) Simplifications for boundary strength derivation in deblocking
KR101700966B1 (ko) 인트라 예측 비디오의 조명 보상 방법 및 장치
JP6538488B2 (ja) 映像符号化のためのｄｃイントラ予測モードのための方法
CN105794206B (zh) 用于重建视频的自适应环路滤波方法
US9794597B2 (en) Methods and apparatus for deblocking filtering of non-local intra prediction
KR101735137B1 (ko) 인트라 예측 모드의 효율적인 비디오 인코딩 및 디코딩에 대한 방법 및 장치
US20060039617A1 (en) Method and assembly for video encoding, the video encoding including texture analysis and texture synthesis, and corresponding computer program and corresponding computer-readable storage medium
US20140010295A1 (en) Methods and Apparatus for Geometric-Based Intra Prediction
WO2015096647A1 (en) Method and apparatus for major color index map coding
KR101974656B1 (ko) 그룹들에 할당된 픽셀들을 갖는 블록을 인트라 코딩하는 방법 및 장치
US20130101027A1 (en) Deblocking control by individual quantization parameters
WO2017008679A1 (en) Method and apparatus of advanced intra prediction for chroma components in video and image coding
TW202034704A (zh) 用以編碼和解碼視頻樣本之區塊樹的方法、設備及系統
JP5941097B2 (ja) パッチベースのサンプリングテクスチャ合成を用いたテクスチャ圧縮の方法及び装置
CN113132734B (zh) 一种编码、解码方法、装置及其设备
WO2023239879A1 (en) Methods and devices for geometric partitioning mode with adaptive blending
WO2023250047A1 (en) Methods and devices for motion storage in geometric partitioning mode

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150325

Effective date: 20160722

Free format text: TRIAL NUMBER: 2015101001618; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150325

Effective date: 20160722

S901 Examination by remand of revocation
E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200226

Year of fee payment: 4