KR20080040710A - 텍스처화된 영역들용 이미지 코더 - Google Patents

텍스처화된 영역들용 이미지 코더 Download PDF

Info

Publication number
KR20080040710A
KR20080040710A KR1020087003667A KR20087003667A KR20080040710A KR 20080040710 A KR20080040710 A KR 20080040710A KR 1020087003667 A KR1020087003667 A KR 1020087003667A KR 20087003667 A KR20087003667 A KR 20087003667A KR 20080040710 A KR20080040710 A KR 20080040710A
Authority
KR
South Korea
Prior art keywords
texture
image
region
data stream
parameter
Prior art date
Application number
KR1020087003667A
Other languages
English (en)
Inventor
피오트르 위린스키
스티지엔 데 와에르
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20080040710A publication Critical patent/KR20080040710A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

제 1 영역, 제 2 영역, 및 제 3 영역 중 적어도 하나를 포함하는 입력 이미지를 압축하기 위한 이미지 인코더(20)로서, 상기 이미지 인코더는 미리결정된 추정 알고리즘(K)에 따라 상기 제 1 영역의 제 1 텍스처 파라미터(ρ1o)와 제 2 영역(12)의 제 2 텍스처 파라미터(ρ2o) 중 적어도 하나로부터 제 3 텍스처 파라미터(ρ3e)를 추정하도록 구성된 추정기(21); 미리정해진 매칭 기준에 따라 상기 입력 이미지의 상기 제 3 영역에 존재하는 텍스처의 표현(R3)과 추정된 제 3 텍스처 파라미터(ρ3e)에 대응하는 생성된 텍스처의 표현(R3')을 비교하고, 매치 값의 정도(μm)를 계산하도록 구성된 비교기(22); 및 제 1 텍스처 파라미터와 제 2 텍스처 파라미터(ρ1o,ρ2o) 중 적어도 하나를 압축 데이터 스트림 ST(ρ1o,ρ2o,.)로 인코딩하도록 구성되고, 매치 값의 정도(μm)가 미리특정된 구간 내에 있을 때, 추정 알고리즘(K)의 체계화를 사용하여 상기 입력 이미지의 상기 제 3 영역에 존재하는 텍스처를 압축 데이터 스트림 ST(ρ1o,ρ2o,K)로 인코딩하도록 구성된 데이터 인코더(23)를 포함한다.
추정 알고리즘, 텍스처 파라미터, 선형 변환, 추정통계학적 텍스처, 인코더

Description

텍스처 영역들용 이미지 코더{IMAGE CODER FOR REGIONS OF TEXTURE}
본 발명은 텍스처 영역들을 포함하는 이미지를 압축 데이터 스트림으로 압축하기 위한 이미지 인코더(encoder)에 관한 것이다.
본 발명은 또한, 텍스처 영역들을 포함하는 이미지를 압축 데이터 스트림으로 인코딩하는 방법, 압축 데이터 스트림을 텍스처 영역들을 포함하는 이미지로 디코딩하는 이미지 디코더, 압축 데이터 스트림을 텍스처 영역들을 포함하는 이미지로 디코딩하는 방법, 텍스처 영역들을 포함하는 인코딩된 이미지의 압축 데이터 스트림을 전송하는 전송기, 인코딩된 이미지의 압축 데이터 스트림을 전송하는 휴대용 디바이스, 압축 데이터 스트림을 수신하고 텍스처 영역들을 포함하는 이미지를 디코딩하는 수신기, 압축 인코딩된 이미지 신호, 압축 인코딩된 이미지 신호의 전송 방법, 및 상술한 방법들 중 임의의 방법을 실행하는 컴퓨터 프로그램 제품에 관한 것이다.
이미지들의 시퀀스를 포함하는 비디오 정보는 효율적인 전송 및 저장을 위해 압축 디지털 데이터 스트림으로 인코딩된다. 최근, 고품질의 디코딩된 이미지들을 보존하면서 대역폭을 줄이기 위해 보다 양호한 코더들 및 디코드들의 개발에 상당한 관심이 있다. 텍스처들의 영역들을 갖는 이미지 시퀀스들의 압축은, 디코딩된 이미지들의 양호한 품질의 텍스처 감소에 대해 보다 높은 대역폭 요구사항들과 같은 부가적인 도전들을 불러일으킨다.
다른 타입들의 텍스처들 중에서의 이미지들은 추정통계학적 텍스처들(stochastic textures)을 포함할 수 있다. 추정통계학적 텍스처의 표현은 그것의 가장 유사한 파라메트릭 모델(parametric model)을 찾음으로써 얻어질 수 있다. 종래 방법들에 의해 텍스처 영역을 인코딩하는 대신, 어떤 곳에서 요구되던지, 상기 영역의 경계 정보 및 텍스처의 파라메트릭 모델을 압축 데이터 스트림으로 인코딩하는 것이 비트 레이트 감소의 관점에서 이롭다. 압축 데이터 스트림은 디코더에서 수신되고, 디코딩된 텍스처 파라미터들, 예컨대 경계 정보 및 텍스처의 통계적인 파라미터들은 출력 이미지에 텍스처 영역을 재구성하는데 사용된다. 인간 눈의 사이코 비주얼 지각(psycho-visual perception)으로 인해, 이러한 재구성된 텍스처들은 본래 이미지에 존재하는 텍스처들로부터 효율적으로 구별되지 않는다.
텍스처 모델을 압축 데이터 스트림으로 나타내는 파라미터들을 인코딩하고, 텍스처 모델의 파라미터들을 디코딩하고, 텍스처된 영역들을 출력 이미지에 재구성하는 이미지 코딩 시스템의 실시예는 종래 기술, 예컨대, 애드리나 더미트라스(Adrina Dumitras)와 배리 지. 해스켈(Barry G. Haskell)의 "An Encoder-Decoder Texture Replacement Method With Application to Cintent-Based Movie Coding"(Vol.14, No 6, 회로들 및 시스템들에 대한 IEEE 트랜잭션들의 2004년 6월 발행본)에 공지되어 있다.
그러나, 상기 종래기술의 단점은, 다수의 텍스처들의 인코딩이 상당한 양의 데이터가 인코딩되도록 요구한다는 것이며, 특히 텍스처들을 정확하게 인코딩하고자 하는 경우, 심지어는 텍스처 모델들을 나타내는 파라미터들이 인코딩될 때 그러하다는 점이다.
보다 효율적인 방식으로 텍스처 영역들을 포함하는 이미지를 압축하기 위한 이미지 인코더를 제공하는 것이 바람직하다.
이것은 제 1 영역, 제 2 영역 및 제 3 영역 중 적어도 하나를 포함하는 이미지를 압축하기 위한 이미지 인코더에서 달성되며, 상기 이미지 인코더는:
- 미리결정된 추정 알고리즘(estimating algorithm)에 따라 제 1 영역의 제 1 텍스처 파라미터 및 제 2 영역의 제 2 텍스처 파라미터 중 적어도 하나로부터 제 3 텍스처 파라미터를 추정하도록 구성된 추정기;
- 미리결정된 매칭 기준에 따라 추정된 제 3 텍스처 파라미터에 대응하는 생성된 텍스처의 표현과 입력 이미지의 제 3 영역에 존재하는 텍스처의 표현을 비교하고 매치 값의 정도를 계산하도록 구성된 비교기; 및
- 압축 데이터 스트림으로 제 1 텍스처 파라미터 및 제 2 텍스처 파라미터 중 적어도 하나를 인코딩하고, 매치 값의 정도가 미리특정된 구간 내에 있을 때, 추정 알고리즘의 체계화(codification)를 사용하여 입력 이미지의 제 3 영역에 존재하는 텍스처를 압축 데이터 스트림으로 인코딩하도록 구성된 데이터 인코더를 포함한다.
발명자는, 이미지들 내의 텍스처들이은 매우 자주 서로 어느 정도 유사성을 갖고, 한 텍스처의 파라미터들이 하나 이상의 유사한 텍스처들의 파라미터들로부터 추정될 수 있다는 것을 인식하였다. 종속적인 텍스처들의 파라미터들로부터 추정될 수 있는 텍스처들의 파라미터들이 인코딩되고 전송될 필요가 없고, 그에 의해, 상당량의 대역폭 또는 저장 공간을 세이브한다. 하지만, 미리결정된 추정 알고리즘은 압축 데이터 스트림으로 체계화되고(codified) 전송될 필요가 있다. 추정 알고리즘은 전송되지 않은 텍스처들의 파라미터들을 추정하기 위해 디코더에 의해 사용된다.
본 발명에 따라, 추정기는 미리결정된 추정 알고리즘에 따라 제 1 텍스처와 제 2 텍스처 파라미터 중 적어도 하나로부터 제 3 텍스처 파라미터를 추정하도록 배치된다. 추정 알고리즘은 체계화 및 전송 또는 저장을 위해 데이터 인코더에서 이용가능하게 만들어진다.
비교기는 추정된 텍스처 파라미터에 의해 생성된 제 3 텍스처의 표현과 이미지에서 이용가능한 제 3 텍스처의 표현을 비교하도록 배치된다. 제 3 텍스처의 표현은 텍스처들로부터 유도된 픽셀들 또는 모델 파라미터들 또는 통계적인 특성들의 형태일 수 있고, 텍스처들의 비교는 각각의 도메인들(domains)에서 수행될 수 있다. 비교기에 의해 생성된 매치 값(match value)의 정도는 생성된 텍스처 대 이용가능한 텍스처의 유사성의 측정치이고, 재생성된 텍스처가 이용가능한 텍스처로 교체될 수 있는지를 결정하기 위해 사용될 수 있다.
데이터 인코더에서, 매치 값의 정도가 미리특정된 구간 내에서 발견되면, 추정 알고리즘은 압축 데이터 스트림으로 인코딩된다. 그렇지 않으면, 제 3 텍스처의 실제 파라미터들은 데이터 스트림에 인코딩된다. 추정 알고리즘은 이롭게는, 제 3 텍스처의 파라미터들을 인코딩하는데 필요한 비트 레이트에 비하여 보다 낮은 비트 레이트로 인코딩된다. 그러므로, 비트 레이트의 세이브가 달성되고, 텍스처 영역들로 이미지를 인코딩하는 효과를 향상시킨다.
비트 레이트의 세이브에 부가하여, 본 발명에 따른 인코더는 다수의 부가적인 이점들을 갖는다. 매치 값의 정도는 이용가능한 텍스처들에 매우 유사하도록 추정된 파라미터들로부터 재구성될 수 있는 텍스처 영역들을 선택하도록 인코더에서 이롭게 사용되는 유용한 품질 측정치로서 고려될 수 있다. 매치 값의 수용가능한 정도를 위해 데이터 인코더에서 원하는 미리정의된 구간을 설정함으로써, 이용가능한 텍스처와 생성된 텍스처의 원하는 품질의 매치가 얻어질 수 있다. 그러므로, 미리정의된 구간을 변경시킴으로써, 추정 알고리즘에 의해 표현될 수 있는 텍스처들의 영역들의 수는 변경될 수 있다.
추정 기준의 체계화 및 텍스처 파라미터들은 압축 데이터 스트림에서 부가적인 데이터로서 포함될 수 있고, 상기한 방법을 미리정의된 비디오 압축 표준들 중 어느 하나와 호환가능하게 한다.
본 발명에 따른 이미지 인코더의 실시예에서, 추정기는 미리결정된 추정 알고리즘으로서 제 1 텍스처 파라미터와 제 2 텍스처 파라미터의 가중된 조합을 적용하도록 배치된다.
가중된 조합은 추정된 텍스처의 파라미터들의 보간(interpolation) 또는 보외(extrapolation)를 인에이블하고, 텍스처들에 기여하는 파라미터들의 부분들을 변경시킨다. 가중치들을 조정함으로써, 미리정해진 정확도로 제 3 텍스처 파라미터의 추정치에 효율적으로 도달하는 것이 가능하다.
본 발명에 따른 이미지 인코더의 또 다른 실시예에서, 추정기는 매치 값의 정도를 최소화함으로써 가중된 조합에 대한 가중치들을 적응가능하게 선택하도록 배치된다.
가중치들은 선험적으로 잘 알려져 있고, 검색 과정을 통해 선택되어야 한다. 매치 값의 정도는 초기 상태로부터 가중치들을 증가식으로 변하게 하면서, 최소화될 스코어(score)로서 사용될 수 있다. 매치 값의 정도는 이미지 내에 존재하는 것과 같은 원 텍스처 대 추정된 제 3 텍스처 파라미터들에 따라 생성된 텍스처의 유사성의 측정치이다. 이롭게는, 적응형 방식으로 유사정의 측정치에 의존하여 가중치들의 선택을 제어하는데 피드백 메커니즘이 사용될 수 있다. 가중치들의 최적 세트는 매치 값의 미리정해진 정도에 수렵시키기 위해서 반복해서 그리고 적응식으로 선택될 수 있다.
본 발명에 따른 이미지 인코더의 또 다른 실시예에서, 비교기는 생성된 텍스처의 표현과 이용가능한 텍스처의 표현을 입력으로서 취하는 사이코 비주얼 매칭 기능을 미리정의된 매칭 기능으로서 적용하도록 배치되며, 두 개의 표현들 모두는 다수의 픽셀들에 대해 정의되고, 매치 값의 정도를 출력으로서 산출한다.
비교기는 생성된 텍스처와 이용가능한 텍스처를 비교하기 위해 사이코 비주얼 매칭 기능을 적용하도록 배치된다. 사이코 비주얼 매칭 기능들은 종종, 이미지의 비주얼 품질을 평가하기 위한 인간의 시각 체계를 모방하는데 사용된다. 사이코 비주얼 매칭 기능은 다수의 픽셀들에 대해 표현되는 두 개의 텍스처들을 비교하도록 특별히 디자인될 수 있고, 텍스처들의 유사성의 특정을 나타내기 위해 매치 값의 정도를 생성한다. 매치 값의 정도는 왜곡(distortion)이 인간의 눈에 거의 인지되지 않도록 생성된 텍스처로 이용가능한 텍스처가 교체될 수 있는지를 결정하는데 사용될 수 있다. 본 발명에서 사이코 비주얼 기능을 사용하는 이점은 이용가능한 텍스처가 약간의 미리결정된 비주얼 품질을 갖는 생성된 텍스처로 교체된다는 것이다.
본 발명에 따른 이미지 인코더의 또 다른 실시예에서, 비교기는 이용가능한 텍스처의 표현의 통계적인 특성 및 생성된 텍스처의 표현의 통계적인 특성을 입력으로서 취하는 통계적인 매칭 기능을 미리정의된 매칭 기능으로서 적용하도록 배치되고, 두 개의 표현들 모두는 다수의 픽셀들에 대해 정의되고, 매치 값의 정도를 출력으로서 산출한다.
픽셀들의 영역에 의해 표현되는 두 개의 텍스처들이 유사성에 대해 비교될 때, 잘 알려진 다수의 통계적인 특성들이 비교될 수 있다. 통계적인 특성들은 기본적인 특성들에서부터 보다 향상된 통계적인 특성들에 걸칠 수 있다. 기본적인 통계적 특성들의 몇몇 예들은 평균, 변량(variance), 표준 편차, 모멘트들(moments), 엔트로피, 상관(correlation), 동시 발생 메트릭들(co-occurrence matrices)로부터 유도된 측정치들 및 모멘트들이다. 균일성 측정치들(uniformity measures) 및 에너지 클러스터링 측정치들(energy clustering measures)과 같은 보다 향상된 통계적인 특성들이 또한 고려될 수 있다. 이러한 통계적인 특성들의 조합은 두 개의 텍스처들의 유사성을 나타내는 매치 값의 정도를 얻기 위해 사용될 수 있다.
본 발명에 따른 이미지 인코더의 또 다른 실시예에서, 비교기는 제 3 영역에서 존재하는 텍스처의 텍스처 파라미터 및 제 3 텍스처 파라미터를 입력으로서 취하고, 매치 값의 정도를 출력으로서 산출하는 거리 측정 기능(distance measure function)을 미리결정된 매칭 기준으로서 적용하도록 배치된다.
두 개의 텍스처들의 파라미터들이 두 개의 벡터들로서 표현될 때, 거리 측정치는 두 개의 벡터들 사이의 매치 정도를 계산하기 위해 적용될 수 있다. 거리 측정치는 매치 값의 정도의 형태로 두 개의 텍스처들의 유사성을 나타내도록 적절히 변형될 수 있다.
본 발명에 따른 이미지 인코더의 또 다른 실시예에서, 인코더는 이미지들의 시간적인 시퀀스를 포함하는 비디오 정보를 인코딩하도록 배치된다.
본 발명은 특히 이미지들 내 텍스처들이 상호관련되거나 유사할 때 이미지들의 임의 시퀀스 또는 비디오 내 시간적인 시퀀스의 이미지들에 적용될 수 있다. 이미지 시퀀스들에서, 인접 이미지들에 존재하는 관련된 텍스처들로부터 인터 텍스처 추정뿐만 아니라 인트라 텍스처 추정이 가능하다. 결국, 텍스처들을 포함하는 이미지 시퀀스들의 코딩은 또한, 텍스처 파라미터들 및 추정 알고리즘을 사용하여 이롭게 수행될 수 있다.
본 발명에 따른 이미지 인코더의 또 다른 실시예에서, 이미지 인코더는 제 1 영역을 포함하는 제 1 이미지, 제 2 영역을 포함하는 제 2 이미지, 및 제 3 영역을 포함하는 제 3 이미지를 인코딩하도록 배치되고, 여기서, 제 1 이미지 및 제 2 이미지는 제 3 이미지에 시간적으로 인접한다.
파라미터들이 추정되는 제 3 텍스처는 동일한 이미지 내에 포함될 필요가 없으며, 예컨대, 텍스처들의 제 1 및 제 2 영역에 대해 관련된 텍스처들을 포함하는 시간적으로 인접한 이미지들 중 하나에 포함될 수 있다. 그러므로, 본 발명은 관련된 텍스처들을 포함할 수 있는 이미지 시퀀스들 및 비디오 시퀀스들에 이롭게 적용될 수 있다.
보다 효율적인 방식으로, 제 1 영역과 제 2 영역 중 하나와 제 3 영역을 포함하는 이미지를 인코딩하는 방법을 제공하는 이미지 인코딩 방법을 제공하는 것이 바람직하다.
이것은, 제 1 영역, 제 2 영역 및 제 3 영역 중 적어도 하나를 포함하는 이미지를 인코딩하는 방법에서 달성되며, 상기 방법은:
- 미리결정된 추정 알고리즘에 따라 제 1 영역의 제 1 텍스처 파라미터 및 제 2 영역의 제 2 텍스처 파라미터 중 적어도 하나로부터 제 3 텍스처 파라미터를 추정하는 단계;
- 미리결정된 매칭 기준에 따라, 추정된 제 3 텍스처 파라미터에 대응하는 생성된 텍스처의 표현과 입력 이미지의 제 3 영역에 존재하는 텍스처의 표현을 비교하고, 매치 값의 정도를 계산하는 단계; 및
- 제 1 텍스처 파라미터 및 제 2 텍스처 파라미터 중 적어도 하나를 압축 데이터 스트림으로 인코딩하고, 매치 값의 정도가 미리특정된 구간 내에 있을 때, 추정 알고리즘의 체계화를 사용하여 입력 이미지의 제 3 영역에 존재하는 텍스처를 압축 데이터 스트림으로 인코딩하는 단계를 포함한다.
제 1 및 제 2 텍스처들의 파라미터들로부터 제 3 텍스처의 파라미터들을 추정하기 위한 추정 알고리즘은 파라미터 자체 대신에 체계화되어, 비트 레이트의 실질적인 양을 세이브한다. 추정된 파라미터에 따른 생성된 제 3 텍스처는 매치 값의 정도를 산출하기 위해 이용가능한 제 3 텍스처와 비교된다. 매치 값의 정도가 미리정의된 제한 내에 있으면, 재생 품질은 수용가능한 제한 내에 있다고 간주된다. 이러한 경우들에서, 제 3 텍스처의 파라미터들을 인코딩하고 전송하는 대신, 추정 알고리즘은 체계화되고 전송되어, 이미지 또는 이미지 시퀀스에 대한 대역폭 및 저장 공간을 효율적으로 감소시킨다.
또한, 보다 효율적인 방식으로, 압축 데이터 스트림을 디코딩하기 위한 이미지 디코더를 제공하는 것이 바람직하다.
이것은 제 1 영역, 제 2 영역, 및 제 3 영역 중 적어도 하나를 포함하는 이미지에 대한 추정 알고리즘의 체계화를 포함하는 압축 데이터 스트림을 디코딩하기 위한 이미지 디코더에서 달성되며, 상기 이미지 디코더는,
- 압축 데이터 스트림으로부터 제 1 영역의 제 1 텍스처 파라미터 및 제 2 영역의 제 2 텍스처 파라미터를 디코딩하도록 배치되는 데이터 디코더;
- 압축 데이터 스트림으로부터 추정 알고리즘의 체계화를 검출하기 위한 검출기;
- 추정 알고리즘에 의해 나타내는 바와 같이 미리결정된 추정 알고리즘에 따라 제 1 텍스처 파라미터와 제 2 텍스처 파라미터 중 적어도 하나로부터 제 3 영역의 제 3 텍스처 파라미터를 추정하기 위한 추정기를 포함한다.
이미지 디코더는 제 1 및 제 2 텍스처 파라미터들을 디코딩하기 위해 배치될 수 있고, 추정 알고리즘의 체계화로부터, 제 3 텍스처 파라미터가 추정될 수 있고, 상기 텍스처들은 파라미터들로부터 합성될 수 있다. 디코더는 추정 기준의 체계화를 검출하기 위해한 검출기 메커니즘으로 설치된다. 추정 알고리즘에 기초하여, 제 3 텍스처 파라미터들이 계산된다. 제 3 텍스처 파라미터들을 디코딩하는 로드(load)는 감소된다. 그러므로, 디코딩 효율은 본 발명에 따른 디코더에서 향상된다.
또한, 보다 효율적인 방식으로, 압축 데이터 스트림을 이미지 디코딩하는 방법을 제공하는 것이 바람직하다.
이것은 제 1 영역, 제 2 영역, 및 제 3 영역 중 적어도 하나를 포함하는 이미지에 추정 알고리즘의 체계화를 포함하는 압축 데이터 스트림을 디코딩하는 방법에서 달성되며, 상기 방법은:
- 압축 데이터 스트림으로부터 텍스처의 제 1 영역의 제 1 텍스처 파라미터 및 텍스처의 제 2 영역의 제 2 텍스처 파라미터를 디코딩하는 단계;
- 압축 데이터 스트림으로부터 추정 알고리즘의 체계화를 검출하는 단계;
- 추정 알고리즘에 의해 나타내는 바와 같이 미리결정된 추정 알고리즘에 따라 제 1 영역의 제 1 텍스처 파라미터 및 제 2 영역의 제 2 텍스처 파라미터 중 적어도 하나로부터 제 3 텍스처 파라미터를 추정하는 단계를 포함한다.
본 발명에 따른 디코딩 방법은 제 1 텍스처 파라미터 및 제 2 텍스처 파라미터를 디코딩하는 단계를 포함한다. 제 3 텍스처 파라미터는 추정 알고리즘의 체계화를 검출한 후에 제 1 및 제 2 텍스처 파라미터로부터 추정된다.
본 발명에 따른 적어도 하나의 이미지를 인코딩하기 위한 이미지 인코더의 또 다른 실시예에서, 이미지 인코더는:
- 미리정의된 이미지 압축 표준에 따르는 압축 데이터 스트림의 제 1 부분에 적어도 하나의 이미지 객체를 포함하는 적어도 하나의 이미지를 인코딩하도록 배치된 인코더의 제 1 부분;
- 제 1 및 제 2 텍스처들로부터 제 3 텍스처를 추정하기 위한 추정 알고리즘의 체계화 및 제 1 및 제 2 텍스처 파라미터들의 인코딩된 파라미터 데이터를 포함하는 압축된 제 2 데이터 스트림으로 텍스트의 영역들을 인코딩하도록 배치된 인코더의 제 2 부분을 포함한다.
여기서, 압축된 제 1 및 제 2 데이터 스트림들은 미리정의된 이미지 압축 표준에 따르는 조합된 데이터 스트림을 나타내도록 인터리브(interleave)된다.
몇몇 이미지들은 대량의 배경 텍스처들, 예컨대, 풋볼 필드(football field)에 플레이어들이 있는 객체들을 포함한다. 이러한 이미지들에서, 인코더의 두 부분들에서 개별적으로 전방 객체들(foreground objects) 및 배경 텍스처들(background textures)을 압축하고, 단일 데이터 스트림을 형성하기 위해 두 부분들의 압축 데이터 스트림들을 조합하는 것이 이롭다. 다수의 텍스처들을 인코딩하는 인코더의 제 2 부분이 본 발명에 따라 설치된다. 이 방식으로, 텍스처가 종래 압축 방식에 의해 요구되는 것 보다 훨씬 작은 수의 비트들로 재생될 수 있으므로 상당양의 비트 레이트를 세이브할 수 있다.
압축 데이터 스트림의 제 1 부분이 잘 알려진 이미지 압축 표준들 중 하나에 따르므로, 종래 디코더들이 거친 배경(coarse background)을 갖는 객체들로 압축 데이터 스트림을 디코딩할 수 있다. 그러므로, 본 발명에 따른 인코더의 실시예는 선택적으로, 잘 알려진 이미지 압축 표준의 종래 디코더들에 포함될 수 있다.
또한, 텍스트의 영역들을 포함하는 적어도 하나의 이미지를 인코딩함으로써 얻어진 압축 데이터 스트림을 전송하기 위한 전송기를 제공하는 것이 바람직하다.
이것은, 텍스처 영역들을 포함하는 적어도 하나의 이미지를 인코딩함으로써 얻어진 압축 데이터 스트림을 전송하기 위한 전송기에서 달성되며, 상기 전송기는:
- 2차원 자동 회귀 모델(two dimensional auto-regressive model)과 같은 미리정의된 모델에 의해 텍스처 영역의 텍스처를 모델링하고, 모델의 텍스처 파라미터를 추정하고, 압축 데이터 스트림으로 모델의 정보를 인코딩하도록 배치된 텍스처 모델링 유닛;
- 텍스처 파라미터, 이미지에서 이용가능한 적어도 하나의 텍스처의 표현을 수신하도록 배치되고, 압축 데이터 스트림으로 알고리즘을 추정하는 체계화 및 텍스처 파라미터를 인코딩하도록 배치되는 이미지 인코더; 및
- 압축 데이터 스트림을 데이터 전송 엔티티(data transmission entity) 또는 저장 엔티티에 전송하도록 배치된 전송 유닛을 포함한다.
전송기는 텍스처 영역들이 세그먼트될 수 있는 텍스트 모델링 유닛 및 추정된 그들의 텍스처 파라미터들을 포함한다. 전송기는 제 1 및 제 2 텍스처로부터 제 3 텍스처 파라미터를 추정하고, 이용가능한 제 3 텍스처와 생성된 제 3 텍스처를 비교하고, 매치 값의 정도가 미리정의된 구간 내에 있을 때 압축 데이터 스트림으로 추정 알고리즘을 인코딩하도록 배치된 인코더를 더 포함한다. 그러므로, 압축 데이터 스트림의 대역폭은 종래 시스템들에 비하여 감소된다. 전송기는 또한 전송 매체, 예컨대, 유선, 무선, 또는 인터넷에 호환가능한 압축 데이터 스트림을 전환시키는 전송기 유닛을 더 포함한다. 본 발명의 전송기는 이미지 시퀀스들을 수신하고, 그것들을 모든 텍스처 파라미터들을 인코딩하는 종래 기술의 전송기보다 작은 대역폭으로 전송할 수 있어, 보다 효율적이다. 비디오 시퀀스들을 전송하기 위한 본 발명에 따른 전송기는 케이블 오퍼레이터의 머리 끝, 무선 방송국, 다이렉트-홈 방송국(Direct-to-Home broadcast station), 또는 인터넷 서버들과 같은, 다양한 방송 옵션들에 위치될 수 있다.
또한, 보다 효율적인 방식으로 이미지의 인코딩된 버전을 저장 및/또는 전송하기 위한 휴대용 디바이스를 제공하는 것이 바람직하다.
이것은 휴대용 디바이스에서 달성되며, 상기 휴대용 디바이스는:
- 적어도 하나의 이미지를 캡쳐하도록 배치된 카메라; 및
- 데이터 전송 엔티티 또는 저장 엔티티에 적어도 하나의 이미지의 인코딩된 버전을 전송하도록 배치된 본 발명에 따른 전송기를 포함한다.
휴대용 디바이스는 본 발명에 따른 카메라 및 전송기를 포함할 수 있다. 카메라는 저장되거나 전송되는 이미지들의 시퀀스를 제공할 수 있다. 본 발명에 따른 전송기는 압축 데이터 스트림으로 이미지들의 시퀀스를 전환시킬 수 있다. 휴대용 디바이스의 전송기는 본 발명에 따른 앞 문단들에서 설명된 전송기와 유사하다. 전송기는 종래 전송기에 비하여, 본 발명에 따라 비트 레이트 및 저장 공간을 감소시키도록 배치된다. 결국, 휴대용 디바이스는 제한된 대역폭 또는 저장이 제한된 어플리케이션들에 이롭게 사용될 수 있다. 이러한 디바이스의 예들은 카메라를 갖춘 모바일 전화, 카메라 또는 디지털 정지/비디오 카메라들을 갖춘 PDA이다. 모든 가능한 예들에서, 또한, 이미지 시퀀스들의 전송을 위한 전송기 또는 이미지들의 저장을 위한 저장 매체를 갖는 것이 가능하다. 워드 전송기(word transmitter)를 사용할 때에, 저장 메모리(그것의 데이터 표준에 따름), 예컨대, 메모리 스틱 등으로의 전송을 포함한다는 것을 의미한다.
본 발명에 따른 이미지 디코더의 실시예에서, 이미지 디코더는 적어도 하나의 이미지에 압축 데이터 스트림을 인코딩하도록 배치되고, 상기 디코더는:
- 적어도 이미지 객체로 미리정의된 이미지 압축 표준에 따르는 압축 데이터 스트림의 제 1 부분을 디코딩하도록 배치된 디코더의 제 1 부분; 및
- 텍스처 영역들의 파라미터들 및 추정 알고리즘의 체계화를 포함하는 압축 데이터 스트림의 제 2 부분을 디코딩하도록 배치된 디코더의 제 2 부분을 포함한다.
여기서, 디코더의 제 2 부분은 텍스처 영역들의 파라미터들로부터 텍스처 영역들을 합성하고, 출력 이미지를 산출하기 위해 텍스처 영역들을 이미지 객체에 부가하도록 배치된다.
디코더는 잘 알려진 이미지 압축 표준에 따르는 압축 데이터 스트림을 디코딩할 수 있다. 디코딩될 때 압축 데이터 스트림의 제 1 부분은 이미지 객체들을 산출할 수 있고, 본 발명에 따라 인코딩 압축 데이터 스트림의 제 2 부분은 텍스처들을 포함하는 영역들을 산출할 수 있고, 두 개의 출력들 모두는 출력 이미지를 형성하도록 부가된다. 디코더는 압축 데이터 스트림의 제 1 부분을 디코딩하도록 배치되고, 공지된 표준들의 압축 데이터 스트림들에 호환가능하다.
또한, 보다 효율적인 방식으로 적어도 하나의 이미지를 출력하는 적어도 하나의 이미지의 인코딩된 버전을 포함하는 압축 데이터 스트림을 수신하기 위한 수신기를 제공하는 것이 바람직하다.
이것은 이미지 전송 또는 저장 유틸리티(storage utility)로부터 적어도 하나의 이미지의 인코딩된 버전을 포함하는 압축 데이터 스트림을 수신하기 위한 수신기에서 달성되며, 상기 수신기는:
- 적어도 하나의 출력 이미지로 압축 데이터 스트림을 디코딩하도록 배치된 본 발명에 따른 디코더;
- 포함되거나 접속될 수 있는 디스플레이에 출력 이미지를 접속시키도록 배치된 출력 수단을 포함한다.
본 발명에 따른 이미지 디코더는 압축 데이터 스트림을 수신하고 적어도 하나의 이미지를 출력하기 위한 수신기에 포함된다. 수신기는 공지된 비디오 압축 표준에 따르는 압축 데이터 스트림 및/또는 텍스처 파라미터들을 포함하는 압축 데이터 스트림, 및 추정 알고리즘의 체계화를 수신하고, 이미지의 시퀀스를 출력하도록 배치된다. 수신기는 디스플레이를 포함하거나, 또는 외부 디스플레이에 결합하기 위한 수단을 가질 수 있다. 본 발명은 많은 수신기들, 예컨대, 텔레비전 수신기, 홈 시어터 시스템, 셋톱 박스, 인터넷 접속을 갖거나 갖지 않는 개인용 컴퓨터, 및 미디어 센터, 휴대용 비디오 플레이, PDA 및 모바일 폰과 같은 휴대용 디바이스들 중 하나에 사용될 수 있다.
또한, 보다 효율적인 방식으로 이미지 시퀀스를 압축하는 압축 인코딩된 이미지 신호를 제공하는 것이 바람직하다.
이것은 압축 인코딩된 이미지 신호에서 달성되며, 상기 이미지 신호는:
- 미리정의된 이미지 압축 표준에 따라, 이미지 객체 내에 포함된 픽셀들의 그룹들의 픽셀 값들의 선형 변형에 기초하여 이미지에 존재하는 이미지 객체를 인코딩하는 데이터;
- 이미지 내에 포함된 텍스처 영역을 인코딩하는 파라미터 데이터; 및
- 이미지의 또 다른 텍스처를 재생성하기 위해 이용가능하고, 텍스처를 인코딩하는 파라미터 데이터에 기초하여 또 다른 텍스처 파라미터들을 생성하기 위한 모델의 체계화를 포함한다.
이미지 압축의 잘 알려진 표준에 따르는 압축 인코딩된 이미지 신호는 예컨대, 텍스처들의 전송된 파라미터들로부터 또 다른 텍스처를 생성하기 위한 모델의 체계화를 위한 부가적인 성분들을 수용하도록 적절히 수정된다. 텍스처 파라미터들에 기초하여 또 다른 텍스처를 생성하기 위한 모델의 부가적인 체계화는 표준 이미지 압축 신호에 비하여 감소된 비트 레이트에 대해 보다 효율적인 이미지 신호를 배치한다. 종래 디코더들에서 디코딩하는 동안, 부가적인 성분들은 버려질 수 있고, 수신된 파라미터들을 갖는 텍스처 영역들만이 합성된다. 그러므로, 생성된 이미지 신호는 종래 디코더들에 대해 일치할 수 있다.
또한, 보다 효율적인 방식으로 압축 인코딩된 이미지 신호의 전송 방법을 제공하는 것이 바람직하다.
이것은 압축 인코딩된 이미지 신호가 이미지 내에 포함된 또 다른 텍스처 영역을 재생성하기 위해 이용가능하며, 이미지 내에 포함된 제 1 텍스처 영역을 인코딩하는 파라미터 데이터에 기초하여 또 다른 텍스처 파라미터들을 생성하기 위한 모델을 식별하는 체계화를 포함한다는 점에서 달성되며, 상기 방법은:
- 미리정의된 이미지 압축 표준에 따른 압축 인코딩된 이미지 신호로, 이미지 객체 내에 포함된 픽셀들의 그룹들의 픽셀 값들의 선형 변형에 기초하여 이미지에 존재하는 이미지 객체를 인코딩하는 단계;
- 파라미터 데이터에 의해 이미지 내에 포함된 제 1 텍스처 영역을 인코딩하는 단계;
- 이미지의 또 다른 텍스처를 재생성하기 위해 이용가능하며, 파라미터 데이터에 기초하여 또 다른 텍스처 파라미터들을 생성하기 위한 모델의 체계화를 인코딩하는 단계; 및
- 데이터 전송의 유선 또는 무선 매체를 통해 인코딩 압축 데이터 스트림을 전송하는 단계를 포함한다.
본 발명에 따른 압축 인코딩된 비디오 신호의 전송 방법은 제 1 텍스처의 파라미터들에 기초하여 또 다른 텍스처 파라미터들을 생성하기 위한 모델의 체계화를 인코딩하는 단계를 포함한다. 그러므로, 인코딩 방법은 텍스처 파라미터들 자체 대신에 텍스처들의 재생성 모델을 인코딩함으로써 비트 레이트를 세이브한다. 그래서, 상기 방법은 이미지들의 텍스처들을 인코딩하는 종래 방법들에 비해 보다 효율적이다.
또한, 보다 효율적인 방식으로 이미지를 인코딩하는 방법을 실행하도록 프로세서를 인에이블하는 컴퓨터 프로그램 제품을 제공하는 것이 바람직하다.
이것은 압축 데이터 스트림으로 텍스처 영역들을 포함하는 이미지를 압축하기 위한 명령들을 포함하는 컴퓨터 장치에 의해 로딩될 프로그램 제품에서 달성되며, 상기 컴퓨터 장치는 처리 유닛 및 메모리를 포함하고, 컴퓨터 프로그램 제품은, 로딩 후에, 아래의 태스크들(tasks)을 실행하는 성능을 갖는 상기 처리 유닛을 제공한다:
- 미리정의된 추정 알고리즘에 따라 제 1 영역의 제 1 텍스처 파라미터 및 제 2 영역의 제 2 텍스처 파라미터 중 적어도 하나로부터 제 3 텍스처 파라미터를 추정하는 단계;
- 미리결정된 매칭 기준에 따라, 추정된 제 3 텍스처 파라미터에 대응하는 생성된 텍스처의 표현과 제 3 영역의 이용가능한 텍스처의 표현을 비교하고, 매치 값의 정도를 계산하는 단계; 및
- 압축 데이터 스트림으로 제 1 텍스처 파라미터 및 제 2 텍스처 파라미터를 인코딩하고, 매치 값의 정도가 미리지정된 구간 내에 있을 때 압축 데이터 스트림으로 추정 알고리즘의 체계화를 갖는 제 3 영역에 존재하는 텍스처를 인코딩하여, 이미지를 압축하는 단계를 포함한다.
본 발명에 따른 방법을 실행하기 위한 단계별 명령들을 포함하는 컴퓨터 프로그램 제품들은 텍스처 파라미터들 대신에 추정 기준(estimation criterion)을 인코딩함으로써 인코딩의 효율을 높여, 비트 레이트를 감소시킨다. 컴퓨터 프로그램 제품은 모든 텍스처 파라미터들을 인코딩하는 프로그램보다 양호한 압축을 달성하는데 유용하다. 컴퓨터 프로그램은 인코딩 방법을 효율적으로 구현하기 위해 다양한 플랫폼(platforms) 상에 적용될 수 있는 다목적 도구이다. 컴퓨터 프로그램 제품은 컴퓨터 장치 및 디바이스들, 예컨대, 셋톱 박스, 비디오 수신기들, 리코더들, 플레이어들, 휴대형 디바이스들 및 모바일 디바이스들의 다양한 형태들로 사용될 수 있다. 컴퓨터 프로그램 제품은 다양한 플랫폼들의 이들 디바이스들 예컨대, PC의 OS(operating systems), 휴대형 디바이스들, 및 비디오 플레이어들에 설치되거나 또는 잘 알려진 내장 시스템들 중 어느 하나에 또는 자바 버추얼 머신들(java virtual machines)에 설치될 수 있다.
본 발명에 따른 이미지 인코더의 실시예에서, 이미지들은 텍스처 영역들을 얻기 위해 수동으로 세그먼트된다.
이미지들 내의 텍스처된 영역들은 머신 세그먼트된 영역들보다 상대적으로 더 정화하고 의미있는 영역들을 얻기 위해 핸드 세그먼트(hand segment)될 수 있다. 수동 세그먼트화(manual segmentation)는 예컨대 풋볼 필드 내의 잡초에 대한 장면의 큰 부분을 차지하는 텍스처된 세그먼트들 및 반복적인 장면들의 경우에 유용하다.
텍스처 추정 및 보간의 기술은 예컨대 제조 측에서의 컴퓨터 그래픽 작업과 같은 그래픽 세팅들 및 배경을 갖는 이미지들을 통합하는데 이롭게 적용될 수 있다.
본 발명에 따른 이미지 인코더의 실시예에서, 이미지들은 텍스처의 파라미터들 및 영역들을 얻기 위해 이미지 세그먼트와 알고리즘에 의해 미리 세그먼트된다.
예컨대, 스플리트(split) 및 병합(merge) 및 순환 히스토그램(recursive histogram) 또는 영역 성장(region growing)을 위한 전통적인 세그먼트 접근법들 중 하나를 적용하여 이미지를 자동으로 세그먼트할 수 있다. 알고리즘들은 컴퓨팅 머신 내의 소프트웨어 또는 하드웨어에서 구현될 수 있다. 이미지들은 이용가능한 텍스처를 갖는 파라메트릭 모델들의 맞춤(fitness)을 고려하고(assume) 테스트함으로써 미리 세그먼트될 수 있고, 처리 시에, 영역들이 또한 세그먼트될 수 있다. 스플리트 및 병합 접근법은 세분된 세그먼트들(refined segments)의 모델들의 파라미터들을 세분하기 위해 두 번째 반복(iteration)시에 사용될 수 있다. 텍스처들의 영역들 및 텍스처들의 파라미터들은 텍스처들의 파라미터들을 추가적으로 인코딩하기 위해 본 발명에 따른 인코더에 직접 적용될 수 있다. 파라메트릭 모델들로의 자동화된 세그먼트화는 영역들의 텍스처들의 파라미터들을 우선 세그먼팅하고 찾는 것보다 빠르다. 자동화된 세그먼트화는 일정한 모양들 및 크기들의 영역들, 예컨대 16x16 픽셀들의 정사각형 영역 또는 16x32 픽셀들의 직사각형 영역을 얻기 위해 선택적으로 배치될 수 있다.
본 발명의 상기한 목적들 및 바람직한 특징들은 도면들을 참조하여, 바람직한 실시예의 상세한 설명으로부터 보다 명백해진다.
도 1은 텍스처 영역들을 갖는 예시적인 이미지를 개략적으로 도시하는 도면.
도 2는 본 발명에 따른 이미지 인코더의 실시예를 개략적으로 도시하는 도면.
도 3은 본 발명에 따른 이미지 인코더의 추정기 및 비교기를 포함하는 예시적인 유닛(30)을 도시하는 도면.
도 4는 본 발명에 따른 비교기의 실시예 블록도를 개략적으로 도시하는 도면.
도 5는 텍스처들의 영역들을 포함하는 이미지들의 비디오 시퀀스를 개략적으로 도시하는 도면.
도 6은 본 발명에 따라 이미지를 인코딩하는 방법의 실시예 흐름도.
도 7은 본 발명에 따른 이미지 인코더의 실시예 블록도를 개략적으로 도시하는 도면.
도 8은 본 발명에 따른 이미지를 디코딩하는 방법의 실시예 흐름도.
도 9는 본 발명에 따른 이미지 인코더의 실시예 블록도를 개략적으로 도시하는 도면.
도 10은 본 발명에 따른 압축 데이터 스트림을 전송하기 위한 전송기의 실시예 블록도를 개략적으로 도시하는 도면.
도 11은 본 발명에 따른 휴대용 디바이스의 실시예 블록도를 개략적으로 도 시하는 도면.
도 12는 본 발명에 따른 이미지 디코더의 실시예 블록도를 개략적으로 도시하는 도면.
도 13은 본 발명에 따른 수신기의 블록도를 개략적으로 도시하는 도면.
도 14는 본 발명에 따른 컴퓨터 프로그램 제품의 블록도를 개략적으로 도시하는 도면.
이미지 시퀀스들은 그들의 전송 및 저장을 위해 필요한 데이터의 크기를 감소시키기 위해 인코딩 및 압축된다. 달성되는 압축률은 디코딩된 이미지 품질에 직접 영향을 미칠 수 있는데, 예컨대, 보다 높은 압축률은 디코딩된 이미지의 품질을 열화시킬 수 있다. 이미지 내의 텍스처들은 다소 공간적으로 동질 특성(homogeneous properties)을 가지며, 통상적으로, 다소의 랜덤 변량, 예컨대, 랜덤 위치들, 방향(orientation) 또는 컬러들을 갖는 반복된 구조들을 종종 포함한다. 텍스처들은 텍스처의 중요한 통계적인 신호 특성들이 이미지에서의 위치에 의존하지 않을 때 정지(stationary)된 것으로 고려된다. 텍스처 영역들을 갖는 압축 이미지들은 디코딩된 이미지들의 양호한 품질을 달성하기 위해 보다 높은 압축률을 달성하려고 시도하는 동안 부가적인 도전들을 내포한다.
도 1은 텍스처 영역들을 갖는 예시적인 이미지(10)를 개략적으로 도시한다. 이미지(10)는 이미지 객체, 예컨대, 전방에서의 인간(15) 배경에서의 텍스처들의 3 영역들(11,12,13)을 포함한다. 텍스처 영역(13)은 텍스처 영역들(11,12)과 유사할 수 있다. 텍스처 영역들(11,12) 중 적어도 하나와 닮거나, 관련되거나, 그것에 의존하는 텍스처 영역(13)은 이미지 내 어디에서 나타날 수 있다. 예를 들어, 텍스처 영역(13)은 닮은 텍스처들(11,12) 둘 모두에 인접하여 나타날 수 있고, 또는 그것은 분리될 수 있다. 그러므로, 이미지들 내의 텍스처들은 유사성 및 상호 의존성을 위해 그룹져 질 수 있다. 하나 또는 두 개의 텍스처들과 매우 닮은 텍스처는 닮은 텍스처들의 추정된 파라미터들로의 재구성을 위한 양호한 후보이다.
텍스처 영역(13)은 또한, 한 끝에서는 하나의 텍스처(11)를 닮고, 다른 끝에서는 다른 텍스처(12)를 닮은, 한 끝에서 다른 끝으로 점진적으로 변할 수 있다. 이미지들의 몇몇 분류에서, 큰 영역 내의 텍스처는 텍스처를 구성하는 요소들의 가변적인 크기들을 포함할 수 있다. 그것들은 때때로, 그레인 텍스처들(grain texture)을 찾기 위해 조잡한 그레인으로부터 변하는 것일 수 있다. 영역의 한 경계에서 또 다른 경계로 점진적으로 변하는 텍스처 그레인 구조는 또한, 추정된 파라미터들, 예컨대, 닮은 텍스처들을 나타내는 통계적인 파라미터들로 재구성하기 위한 양호한 후보이다.
텍스처는 분석될 수 있고, 파라메트릭 모델은 텍스처에 적합하다. 텍스처는 상기 모델로부터 얻어진 파라미터들의 도움으로 특징지어질 수 있다. 그러므로, 그것은 텍스처가 이미지의 적절한 위치에서 합성 및 재구성될 수 있도록 압축된 스트림으로 모델 파라미터들을 인코딩하는데 충분할 수 있다. 텍스처의 경계 정보 및 위치는 전달될 필요가 있다. 경계 정보는 예컨대, 기하학적인 모양에 대한 경계의 근사치로써 또는 다항식 함수들, 푸리에 디스크립터들(Fourier descriptors) 또는 프랙탈 기하학(fractal geometry)에 의해 데이터 압축을 달성하도록 선택적으로 인코딩될 수 있다.
경계 정보는, 예컨대 미리정의된 이미지 서브파트(image subpart)에서의 배경 그래스 텍스처(background grass texture)가 배경 객체들이 중첩될 수 있는 임의의 시작 텍스처로부터 완성될 수 있으므로, 모든 실시예에서 필요한 것은 아니다. 본 발명에 따른 파라미터적으로 생성된 배경 텍스처 및 전방 객체들에서 텍스처의 전송을 매끄럽게 하기 위해 전략들이 적용될 수 있다.
일반적으로, 원 텍스처의 특성들과 동일한 통계적인 특성들을 갖는 텍스처를 구현하는 것이 가능하다. 또한, 그들의 모델 파라미터들로부터 관련되거나 종속하는 하나 이상의 텍스처들로부터 간헐적으로 또는 점진적으로 변하는 텍스처를 생성하는 것이 가능하다. 비트 레이트들의 감소는 이미지에 존재하는 텍스처들의 모든 영역들의 모델 파라미터들의 인코딩에 비하여, 이러한 경우들에서 달성될 수 있다.
도 2는 본 발명에 따른 이미지 인코더(20)의 실시예 블록도를 개략적으로 도시한다.
이미지 인코더(20)는 추정기(21), 비교기(22), 및 데이터 인코더(23)를 포함한다. 이미지 인코더는 텍스처 영역들의 텍스처 파라미터들을 수신하기 위해 배치된다. 텍스처 파라미터는 텍스처의 표현이며, 텍스처를 재생성하기 위해 사용될 수 있다. 텍스처 영역들의 텍스처 파라미터들을 추정하는 다양한 방식들이 존재한다. 예컨대, 텍스처의 확률논적인 표현의 텍스처 파라미터는 가장 닮은 파라메트릭 모델을 찾음으로써 얻어질 수 있다. 텍스처 파라미터는 텍스처 영역의 경계 정보의 표현을 부가적으로 포함할 수 있다.
이미지 인코더(20)는 제 1 영역(11), 제 2 영역(12), 및 제 3 영역(13) 중 적어도 하나를 포함하는 도 1에 도시된 이미지(10)를 인코딩하기 위해 배치된다. 추정기(21)는 제 1 영역의 제 1 텍스처 파라미터(ρ1o)와 제 2 영역의 제 2 텍스처 파라미터(ρ2o) 중 적어도 하나를 수신하고, 미리결정된 추정 알고리즘(K)에 따라 제 3 텍스처 파라미터(ρ3e)를 추정한다. 추정 알고리즘은 텍스처 파라미터들의 다항 비선형 수식(polynomial non-linear equation)과 같은 보다 복잡한 알고리즘에 대해 텍스처 파라미터들의 평균화와 같은 심플한 알고리즘일 수 있다. 텍스처 파라미터들의 가중 평균화는 이롭게는 추정 알고리즘으로서 사용될 수 있다.
입력 이미지를 수신하고 텍스처된 영역들을 세그먼트하고, 텍스처 파라미터들을 계산하는 세그먼트화 수단은 인코더 외부에 제공되거나 또는 인코더 내의 부가적인 모듈로서 제공될 수 있다. 세그먼트화는 텍스처된 영역들의 파마미터 추정으로 조합될 수 있고 또는, 이롭게는 스테이지들에서 실행될 수 있다. ARMA(auto-regressive moving average) 모델과 같은 파라메트릭 모델들의 예측(prediction) 및 수정은 세그먼트화 및 파라미터 추정을 위해 사용될 수 있다. 스플리트 및 병합을 통한 세그먼트화의 세분화들(refinements) 또는 임의의 다른 잘 알려진 과정이 또한, 세그먼트화 모듈에 포함될 수 있다. 세그먼트화는 히스토그램 스플리팅과 같은 잘 알려진 기술들 중 어느 하나를 적용하여 자동 세그먼트화이다.
텍스처된 영역의 파라미터 추정 및 모델 맞춤(model fitting)의 예가 제공된 다. 위치(m,n)의 함수(X)인 텍스처(R1)를 생각해보자. 상기 텍스처는 정지된 것으로 고려된다. 이러한 텍스처에 대한 몇몇 유용한 통계적인 파라미터들은 평균 및 자동 공분산(auto-covariance)일 수 있다. 이 예에서, 자동 공분산 파라미터(ρ1)의 추정이 설명된다. 개념의 편의를 위해, 상기 평균이 0인 것으로 가정할 수 있다. 0아닌 평균의 경우에 대해서는, 상기 평균은 추정되고 감산될 수 있다. 자동 공분산은 두 개의 관측값들 X(m0,n0)와 X(m0+Δm, n0+Δn) 사이의 공분산으로서 정의되고, 여기서 (Δm,Δn)는 공통축(m0,n0)에 대해 증가 시프트들(incremental shifts)이다.
Figure 112008011415015-PCT00001
(1)
정지(stationary)의 특성은 위치(m0,n0)에 대해 독립적이고 두 개의 관측값들의 상대적인 위치(Δm,Δn)에만 의존하는 ρ1 를 나타내다.
Figure 112008011415015-PCT00002
(2)
2차원 자기 회귀(2-dimensional auto regressive) 모델은 텍스처 공분산 함수에서 통계적으로 충분한 세부사항들의 콤팩트한 표현을 얻기 위해 사용될 수 있다. 텍스처 X에 대한 2D AR 모델은 아래의 상이한 수식에 의해 주어진다. 변량은 좌표(0,0)의 시프트에서의 자동 공분산에 의해 주어진다.
Figure 112008011415015-PCT00003
(3)
여기서, X는 텍스처이고, ε(n,m)는 이상적으로 분배된 랜덤 변수들에 독립적인 0 평균(zero-mean)이다. 합산에서 사용되는 주변 영역(S)은 지원 영역(region of support: ROS)으로서 정의된다. 포인트(m,n)는 ROS에서 중앙 포인트로서 언급될 수 있다. 합산은 계수들(ai ,j)과 관측값들 X(m,n)의 주변 값들의 선형 조합이다.
AR 모델 파라미터들은 주변 픽셀들에 기초한
Figure 112008011415015-PCT00004
의 예측을 위해 사용될 수 있다.
(4)
ai ,j는 2-D 율리 월커 수식들(Yule-Walker equations)에 의해 자동 공분산에 관련된다.
Figure 112008011415015-PCT00006
(5)
모델 순서(model order) 및 선택적인 계수들(optimal coefficients)을 결정하기 위한 모델 맞춤에 대한 문헌에서 추가적인 기술들이 존재한다.
수동 세그먼트화에 의해 텍스처 영역들을 얻는 것이 가능하다. 이러한 영역들은 텍스처 파라미터들을 얻기 위해 추가적으로 처리될 수 있다. 수동 세그먼트화는 여러 가지 이점들을 가지며: 세그먼트식으로 의미있는 영역들이 단일 반복(single iteration) 시에 얻어질 수 있고; 세그먼트화의 에러들은 자동 세그먼트화에 비해 상당히 감소될 수 있고; 수동 세그먼트화는 정상(static) 및 반복 장면들을 위해 적합할 수 있다.
비교기(22)는 도 1에 도시된 이미지(10)에서 이용가능한 것으로서 제 3 텍스처(13)(R3)와 추정된 제 3 텍스처 파라미터(ρ3e)에 대응하는 생성된 텍스처를 비교하기 위해 배치된다. 비교기의 다른 실시예들은 서로 다른 가능한 표현들로부터 시작하는 텍스처들을 비교하고, 매치 값의 정도(μm)라고 하는 유사성의 측정치를 생성기 위해 배치된다. 매치 값의 정도는 제 3 텍스처가 추정된 텍스처 파라미터에 의해 생성된 텍스처로 교체될 수 있는지의 여부를 결정하는데 유용하다.
생성 및 테스트 전략(generate-and-test strategy)은 이미지에서 발견될 것으로서 텍스처에 대해 생성된 텍스처의 맞춤(fitness)을 찾기 위해 채택된다. 매치 값의 정도는 사이코 비주얼 매칭 기능 또는 통계적인 매칭 기능에 의해 텍스처들을 비교함으로써 계산될 수 있다. 매치 값의 정도가 임의의 구간 내에 있을 때, 그것은 다른 텍스처 파라미터들로부터 제 3 텍스처 파라미터의 만족스러운 추정의 표시이고, 추정 알고리즘으로 제 3 텍스처 파라미터들을 교체하는 결정에 도달할 수 있다. 결정은 또한, 매치 값의 정도가 미리결정된 임계값 높을 때 취해질 수 있다.
예로서, 왼쪽에서 오른쪽으로 점차적으로 변하는 텍스처를 갖는 영역이 두 개의 2차원 AR 모델들(M1,M2)을 사용하여 모델링되고, 이것이 텍스처 영역의 왼쪽 및 오른쪽 절반에 맞춰진다고 가정하자. 변이 영역에서, 모델들 M1과 M2 사이의 변이 모델(M3)은 M1 또는 M2보다 양호하게 맞도록 기대된다.
중간 모델(intermediate model)은 이 변이 영역에 대해 결정된다. 하지만, 이 새로운 모델은 디코더에 전송되어야 하는 부가적인 파라미터들을 산출하고, 비트 레이트를 증가시킨다. 대안은, 예컨대 모델 파라미터들(M1,M2)의 보간에 의해, 이용가능한 모델 파라미터들(M1,M2)의 조합에 의해 모델(M3)의 파라미터들을 추정하는 것이다. 추정은 비트 레이트를 증가시키지 않고, M1 또는 M2에 비하여, 전송 영역에 대해 보다 정확한 모델을 산출할 수 있다. 자동상관 계수들, 반사 계수들(reflection coefficients), 및 예측 파라미터들과 같은, 모델 파라미터들에 대한 많은 등가적인 표현들이 이용가능하다.
또한, 예에서, 모델(M3)의 자동 공분산 계수(ρ3e)는 가중들(w1,w2)로, 모델들(M1,M2)의 자동 공분산 계수들(ρ1,ρ2)의 가중 평균에 의해 얻어질 수 있다.
Figure 112008011415015-PCT00007
(6)
대응하는 모델 파라미터들은 ali,j로 표기된다. 이들 모델 파라미터들은 ρ3e에 대한 율리 월커 수식들을 풀어서 찾아질 수 있다.
Figure 112008011415015-PCT00008
(7)
특정 세그먼트(R3)에 대해 보간된 모델의 품질은 데이터에 대한 이 모델의 맞춤(fit)을 계산함으로써 구해질 수 있다. 이 맞춤은 잔차 r의 평균 자승값이다.
Figure 112008011415015-PCT00009
(8)
여기서, r는 참 텍스처(true texture) X(m,n)의 통계적인 특성들 Y(m,n)와, (m,n)이 좌표인 예측된 텍스처
Figure 112008011415015-PCT00010
의 통계적인 특성들
Figure 112008011415015-PCT00011
사이의 차에 의해 주어진다.
Figure 112008011415015-PCT00012
(9)
보다 일반적인 용어에서, 잔차 r는 특정 영역 내의 텍스처가 텍스처 합성을 위해 적합한지의 여부를 결정하는데 사용될 수 있다. 예를 들어, 텍스처 합성이 입력으로서 가우시안 화이트 노이즈(Gaussian white noise)(ε)를 갖는 2D AR 모델로 행해지면, 잔차 r는 유사한 통계적인 특성들을 갖는다. 이것은 통계적인 테스트에 의해 입증될 수 있다.
데이터 인코더(23)는 압축 데이터 스트림 ST(ρ1o,ρ2o,.)로 제 1 텍스처 파라미터 및 제 2 텍스처 파라미터(ρ1o,ρ2o)를 인코딩하기 위해 배치된다. 공지된 표준에 따라 포맷된 프레임에서 파라미터 값들을 삽입하여, 압축 데이터 스트림을 형성할 수 있다. 번갈아서, 파라미터들은 데이터 스트림으로 압축되고 인코딩될 수 있다. 데이터 인코딩은, ρ3o 대신에, 매치 값의 정도가 미리특정된 구간 내에 있을 때 추정 알고리즘(K)의 계수로 제 3 영역(13)에 존재하는 텍스처를 코딩하기 위해 배치된다. 임의 양의 정확도 내에서 추정될 수 있는 텍스처 파라미터들은 압축 데이터 스트림으로 인코딩될 필요가 없으며, 그 자체로서, 추정 알고리즘을 나타내는 짧은 코드(short code) 또는 미리정해진 동의 심볼(agreed symbol)을 인코딩하는데 충분하며, 비트 레이트를 세이브한다. 그래서, 텍스처 파라미터들이 압축 데이터 스트림으로 인코딩되는 종래 기술에 비해, 양호한 이미지 압축이 가능하다. 디코더에서, 수신된 심볼에 대응하는 추정 알고리즘은 미리결정된 추정 알고리즘의 테이블로부터 선택될 수 있다.
도 3은 본 발명에 따른 이미지 인코더의 추정기(31) 및 비교기(32)를 포함하는 예시적인 유닛(30)을 도시한다.
추정기(31)는 입력으로서 제 1 텍스처 파라미터(ρ1o) 및 제 2 텍스처 파라미터(ρ2o)를 수신하고, 미리결정된 추정 알고리즘(K)에 따라 제 3 텍스처 파라미터(ρ3e)를 추정하기 위해 배치된다. 다수의 추정 알고리즘들은 추정기에 미리 저장될 수 있고, 기준(K) 중 하나가, 차례로 데이터 인코더(23)에 결합되는 제 3 텍스처 파라미터의 추정을 위해 적용된다. 비교기(32)는 추정된 제 3 텍스처 파라미터(ρ3e) 및 제 3 텍스처(R3)의 표현을 수신하고, 그것들을 비교하고, 출력으로서 매치 값의 정도(μm)를 계산한다. 텍스처의 이용가능한 제 3 영역으로부터 유도된 텍스처 파라미터(ρ3o)는 또한, 추정된 텍스처 파라미터(ρ3e)와의 비교를 위한 비교기에서 이용가능하게 된다. 매치 값의 정도(μm)는 추정기(31)가 미리결정된 구간 내에서 매치 값의 정도를 얻기 위해 미리결정된 추정 방법을 선택하도록 추정기로 피드백될 수 있다. 매치 값의 정도는 미리정의된 구간 내에 있는 값을 얻기 위해 증가 또는 감소될 수 있다. 그러므로, 추정기(31)는 비교기(32)로부터 피드백 제어 신호를 적용함으로써 효율적으로 제 3 텍스처 파라미터(ρ3e)를 추정하도록 설계될 수 있다.
도 4는 본 발명에 따른 비교기(40)의 실시예 블록도를 개략적으로 도시한다.
비교기(40)의 실시예는 도 4에 도시된 바와 같이, 이하의 가능한 매칭 기능들 중 적어도 하나를 불러내서 매치 값의 정도(μm)를 계산하기 위해 배치된다. 사이코 비주얼 매칭 기능(43) 또는 통계적인 매칭 기능(44) 또는 거리 측정 매칭 기능(45)이 이용될 수 있다. 하나 이상의 이들 기능들의 출력들을 선택적으로 조합함으로써 매치 값의 정도(μm)를 계산하는 것이 가능하다.
사이코 비주얼 매칭 기능(PVMF)(43)은 추정된 제 3 텍스처 파라미터(ρ3e)에 대응하는 제 3 영역(R3') 및 이미지 내에서 이용가능한 것으로서 제 3 영역(R3)을 수신하기 위해 배치된다. 텍스처 합성기(41)는 이러한 목적을 위해, 비교기(40) 내에 선택적으로 설계된다. PVMF는 인간의 눈에 의해 감지되므로 매치(match)를 모방하도록 설계된다. 잘 알려진 PVMF들의 일부는 휘도 도메인(luminance domain)에서 표시된 두 개의 이미지들을 감지하기 위해 인간의 시각체계를 사용하고, 출력으로서 매치 값의 정도를 계산한다. 인간 시각체계의 특징들, 예컨대, 가변 주파수들에서 주파수 감도, 가변 주파수들에서 에너지 감도, 및 저주파 감지 대 고주파 감지는 출력으로서 적절한 매치 값의 정도를 얻기 위해 가중 함수로 설정될 수 있다.
통계적인 매칭 기능은 텍스처들의 통계적인 테스팅을 위해 설계될 수 있다. 통계적인 파라미터 추정기(46)는 이용가능한 텍스처(R3)로부터 제 1 통계적인 파라미터(P3)를 계산하기 위한 비교기(40)에 선택적으로 설치될 수 있다. 유사하게, 제 2 통계적인 파라미터 추정기(42)는 재구성된 텍스처(R3')로부터 제 2 통계적인 파라미터(P3')를 계산하기 위한 비교기(40)에 선택적으로 설치될 수 있다. 통계적인 매칭 기능(42)은 제 1 통계적인 파라미터(P3) 및 통계적인 파라미터(P3')을 수신하고, 매치 값의 정도(μm)를 계산하기 위해 배치된다. 텍스처의 통계적인 파라미터들은 평균, 분산, 표준편차, 공분산, 엔트로피, 및 모멘트들과 같은 기본적인 파라미터들로부터 에너지 측정치들 및 관계 측정치들(relation measures)과 같은 보다 앞선 파라미터들까지 변할 수 있다.
통계적인 매칭 기능을 통해 매치 값의 정도를 추정하는 예가 제공된다. 예컨대, 상대적인 분광 에러 측정(relative spectral error measure) IR는 아래 수식들에 의해 주어지는 바와 같이, 텍스처들(R3,R3')의 두 개의 영역들을 비교하기 위한 유용한 통계적인 매칭 기능일 수 있다.
Figure 112008011415015-PCT00013
(10)
Figure 112008011415015-PCT00014
(11)
Figure 112008011415015-PCT00015
(12)
여기서, ｆ(ω)는 이용가능한 텍스처의 정규화된 분광 밀도(spectral density)이고,
Figure 112008011415015-PCT00016
는 추정된 텍스처의 정규화된 분환 밀도이고,
Figure 112008011415015-PCT00017
는 정규화된 분광 밀도를 얻기 위해 픽셀들의 영역 상에 적용된 변환이다.
선형 변환은 매치 값의 정도를 얻기 위해 IR에 적용될 수 있다. 이 접근법의 이점은 이러한 매칭 기능의 통계적인 특성들이 쉽게 계산될 수 있다는 점이다. 이러한 유용한 통계적인 매칭 기능들의 많은 예들은 피트 엠.티. 브로어센(Piet M.T.Broersen)에 의한 "분광 품질 측정치들의 수행성능(The Performance of Spectral Quality Measures)"(IEEE Transactions on Instrumentation and Measurement, Vol.50, No.3, 2001년 6월)에 설명되어 있다.
거리 측정 기능(45)은 제 3 영역에 존재하는 텍스처로부터 추정된 텍스처 파라미터(ρ3o) 및 하나 이상의 다른 텍스처 파라미터들로부터 추정된 제 3 텍스처 파라미터(ρ3e)를 수신하기 위해 배치될 수 있다. 텍스처 파라미터들은 벡터들로 고려될 수 있다. 파라미터 도메인에서의 비교는 휘도 도메인에서의 비교보다 훨씬 단순하다. 더욱이, 매치 값의 정도(μm)는 선형 변환에 의해 효율적으로 생성될 수 있다. 두 개의 벡터들을 비교하는 예들 중 하나는 탄젠트 거리(tangent distance) 또는 두 개의 벡터들의 도트 프로덕트(dot product)의 계산이다.
도 5는 텍스처들의 영역들을 포함하는 이미지들의 비디오 시퀀스를 개략적으로 도시한다.
본 발명은 시퀀스 또는 비디오 시퀀스에서 단일 이미지 또는 이미지들에 적 용될 수 있다. 제 1 이미지(51), 제 2 이미지(52), 및 제 3 이미지(53)를 포함하는 이미지 시퀀스(50)가 도 5에 도시되어 있다. 제 1 이미지(51)는 제 1 영역(54)을 포함하고, 제 2 이미지(52)는 제 2 영역(55)을 포함하고, 제 3 이미지는 제 3 영역(56)을 포함한다. 동일한 이미지에 존재하는 하나 이상의 텍스처들 또는 인접 이미지들에 존재하는 하나 이상의 텍스처들로부터 텍스처를 추정하는 것이 가능하다. 텍스처의 인접성은 텍스처를 추정하는데 있어 유용한 기준이고, 이미지들의 순서는 중요하지 않다. 예컨대, 풋볼 필드에서 또는 비치(beach)에서 찍은 사진들의 시퀀스뿐만 아니라, 정지 이미지들의 시퀀스에서 텍스처를 추정하는 것이 가능하다. 이러한 이미지들에서, 전방(foreground)은 객체들, 사람들, 나무들, 또는 빌딩들을 포함할 수 잇고, 배경은 그래스(grass) 또는 모래의 텍스처들을 포함할 수 있다.
도 6은 본 발명에 따른 이미지를 인코딩하는 방법(60)의 실시예 흐름도를 도시한다.
제 1 및 제 2 텍스처 파라미터들(ρ1o,ρ2o)은 추정 단계(61)에서 수신되고, 제 3 텍스처 파라미터(ρ3e)가 추정된다. 다음 스텝(62)에서, 추정된 제 3 텍스처 파라미터(ρ3e)는 이미지 내에 존재하는 바와 같이, 제 3 텍스처(R3)의 텍스처 파라미터(ρ3o)와 비교된다. 텍스처들을 비교하는 많은 방법들, 예컨대, 픽셀 도메인에서의 비교, 모델링된 파라미터 도메인에서의 비교, 또는 통계적인 파라미터 도메인에서의 비교가 존재할 수 있다. 비교들 중 어느 하나의 출력은 매치 값의 정도(μm) 를 출력하기 위해 배치된다. 매치 값의 정도(μm)를 얻기 위해 하나 이상의 비교 출력을 조합하는 선택적인 방법이 존재할 수 있다. 매치 값의 정도(μm)는 값이 미리특정된 구간 내에 있는지를 보기 위해 데이터 인코딩 단계(63)에서 테스트된다. 매치 값의 정도(μm)가 수용가능한 것이면, 제 3 텍스처 파라미터(ρ3e)의 추정 알고리즘(K)은 압축 데이터 스트림 ST(ρ1o,ρ2o,K)에서 인코딩되어, 비트 레이트를 세이브한다. 그밖에, 제 3 영역에 존재하는 텍스처에 대응하는 텍스처 파라미터(ρ3o)는 압축 데이터 스트림 ST(ρ1o,ρ2o,..)에서 인코딩된다. 이들 압축 데이터 스트림들 둘 모두는 조합기(64)에서 조합된다. 그러므로, 이미지 인코딩 방법(60)은, 매치 값의 정도(μm)가 미리특정된 구간 내에 있을 때마다, 제 3 영역에 존재하는 텍스처가 추정 알고리즘(K)에 의해 인코딩되는, 압축 데이터 스트림을 생성한다.
고상한 방법과는 떨어져서, 추정된 파라미터들로부터의 텍스처 재구성은 복잡하지 않게 찾아지고, 종종 종래 기술에 의해 추천되므로, 휘도 도메인에서의 보간에 비하여 보다 작은 아티펙트들(artefacts)을 생성한다.
도 7은 본 발명에 따른 이미지 디코더(70)의 실시예 블록도를 개략적으로 도시한다.
압축 데이터 스트림 ST(ρ1o,ρ2o,..)는 디코더(71)에 의해 수신된다. 압축 데이터 스트림은 예측 알고리즘 ST(ρ1o,ρ2o,K)의 체계화를 포함할 수 있다. 제 1 텍스처 파라미터 및 제 2 텍스처 파라미터 (ρ1o,ρ2o,..)는 디코더(71)에 의해 디코딩된다. 검출기(72)는 압축 데이터 스트림으로부터 추정 기준(K)의 체계화를 검출하기 위해 배치된다. 검출된 추정 기준(K)으로부터, 제 3 텍스처 파라미터(ρ3e)는 제 1 및 제 2 텍스처 파라미터들(ρ1o,ρ2o) 중 적어도 하나로부터 추정기(73)에서 추정[생성]된다. 데이터 스트림으로부터 검출된 추정 알고리즘에 따라 적어도 하나의 텍스처 파라미터로부터 하나 이상의 텍스처 파라미터들을 추정하는 것이 가능하다. 추정기는 추정 알고리즘이 검출되지 않는 한 동작하지 않는다. 이러한 경우들에서, 데이터 디코더는 압축 데이터 스트림으로 수신되므로 텍스처 파라미터들을 계속해서 디코딩한다.
도 8은 본 발명에 따라 이미지를 디코딩하는 방법(80)의 실시예 흐름도를 도시한다.
디코딩 방법(80)은 압축 데이터 스트림 ST(ρ1o,ρ2o,..)로부터 제 1 및 제 2 텍스처 파라미터들(ρ1o,ρ2o,)을 디코딩하는 제 1 단계(81)를 포함한다. 압축 데이터 스트림 ST(ρ1o,ρ2o,K)는 때때로, 체계화된 추정 알고리즘(K)을 포함한다. 다음 단계(82)에서, 디코딩된 데이터 스트림은 추정 알고리즘의 존재에 대해 테스트된다. 추정 알고리즘이 검출될 때, 제 3 텍스처 파라미터(ρ3e)는 추정 알고리즘(K)에 따라 제 1 및 제 2 텍스처 파라미터들(ρ1o,ρ2o,..) 중 적어도 하나로부터 추정된다. 그밖에, 데이터 디코더에 의해 디코딩되므로 파라미터들은 추가적인 처리, 예 컨대 텍스처들의 합성을 위해 취해진다.
도 9는 본 발명에 따라 이미지 인코더(90)의 실시예 블록도를 개략적으로 도시한다.
본 발명에 따른 이미지 인코더(90)는 예컨대, 결정론적 압축 표준, 예컨대 H.264 또는 개선된 비디오 코딩(AVC) 표준에 따라 이미지를 인코딩하는 인코더의 제 1 부분(91)을 포함한다. 이러한 방식에서, 텍스처 영역들의 카테고리에 있지 않은 이미지 객체들은 선형 변형, 보다 특별히는 DCT를 겪게되고, 압축 데이터 스트림(98A)에서 인코딩된다. 텍스처 영역들은 또한, 이미지 객체보다 비교적 적은 수의 비트들을 할당함으로써 압축 데이터 스트림(89A)에서 조잡하게 인코딩될 수 있다. 표준 디코더에 의해 디코딩될 때, 얻어진 텍스처는 평평하게 나타날 수 있고, 때로는 '플라스틱 외관을 갖는' 것으로 공지될 수 있다. 인코더의 제 1 부분(91)에 의해 공급되는 재구성된 이미지(96A)는 감산기(95)에서 원 이미지(96)로부터 감산된다. 서로 다른 이미지는 텍스처 영역들(96B)을 포함한다. 텍스처 영역들(96A)은 텍스처들의 보다 미세한 세부사항들(details)을 포함할 수 있고, 파라메트릭 모델링을 위해 취해질 수 있다.
텍스처 분석 모듈(92)은 텍스처 영역들(96B)을 모델링하고, 모델 파라미터들을 추정하기 위해 배치된다. 미리특정된 정확성으로 모델에 맞지 않는 텍스처 영역들(97A)은 인코더의 제 1 부분(91)으로 재차 결합될 수 있다. 미리특정된 정확성으로 모델에 맞는 텍스처 영역들(97B)이 선택되고 인코더의 제 2 부분(93)에 결합될 수 있다. 텍스처에 대한 모델의 맞춤을 평가하는 예가 수식(8)에 예시된다. 텍스처 분석 모듈(92)은 인코더의 제 1 부분(91) 또는 인코더의 제 2 부분(93)에 선택적으로 설치될 수 있다.
또 다른 실시예에서, 이미지 객체들 및 텍스처 영역들(97B)은 텍스처 필터에 의해 이미지(96)로부터 분리되고, 인코더의 제 1 부분(91) 및 인코더의 제 2 부분(93)에 각각 선택적으로 결합될 수 있다. 또 다른 실시예에서, 이미지(96)는 텍스처 분석 모듈(92)에 직접 적용될 수 있고, 미리특정된 정확성으로 미리특정된 모델 중 어느 하나에 맞지 않는 영역들은 이미지 객체들(97A)로서 고려될 수 있고, 인코더의 제 1 부분에 결합될 수 있다. 특정된 모델에 맞는 텍스처 영역들(97B)은 인코더의 제 2 부분(93)에 결합될 수 있다.
본 발명에 따른 인코더의 제 2 부분(93)은 다른 텍스처 파라미터들 중 적어도 하나로부터 텍스처 파라미터를 추정하는 것이 가능할 때마다 추정 기준의 체계화 및 파라미터들로 텍스처 영역들(97B)을 인코딩한다. 추정 기준의 체계화 및 인코딩된 텍스처 파라미터들을 포함하는 압축 데이터 스트림(98B)은 인코더의 제 1 부분(91)에 의해 생성된 압축 데이터 스트림(98A)과 조합된다. 조합기 유닛(94)은 두 개의 압축 데이터 스트림들(98A,98B)을 인터리브(interleave)하고, 결정논적 압축 표준들에 호환가능한 조합된 데이터 스트림(99)을 생성하기 위해 배치된다. 예를 들어, 인코더의 제 2 부분(93)으로부터 압축 데이터 스트림(98B)은 보충적인 인헨스먼트 정보(supplemental enhancement information: SEI) 메시지로서 개선된 비디오 코딩(AVC) 표준들에 호환가능한 압축 데이터 스트림(98A)에 포함될 수 있다. SEI 메시지는 추정 기준의 체계화 및 모델 파라미터들을 포함할 수 있다. 이들 정 보와는 별개로, SEI 메시지는 부가적으로, 영역 세그먼트화 정보, 영역들에 대한 텍스처 모델들의 인덱스(index), 추정하는 및 추정된 텍스처들을 위해 사용되는 모델들의 인덱스, 및 추정 계수들, 예컨대 텍스처를 추정하기 위해 가중된 평균 방식의 가중치들을 포함할 수 있다.
도 10은 본 발명에 따라 압축 데이터 스트림을 전송하는 전송기(100)의 실시예 블록도를 개략적으로 도시한다.
전송기(100)는, 이미지(104)가 수신되고, 텍스처 영역들이 모델링되고, 그들의 텍스처 파라미터들이 추정되는, 텍스처 모델링 유닛(101)을 포함한다. 세그먼트화 및 텍스처 모델링은 조합되거나 개별적으로 처리될 수 있다. 세그먼트화가 개별 처리인 경우에, 그것은 하나 이상의 통계적인 특성들의 균일성(uniformity)에 기초하여 또는 전통적인 세그먼트와 기술들에 기초할 수 있다 기본적인 세그먼트의 한가지 예는 2002년, 덴마크, 코펜하겐에서, European Conference on Computer Vision의 과정 중에, 에프, 어른스트(F. Ernst), 피. 윌린스키(P. Wilinski), 그리고 케이, 반 오버벨드(K. van Overveld)에 의해 저술된 논문 "모션으로부터의 밀집 구조; 세그먼트 매치에 기초한 접근법(Dense structure from motion: an approach based on segment matching)"에서 발견된다. 텍스처 세그먼트화를 위한 다양한 다른 파라메트릭 모델들은 예컨대, AR 모델, MA(moving average) 모델, ARMA(auto-regressive moving average) 모델, 또는 프랙탈 모델로 고려될 수 있다. 표준 컴플라이언트 인코더(standard compliant encoder) 예컨대, H.264 인코더의 결정논적으로 코딩된 베이스층(base layer)에 기초한 텍스처 세그먼트화가 또한 고려될 수 있 다.
텍스처 모델링 모듈은 가시적으로 보다 의미 있는 세그먼트된 영역들을 얻기 위해 세그먼트화 모듈을 포함하도록 배치될 수 있다. 이웃하는 세그먼트들(A,B)에 대한 모델들을 비교함으로써, 세그먼트들이 동일한 텍스처에 속하는지가 결정된다. 이러한 경우들에서, 영역들은 단일 영역을 형성하도록 병합되고, 모델 파라미터들은 대응하여 업데이트된다. 몇몇 경우들에서, 세그먼트가 하나 이상의 영역을 포함하고, 모델 맞춤이 실질적인 에러를 야기할 때에, 세그먼트는 2 이상의 영역들로 스플리트(split)되고, 모델은 잔차 에러의 실질적인 감소를 야기하는지를 보기 위해 각 세그먼트에 대해 다시 맞춰진다. 병합 동작이 스플리트 세그먼트 상에서 다시 수행된다. 그 과정은 재세분화된 세그먼트(refined segmentation)를 얻기 위해 반복될 수 있다.
또 다른 실시예에서, 영역들의 경계는 근사치가 이미지 내에 존재하는 객체들을 흐릿(obscure) 또는 오버랩(overlap)하지 않는 한 약간의 에러들을 견딤(tolerating)으로써 일정한 모양, 예컨대, 정사각형, 직사각형 또는 원형에 근차해질 수 있다. 이러한 기술들은 영역들의 경계를 인코딩하기 위해 실질적으로 비트 레이트를 감소시키도록 이용될 수 있다. 예로서, 도 1에 도시된 제 1 영역(11)의 경계들 중 하나는 계단 케이스형 구조(stair-case-like structure)에 근차해질 수 있고, 적은 수의 비트들로 인코딩된다. 유사하게, 제 2 영역들(12)의 경계는 이미지에 존재하는 객체(15)를 차단(occlude)하지 않는 한, 직사각형으로써 근사해질 수 있다. 일정한 경계들을 인코딩하는 동안 세이브되는 대역폭은 이들 영역 들(11,12) 내에 존재하는 텍스처들의 보다 정확한 모델링을 위해 사용될 수 있다. 그러므로, 경계 인코딩 및 텍스처 콘텐트 인코딩(texture content encoding) 사이의 비트 레이트 또는 대역폭의 트레이드 오브(trade-off)는 효율적으로 구현될 수 있다.
또 다른 실시예에서, 합성을 위한 텍스처 영역들은 직사각형/원형 바운딩 박스(circular bounding box) 및 세기 및/또는 컬러 구간들의 조합을 사용하여 인코딩될 수 있다. 예를 들어, 풋볼 필드에서 그래스 텍스처 영역을 나타내기 위해, 녹색 배경에 대응하는 크로미넌스(chrominance) 및 휘도값들(Y,U,V 값들)의 영역 및 직사각형 바운딩 박스는 다수의 비트들을 세이브하기 위해 인코딩될 수 있다. AVC 표준으로 디코딩된 베이스된층은 예컨대, 미리결정된 방식으로 세그먼트될 수 있다.
텍스처 모델링 유닛(101)에서, 텍스처 영역들(105A) 및 그것들의 대응하는 텍스처 파라미터들(105B)이 생성된다. 또한, 텍스처 모델의 정보를 포함하는 압축 데이터 스트림(106)이 생성된다. 텍스처 영역들(105A), 그것들의 대응하는 텍스처 파라미터들(105B) 및 텍스처 모델들(106)의 정보를 포함하는 압축 데이터 스트림을 포함하는 텍스처 모델링 유닛(101)은 인코더(102)에 결합된다. 인코더(102)는 제 1 및 제 2 텍스처로부터 텍스처 파라미터를 추정하고, 생성된 제 3 텍스처와 이용가능한 제 3 텍스처를 비교하고, 매치 값의 정도가 미리특정된 구간 내에 있을 때 압축 데이터 스트림(106)에 추정 알고리즘 및 제 1 및 제 2 텍스처 파라미터들을 인코딩하기 위해 배치된다. 인코더의 출력은 텍스처 파라미터들, 추정 알고리즘, 및 텍스처 모델의 정보를 포함하는 압축 데이터 스트림(107)이다. 전송기는 전송 매체, 예컨대, 유선, 무선 또는 인터넷에 호환가능한 압축 데이터 스트림(107)을 선택적으로 전환시키는 전송기 유닛(103)을 더 포함한다. 압축 데이터 스트림에 텍스처 모델의 정보를 포함시키는 것은 인코더(102)에서 또는 전송 유닛(103)에서 수행될 수 있다. 압축 데이터 스트림을 포함하는 전송 신호(108)의 신호 대역폭은 종래 시스템들에 비하여 보다 작다. 전송 전송(108)은 전송 엔티티(109A) 예컨대, 인터넷 서버를 통해 전송되거나, 또는 하드디스크 또는 광학 저장 디바이스와 같은 저장 엔티티(109B)에 저장될 수 있다.
도 11은 본 발명에 따른 휴대용 디바이스(110)의 실시예 블록도를 개략적으로 도시한다.
본 발명에 따른 휴대용 디바이스(110)는 카메라(111) 및 전송기(112)를 포함한다. 카메라(111)는 적어도 하나의 이미지(115)를 캡쳐하기 위한 비디오 카메라 또는 정지 카메라일 수 있다. 이미지들(113)은 전송기 유닛(112)에 의해 수신되고, 압축 데이터 스트림을 포함하는 전송 신호(114)로 전환된다.
도 12는 본 발명에 따른 이미지 디코더(120)의 실시예 블록도를 개략적으로 도시한다.
이미지 디코더(120)는 공지된 이미지 압축 표준에 호환가능한 압축 데이터 스트림(125)을 입력으로 수신하고, 적어도 하나의 이미지로 데이터 스트림을 디코딩하기 위해 배치된다. 이미지 디코더는 스플리터(121), 디코더의 제 1 부분(122) 및 디코더의 제 2 부분(123)을 포함한다. 스플리터(121)는 공지된 이미지 압축 표 준에 따르는, 압축 데이터 스트림의 제 1 부분(126)으로 압축 데이터 스트림(125)을 분리하기 위해 배치된다. 압축 데이터 스트림의 제 2 부분(127)은 본 발명에 따른 추정 기준의 체계화 및 텍스처의 파라미터들을 포함한다. 제 1 디코더(122)는 적어도 하나의 이미지 객체(128)로 미리정의된 이미지 압축 표준에 따르는 압축 데이터 스트림의 제 1 부분(126)을 디코딩하기 위해 배치된다. 디코더의 제 2 부분(123)은 텍스처 파라미터들로 압축 데이터 스트림의 제 2 부분(127)을 디코딩하기 위해 배치된다. 디코더의 제 2 부분(123)은 또한, 텍스처 파라미터로부터 텍스처 영역들(129)을 합성하고, 출력 이미지(130)를 산출하기 위해 텍스처 영역들(129)을 객체(128)에 부가하기 위해 배치된다.
도 13은 본 발명에 따른 수신기의 실시예 블록도를 개략적으로 도시한다.
수신기(140)는 디코더(143), 출력 수단(142), 및 포함된 디스플레이(148)를 포함한다. 본 발명에 따라, 디코더는 추정 알고리즘들의 체계화 및 코딩된 텍스처 파라미터들을 포함하는 압축 데이터 스트림(143)을 수신하기 위해 배치된다. 압축 데이터 스트림은 원거리 전송기(144) 또는 내부 저장 수단(145)으로부터 수신될 수 있다. 내부 저장장치는 수신기에 통합되거나 또는 수신기와 함께 위치될 수 있다. 내부 저장장치는 DVD 또는 블루-레이 디스크(BLU-RAY DISC)와 같은 광학 저장 디바이스들 또는 하드디스크 드라이브일 수 있다. 수신기는 본 발명에 따른 디코더(140)를 포함한다. 디코더는 텍스처 영역들을 포함하는 적어도 하나의 이미지(146)에 압축 데이터 스트림을 디코딩한다. 이미지(146)는 포함된 디스플레이(148) 또는 접속된 디스플레이(149)에 적합한 포맷으로 압축 데이터 스트림을 디 코딩한다. 수신기의 예들은, 셋톱 박스, 미디어 센터, PDA, 모바일 폰, 텔레비전, 홈 시어터, 개인용 컴퓨터, 또는 DVD/블루-레이 디스크 플레이어들이다.
도 14는 본 발명에 따른 컴퓨터 프로그램 제품의 블록도를 개략적으로 도시한다.
컴퓨터 프로그램 제품(150)은 컴퓨팅 머신에 로딩될 수 있고, 처리 유닛 및 메모리를 포함하는 머신을 동작시킬 수 있고, 컴퓨터 프로그램 제품은, 로딩 후에, 텍스처 영역들을 포함하는 이미지 상에서의 인코딩 과정 및/또는 영역들을 포함하는 이미지를 얻기 위해 압축 데이터 스트림 상에서의 디코딩 과정을 수행하는 성능을 상기 처리 유닛에 제공한다. 컴퓨터 프로그램 제품은 표준 포함된 또는 탈착가능한 저장장치 예컨대, 플래시 메모리 또는 콤팩트디스크 또는 하드디스크에서 조정될 수 있다. 컴퓨터 프로그램 제품은 표준 메모리 장치들 중 하나로부터 미리 로드된 또는 로드되거나, 임베딩된 소프트웨어로서 컴퓨팅 기기에 임베딩될 수 있다. 컴퓨터 프로그램 제품은 기계어 코드 또는 어셈블리어 코드와 같은 공지된 코드들 중 어느 것으로 설계될 수 있고, 개인용 컴퓨터들 또는 서버들과 같은 이용가능한 플랫폼들 중 어느 것으로 동작하도록 만들어질 수 있다.
발명자는 또한, 모션 보상된 동일한 영역들(motion-compensated same region)에서 관련된 텍스처를 포함하는 연속하는 픽처들(pictures)에 대한 합성 텍스처가 패턴의 귀찮은 시간적인 요동(temporal fluctuation)을 일으킬 수 있다(여기서, 이상적으로는, 정지 패턴(stationary pattern), 예컨대, 로컬 그래스(local grass)는 로컬 모션과 함께 이동함)는 것을 인식하였다.
이것은 모션 이전 이미지 텍스처(motion-previous image texture) 및 모션을 보상하는 그것을 인코딩함으로써 인코더에서 태클(tackle)될 수 있다.
새로 제공된 텍스처(여기서, 예컨대 약간의 쉐도우(shadow)가 이제 그것을 넘어 옴)는 다소 상이할 수 있고, 인코딩된 것에 비교된 응차(differential)로서 인코딩될 수 있다.
영역(X)에 대한 모션 보상된 과거 텍스처는 또한, (임의의 기준, 예컨대 (예컨대 와핑(warping)) + 업데이트 텍스처의 모션 보상에 따라) 새롭게 생성된 텍스처로 가중될 수 있어, (갑작스런 오버쉐도잉(overshadowing)과 같은 시간적인 불일치 현상에 대해) 시간적인 일관성(temporal consistency)과 진실(trueness) 사이의 광학적(가시적으로 유쾌한) 매치가 된다. 가중 전략은 사용자 패널들과 미리최적화될 수 있다.
최상의 맞춤 텍스처들(fitting textures)이 결정될 수 있고, 그것들의 모델 파라미터들이 주 실시예에 대해 위에서 설명된 바와 같은 유사한 방식으로 인코딩될 수 있다.
디코더는 그 역(inverse)을 행한다.
위에서 언급된 실시예들은 본 발명을 제한하기보다는 설명하는 것이며, 기술분야의 당업자들이 첨부된 청구범위의 범위에서 벗어나지 않고 많은 대안의 실시예들을 디자인할 수 있음에 유의해야 한다. 청구범위에서, 괄호 사이에 놓인 임의의 참조번호들은 청구항을 제한하는 것으로 이해되지 않아야 한다. 용어 "포함하는"은 청구항에서 언급되는 것 이외의 요소들 또는 단계들의 존재를 배제하는 것이 아니 다. 구성요소들 앞에 있는 접미사 "한"("a" 또는 "an")은 복수의 이러한 구성요소들의 존재를 배제하지 않는다. 본 발명은 여러 개의 개별 구성요소들에 의해 그리고 적절히 프로그램된 컴퓨터에 의해 구현될 수 있다. 여러 가지 수단들을 열거한 시스템 청구항들에서, 여러 개의 이들 수단들은 컴퓨터 판독가능 소프트웨어 또는 하드웨어의 아이템 및 동일한 아이템에 의해 구체화될 수 있다. 임의의 조칙들이 서로 다른 종속청구항들에서 언급된다는 사실은 이들 조치들의 조합이 이롭게 사용될 수 없다는 것을 나타내는 것이 아니다.

Claims (22)

  1. 제 1 영역(11), 제 2 영역(12), 및 제 3 영역(13) 중 적어도 하나를 포함하는 입력 이미지(10)를 압축하기 위한 이미지 인코더(20)에 있어서,
    - 미리결정된 추정 알고리즘(K)에 따라 상기 제 1 영역(11)의 제 1 텍스처 파라미터(ρ1o)와 상기 제 2 영역(12)의 제 2 텍스처 파라미터(ρ2o) 중 적어도 하나로부터 제 3 텍스처 파라미터(ρ3e)를 추정하도록 구성된 추정기(21);
    - 미리결정된 매칭 기준에 따라, 상기 입력 이미지의 상기 제 3 영역(13)에 존재하는 텍스처의 표현(R3)과 상기 추정된 제 3 텍스처 파라미터(ρ3e)에 대응하는 생성된 텍스처의 표현(R3')을 비교하고, 매치 값의 정도(degree of match value: μm)를 계산하도록 구성된 비교기(22); 및
    - 상기 제 1 텍스처 파라미터와 상기 제 2 텍스처 파라미터(ρ1o,ρ2o) 중 적어도 하나를 압축 데이터 스트림 ST(ρ1o,ρ2o,..)로 인코딩하고, 상기 매치 값의 정도(μm)가 미리특정된 구간 내에 있을 때, 상기 추정 알고리즘(K)의 체계화(codification)를 사용하여 상기 입력 이미지의 상기 제 3 영역(13)에 존재하는 텍스처를 상기 압축 데이터 스트림 ST(ρ1o,ρ2o,K)로 인코딩하도록 구성된 데이터 인코더(23)를 포함하는, 이미지 인코더(20).
  2. 제 1 항에 있어서, 상기 추정기(31)는 상기 미리결정된 추정 알고리즘(K)으로서 상기 제 1 텍스처 파라미터(ρ1o)와 상기 제 2 텍스처 파라미터(ρ2o)의 가중된 조합을 적용하도록 구성된, 이미지 인코더(20).
  3. 제 2 항에 있어서, 상기 추정기(31)는 상기 매치 값의 정도(μm)를 적절하게 최소화함으로써 상기 가중된 조합에 대한 가중치들을 선택하도록 더욱 구성된, 이미지 인코더(20).
  4. 제 1 항에 있어서, 상기 비교기(40)는 사이코 비주얼 매칭 기능(psycho-visual matching function: 43)을 상기 미리결정된 매칭 기준으로서 적용하도록 구성되고, 상기 사이코 비주얼 매칭 기능은 입력으로서 상기 생성된 텍스처의 표현(R3') 및 상기 이용가능한 텍스처의 표현(R3)을 취하고, 상기 표현들은 상기 이미지 내의 많은 픽셀들에 대해 정의되고, 출력으로서 상기 매치 값의 정도(μm)를 산출하는, 이미지 인코더(20).
  5. 제 1 항에 있어서, 상기 비교기(40)는 상기 미리결정된 매칭 기준으로서 통계적인 매칭 기능(44)을 적용하도록 구성되고, 상기 통계적인 매칭 기능(44)은 입 력으로서 상기 생성된 텍스처의 표현(R3')의 통계적 특성(P3') 및 상기 이용가능한 텍스처의 표현(R3)의 통계적 특성(P3)을 취하고, 출력으로서 상기 매치 값의 정도(μm)를 산출하도록 구성된, 이미지 인코더(20).
  6. 제 1 항에 있어서, 상기 비교기(40)는 상기 미리결정된 매칭 기준으로서 거리 측정 기능(45)을 적용하도록 구성되고, 상기 거리 측정 기능(45)은 입력으로서 상기 입력 이미지의 제 3 영역에 존재하는 텍스처의 상기 텍스처 파라미터(ρ3o) 및 상기 제 3 텍스처 파라미터(ρ3e)를 취하고, 출력으로서 상기 매치 값의 정도(μm)를 산출하는, 이미지 인코더(20).
  7. 제 1 항에 있어서, 상기 인코더는 이미지들의 시간적인 시퀀스(50)를 포함하는 비디오 정보를 인코딩하도록 구성된, 이미지 인코더(20).
  8. 제 1 항에 있어서, 상기 이미지 인코더는 상기 제 1 영역(54)을 포함하는 제 1 이미지(51), 상기 제 2 영역(55)을 포함하는 제 2 이미지(52), 및 상기 제 3 영역(56)을 포함하는 제 3 이미지(53)를 압축하도록 구성되고, 상기 제 1 영역(51) 및 상기 제 2 영역(52)은 상기 제 3 이미지(53)에 시간적으로 인접하는, 이미지 인코더(20).
  9. 제 1 영역(11), 제 2 영역(12), 및 제 3 영역(13) 중 적어도 하나를 포함하는 이미지(10)를 인코딩하는 방법(60)에 있어서,
    - 미리결정된 추정 알고리즘(K)에 따라, 상기 제 1 영역(11)의 제 1 텍스처 파라미터(ρ1o)와 상기 제 2 영역(12)의 제 2 텍스처 파라미터(ρ2o) 중 적어도 하나로부터 제 3 텍스처 파라미터(ρ3e)를 추정하는 단계(61);
    - 미리결정된 매칭 기준에 따라, 상기 입력 이미지의 상기 제 3 영역(13)에 존재하는 텍스처의 표현(R3)과 상기 추정된 제 3 텍스처 파라미터(ρ3e)에 대응하는 생성된 텍스처의 표현(R3')을 비교하고, 매치 값의 정도(μm)를 계산하는 단계(62); 및
    - 상기 제 1 텍스처 파라미터와 상기 제 2 텍스처 파라미터(ρ1o,ρ2o) 중 적어도 하나를 압축 데이터 스트림으로 인코딩하고, 상기 매치 값의 정도(μm)가 미리특정된 구간 내에 있을 때, 상기 추정 알고리즘(K)의 체계화를 사용하여 상기 입력 이미지의 상기 제 3 영역에 존재하는 텍스처를 상기 압축 데이터 스트림(67)으로 인코딩하는 단계(63)를 포함하는, 인코딩 방법(60).
  10. 추정 알고리즘(K)의 체계화를 포함하는 압축 데이터 스트림 ST(ρ1o,ρ2o,..)를 제 1 영역, 제 2 영역, 및 제 3 영역 중 적어도 하나를 포함하는 이미지로 디코 딩하기 위한 이미지 디코더(70)에 있어서,
    - 상기 압축 데이터 스트림 ST(ρ1o,ρ2o,..)로부터 상기 제 1 영역의 제 1 텍스처 파라미터(ρ1o)와 상기 제 2 영역의 제 2 텍스처 파라미터(ρ2o) 중 적어도 하나를 디코딩하도록 구성된 데이터 디코더(71);
    - 상기 압축 데이터 스트림 ST(ρ1o,ρ2o,..)로부터 상기 추정 알고리즘(K)의 체계화를 검출하기 위한 검출기(72); 및
    - 상기 추정 알고리즘(K)으로서 나타내지는 바와 같은 미리결정된 추정 알고리즘에 따라, 상기 제 1 텍스처 파라미터(ρ1o)와 상기 제 2 텍스처 파라미터(ρ2o) 중 적어도 하나로부터 상기 제 3 영역의 제 3 텍스처 파라미터(ρ3e)를 추정하기 위한 추정기(73)를 포함하는, 이미지 디코더(70).
  11. 추정 알고리즘(K)의 체계화를 포함하는 압축 데이터 스트림 ST(ρ1o,ρ2o,..)를 제 1 영역, 제 2 영역, 및 제 3 영역 중 적어도 하나를 포함하는 이미지로 디코딩하는 방법(80)에 있어서,
    - 상기 압축 데이터 스트림 ST(ρ1o,ρ2o,..)로부터 텍스처의 제 1 영역의 제 1 텍스처 파라미터(ρ1o)와 텍스처의 제 2 영역의 제 2 텍스처 파라미터(ρ2o)를 디코딩하는 단계(81);
    - 상기 압축 데이터 스트림 ST(ρ1o,ρ2o,K)로부터 상기 추정 알고리즘(K)의 체계화를 검출하는 단계(82); 및
    - 상기 추정 알고리즘(K)으로서 나타내지는 바와 같은 미리결정된 추정 알고리즘에 따라, 상기 제 1 영역의 상기 제 1 텍스처 파라미터(ρ1o)와 상기 제 2 영역의 상기 제 2 텍스처 파라미터(ρ2o) 중 적어도 하나로부터 제 3 텍스처 파라미터(ρ3e)를 추정하는 단계(83)를 포함하는, 디코딩 방법(80).
  12. 텍스처 영역들을 포함하는 적어도 하나의 이미지(94)를 압축 데이터 스트림(99)으로 압축하기 위한 이미지 인코더(90)에 있어서,
    - 적어도 하나의 이미지 객체를 포함하는 적어도 하나의 이미지(96)를 압축 데이터 스트림의 제 1 부분(98A)으로 인코딩하도록 구성된 상기 인코더의 제 1 부분(91); 및
    - 제 1 항 또는 제 8 항에 따른, 텍스처 영역들(97B)을 제 2의 압축 데이터 스트림으로 인코딩하도록 구성된 상기 인코더의 제 2 부분(93)을 포함하고,
    상기 제 1(98A) 및 제 2(98B)의 압축 데이터 스트림들은 미리정의된 이미지 압축 표준에 따르는 조합된 데이터 스트림(99)을 나타내도록 인터리브(interleave)되는, 이미지 인코더(90).
  13. 텍스처 영역들을 포함하는 적어도 하나의 입력 이미지(104)를 인코딩함으로 써 얻어진 압축 데이터 스트림(108)을 전송하기 위한 전송기(100)에 있어서,
    - 2차원 자기 회귀 모델(two dimensional auto-regressive model)과 같은 미리정의된 모델에 의해, 텍스처 영역의 텍스처를 모델링하고, 상기 모델의 텍스처 파라미터(105)를 추정하고, 상기 모델의 정보를 압축 데이터 스트림(106)으로 인코딩하도록 구성된 텍스처 모델링 유닛(texture modeling unit:101);
    - 상기 텍스처 파라미터(105), 및 상기 이미지(104) 내의 이용가능한 적어도 하나의 텍스처의 표현을 수신하도록 구성되고, 상기 텍스처 파라미터(105) 및 추정 알고리즘의 체계화를 압축 데이터 스트림(107)으로 더욱 인코딩하도록 구성된, 제 1 항 또는 제 12 항에 청구된 바와 같은, 이미지 인코더(102); 및
    - 상기 압축 데이터 스트림(107)을 데이터 전송 엔티티(data transmission entity) 또는 저장 엔티티에 전송하도록 구성된 전송 유닛(103)을 포함하는, 전송기(100).
  14. 휴대용 디바이스(110)에 있어서.
    - 적어도 하나의 이미지(115)를 캡쳐하도록 구성된 카메라(111); 및
    - 상기 적어도 하나의 이미지의 인코딩된 버전(encoded version)(114)을 데이터 전송 엔티티 또는 저장 엔티티에 전송하도록 구성된, 제 13 항에 따른 전송기(112)를 포함하는, 휴대용 디바이스(110).
  15. 압축 데이터 스트림(125)을 적어도 하나의 이미지(130)로 디코딩하기 위한 이미지 디코더(120)에 있어서,
    - 미리정의된 이미지 압축 표준에 따르는 상기 압축 데이터 스트림의 제 1 부분(126)을 적어도 이미지 객체(128)로 디코딩하도록 구성된 상기 디코더의 제 1 부분(121); 및
    - 제 10 항에 청구된 바와 같은, 추정 알고리즘의 체계화 및 텍스처 영역들의 파라미터들을 포함하는 상기 압축 데이터 스트림의 제 2 부분(127)을 디코딩하도록 구성된 상기 디코더의 제 2 부분(123)을 포함하고,
    상기 디코더의 제 2 부분(123)은 영역들 텍스처의 상기 파라미터들로부터 텍스처 영역들(129)을 합성하고, 상기 이미지 객체에 상기 텍스처 영역들(129)을 부가하여, 출력 이미지(130)를 산출하는, 이미지 디코더(120).
  16. 이미지 전송(144) 또는 저장 유틸리티(145)로부터의 적어도 하나의 이미지의 인코딩된 버전을 포함하는 압축 데이터 스트림(143)을 수신하기 위한 수신기(140)에 있어서,
    - 제 15 항에 청구된 바와 같은, 상기 압축 데이터 스트림(143)을 적어도 하나의 출력 이미지(146)로 디코딩하도록 구성된 디코더(141); 및
    - 포함된 디스플레이(143) 또는 접속가능한 디스플레이(149)에 상기 출력 이미지(146)를 접속시키도록 구성된 출력 수단(142)을 포함하는, 수신기(140).
  17. 압축 인코딩된 이미지 신호에 있어서,
    - 미리정의된 이미지 압축 표준에 따라, 이미지 객체 내에 포함된 픽셀들의 그룹들의 픽셀 값들의 선형 변환에 기초하여 이미지에 존재하는 이미지 객체를 인코딩하는 데이터;
    - 상기 이미지에 포함된 텍스처 영역을 인코딩하는 파라메트릭 데이터(parametric data); 및
    - 상기 텍스처를 인코딩하고 상기 이미지의 또 다른 텍스처를 재생성하기 위해 이용가능한 상기 파라메트릭 데이터에 기초하여, 또 다른 텍스처 파라미터들을 생성하기 위한 모델의 체계화를 포함하는, 압축 인코딩된 이미지 신호.
  18. 이미지에 포함된 제 1 텍스처 영역을 인코딩하고 상기 이미지 내에 포함된 또 다른 텍스처 영역을 재생성하기 위해 이용가능한 파라메트릭 데이터에 기초하여, 또 다른 텍스처 파라미터들을 생성하기 위한 모델을 식별하는 체계화를 포함하는 압축 인코딩된 이미지 신호의 전송 방법에 있어서,
    - 미리정의된 이미지 압축 표준에 따라, 이미지 객체 내에 포함된 픽셀들의 그룹들의 픽셀 값들의 선형 변환에 기초하여 상기 이미지에 존재하는 상기 이미지 객체를 압축 인코딩된 이미지 신호로 인코딩하는 단계;
    - 상기 파라메트릭 데이터에 의해 상기 이미지 내에 포함된 상기 제 1 텍스처 영역을 인코딩하는 단계;
    - 상기 이미지의 또 다른 텍스처를 재생성하기 위해 이용가능한, 상기 파라메트릭 데이터에 기초하여 또 다른 텍스처 파라미터들을 생성하기 위한 상기 모델 의 체계화를 인코딩하는 단계; 및
    - 데이터 전송의 유선 또는 무선 매체를 통해 인코딩된 압축 데이터 스트림을 전송하는 단계를 포함하는, 전송 방법.
  19. 텍스처 영역들을 포함하는 이미지를 압축 데이터 스트림으로 압축하기 위한 명령들을 포함하는 컴퓨터 장치에 의해 로드되는 컴퓨터 프로그램 제품(150)으로서, 상기 컴퓨터 장치는 처리 유닛 및 메모리를 포함하고, 로드된 후에 상기 컴퓨터 프로그램 제품은,
    - 미리결정된 추정 알고리즘(K)에 따라, 제 1 영역(11)의 제 1 텍스처 파라미터(ρ1o) 및 제 2 영역(12)의 제 2 텍스처 파라미터(ρ2o) 중 적어도 하나로부터 제 3 텍스처 파라미터(ρ3e)를 추정하고;
    - 미리결정된 매칭 기준에 따라, 상기 추정된 제 3 텍스처 파라미터(ρ3e)에 대응하는 생성된 텍스처의 표현(R3')과 제 3 영역(13)에 존재하는 텍스처의 표현(R3)을 비교하고, 매치 값의 정도(μm)를 계산하고;
    - 상기 제 1 텍스처 파라미터(ρ1o) 및 상기 제 2 텍스처 파라미터(ρ2o)를 압축 데이터 스트림 ST(ρ1o,ρ2o,..)로 인코딩하고, 상기 매치 값의 정도(μm)가 미리특정된 구간 내에 있을 때, 상기 추정 알고리즘(K)의 체계화를 사용하여 상기 제 3 영역에 존재하는 텍스처를 상기 압축 데이터 스트림 ST(ρ1o,ρ2o,K)로 인코딩하는 태스크들(tasks)을 실행하는 능력을 상기 처리 유닛에 제공하는, 컴퓨터 프로그램 제품(150).
  20. 제 1 항에 있어서, 상기 이미지들은 텍스처 영역들을 얻도록 수동으로 세그먼트화(segment)되는, 이미지 인코더(20).
  21. 제 1 항에 있어서, 상기 이미지들은 텍스처의 파라미터들 및 영역들을 얻도록 이미지 세그먼트화 알고리즘에 의해 미리 세그먼트되는, 이미지 인코더(20).
  22. 제 7 항에 있어서, 상기 추정기(21)는 적어도 하나의 이전 이미지 내의 텍스처 영역, 현재 이미지의 상기 제 3 영역(13)에 대응하는 비교가능하고 바람직한 시간 반전 모션 보상 영역(time-inverse motion compensated region)에 존재하는 텍스처로부터 생성된 현재 입력 이미지의 상기 제 3 영역(13)에 존재하는 상기 텍스처 및 상기 현재 이미지의 상기 제 3 영역(13)에 모션 보상된 텍스처에 기초하여, 상기 현재 이미지의 시간 순간(time instant)에 대해 상이한 텍스처를 인코딩되도록 구성되고, 상기 데이터 인코더(23)는 상기 상이한 텍스처를 인코딩하도록 구성된, 이미지 인코더(20).
KR1020087003667A 2005-07-15 2006-07-12 텍스처화된 영역들용 이미지 코더 KR20080040710A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05106503.5 2005-07-15
EP05106503 2005-07-15

Publications (1)

Publication Number Publication Date
KR20080040710A true KR20080040710A (ko) 2008-05-08

Family

ID=37652283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087003667A KR20080040710A (ko) 2005-07-15 2006-07-12 텍스처화된 영역들용 이미지 코더

Country Status (8)

Country Link
US (1) US20080205518A1 (ko)
EP (1) EP1908294A2 (ko)
JP (1) JP2009501479A (ko)
KR (1) KR20080040710A (ko)
CN (1) CN101223787A (ko)
BR (1) BRPI0612984A2 (ko)
RU (1) RU2008105762A (ko)
WO (1) WO2007010446A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204325B2 (en) 2008-01-18 2012-06-19 Sharp Laboratories Of America, Inc. Systems and methods for texture synthesis for video coding with side information

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743078B2 (en) * 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
KR101381600B1 (ko) * 2006-12-20 2014-04-04 삼성전자주식회사 텍스처 합성을 이용한 영상의 부호화, 복호화 방법 및 장치
JP4659005B2 (ja) * 2007-08-17 2011-03-30 日本電信電話株式会社 テクスチャ合成に基づく動画像符号化方法，復号方法，符号化装置，復号装置およびそれらのプログラムとその記録媒体
EP2051524A1 (en) * 2007-10-15 2009-04-22 Panasonic Corporation Image enhancement considering the prediction error
US8155184B2 (en) * 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
US9459927B2 (en) * 2008-05-22 2016-10-04 Alcatel Lucent Central office based virtual personal computer
CN102547261B (zh) * 2010-12-24 2016-06-15 上海电机学院 一种分形图像编码方法
JP5887715B2 (ja) * 2011-05-23 2016-03-16 セイコーエプソン株式会社 画像処理装置および画像処理方法
US9032467B2 (en) * 2011-08-02 2015-05-12 Google Inc. Method and mechanism for efficiently delivering visual data across a network
US8976857B2 (en) * 2011-09-23 2015-03-10 Microsoft Technology Licensing, Llc Quality-based video compression
US20140233826A1 (en) 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
WO2015054666A1 (en) 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
US9303977B2 (en) 2013-10-17 2016-04-05 Honeywell International Inc. Apparatus and method for measuring caliper of creped tissue paper based on a dominant frequency of the paper and a standard deviation of diffusely reflected light including identifying a caliper measurement by using the image of the paper
US9189864B2 (en) * 2013-10-17 2015-11-17 Honeywell International Inc. Apparatus and method for characterizing texture
US9238889B2 (en) 2013-10-17 2016-01-19 Honeywell International Inc. Apparatus and method for closed-loop control of creped tissue paper structure
CN103679649B (zh) * 2013-11-18 2016-10-05 联想(北京)有限公司 一种信息处理方法和电子设备
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
CA2942336A1 (en) 2014-03-10 2015-09-17 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9842410B2 (en) * 2015-06-18 2017-12-12 Samsung Electronics Co., Ltd. Image compression and decompression with noise separation
US11645835B2 (en) 2017-08-30 2023-05-09 Board Of Regents, The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN109660807A (zh) * 2017-10-10 2019-04-19 优酷网络技术（北京）有限公司 一种视频图像转码方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5818463A (en) * 1997-02-13 1998-10-06 Rockwell Science Center, Inc. Data compression for animated three dimensional objects
US6480538B1 (en) * 1998-07-08 2002-11-12 Koninklijke Philips Electronics N.V. Low bandwidth encoding scheme for video transmission
US6501481B1 (en) * 1998-07-28 2002-12-31 Koninklijke Philips Electronics N.V. Attribute interpolation in 3D graphics
US7039897B2 (en) * 2002-07-12 2006-05-02 Hewlett-Packard Development Company, L.P. Modeling a target system by interpolating
DE10310023A1 (de) * 2003-02-28 2004-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
CN1843039B (zh) * 2003-08-29 2011-02-23 皇家飞利浦电子股份有限公司 用于使用描述性模型参数来编码并解码增强层数据的系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204325B2 (en) 2008-01-18 2012-06-19 Sharp Laboratories Of America, Inc. Systems and methods for texture synthesis for video coding with side information

Also Published As

Publication number Publication date
CN101223787A (zh) 2008-07-16
US20080205518A1 (en) 2008-08-28
JP2009501479A (ja) 2009-01-15
EP1908294A2 (en) 2008-04-09
WO2007010446A3 (en) 2007-05-10
RU2008105762A (ru) 2009-08-20
WO2007010446A2 (en) 2007-01-25
BRPI0612984A2 (pt) 2016-11-29

Similar Documents

Publication Publication Date Title
KR20080040710A (ko) 텍스처화된 영역들용 이미지 코더
US20220182674A1 (en) Motion-compensated compression of dynamic voxelized point clouds
US6501796B1 (en) Method and device for video compression
US6400763B1 (en) Compression system which re-uses prior motion vectors
EP1016286B1 (en) Method for generating sprites for object-based coding systems using masks and rounding average
Zhang et al. A parametric framework for video compression using region-based texture models
Mehrotra et al. Low-complexity, near-lossless coding of depth maps from kinect-like depth cameras
CN113615200A (zh) 用于点云压缩的量化步长参数
US20070274687A1 (en) Video Signal Encoder, A Video Signal Processor, A Video Signal Distribution System And Methods Of Operation Therefor
WO2017021688A1 (en) Compressor
CN116647695A (zh) 图像解码设备、图像编码设备和数据发送设备
US20230377208A1 (en) Geometry coordinate scaling for ai-based dynamic point cloud coding
WO2020053688A1 (en) Rate distortion optimization for adaptive subband coding of regional adaptive haar transform (raht)
Bannò et al. Real-time compression of depth streams through meshification and valence-based encoding
Han et al. Geometry compression for time-varying meshes using coarse and fine levels of quantization and run-length encoding
US7706440B2 (en) Method for reducing bit rate requirements for encoding multimedia data
US20210006791A1 (en) Forward and inverse quantization for point cloud compression using look-up tables
US11546597B2 (en) Block-based spatial activity measures for pictures
US20240185467A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230025378A1 (en) Task-driven machine learning-based representation and compression of point cloud geometry
Mishra Suppression of blocking artifact in compressed image
WO2023180844A1 (en) Mesh zippering
Marichal Motion estimation and compensation for very low bitrate video coding
Rapantzikos Dense Estimation of optical flow in the compressed domain using robust techniques
Aflaki Beni Segmentation based coding of depth Information for 3D video

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid