KR20060007408A - 이미지 처리 장치 - Google Patents

이미지 처리 장치 Download PDF

Info

Publication number
KR20060007408A
KR20060007408A KR1020057020519A KR20057020519A KR20060007408A KR 20060007408 A KR20060007408 A KR 20060007408A KR 1020057020519 A KR1020057020519 A KR 1020057020519A KR 20057020519 A KR20057020519 A KR 20057020519A KR 20060007408 A KR20060007408 A KR 20060007408A
Authority
KR
South Korea
Prior art keywords
video stream
information
stream
image
video
Prior art date
Application number
KR1020057020519A
Other languages
English (en)
Inventor
페트러스 더블유. 쥐. 웰레스
윌헬무스 에이치. 에이. 브룰스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060007408A publication Critical patent/KR20060007408A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

이미지 처리 장치는 기본 비디오 스트림, 및 기본 비디오 스트림으로부터 도출된 출력 스트림의 품질을 선택적으로 향상시키기 위한 정보를 포함하는 확장 비디오 스트림을 수신한다. 가산기(126)는 기본 비디오 스트림 및 확장 비디오 스트림으로부터의 이미지 내의 위치에 대해 도출된 이미지 정보 값들을 가산함으로써 출력 스트림을 형성한다. 곱셈기(124)는 입력과 가산기 사이에 결합되고, 기본 비디오 스트림 및 확장 비디오 스트림 내의 정보 값이 서로 가산되는데 사용되는 상대적 가중을 조정한다. 가중 선택 유닛(123)은 비디오 정보의 로컬 콘텐트에 적응적으로, 비디오 정보 내의 이미지 내의 위치 및/또는 시간의 함수로서 상대적 가중을 선택한다.
기본 비디오 스트림, 확장 비디오 스트림, 상대적 가중

Description

이미지 처리 장치{Image processing apparatus}
본 발명은 압축된 기본 스트림(base stream) 및 확장 스트림(enhancement stream)으로부터 비디오 스트림을 구축하도록 배열된 이미지 처리 장치에 관한 것이다.
PCT 특허 출원 IB02/04297호(본 출원의 우선일에는 공개되지 않은)로부터, 이미지 정보를 기본 스트림으로부터 디코딩될 수 있는 이미지와 원래의 비디오 스트림으로부터의 이미지 간의 차이들의 정정을 원조하는 확장 스트림 및 압축된 기본층의 형태로 전송하는 것이 알려져 있다. 기본 스트림은 원래의 비디오 스트림 보다 낮은 공간 및/또는 템포럴 레졸루션(resolution)을 갖고, 확장 스트림은 원래의 레졸루션을 얻기 위해 정보를 제공한다.
압축된 스트림과 원래의 스트림 간의 차이는, 확장 스트림의 엔코딩 전에, 확장 스트림을 위해 필요한 비트-레이트를 감소시키기 위해 이미지 위치 종속 인자(image location dependent factor)와 곱해진다. 이 인자는 이미지 내의 위치에 따라 변화하고, 확장 스트림 내의 이미지 정보를 적은 공간 디테일(little spatial detail)인 영역들로 감쇠하도록(attenuate) 선택된다. 기본 스트림 및 확장 스트림으로부터 비디오 정보를 디코딩하기 위해, 기본 스트림 및 확장 스트림으로부터 의 정보는 이미지 내의 각각의 위치에 대해 가산된다.
PCT 특허 출원 IB02/04297호에 따라, 선명도 제어(sharpness control)를 위해 확장 스트림을 또한 사용한다. 선명화(sharpened) 또는 평탄화(flattened) 효과는 기본 스트림에 관련한 확장 정보의 이미지 강도(intensity)를 강하게 또는 약하게함으로써 달성된다. 이 목적을 위해, 확장 스트림으로부터의 이미지 정보는 선명도를 제어하기 위해 사용자에 의해 선택되는 다른 인자에 의해 곱해진다. 사용자가 이 인자를 어떻게 선택해야 하는지에 관한 상세는 주어지지 않는다. 명백하게, 인자는 수동적으로 설정된다.
무엇보다, 본 발명의 목적은 기본 비디오 스트림 및 확장 비디오 스트림으로부터 얻어진 비디오 스트림의 인지된 이미지 품질의 더 나은 향상을 원조하는 것이다.
본 발명은 청구항 1항에 따른 비디오 처리 장치를 원조한다. 수신된 비트 스트림과 확장 스트림으로부터의 이미지 정보가 조합되는데 사용되는 상대적 가중(relative weight)은 가시적인 아티팩트들이 감소되도록 이미지 컨텐트의 함수로서 변화된다. 가중은 예컨대, 확장 스트림으로부터의 정보가 기본 스트림으로부터의 정보에 가산되기 전에 곱해지는 인자를 변화시킴으로써 변화될 수 있다(본원에서 사용된 상대적 가중 적용은 하나로 합해지는 각각의 인자들에 의해 스트림들 둘 다로부터의 정보가 곱해지는 것을 요구하지 않는다).
기본 비디오 스트림 및 확장 스트림은 예컨대, 브로드캐스트 채널, 케이블 시스템, 인터넷 등의 어떤 알려진 전송 채널들을 통하거나, 또는 자기 또는 광학 디스크와 같은 스트림 저장 매체로부터 수신될 수 있다. 본 발명은 확장 비디오 스트림이 기본 비디오 스트림의 공간 또는 템포럴 레졸루션을 증가시키기는 것을 원조할 때 특히 유용하지만, 본 발명은 확장 정보가 보간(interpolation) 또는 양자화에 의해 소실된 정보를 공급할 때 기본 비디오 스트림이 예컨대 보간된 이미지들 또는 정보의 양자화에 의해 엔코딩하는 것과 같은 다른 방법들로 압축될 때 또한 적용될 수 있다.
일 실시예에서, 장치는 확장 스트림으로부터의 고-레졸루션 정보의 감쇠(attenuation) 및 지나친 강조(overemphasis) 둘 다를 대안으로 원조하는 가중값들의 범위를 지원한다. 이는 예컨대, 이미지 컨텐트의 신속한 공간 또는 템포럴 변경들과 같은, 방해 아티팩트들의 인지를 방지하는 이미지 환경들 하에서 여분의 선명한 이미지들의 인지를 생성하기 위해 사용될 수 있다.
일 실시예에서, 장치는 비디오 스트림 내의 공간 및/또는 템포럴 변경 양에 따라 확장 스트림에 적용되는 상대적 가중을 변화시킨다. 높은 변경의 영역들에서 낮은 변경의 영역들에서 보다 더 큰 가중이 사용된다. 인간의 눈은 낮은 변경의 영역들의 아티팩트들에 대해 특히 민감하다고 알려져 있고, 따라서 아티팩트들에 대해 상승을 줄 수 있는 확장 정보가 이러한 영역들에서 더 감쇠된다. 공간 변경 양은 예컨대 에지 검출 필터를 사용하여 검출될 수 있다. 이미지들의 보간을 위해 사용되는 모션 벡터들에 관한 정보는 템포럴 변경 양을 검출하기 위해 사용될 수 있다(모션 벡터들의 부재는 모션이 없음을 선택적으로 표시한다). 공간 및/또는 템포럴 변경 양은 확장 스트림을 압축하기 전에 위치 종속 감쇠(location dependent attenuation)를 제어하기 위해 또한 사용될 수 있다.
다른 실시예에서, 장치는 상대적으로 작은 가중이 고휘도의 영역들 내의 확장 스트림에 주어지도록, 상대적 가중을 또한 로컬 휘도에 따라 변화시킨다. 여기서, 인간의 눈은 아티팩트들에 대해 더 민감하다.
도 1은 비디오 처리 시스템을 도시하는 도면.
도 2는 디코더를 도시하는 도면.
도 3은 엔코더를 도시하는 도면.
이들 및 다른 목적들 및 다른 유익한 양상들이 도면들 및 그에 관한 기술로부터 명백하게 될 것이다.
도 1은 비디오 처리 시스템을 도시한다. 시스템은 매체(11)에 결합된 복합 엔코더(10) 및 복합 디코더(12)를 포함한다. 예로서, 매체(11)는 통신 접속들의 쌍으로서 도시된다. 복합 엔코더(10)는 예컨대 카메라 또는 기록 디바이스로부터 비디오 스트림을 수신하기 위한 입력(101)을 갖고, 복합 디코도는 예컨대 디코딩된 비디오 정보의 제어 하에 디스플레이 스크린의 컨텐트를 구동하기 위한 디스플레이 스크린(도시 생략)에 결합된 출력을 갖는다.
복합 엔코더(10)는 제 1 엔코더(100), 디코더(102), 인자 선택 유닛(105), 곱셈기(104), 감산기(106), 및 제 2 엔코더(108)를 포함한다. 복합 엔코더(10)의 이미지 입력(101)은 감산기(106)의 제 1 입력, 및 매체(11) 및 감산기(106)의 제 2 입력에 결합된 출력을 갖는 제 1 엔코더(100)에 결합된다. 감산기(106)는 곱셈기(104)의 제 1 입력에 결합된 출력을 갖는다. 인자 선택 유닛(105)은 이미지 입력(101)에 결합된 입력, 및 곱셈기(104)의 제 2 입력에 결합된 출력을 갖는다. 곱셈기(104)는 매체에 결합된 출력을 갖는 제 2 엔코더(108)에 결합된 출력을 갖는다.
동작에서, 제 1 엔코더(10)는 입력(101)로부터의 이미지 정보에 손실 엔코딩을 적용하고, 특정 예에서, 제 1 엔코더는 수신된 이미지들의 낮은 공간 및/또는 템포럴 레졸루션 버전을 형성하고 이 낮은 레졸루션 버전을 엔코딩하지만, 다른 실시예들에서, 손실 엔코딩의 다른 형태들이 사용될 수 있다. 결과의 제 1 엔코딩된 이미지는 디코더에 의한 사용을 위해 매체(11)에 전송된다. 손실 엔코딩으로 인해, 디코딩된 정보는 원래 이미지 정보에 근사로만 대응한다.
복합 엔코더(10)의 나머지는 제 1 엔코더로 인한 에러들을 엔코딩하는 확장 정보의 발생에 연관한다. 확장 스트림은 결과가 원래 이미지 정보를 더 근접하게 근사하도록 제 1 엔코딩된 이미지 정보로부터 디코딩된 이미지 정보를 향상시키기 위해 데코더에 의해 사용되는 선택을 위해 제공된다. 제 1 엔코더(100)가 이미지의 낮은 레졸루션 버전을 엔코딩하는 예에서, 확장 스트림은 더 선명한 높은 레졸루션 이미지를 얻기 위해 필요한 정보를 포함한다.
예로서, 확장 정보의 발생은 원래 이미지 정보가 압축 손실들을 제외하고 원래 레졸루션에서 재구축될 수 있도록, 엔코딩된 이미지로부터 이미지 정보를 재구축하는 디코더(102)와 함께 개략적으로 예시된다. 감산기(106)는 엔코딩으로 인한 에러를 예컨대, 픽셀 마다 및 프레임 마다에 기초하여 결정한다. 인자 선택 유닛(105)은 이미지 컨텐트에 적응하는 각각의 픽셀 및 프레임에 대한 인자를 선택한다. 낮은 인자는 예컨대 낮은 대비(contrast)의 이미지의 영역들을 위해 선택된다. 곱셈기(104)는 픽셀들과 선택된 인자들을 곱하고, 결과들을 정보를 엔코딩하고 매체(11)에 적용하는 제 2 엔코더에 적용한다.
도 3은 연속 이미지들의 대응하는 영역들의 컨텐트에서 변경들을 검출하는 변경 검출기(30)를 포함하는, 엔코더의 대안 실시예를 도시한다. 변경 검출기(20)는 예컨대 각각의 픽셀 위치들 주위의 다수의 영역들 각각 내의 픽셀들 간의 누적 차이를 계산할 수 있다. 이 실시예에서, 인자 선택 유닛(105)은 예컨대, 주위에서 하나의 이미지로부터 다른 이미지로 이미지가 변경하는 위치 주위의 이미지들 내의 인자를 로컬하게 감소시킴으로써, 변경 양에 따라 인자를 선택한다.
매체(11)가 접속들의 쌍으로서 도시됨에도, 제 1 엔코딩된 정보 및 확장 정보 둘 다가 전송되는 단일 접속, 또는 둘 다가 저장되는 저장 매체 또는 매체들, 또는 그 조합들과 같은 어떤 매체도 사용될 수 있다.
복합 디코더(12)는 제 1 디코더(120), 제 2 디코더(122), 인자 선택기(123), 곱셈기(124), 및 가산기(126)를 포함한다. 제 1 디코더(120)는 제 1 엔코딩된 정보를 수신하기 위해 매체(11)에 결합되고, 가산기(126)의 제 1 입력에 결합된 제 1 출력을 갖는다. 제 2 출력은 곱셈기(124)의 제 1 입력에 결합된 출력을 갖는 인자 선택기(123)에 결합된다. 제 2 디코더(122)는 확장 정보를 수신하기 위해 매체(11)에 결합되고, 곱셈기(124)의 제 2 입력에 결합된 출력을 갖는다. 곱셈기(124) 는 가산기(126)의 제 2 입력에 결합된 출력을 갖는다.
동작에서, 제 1 디코더(120)는 제 1 엔코딩된 정보를 디코딩하고 그 정보를 가산기(126)에 공급한다. 제 2 디코더(122)는 확장 정보를 디코딩하고 디코딩된 정보를 곱셈기(124)에 예컨대 픽셀 마다 및 프레임 마다에 기초하여 공급한다. 곱셈기(124)는 인자 선택기(123)에 의해 공급된 인자 g에 의해 디코드 정보를 곱하고, 결과를 제 1 엔코딩된 정보로부터 디코딩된 정보에 가산하는 가산기(126)에 결과를 공급한다.
인자 g를 선택하는 다양한 방법들은 인자 선택기(123)에 의해 구현될 수 있다. 제 1 실시예에서, 인자 선택기(123)는 디코딩된 이미지들에서 검출된 "모션(motion)"의 양에 따라 인자 g를 적응시킨다. 제 1 인코딩된 정보가 MPEG 엔코딩된 정보일 때, 예컨대, 상기 정보는 다른 이미지 내의 상이한 위치의 픽셀들로의 하나의 이미지 내의 픽셀들의 블록 내의 정보의 변위를 기술하는 모션 벡터들 를 포함한다. 이 실시예에서, 인자 선택기(123)는 픽셀 i에 대한 인자 gi를 이미지와 연관된 모션 벡터 Di의 길이에 아래 식에 따라 적응시킨다.
gi = F(Di)
여기서 함수 F(Di)는 예컨대 룩업 테이블을 사용하거나, 또는 Di의 함수로서 F(Di)를 계산하는 산술 회로를 사용하여 규정될 수 있다. 유용한 함수의 예는 F(x) = Di*Di/(1+Di*Di) 이다. 함수 F(Di)는 Di가 감소하면서 0을 향해 감소하는 것이 바람직하다. 따라서, 확장 정보로부터 초래한 아티팩트들은 작은 모션이 있 어서 인간의 눈이 아티팩트들에 민감한 영역들에서 억제된다. 픽셀에 대해 연관된 Di와 같이, 예컨대 디코딩된 프레임을 엔코딩하기 위해 사용된, 픽셀이 속한 블록에 대한 모션 벡터 또는 시간적으로 인접한 프레임을 취할 수 있다. 대안으로, 픽셀이 속하는 영역으로 그 블록에 대한 모션 벡터에 따라 변위시키기 위한 블록의 모션 벡터를 사용할 수 있지만, 이는 더 큰 오버헤드를 요구할 수 있다.
제 1 엔코딩된 정보로부터의 모션 벡터들의 사용은 모션의 개별 결정이 복합 디코더(12) 내에서 필요하지 않다는 이점을 갖는다. 그러나, 모션의 양이 예컨대, 하나의 프레임으로부터 다음 프레임으로의 픽셀 i 주위 영역 내의 변경 양을 결정하는 것과 같은 다른 방법들로 또한 결정될 수 있음을 인식한다.
다른 실시예에서, 인자 선택기(123)는 픽셀 위치 i의 근처 또는 주위의 이미지의 영역 내의 상세 양(amount of detail) A에 따라 픽셀 위치 i에 대한 인자 gi를 선택한다.
도 2는 이 목적을 위해, 제 1 디코더(120)와 인자 선택기(123) 간에 결합된 에지된 검출기(20)를 포함한다. 상세 양 A의 측정은 픽셀 및 픽셀 주변의 위치들의 매트릭스 내의 픽셀 값들을 인자들(픽셀 i에 대한 픽셀 값은 8로 곱해진다)에 의해 곱하고, 그 곱들을 가산함으로써, 예컨대 라플라스형 연산자에 의해 얻어질 수 있다.
-1 -1 -1
-1 8 -1
-1 -1 -1
이미지 콘텐트 내의 공간 변화들에 민감한 다른 형태들의 연산자도 물론 사용될 수 있다. 바람직하게, 상세 양 A는 양호하게 작업하는 제 1 디코더(120)에 의해 디코딩된 이미지로부터 결정될 수 있고, 제 1 디코더에 의해 디코딩된 이미지와 확장 정보를 조합함으로써 얻어진 이미지가 또한 사용될 수 있다. 인자 선택기(123)는 gi = H(A)에 따라 인자 gi를 선택하고, 여기서 H는 예컨대 룩업 테이블 또는 산술 회로를 사용하여 구현될 수 있는 함수이다. H는 상세 양이 감소할 때, 예컨대 H(x) = x*x/(1+x*x)를 따라 감소한다. 결과로서, 확장은, 인간의 눈이 아티팩트들에 민감한, 적은 상세인 이미지의 영역들에서 억제된다.
다른 실시예에서, 인자 선택기(123)는 픽셀 위치 i 주위의 영역 내으 평균 휘도 L에 따라 인자 gi를 적응시킬 수 있다. 인간의 눈의 민감도는 특정 휘도 레벨에서 최대치를 가짐이 알려져 있다. 평균 휘도 L이 이 레벨과 동일할 때 인자 gi = K(L)을 최소로 하고, 평균 휘도가 이 레벨과 상이할 때 더 높게함으로써, 관찰되는 아티팩트들이 감소된다. 상대적으로 어두운 영역들 내의 픽셀 위치들 i에 대해 특히, 인자 gi는 더 밝은 영역들의 인자에 비해 증가될 수 있다.
인자 선택기(123)의 다른 실시예에서, 인자 gi를 변화시키는 이들 방법들은 예컨대 다양한 인자들 G, H, K의 곱을 취함으로써, 또는 상이한 휘도 레벨들 L에 대해 상이한 함수들 G 및/또는 H를 사용함으로써, 조합될 수 있다.
본 발명은 제 1 엔코딩된 이미지가 낮은 레졸루션 이미지이고, 확장 정보가 상기 이미지를 더 높은 레졸루션으로 복원하는 것을 원조하는 경우에서 특히 유용하다. 이 경우에서, 적응 인자들은 이미지의 적응 공간 필터링의 형태를 효율적으로 구현한다.
제 1 실시예에서, 인자 선택기(123)는, 최대일 때 확장 정보가 제 1 디코더에 의해 디코딩된 정보에 완전히 가산되고, 최소일 때 정보가 가산되지 않도록, 0과 1 사이의 범위로부터 인자를 선택한다. 이 경우에서, 눈이 아티팩트들에 조금 민감한 이미지의 영역에서, 효율적으로 필터링되지 않은 높은 레졸루션 이미지가 복원되고, 눈이 아티팩트들에 더 민감한 이미지의 영역에서, 이미지는 저역 통과 필터링된다. 그러나, 제 2 실시예에서, 인자는 1 보다 높은 값을 로컬하게 선택될 수 있다. 이 경우에, 이미지의 선명도는 방해 아티팩트들을 생성하기 않고 선명한 이미지 인지를 실현하기 위해, 눈이 아티팩트들에 조금 민감한 이미지의 영역들에서 과대시된다.
다양한 엔코더들, 디코더들, 가산기/감산기들 및 곱셈기들이 하나 이상의 집적 회로들 내에서 전용 회로들로서 실현될 수 있으나, 이 대신 이들 기능들이 적절하게 프로그래밍된 프로세서 회로를 사용하여 적어도 부분적으로 수행될 수 있음을 인식할 것이다. 모션 벡터들과 같은 엔코딩 정보 및/또는 디코딩된 이미지 정보의 기능으로서 인자들 g를 계산하는 프로그래밍된 프로세서에 의해 구현될 수 있지만, 모션 및/또는 상세의 양을 계산하기 위한 이미지 필터들, 또는 인자들 g를 계산하기 위한 하나 이상의 룩업 메모리들과 같은 전용 회로들에 의해 또한 구현될 수 있 는 인자 선택기(123)에 대해서도 마찬가지다.
본 발명은 확장 정보가 추가 공간 레졸루션을 원조할 때 특히 유용함을 인식할 것이다. 따라서, 확장 정보의 가중을 증가 및 감소시키는 것은 고역 통과 및 저역 통과 필터링에 각각 대응한다. 그러나, 본 발명은 기본 비디오 스트림이 다른 방법들로 확장되는 조건들에도 적용된다. 예컨대, 템포럴 레졸루션이 더 높은 레이트에서 이미지들 또는 프레임들을 생성하기 위해 확장 정보를 제공함으로써 확장된다면, 확장 정보의 가중의 템포럴 및 공간 변화는 검출된 공간 변화가 강하게 인지 가능한 아티팩트들을 초래하지 않을 것임을 나타낼 때 더 부드러운 모션 효과들을 제공하거나, 또는 플리커(flicker)를 감소시키기 위해 사용될 수 있다.

Claims (9)

  1. 이미지 처리 장치에 있어서,
    - 기본 비디오 스트림, 및 상기 기본 비디오 스트림으로부터 도출된 출력 스트림의 품질을 선택적으로 향상시키기 위한 정보를 포함하는 확장 비디오 스트림을 포함하는 비디오 정보를 수신하기 위한 전송 채널(11)에 결합하기 위한 입력;
    - 상기 기본 비디오 스트림과 상기 확장 비디오 스트림으로부터의, 이미지 내의 위치에 대해 도출된 이미지 정보 값들을 가산함으로써 상기 출력 스트림을 형성하도록 배열된 가산기(126);
    - 상기 기본 비디오 스트림 및 상기 확장 비디오 스트림 내의 상기 정보 값이 서로 가산되는데 사용되는 상대적 가중을 조정하기 위해, 상기 입력과 상기 가산기(126) 간에 기능적으로 결합된 곱셈기(124); 및
    - 상기 비디오 정보의 로컬 콘텐트에 적응적으로, 상기 비디오 정보 내의 상기 이미지 내의 위치 및/또는 시간의 함수로서 상기 상대적 가중을 선택하도록 배열된 가중 선택 유닛(123)을 포함하는, 이미지 처리 장치.
  2. 제 1 항에 있어서,
    상기 확장 비디오 스트림은 상기 기본 비디오 스트림에 의해 제공된 공간 및/또는 템포럴 레졸루션을 증가시키기 위해 사용되는 정보를 제공하는, 이미지 처리 장치.
  3. 제 2 항에 있어서,
    상기 가중 선택 유닛(123)은 상기 확장 스트림으로부터의 상기 정보 값이 상기 기본 비디오 스트림에 비해 각각 감쇠(attenuated) 및 지나치게 강조(overemphasized)될 수 있는데 사용되는 상이한 가중들을 포함하는 범위로부터 상기 가중을 선택하도록 배열된, 이미지 처리 장치.
  4. 제 1 항에 있어서,
    상기 가중 선택 유닛(123)은, 상기 기본 비디오 스트림으로부터 도출된 상기 정보 값에 대한 상기 확장 스트림으로부터의 상기 정보 값의 가중이 상기 양이 상대적으로 높을 때 증가되고, 상기 양이 상대적으로 낮을 때 감소되도록, 상기 상대적 가중을 선택할 위치를 포함하는 영역 내의 상기 비디오 정보의 템포럴 및/또는 공간 변경의 검출된 양에 응답하여, 상기 비디오 정보 내의 상기 위치에서 상기 상대적 가중을 선택하도록 배열된, 이미지 처리 장치.
  5. 제 4 항에 있어서,
    상기 가중 선택 유닛(123)은 상기 기본 스트림의 상기 정보 값에 대한 상기 확장 스트림으로부터의 상기 정보 값의 가중이 상기 휘도가 상대적으로 높을 때 증가되고, 상기 휘도가 상대적으로 낮을 때 감소되도록, 상기 영역 내의 휘도에 추가로 응답하는, 이미지 처리 장치.
  6. 제 4 항에 있어서,
    상기 영역 내의 공간 변경에 응답하는 공간 변경 센서(20)로서, 상기 공간 변경 센서(20)는 공간 변경들에 응답하여 상기 상대적 가중을 제어하기 위해 상기 가중 선택 유닛(123)에 결합된, 상기 공간 변경 센서(20)를 포함하는, 이미지 처리 장치.
  7. 제 4 항에 있어서,
    상기 기본 비디오 스트림은 모션 벡터들을 사용하여 엔코딩되고, 상기 가중 선택 유닛(123)은 상기 엔코딩에 따른 상기 영역과 연관된 모션 벡터 값의 크기에 의존하여 상기 가중을 선택하도록 배열된, 이미지 처리 장치.
  8. 이미지 처리 장치에 있어서,
    - 기본 비디오 스트림에 비디오 정보를 엔코딩하고, 상기 기본 비디오 스트림에서 소실된 상기 비디오 정보의 부분을 공급하기 위한 비디오 정보로부터 확장 비디오 스트림에 비디오 정보를 엔코딩하도록 배열된 비디오 엔코더(10);
    - 상기 비디오 정보 내의 연속 이미지들 간의 템포럴 변경 양을 상기 이미지들 내의 공통 영역에서 검출하기 위해 결합된 템포럴 변경 검출기(30)로서, 상기 영역은 위치를 포함하는, 상기 템포럴 변경 검출기(30);
    - 상기 위치에 대한 시간 및 위치 종속 인자를 상기 템포럴 변경 양에 응답 하여, 상기 인자가 증가하는 변경에 의해 증가하도록 선택하기 위한 인자 선택 유닛(105); 및
    - 엔코딩 전에, 상기 위치 및 시간 종속 인자를 상기 확장 비디오 스트림 내의 상기 이미지 정보에 적용시키기 위해 기능적으로 결합된 곱셈기(104)를 포함하는, 이미지 처리 장치.
  9. 비디오 스트림을 처리하는 방법에 있어서,
    - 기본 비디오 스트림, 및 상기 기본 비디오 스트림으로부터 도출된 출력 스트림의 품질을 선택적으로 향상시키기 위한 정보를 포함하는 확장 비디오 스트림을 수신하는 단계;
    - 상기 비디오 스트림 내의 이미지 정보에 적응적으로, 상기 비디오 스트림 내의 이미지 내의 위치 및/또는 상기 비디오 스트림 내의 시간의 함수로서 상대적 가중을 선택하는 단계;
    - 상기 기본 비디오 스트림 및 상기 확장 비디오 스트림으로부터의 이미지 내의 위치에 대해 도출된 이미지 정보 값들을 가산하는 단계; 및
    - 상기 위치 주위의 상기 비디오 스트림의 콘텐트를 위치 및/또는 시간의 함수로서 적응적으로, 상기 기본 비디오 스트림 및 상기 확장 비디오 스트림 내의 상기 정보 값이 서로 가산되는데 사용되는 상대적 가중을 조정하는 단계를 포함하는, 비디오 스트림 처리 방법.
KR1020057020519A 2003-04-29 2004-04-28 이미지 처리 장치 KR20060007408A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03101176.0 2003-04-29
EP03101176 2003-04-29

Publications (1)

Publication Number Publication Date
KR20060007408A true KR20060007408A (ko) 2006-01-24

Family

ID=33395950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057020519A KR20060007408A (ko) 2003-04-29 2004-04-28 이미지 처리 장치

Country Status (6)

Country Link
US (1) US20060291554A1 (ko)
EP (1) EP1621021A1 (ko)
JP (1) JP2006525728A (ko)
KR (1) KR20060007408A (ko)
CN (1) CN1781312A (ko)
WO (1) WO2004098197A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2888424A1 (fr) 2005-07-07 2007-01-12 Thomson Licensing Sas Dispositif et procede de codage et de decodage de donnees video et train de donnees
US8548049B2 (en) * 2007-07-02 2013-10-01 Vixs Systems, Inc Pattern detection module, video encoding system and method for use therewith
RU2461978C2 (ru) * 2007-10-25 2012-09-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ масштабируемого кодирования и способ масштабируемого декодирования видеоинформации, устройства для них, программы для них и носитель записи, на котором записаны программы
US9524523B2 (en) * 2010-09-01 2016-12-20 Vigor Systems Inc. Fail-safe switch for media insertion server in a broadcast stream
CA2769608C (en) 2011-02-17 2016-01-05 Huawei Technologies Co., Ltd. Signal processing apparatus, transmitter, receiver and method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
CA2127151A1 (en) * 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US5742892A (en) * 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
US5995150A (en) * 1998-02-20 1999-11-30 Winbond Electronics Corporation America Dual compressed video bitstream camera for universal serial bus connection
US6792044B2 (en) * 2001-05-16 2004-09-14 Koninklijke Philips Electronics N.V. Method of and system for activity-based frequency weighting for FGS enhancement layers
US7042942B2 (en) * 2001-12-21 2006-05-09 Intel Corporation Zigzag in-order for image/video encoder and decoder
US7072394B2 (en) * 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
CN1726725A (zh) * 2002-12-20 2006-01-25 皇家飞利浦电子股份有限公司 弹性存储

Also Published As

Publication number Publication date
CN1781312A (zh) 2006-05-31
EP1621021A1 (en) 2006-02-01
JP2006525728A (ja) 2006-11-09
US20060291554A1 (en) 2006-12-28
WO2004098197A1 (en) 2004-11-11

Similar Documents

Publication Publication Date Title
Mantiuk et al. Perception-motivated high dynamic range video encoding
EP2603000B1 (en) Guided prediction-filtering in layered vdr image coding
US7502518B2 (en) Apparatus and method for coding image based on level of visual attention and level of perceivable image quality distortion, and computer program product therefor
US7483486B2 (en) Method and apparatus for encoding high dynamic range video
KR101912249B1 (ko) 계층적 vdr 코딩에서의 층 분해
KR20040054744A (ko) 적응 콘텐트 필터링을 사용하는 공간 스케일가능 압축 체계
US7394856B2 (en) Adaptive video prefilter
JP5514338B2 (ja) 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
US9661328B2 (en) Method of bit allocation for image and video compression using perceptual guidance
KR20050061303A (ko) Ｍｐｅｇ 가공 감소를 위한 방법 및 장치
US8737485B2 (en) Video coding mode selection system
JP2001517879A (ja) マルチコンポーネント圧縮エンコーダのモーションサーチ方法及び装置
US8781248B2 (en) Image details preservation and enhancement
KR20020041322A (ko) 아티팩트 감소 코딩 방법
US6185254B1 (en) Decoder, image encoding apparatus, image decoding apparatus, image transmitting method, and recording medium
US10742986B2 (en) High dynamic range color conversion correction
US20060133472A1 (en) Spatial scalable compression
KR20060007408A (ko) 이미지 처리 장치
US7711044B1 (en) Noise reduction systems and methods
JPH07107462A (ja) 動画像符号化方法
JP3805393B2 (ja) 画像符号化装置
US20190208090A1 (en) Image processing device and associated image processing method
US10715772B2 (en) High dynamic range color conversion correction
JP3169019B2 (ja) 画像符号化器
KR20050019807A (ko) 공간적인 스케일러블 압축

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid