KR20070100279A

KR20070100279A - 링크된 랜덤 생성기들을 갖는 전자 이미지 처리 방법 및장치

Info

Publication number: KR20070100279A
Application number: KR1020077015517A
Authority: KR
Inventors: 윌헬머스 에이치. 에이. 브룰스; 스틴 드 웨일리
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2004-12-08
Filing date: 2005-12-02
Publication date: 2007-10-10
Also published as: US20090231345A1; EP1825683A1; JP2008523680A; BRPI0518462A2; WO2006061751A1; EP1670255A1; CN101073270A

Abstract

예로서, 그레인이 부족한 방식으로 압축된 비디오 신호들에 필름 그레인 부가를 결정하기 위한 방법. 전자 이미지 처리 방법은 입력된 화상(PIC)의 수직으로 위치된 제 1 수평 라인(L1)에서 제 1 수평 화소 위치(hi)에 대응하는 제 1 랜덤 값(R1)을 결정하는 단계; 및 수직으로 위치된 제 2 수평 라인(L2)에서 제 2 수평 화소 위치(h2)에 대한 결과 값(R)을 유도하는 단계를 포함하고, 상기 결과 값은 제 2 수평 라인에서 제 2 수평 화소 위치에 대응하는 제 1 랜덤 값 및 제 2 랜덤 값(R2)에 종속되고, 수평으로 이웃하는 화소 위치들에 대한 랜덤 값들은 씨드로 초기화된 단일 랜덤 생성기의 연속적인 출력들에 의해 결정되며, 여기서 상기 제 1 랜덤 값은 제 1 수평 라인에서 가장 첫째 수평 화소 위치(f1)에 대한 제 1 씨드(S1)로 초기화된 제 1 랜덤 생성기(n1)를 가지고 결정되고, 제 2 랜덤 값은 제 1 랜덤 생성기와 동시에 운용하는 제 2 랜덤 생성기(n2)를 가지고 결정되며, 제 2 수평 라인에서 가장 첫째 수평 화소 위치(f2)에 대한 제 2 씨드(S2)로 초기화되고, 상기 제 2 씨드(S2)는 제 1 씨드(S1)를 사용하여 초기화되고 제 1 수평 라인의 가장 첫째 수평 화소 위치(f1)에서 시작하는 좌-우-상-하 지그 재그 스캔 경로(ZZ)상 모든 수평 위치들에 연속적으로 적용된 후 제 2 수평 라인에서 가장 첫째 수평 화소 위치(f2)에 대해 제 1 랜덤 생성기(n1)를 사용함으로써 얻어진 랜덤 값과 실질적으로 동일하다. 장점은 결정적인 필름 그레인 부가에 대해 보다 작은 메모리 요구들이다.

랜덤 생성기, 전자 이미지, 그레인, 이미지 처리

Description

링크된 랜덤 생성기들을 갖는 전자 이미지 처리 방법 및 장치{Electronic image processing method and device with linked random generators}

본 발명은 랜덤하게 생성된 값들을 사용하여 전자 이미지 처리 방법, 특히 합성 그레인(grain) 생성 방법에 관한 것이다.

본 발명은 또한 랜덤하게 생성된 값들을 사용하여 전자 이미지를 처리하기 위한 장치, 및 합성 그레인 부가를 위한 전자 이미지 처리 장치, 화상 압축해제(decompression) 장치, 텔레비전 신호 수신 장치 및 상기 전자 이미지 처리 장치를 포함하는 텔레비전 신호 캡쳐 시스템에 관한 것이다.

본 발명은 또한 처리기가 그 기능을 수행하게 할 수 있는 방법을 기술하는 코드를 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

기능에 대한 랜덤 값들을 필요로 하는 다수의 이미지 처리 방법들이 있다. 특히 합성 그레인 생성은 그러한 이미지 처리 방법이다. 합성 그레인은 셀룰로이드(celluloid) 필름상에 캡쳐된 유사한 화상을 찾기 위하여 CCD 카메라에 의해 캡쳐된 화상에 부가될 수 있다.

또한, 현대 화상 및 비디오 압축(예를 들어, 진보된 비디오 코딩 표준 AVC) 에서, 필름 재료의 압축 효율성은 그레인의 존재에 의해 감소된다. 필름 그레인이 (시간적으로) 상관되지 않기 때문에, 정확하게 그것을 압축하기 위하여 많은 비트들을 요구한다. 그러므로, 디코더 측에서 인공적 그레인을 인코딩 및 합성하기 전에 그레인을 제거하는 것이 제안되었다. 이것은 필름 그레인 관리(FGM)와 같은 H.264의 충실도 범위 확장에서 표준화되었다.

특히, 보다 큰 그레인들에 대한 자기 회귀 모델(autoregressive model)보다 우수한 주파수 필터링 모델을 제안한다.

특히, 그레인이 결정론 방식으로 생성되는 것이 바람직하다. 이것은 비록 랜덤하게 보일지라도, 이 그레인은 각각의 수신/렌더링 장치에서 동일하게 보이는 적어도 하나의 씨드(seed)에 의해 생성된 랜덤한 패턴인 것을 의미한다. 이것은 헐리우드 필름 스튜디오들 같은 콘텐트 제공자들이 원하는 것이고; 그것들은 그레인이 그들의 기준(예를 들어, 너무 조잡하지 않고 배경 또는 텍스트 등의 사람들과 같은, 특정 미세 텍스쳐 이미지 콘텐트와 충돌하지 않는)에 따라 그레인이 허용 가능한지 여부를 그들의 제작 사이트에서 관찰할 수 있고, 그 다음 보증된 렌더링 품질을 제공하는 승인된 씨드들을 모두가 사용하게 한다.

예를 들어, 이전에 공개되지 않은 출원 EP 04101141.2는 그러한 그레인 합성 시스템을 기술하고, 그것의 실시예 세목들(사용될 수 있는 가능한 랜덤 생성기들과 같은)은 결합들이 이루어질 수 있다는 것이 당업자에게 명백할 바와 같이 본 출원에서 참조되고 반복되지 않는다.

주파수 필터링 모델을 갖는 FGM의 직접적인 하드웨어 실행이 매우 복잡하다 는 것이 단점이다. 이것은 하드웨어 구현이 칩 상에 큰 영역을 요구하여, 고비용을 발생시키는 것을 의미한다. 이산 코사인 변환(discrete cosine transform: DCT)의 사용을 피하기 위하여, 그레인의 사전 생성 블록들이 사용되는 실행을 사용할 수 있다. 그러나, 예를 들어 40 kByte SRAM에서 이들 블록들의 저장은 또한 칩 상에 큰 표면을 요구한다(∼1mm² = 완전한 H.264 디코더의 ~1/5).

본 발명의 목적은 비교적 작은 메모리 리소스들을 요구하는 랜덤하게 생성된 값들을 사용하여 전자 이미지를 처리하는 방법을 제공하는 것이다.

이 목적은 상기 방법이,

- 입력된 화상(PIC)의 수직으로 배치된 제 1 수평 라인(L1)에서 제 1 수평 화소 위치(h1)에 대응하는 제 1 랜덤 값(R1)을 결정하는 단계; 및

- 수직으로 배치된 제 2 수평 라인(L2)에서 제 2 수평 화소 위치(h2)에 대한 결과 값(R)을 유도하는 단계로서, 상기 결과 값은 제 2 수평 라인에서 제 2 수평 화소 위치에 대응하는 제 1 랜덤 값 및 제 2 랜덤 값(R2)에 종속되고, 수평으로 이웃하는 화소 위치들에 대한 랜덤 값은 씨드로 초기화된 단일 랜덤 생성기의 연속적인 출력들에 의해 결정되는, 상기 결과값 유도 단계를 포함하고,

상기 제 1 랜덤 값은 제 1 수평 라인에서 가장 첫째 수평 화소 위치(f1)에 대한 제 1 씨드(S1)로 초기화된 제 1 랜덤 생성기(n1)로 결정되고, 상기 제 2 랜덤 값은 상기 제 1 랜덤 생성기와 동시에 운용하는 제 2 랜덤 생성기(n2)로 결정되고, 상기 제 2 수평 라인에서 가장 첫째 수평 화소 위치(f2)에 대한 제 2 씨드(S2)로 초기화된다.

결정론적 그레인 합성을 실행하기 위한 용이한 방법은 제 1 이미지 라인(LF)에 대한 단일 씨드를 전송하고 그 다음 좌측에서 우측, 상부에서 하부로 지그재그 스캔으로 연속적인 화소들에 대한 모든 랜덤 값들을 생성하는 것이다.

그러나 라인(L2)에서 수평 위치(h2)의 그레인은 동일한 수평 위치(h2)에 대해 두 개의 수직으로 상기 생성된 랜덤 값들에 종속될 수 있다. 이것은 특정 시점에서, (h2,L2)에 대한 최종 그레인이 결정될 때, 이전에 요구된 랜덤 값들이 요구되는, 즉 샘플들의 두 개의 부가적인 라인들을 라인 메모리에 저장할 필요가 있다는 것을 의미한다. 그레인의 올바른 상관 길이를 가지기 위하여, 예를 들어 8 개의 수직 이웃들 또는 그 이상의 이웃들이 필요하다.

그레인이 허용된 결정론/콘텐트 제공자가 아니고, 랜덤하기 때문에(각각 상이한 수신기/렌더링 장치), 다수의 랜덤 생성기들을 병렬로(임의의 씨드들과) 사용하는 것은 가능하지 않다.

본 발명에서 랜덤 생성기들은 위치(h2, L2)에서 화소에 대해 특정한 수직 이웃 랜덤 값들이 요구되는 시점에서 병렬로 운용할 수 있고, 이것은 라인 메모리들을 피하게 한다. 물론 콘텐트 제공자 허용 가능한 그레인을 갖기 위하여, 씨드들은 단지 임의의 것이 아니고, 검증된 것을 요구할 수 있다.

예를 들어, 만약 화상이 높이(H)를 가지면, H 씨드들은 화상 신호와 함께 전송될 수 있다.

상기 방법의 실시예는,

입력 화상(PIC)의 수직으로 위치된 제 1 수평 라인(L1)에서 제 1 수평 화소 위치(h1)에 대응하는 제 1 랜덤 값(R1)을 결정하는 단계; 및

- 수직으로 위치된 제 2 수평 라인(L2)에서 제 2 수평 화소 위치(h2)에 대한 결과 값(R)을 유도하는 단계로서, 상기 결과 값은 제 2 수평 라인에서 제 2 수평 화소 위치에 대응하는 제 1 랜덤 값 및 제 2 랜덤 값(R2)에 종속되고, 수평으로 이웃하는 화소 위치들에 대한 랜덤 값들은 씨드로 초기화된 단일 랜덤 생성기의 연속적인 출력들에 의해 결정되는, 상기 결과값(R) 유도 단계를 포함하고,

상기 제 1 랜덤 값은 제 1 수평 라인에서 가장 첫째 수평 화소 위치(f1)에 대해 제 1 씨드(S1)로 초기화된 제 1 랜덤 생성기(n1)로 결정되고, 제 2 랜덤 값은 제 1 랜덤 생성기와 병렬로 동작하는 제 2 랜덤 생성기(n2)로 결정되고, 제 2 수평 라인에서 가장 첫째 수평 화소 위치(f2)에 대해 제 2 씨드(S2)로 초기화되고, 상기 제 2 씨드(S2)는 제 1 씨드(S1)로 초기화되고 제 1 수평 라인의 가장 첫째 수평 화소 위치(f1)로부터 시작하는 좌-우-상-하 지그 재그 스캔 경로(ZZ)상 모든 수평 위치들에 연속적으로 적용된 후, 제 2 수평 라인의 가장 첫째 수평 화소 위치(f2)에 대한 제 1 랜덤 생성기(n1)를 사용함으로써 얻어진 랜덤 값과 실질적으로 동일하다.

만약 수신기가 지그 재그 스캐닝 및 요구된 모든 라인 메모리들을 갖는 단일 마스터 씨드 방법을 사용할지, 또는 수신기가 본 발명에 따라 작동할지 여부에 대해 콘텐트 제공자가 그러한 실행 문제들에 의해 걱정할 필요가 없다면 바람직하고: 그는 예를 들어 어떤 그레인 렌더링 방법이 사용되는 가에 무관하게 그의 단일 마스터 씨드(SM)를 전송할 것이다.

본 발명에 따르면, 요구된 N 씨드들은 병렬로 N 랜덤 생성기들을 사용하기 전에 수신측에서 평가될 수 있다. 단일 씨드 랜덤 생성이 연속하여 각각의 라인을 통과하기 때문에, 다음 랜덤 값들(즉, 라인에 대한 씨드로서 해석될 수 있음)을 생성하기 위해 사용되는 라인의 시작(가장 첫째 포인트)에서 랜덤 값은 현재 라인 가장 첫째 포인트에 도달할 때까지 가장 첫째/시작 포인트(제 1 라인 LF상 제 1 화소)로부터 매우 많이 랜덤 생성기를 운용함으로써 간단하게 얻어질 수 있다. 이것은 모든 라인들에 대해 모든 H 씨드들을 결정하기 위하여 빠르게 수행되고, 그 다음 실제 이미지 처리가 시작될 수 있다.

랜덤 생성기들이 실제로 병렬로 운용되고, 예를 들어 위치(h2)에 대하여 결과 값(R)을 계산할 필요가 있고, 그레인이 두 개의 이전 및 현재 라인(및 비수평 이웃들에 논증의 간략화를 위하여)을 바탕으로 결정된다면, 바람직한 구성은 h2 위치, 즉 (h2,L0)에 대한 제 1 위치, (h2,L2)에 대한 제 2 위치 및 (h2,L2)에 대한 제 3 위치에 대한 값을 출력하는 3개의 랜덤 생성기들을 가진다. 간단한 FIR 필터는 이들 3개의 랜덤 값들의 가중된 부가를 위하여 사용될 수 있다.

통상적인 이미지 처리 방법은 합성 그레인 생성이고, 그레인은 랜덤 값이 생성되는, 예를 들면, 블록 변환 압축 화상에서 DC 항을 생성하는 위치들에서 입력된 화상의 근원적 화소 값들에 종속될 수 있다.

입력 화상은 압축해제되거나(예를 들어, 0 및 255 사이의 화소 값들의 지그재그 스캐닝된 세트) 압축된 표현(예를 들어, MPEG-2, AVC, JPEG,...)을 압축해제 한 후 얻어질 수 있다. 상기 방법은 예를 들어 전용 IC의 일부인 화상 압축 장치, 또는 처리기에서 운용하는 소프트웨어 모듈에서 수행될 수 있다.

FIR 필터 전용 생성은 거의 메모리를 요구하지 않지만, 긴 FIR 필터가 요구되기 때문에 많은 계산들이 요구될 수 있다.

선택적으로 결합 실현이 이루어질 수 있고, 여기서 필터의 일부가 FIR(그레인의 로컬/하이 주파수 상관관계를 생성하는)로서 구현되고 일부는 IIR(통합 특성들로 인한 긴 거리/로우 주파수 상관관계를 구현한)로서 구현된다. 상기 결합에서 단지 2개의 라인 메모리들이 사용될 필요가 있고, 이것은 여전히 예를 들어 8보다 훨씬 작다.

이미지 처리 장치 및 화상 처리 장치는 바람직하게 네트워크(예를 들어, 무선 지상 텔레비전, 또는 전화 네트워크)로부터 텔레비전 신호를 수신하고, 이를 처리, 특히 그레인을 부가하도록 배열된, 텔레비전 신호 수신 장치에 통합된다. 텔레비전 신호 수신 장치는 예를 들어 신호를 또한 디스플레이하기 위하여 디스플레이를 포함하거나, 상기 셋톱박스와 분리된 유니트일 수 있다. 이것은 무선 전화 같은 휴대용 장치일 수 있다. 이것은 또한 저장 기능, 예를 들어 메모리에 저장하기 전에 그레인을 수신된 텔레비전 신호에 부가하는 퍼스널 비디오 레코더를 포함할 수 있다.

텔레비전 신호 수신 장치는 또한 예를 들어 디스크 레코더일 수 있고, 상기 경우 텔레비전 신호는 디스크 상의 저장소로부터 수신되며, 그것은 단지 거칠지 않고 부드러운 화상 및 씨드만을 포함한다.

본 발명에 따른 방법 및 장치의 이들 및 다른 측면들은 이후에 기술된 실행들 및 실시예들, 및 보다 일반적인 개념을 예시하는 비제한 특정 예시들로서 작용하는, 첨부 도면들을 참조하여 명백하고 그로부터 분명해질 것이며, 여기서 점선들은 성분이 선택적인 것을 가리키고, 비점선 성분들은 반드시 필수적인 것은 아니다.

도 1은 방법을 설명하기 위한 화상을 개략적으로 도시한다.

도 2는 종래 기술 FIR 그레인 합성 장치를 개략적으로 도시한다.

도 3은 본 발명에 따른 FIR 그레인 합성 장치의 실시예를 개략적으로 도시한다.

도 4는 본 발명에 따른 IIR 필터 부분을 가진 그레인 합성 장치의 실시예를 개략적으로 도시한다.

도 5는 본 발명에 따른 전자 이미지 처리 장치를 포함하는 화상 압축해제 장치를 개략적으로 도시한다.

도 6은 본 발명에 따른 텔레비전 신호 캡쳐링 시스템을 개략적으로 도시한다.

도 1은 입력된 화상 PIC의 기하학적 화상 위치들의 함수로서 랜덤 결과 값(R) 생성의 기하학적 설정을 도시한다.

랜덤 값들은 임의의 이미지 동작, 예를 들어 근원적인 화상 콘텐트 및 랜덤 값에 종속되는 인공 효과를 실행하기 위한 리컬러링(recoloring), 유전적 알고리즘 기반 이미지 동작 등을 위하여 요구될 수 있다. 나머지에서 우리는 당업자가 기본 랜덤 값 생성 부분을 다른 이미지 처리 기능들에 쉽게 통합할 수 있기 때문에, 그레인 합성의 특정 응용에 대한 시스템의 설명을 제한한다.

결과 값은 화소 위치(h2,L2)(제 2 교차부)에 대해 요구된다. 만약 랜덤 처리가 화소에 대해 국소적이지 않다면, 이웃하는 화소들에 대해 생성된 랜덤 값들은 통상적으로 수직 이웃들뿐만 아니라 수평에 대해 요구된다.

주파수 공간 방법에 대한 대안은 유한 임펄스 응답(FIR) 필터들 및/또는 순환(IIR) 필터들을 사용하여 시간 영역에서 그레인을 생성하는 것이다. 이런 방식으로 생성된 그레인은 DCT로 생성된 그레인과 대략적으로 동일한 통계적 특성들을 가진다. 이런 방식에서 큰 메모리 및 DCT 모두는 요구되지 않는다.

가시적으로 유사한 결과들을 얻기 위하여, 꽤 높은 차수의 q의 FIR 필터는 요구된다(~8-16).

종래 기술 단일 씨드 방법에 수직 방향으로의 이런 필터의 응용은 필터의 차수와 동일한 라인 메모리들, 즉 예를 들어 라인들 L1,L0,...에 대해 동일한 라인 메모리들을 요구한다. 고해상도 자료에 대해, 이것은

= 8(차수)*1920(수평 체)*2(화소 당 바이트들) = 32 kByte.

FIR/IIR 필터의 입력은 의사 랜덤 생성기를 사용하여 생성된 화이트 노이즈(특정 크기를 가짐, 예를 들어 근원적이고 가능하면 이웃한 화소들 또는 블록들의 화소 값들을 바탕으로 생성된 Fv(1), Fv(2))이다. 만약 화이트 노이즈가 단일 랜덤 생성기를 사용하여 순차적으로 생성되면, 그 결과는 라인 메모리들에 저장되어야 한다. 본 발명의 방법에서 그것들이 필터에 의해 요구되는 것에 대한 입력을 생성하기 위해 q(FIR 필터 차수) 랜덤 생성기들 대신 병렬로 사용된다. 올바른 씨드에 의해 모든 랜덤 생성기들을 초기화함으로써, 이런 필터의 출력은 단일 의사 랜덤 생성기에 의해 생성된 랜덤 수들과 동일하게 이루어질 수 있다.

문헌으로부터 알려진 랜덤 생성기의 예는 최하위비트 측에서 최상위 비트로 exor 피드백을 가진 m 레지스터들을 바탕으로 한다. 길이(m)는 랜덤 값의 반복 길이를 결정하므로 커야 한다. 최종 n 최하위 비트들은 n 비트들 랜덤 값을 형성한다. 랜덤 생성기는 특정 순간, 예를 들어 시퀀스 시작시 레지스터를 소위 씨드 수로 리셋함으로써 결정될 수 있다.

도 2는 (수평/수직으로) 분리 가능한 필터에 의해 수직 및 수평 방향 모두에서 예로써, exor 의사 랜덤 노이즈 생성기(203)로부터 인입하는 의사 랜덤 노이즈를 필터하기 위한 종래 기술 필터(200)를 도시한다. FIR 필터 차수 q의 수는 여기서 2k+1이다. 수직 방향에서 필터링하기 위하여 라인 메모리들은 n 비트들을 요구한다. 수직 필터링된 결과들은 수직 FIR 필터(210)의 2k+1 FIR 곱셈기들(261,262)의 가산기(202)에 의한 합산의 m 비트들 결과들이다. 그 후, 이런 중간 결과(RV)는 2*k 레지스터들(즉, 201과 같은 블록들이 지연됨) 및 FIR 곱셈기들 및 합산에 의해 형성되는 수평 필터 스테이지(280)에 공급된다. 비용들은 2*k 라인 메모리들(251,252,253,...)의 비용에 의해 주가 된다.

상기된 바와 같이, 이들 메모리 비용들은 본 발명의 방법/장치를 사용하여 회피될 수 있다.

도 3에서, 도 2의 라인 메모리들에 의해 형성된 바와 같이 개별적인 의사 랜덤 생성기들(301,303 등)에 의해 생성된다. 도 2와 정확히 동일한 값들을 생성하기 위하여, 사전 계산 동안, 2k+1 씨드들은 연속적인 씨드들이 라인 메모리들의 길이(w)의 '시프트'를 가지도록 계산된다. 이것은 씨드(s(1))가 1920 샘플 순간 이후 씨드(0)으로 초기화되는 랜덤 생성기의 출력 값을 가지는 것을 의미한다.

압축 해제 가능한 FIR 필터링의 수직 부분은 수직 FIR 필터(311)를 사용하여 실현된다. 수직으로 인접한 결정된 랜덤 값들은 계수들 Fv(-k+1) 등과 곱셈되고 상기 계수들은 예를 들어 가우스(Gaussian) 또는 지수 감소 패턴을 따른다. 따라서 가중된 랜덤 값들은 가산기에 부가된다. 이런 과정은 수평으로 이웃하는 화소들에 대해 연속적으로 행해진다. 수평 위치(h-1)에 대해 얻어진 값은 지연기(201)에 의해 지연되고 수평 위치(h)에 대해 수직 FIR 필터링된 랜덤 값이 그 후 결정된다.

최종적으로, 이런 이웃하는 수직 결과 값들은 가중되고 수평 FIR 필터(313)에 부가되며, 최종 결과 값(R)을 산출한다.

랜덤 생성기들(301,303)의 병렬 실행은 제어 수단(380)(예를 들어, 소프트웨어 인코딩된 제어 알고리즘 또는 유사한 순수 하드웨어 구현 수단 등을 운용하는 처리기)의 제어하에 있다. 당업자는 랜덤 생성을 트리거하는 클럭 신호(CLK)를 출력하는 수단들을 가지고, 상기 제어를 구성하기 위하여 상이한 종래 기술 방식들을 발견할 수 있다.

저주파 노이즈를 생성하기 위하여 FIR 필터링 기술을 사용하는 FGM의 약간의 단점은 k에 대한 비교적 큰 값들이 요구된다는 것이다(예를 들어 >=8).

도 4는 FIR(유한 임펄스 응답) & IIR(무한 임펄스 응답) 필터 기술의 결합을 사용하는 청구된 발명의 대안적인 실시예를 제공한다.

비록 두 개의 라인 메모리들(2차 수직 IIR)이 바람직하지만, 1 라인 메모리가 충분할 수 있다(하나는 또한 보다 높은 차수 라인 메모리들을 사용하지만, 이것은 요구된 메모리를 다시 증가시키고, 따라서 트레이드 오프는 그레인의 품질이 충분하도록 IIR 부분에 대해 작은 차수이어야 한다).

여기서 FIR 부분의 k는 상당히 더 작을 수 있고(=<4), 단지 몇몇 라인 메모리들만이 요구된다.

수직 FIR 필터 부분은 도 3의 실시예와 유사하지만, 보다 적은 필터 탭들이 사용될 수 있다.

필터는 다음과 같이 작동한다. 특정 수평 위치(h2)에서, 결과적인 수직 FIR 필터 값(RV2)이 획득된다. 이 값(RV2)은 가산기(499)에 의해 이전에 결정된 값들(RV1 및 RV0)에 부가된다. 값들은 필터 계수들 Fvr(-1), Fvr(-2) 및 (곱셈기 482에 의해) 1/∑Fvr에 의해 적당하게 가중되어, 결과는 [0,255] 간격 외측으로 넘치지 않고, 비록 상관관계가 있을지라도, 단지 제한된 메모리가 있어서, 생성된 노이즈는 예를 들어 다른 근원적인 그레이 값들(명백하게, 상기 방법이 컬러 화상들로 확장될 수 있음)과 같은 새로운 환경들에 적응한다.

이런 부가(적어도 3개의 수직 위치들의 기여를 갖는)는 상부 라인 메모리(451)에 저장된다. 모든 메모리들은 다음 수평 화상 위치에 대해 수직 FIR 필터(311)와 동시에 시프트한다. 이런 방식에서 W 위치들이 처리된 후, 수평 위치(h2)는 다시 처리되고, 즉 결국 이 장치는 수직 IIR 필터(지난 수직부에서 화소들의 기여를 감소시키는)를 실행한다.

유사한 유니트(413)는 수평 IIR 필터를 구현하고, 이것은 물론 순수 FIR 필터를 수평으로 사용할 수 있기 때문에 선택적이다.

이 실시예에서 제어 수단(380)의 클럭 신호(CLK)는 랜덤 생성과 동기하여 라인 메모리들(및 새롭게 결정된 수직으로 필터링된 랜덤 값에 그것을 기입)에서 샘플들의 시프팅을 제어한다.

도 5는 예로써, 디스플레이(561)(유선 또는 무선으로)에 접속된 셋톱박스인 예시적인 실시예에서 텔레비전 신호 수신 장치(560)로 구성될 수 있는 화상 압축해제 장치(500)의 예를 도시한다.

화상 압축해제 유니트(502)는 네트워크(550)로부터 입력된 압축된 화상을 압축되지 않은 이미지 신호(PIC)로 압축해제하도록 배열된다. 화상 압축해제 유니트(502)는 예를 들어 이들 DC 값들을 적당한 가중 인자들(Fv,Fh,Fvr,...)로 전환하기 위한 룩업 테이블 평가 유니트를 포함할 수 있는 예로써, 메모리 유니트들(570)에 압축된 화상의 DC 값들을 제공하도록 추가로 배열된다.

씨드 및 그레인 생성 파라미터들(즉, 그레인 모양을 결정하는 필터링의 상수들)은 통상적으로 소위 보충 강화 정보(SEI) 메시지로 인코딩된다.

이런 SEI 정보는 화상 압축해제 유니트(502)에 의해 예를 들어 제 1 라인(LF)의 가장 첫째 화소에 대한 단일 마스터 씨드(SM)를 바탕으로 초기 씨드 값을 미리 계산하기 위해 배열된 씨드 계산기로서 구현될 수 있는 씨드 분배기(580)로 통과되고, 랜덤 생성기들에 의해 요구될 때 그것들을 전자 이미지 처리 장치(312)로 전달한다.

SEI 해석기는 또한 올바른 룩업 테이블 필터 파라미터들을 결정하기 위하여 메모리 유니트(570)에 그레인 모양 결정 파라미터들을 전송한다.

룩업 테이블은 필터 계수들(Fv, Fh, Fvr & Fhr) 및 노이즈 세기 값(S_FGM)에 대한 루마(luma) 세기 및 그레인 파라미터들의 관계를 포함한다.

곱셈기(599)를 통하여 노이즈 세기 값(S_FGM)은 가산기(510)에 의해 PIC의 비디오 콘텐트에 가산되는 필터링된 노이즈 출력의 크기를 제어한다.

각각의 화소 위치에 대한 그레인 값을 생성하는 대신, 보다 거친 스케일 그레인 화상이 생성될 수 있고(수평 및 수직 방향들 중 어느 한쪽 또는 양쪽에서 수행될 수 있음) 및 바람직하게는 추후 영차 홀드(즉, 이전 값의 카피)에 의해 보간된다. 상기 영차 홀드는 느리게 변화하는 기능들(즉, 저주파 그레인)에 대해 우수한 근사(approximation)이다.

이것은 8 탭들 필터만을 사용하여 16 탭들의 효과적인 상관관계 길이가 이루어질 수 있다는 장점을 가진다.

즉, 예를 들어 각각의 제 2 또는 제 3 화소에 대해 하나의 값이 계산되고, 그 다음 수평 이웃(들)에 카피된다.

수직 방향에 대해 다음 옵션들은 가능하다:

추가 라인 메모리의 어느 하나가 화상 폭의 적어도 일부에 대해 화상 그레이 값들을 포함하기 위하여 사용되고, 결과적인 그레인 값은 예로써, 2x2 블록의 4배인 그레인 값들에 부가된다(즉, 현재 화소 및 추가 그레인 값에 저장된 화소 모두에 대해),

동일한 것은 전형적인 지그재그 라인 기반의, 예로써 블록 또는 랜덤 액세스가 아닌 메모리 액세스에서 가능하다,

현재 바람직한 옵션(현재 작은 메모리만이 예를 들어 압축해제기들 또는 다른 이미지 처리 IC들에서 이용가능하기 때문에, 즉 화소를 처리하고 그것을 가능한 한 빨리 처리기 외부 메모리로 들어가길 원하는)은 동일한(영차로 홀딩됨) 그레인 값이 두 번 계산된다(및 처리기 메모리에서 로컬 화소들에만 부가됨). 이것은 한 쌍의 라인들 중 제 2에 대한 씨드를 리셋함으로써 수행될 수 있다.

이런 서브샘플링된 그레인 합성은 이것인 상관되지 않은 이웃 화소들에 유도될 때 각각의 연속적인 화소에 대해 [1 0 1 0 1...] 필터링을 수행하는 것과 동일하지 않다는 것이 주의된다.

도 6은 텔레비전 신호 캡쳐링 시스템(600)을 도시한다. 본 발명의 구성요소들은 카메라(601)에 통합된 예시적인 실시예에 있지만, 물론 시스템(600) 내 어디든지 잔류할 수 있다. 화상은 화상 유도 유니트(611)에 의해 캡쳐되고 처리된다(예를 들어, 화이트 포인트 보정). 이런 단순화된 예에서 비록 당업자가 상기 시스템에 이를 통합할 수 있어야 할 지라도, 압축이 아직 발생하지 않는다는 것이 가 정된다. 그레인은 본 발명에 따른 합성 그레인 부가(501)를 위하여 전자 이미지 처리 장치를 가지고 선호도(제 1 라인 LF의 가장 첫째 위치에 대한 마스터 씨드 SM)에 대응하여 부가된다. 카메라 동작, 사진 촬영 디렉터, 예술적 포스트-프로듀서 등은 카메라의 일부를 형성하거나, 시스템(600)의 어느 곳엔가 접속되는 디스플레이(603) 상에서의 결과를 보여줄 수 있고, 카메라 캡쳐링 보다 이후 시간에 그레인 부가 결과를 가능한 디스플레이한다. 만약 책임있는 사람이 그 결과를 동의하면, 비디오 신호는 캡쳐된 화상(들) 및 마스터 씨드(들)(SM)(예를 들어 상이한 샷들에 대한 상이한 씨드들일 수 있음)을 기초로 구성될 수 있다. 이런 신호는 네트워크(620)에 전송되거나, 예를 들어 블루레이 디스크와 같은 메모리(621)에 저장될 수 있다.

이 본문에 개시된 알고리즘 구성요소들은 실제로 하드웨어(예를 들어, 애플리케이션 지정 IC의 일부) 또는 특별 디지털 신호 처리기상에서 또는 일반 프로세서 등에서 운용하는 소프트웨어로서 (전체적으로 또는 부분적으로) 구현될 수 있다.

컴퓨터 프로그램 제품하에서 열련의 로딩 단계들 후(중간 언어로의, 그리고 최종 처리기 언어로의 해석과 같은, 중간 변환 단계들을 포함할 수 있는) 범용 또는 특수 목적의 처리기가 처리기로 명령들을 얻고, 발명의 특성 기능들 중 임의의 것을 실행할 수 있게 하는 명령들의 수집의 임의의 물리적 실현을 이해해야 한다. 특히, 컴퓨터 프로그램 제품은 예를 들어 디스크 또는 테이프 같은 캐리어상 데이터, 메모리 내에 존재하는 데이터, 네트워크 접속(유선 또는 무선)을 통하여 이동 하는 데이터, 또는 페이퍼상 프로그램 코드로서 구현될 수 있다. 프로그램 코드와 달리, 프로그램에 요구된 특성 데이터는 컴퓨터 프로그램 제품으로서 또한 구현될 수 있다.

상기 방법을 작동하기 위하여 요구된 몇몇 단계들은 데이터 입력 및 출력 단계들과 같은 컴퓨터 프로그램 제품에 기술되는 대신 처리기의 기능에 미리 존재할 수 있다.

상기된 실시예들이 본 발명을 제한하기보다 예시하기 위한 것이 주의되어야 한다. 청구항들에서 결합된 본 발명의 엘리먼트들의 결합들과 다른 엘리먼트의 결합들이 가능하다. 엘리먼트의 임의의 결합은 단일 전용 엘리먼트에서 구현될 수 있다.

청구항에서 괄호들 사이의 임의의 참조 부호는 청구항을 제한하기 위하여 의도되지 않는다. 단어 "포함하는"은 청구항에 기술되지 않은 엘리먼트들 또는 측면들의 존재를 배제하지 않는다. 엘리먼트에 선행하는 단어 단수 표현("a", "an")은 다수의 엘리먼트들의 존재를 배제하지 않는다.

Claims

전자 이미지 처리 방법에 있어서,

입력된 화상(PIC)의 수직으로 위치된 제 1 수평 라인(L1)에서 제 1 수평 화소 위치(h1)에 대응하는 제 1 랜덤 값(R1)을 결정하는 단계; 및

수직으로 위치된 제 2 수평 라인(L2)에서 제 2 수평 화소 위치(h2)에 대한 결과 값(R)을 유도하는 단계로서, 상기 결과 값은 상기 제 2 수평 라인에서 제 2 수평 화소 위치에 대응하는 상기 제 1 랜덤 값 및 제 2 랜덤 값(R2)에 종속되고, 수평으로 이웃하는 화소 위치들에 대한 랜덤 값들은 씨드로 초기화된 단일 랜덤 생성기의 연속적인 출력들에 의해 결정되는, 상기 결과 값(R) 유도 단계를 포함하고,

상기 제 1 랜덤 값은 상기 제 1 수평 라인에서 가장 첫째(firstmost) 수평 화소 위치(f1)에 대해 제 1 씨드(S1)로 초기화된 제 1 랜덤 생성기(n1)로 결정되고, 상기 제 2 랜덤 값은 상기 제 1 랜덤 생성기와 병렬로 운용하는 제 2 랜덤 생성기(n2)를 사용하여 결정되고, 상기 제 2 수평 라인의 가장 첫째 수평 화소 위치(f2)에 대해 제 2 씨드(S2)로 초기화되는, 전자 이미지 처리 방법.
제 1 항에 있어서,

상기 제 2 랜덤 생성기(n2)는 좌-우-상-하 지그 재그 스캔 경로(ZZ) 상에서 모든 수평 위치들에 연속적으로 적용되고 상기 제 1 씨드(S1)로 초기화되고 상기 제 1 수평 라인에서 상기 가장 첫째 수평 화소 위치(f1)로부터 시작한 후, 상기 제 2 수평 라인에서 상기 가장 첫째 수평 화소 위치(f2)에 대해 상기 제 1 랜덤 생성기(n1)를 사용함으로써 획득된 랜덤 값과 실질적으로 동일한 상기 제 2 씨드(S2)로 초기화되는, 전자 이미지 처리 방법.
제 1 항 또는 제 2 항에 있어서,

상기 결과 값(R) 유도 단계는 제 2 수평 라인에서 상기 제 2 수평 화소 위치에 대해 랜덤 합성 그레인 값을 생성한 것의 일부이고, 상기 랜덤 합성 그레인 값을 생성하는 것은 선명하지 않은 출력 화상(GRN)을 산출하기 위하여 상기 제 2 수평 라인에서 상기 제 2 수평 화소 위치에 입력된 이미지의 화소 값에 상기 합성 그레인 값을 부가하는 것을 더 포함하는, 전자 이미지 처리 방법.
제 3 항에 있어서,

상기 합성 그레인 값은 상기 제 1 수평 라인에서 상기 제 1 수평 화소 위치 및 상기 제 2 수평 라인에서 상기 제 2 수평 화소 위치에 입력된 이미지의 값에 종속되는, 전자 이미지 처리 방법.
제 3 항 또는 제 4 항에 있어서,

상기 합성 그레인 값은 상기 입력된 이미지의 해상도와 비교하여 감소된 해상도로 생성되고, 제 2 합성 그레인 값들은 입력된 이미지의 화소 값에 상기 합성 그레인 값을 부가하기 전에 보간에 의해 상기 입력된 이미지의 해상도로 생성되는, 전자 이미지 처리 방법.
전자 이미지 처리 장치(312)에 있어서,

a) 입력된 화상(PIC)의 수직으로 위치된 제 1 수평 라인(L1)에서 제 1 수평 화소 위치(h1)에 대응하는 제 1 랜덤 값(R1)을 결정하도록 배열된 제 1 랜덤 생성기(301);

b) 수직으로 위치된 제 2 수평 라인(L2)에서 제 2 수평 화소 위치(h2)에 대응하는 제 2 랜덤 값(R2)을 결정하도록 배열된 제 2 랜덤 생성기(303)로서, 상기 제 1 랜덤 생성기(301) 및 제 2 랜덤 생성기(303)는 각각 단일 랜덤 생성기의 연속적인 출력들에 의해 수평으로 이웃하는 화소 위치들에 대한 랜덤 값들을 결정하도록 배열되고 상기 전자 이미지 처리 장치(312)는 상기 제 1 수평 라인에서 가장 첫째 수평 화소 위치(f1)에 대한 제 1 씨드(S1)로 상기 제 1 랜덤 생성기(301)를 초기화하고 상기 제 2 수평 라인에서 가장 첫째 수평 화소 위치(f2)에 대해 제 2 씨드(S2)로 상기 제 2 랜덤 생성기(303)를 초기화하도록 배열된, 상기 제 2 랜덤 생성기(303);

c) 상기 수직으로 위치된 제 2 수평 라인(L2)에서 상기 제 2 수평 화소 위치(h2)에 대해 결과 값(R)을 유도하도록 배열된 유도 수단(310)을 포함하고, 상기 결과 값은 상기 제 1 랜덤 값 및 상기 제 2 랜덤 값에 종속되는, 상기 유도 수단; 및

d) 실질적으로 병렬로 상기 제 1 및 제 2 랜덤 값을 결정하기 위하여 상기 제 1 및 제 2 랜덤 생성기를 제어하도록 배열가능한 제어 수단(380)을 포함하는, 전자 이미지 처리 장치.
제 6 항에 있어서,

좌-우-상-하 지그 재그 스캔 경로(ZZ)상 모든 수평 위치들에 연속적으로 적용되고 제 1 씨드(S1)로 초기화되며 상기 제 1 수평 라인의 가장 첫째 수평 화소 위치(f1)에서 시작한 후 상기 제 2 수평 라인의 상기 가장 첫째 수평 화소 위치(f2)에 대해 상기 제 1 랜덤 생성기를 제공함으로써 획득된 랜덤 값과 실질적으로 동일한 상기 제 2 씨드(S2)를 결정하도록 배열 가능한 씨드 계산기(580)를 포함하는, 전자 이미지 처리 장치.
합성 그레인을 생성하기 위하여 사용할 수 있는 제 6 항 또는 제 7 항에 청구된 전자 이미지 처리 장치(312)를 포함하는 합성 그레인 부가(501)를 위한 전자 이미지 처리 장치에 있어서,

상기 제 2 수평 라인의 제 2 수평 화소 위치에서 상기 입력된 화상(PIC)의 화소 값에 상기 합성 그레인 값을 부가하도록 배열되고 불선명한 출력 화상(GRN)을 산출하도록 배열된 가산기(510)를 더 포함하는, 전자 이미지 처리 장치.
화상 압축 표준(COM)에 따라 압축된 이미지를 압축되지 않은 화상 표현(PIC)으로 압축 해제하도록 배열된 화상 압축해제 유니트(502)를 포함하는 화상 압축해 제 장치(500)에 있어서,

상기 화상 압축해제 유니트(502)는 제 6 항 또는 제 7 항에 청구된 전자 이미지 처리 장치(312)에 결합되거나 또는 제 8 항에 청구된 합성 그레인 부가(501)를 위한 전자 이미지 처리 장치에 결합되는, 화상 압축해제 장치.
제 6 항 또는 제 7 항에 있어서,

상기 유도 수단(310)은 이웃하는 화소들에 대응하여 결정된 랜덤 값들의 가중된 합으로서 상기 결과 값(R)을 유도하기 위한 FIR 필터(311, 313)를 포함하는, 전자 이미지 처리 장치.
제 6 항 또는 제 7 항에 있어서,

상기 유도 수단(310)은 이웃하는 화소에 대응하여 결정된 랜덤 값들의 함수로서 상기 결과 값(R)을 유도하기 위한 IIR 필터(411,413)를 포함하는, 전자 이미지 처리 장치.
제 6 항 또는 제 7 항에 있어서,

상기 유도 수단(310)은 이웃하는 화소들에 대응하여 결정된 랜덤 값들의 비선형 함수로서 상기 결과 값(R)을 유도하기 위한 비선형 함수 평가 수단을 포함하는, 전자 이미지 처리 장치.
제 6 항 또는 제 7 항에 청구된 전자 이미지 처리 장치(312) 또는 제 9 항에 청구된 화상 압축해제 장치(500)를 포함하는, 텔레비전 신호 수신 장치(560).
화상을 캡쳐하도록 배열된 카메라(601), 및 상기 화상을 처리하도록 배열된 제 8 항에 청구된 합성 그레인 부가(501)를 위한 전자 이미지 처리 장치를 포함하는, 텔레비전 신호 캡쳐 시스템(600).
처리기가 제 1 항에 따른 방법을 실행할 수 있도록 처리기 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 처리기 판독 가능한 코드는,

a) 제 1 수평 라인에서 가장 첫째 수평 화소 위치(f1)에 대해 제 1 씨드(S1)로 초기화된 제 1 랜덤 생성기 유니트를 가지고, 수직으로 위치된 제 1 수평 라인(L1)에서 제 1 수평 화소 위치(h1)에 대응하는 제 1 랜덤 값(R1)을 결정하기 위한 코드;

b) 제 2 수평 라인에서 가장 첫째 수평 화소 위치(f2)에 대해 제 2 씨드(S2)로 초기화된 제 2 랜덤 생성기 유니트를 가지고, 수직으로 위치된 제 2 수평 라인(L2)에서 제 2 수평 화소 위치(h2)에 대응하는 제 2 랜덤 값(R2)을 결정하기 위한 코드로서, 상기 제 1 랜덤 생성기 유니트 및 제 2 랜덤 생성기 유니트는 각각의 단일 랜덤 생성기의 연속적인 출력들에 의해 수평으로 이웃하는 화소 위치들에 대해 랜덤 값을 결정하도록 코딩되는, 상기 제 2 랜덤 값을 결정하기 위한 코드;

c) 수직으로 위치된 제 2 수평 라인에서 제 2 수평 화소 위치에 대한 결과 값(R)을 유도하기 위한 코드로서, 상기 결과 값은 상기 제 2 수평 라인에서 제 2 수평 화소 위치에 대응하는 상기 제 1 랜덤 값 및 제 2 랜덤 값(R2)에 종속되는, 상기 결과 값(R)을 유도하기 위한 코드; 및

d) 상기 제 1 랜덤 값과 병렬로 상기 제 2 랜덤 값을 결정하기 위한 제어 코드를 포함하는, 컴퓨터 프로그램 제품.
처리기가 제 2 항에 따른 방법을 실행할 수 있도록 처리기 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 처리기 판독 가능한 코드는,

a) 제 1 수평 라인에서 가장 첫째 수평 화소 위치(f1)에 대해 제 1 씨드(S1)로 초기화된 제 1 랜덤 생성기 유니트를 가지고, 수직으로 위치된 제 1 수평 라인(L1)에서 제 1 수평 화소 위치(h1)에 대응하는 제 1 랜덤 값(R1)을 결정하기 위한 코드;

b) 상기 제 2 수평 라인에서 가장 첫째 수평 화소 위치(f2)에 대해 제 2 씨드(S2)로 초기화된 제 2 랜덤 생성기 유니트를 가지고, 수직으로 위치된 코드 수평 라인(L2)에서 제 2 수평 화소 위치(h2)에 대응하는 제 2 랜덤 값(R2)을 결정하기 위한 코드로서, 상기 제 1 랜덤 생성기 유니트 및 제 2 랜덤 생성기 유니트는 각각의 단일 랜덤 생성기의 연속적인 출력들에 의해 수평으로 이웃하는 화소 위치들에 대해 랜덤 값을 결정하도록 코딩되는, 상기 제 2 랜덤 값(R2)을 결정하기 위한 코드;

c) 수직으로 위치된 제 2 수평 라인에서 제 2 수평 화소 위치에 대한 결과 값(R)을 유도하기 위한 코드로서, 상기 결과 값은 상기 제 1 랜덤 값 및 상기 제 2 랜덤 값(R2)에 종속되는, 상기 결과값 유도 코드;

d) 상기 제 1 랜덤 값과 병렬로 상기 제 2 랜덤 값을 결정하기 위한 제어 코드; 및

e) 제 1 씨드(S1)로 초기화되는 좌-우-상-하 지그 재그 스캔 경로(ZZ)상 모든 수평 위치들에 연속하여 적용되고, 상기 제 1 수평 라인에서 가장 첫째 수평 화소 위치(f1)로부터 시작한 후 상기 제 2 수평 라인에서 상기 가장 첫째 수평 화소 위치(f2)에 대해 제 1 랜덤 생성기(n1)를 적용함으로써 획득된 랜덤 값에 실질적으로 동일한 상기 제 2 씨드(S2)를 결정하기 위한 씨드 결정 코드를 포함하는, 컴퓨터 프로그램 제품.