KR100305190B1 - 필터링된화상에서블럭킹을최소화하기위한장치및방법 - Google Patents

Abstract

많은 필터중 하나로 상의 중첩된 각 블록의 개별적인 처리에 의해 상에 존재하는 방해물을 제거 또는 감소시킬 목적으로, 참화소보정값들이 계산되고, 화소의 인접한 블록들 사이의 부드럽게 전이하도록 상의 각 화소에 더해진다. 이러하 새로운 보정법 “기움(stitching)”은 상의 필터링된 화소의 각 블록에 대하여 공간 또는 주파수 영역에서 적용될 수 있고, 다음과 같은 단계를 포함한다.

(i) 인접한 블록들에 의해 주어진 영역에서 관측점이 존재하고, 저장영역내에서 저장된 화소들과 필터링하는 동안 버려진 화소들 사이에 놓이도록 주어진 블록 내에서 관측점을 선택하는 단계.

(ii) 필연적으로, 이웃하는 화소로부터 화소 관측 또는 어림셈(approximation)에 의해 각각의 관측점에서 관측점값을 결정하는 단계.

(iii) 관측점들이 화소들 사이에 놓여졌을 때 0이 아닌 관측점보정값을 계산 하는 단계.

(iv) 관측점보정값들 사이에서 삽입하는 것에 의해 저장영역에 놓인 화소들에 대하여 참화소보정값을 계산하는 단계.

(v) 참화소보정값에 따라서 저장영역 내에서 따로따로 화소값을 변형하는 단계.

Description

필터링된 화상에서 블럭킹을 최소화하기 위한 장치 및 방법

장면은 공간 및/또는 시간에서 묘사되는 눈에 보이는 사실로써 지각될 수 있다. 일반적으로 장면은 인간의 시각체계가 밝기, 콘트라스트, 색 및 농도와 같은 광의존 자극물에서의 변화로써 지각하는 무엇이다.

장면은 전자영상장치에 의해 포착되고 다차원 디짓화된 화소의 화상으로 나타낼 수 있다. 화상은 다양한 방법, 예를 들면, 사진, 컴퓨터의 모니터 등으로 표현될 수 있다. 화상은 장면 특성을 나타내는 다양한 부분으로 구성된다. 예를 들면, 장면의 칼라사진은 일반적으로 빨강, 초록, 파랑 및 동일 장면의 휘도상들의 조합이다.

화상은 화소를 Mx N블록(Mx N은 소정의 정수)으로 분할하는 것에 의해 전자(공학)적으로 처리된다. 이러한 처리는 상업적으로 유용한 칩의 처리한계로 블록크기의 적합성을 제공하기 위해 수행된다. 예를 들면, 8× 8블록은 JPEG(Joint Photographic Experts Group) 및 MPEG(Motion Picture Experts Group)에 의한 국제압축규격을 따른다.

블록처리는 본 발명의 발명가와 다른 발명가들에 의한 미국특허 출원번호 08/440,639(1995.5.15)에 개재된 것과 같은 알려진 많은 처리루틴을 이용한다. 여기서, 화상의 피라미드상 묘사는 Mx N중첩된 블록으로 분할되고 변형위너필터(Wiener filter)를 따른다.

블록처리에 근거한 디지털상 처리의 상기한 방법과 다른 방법들은 재생된 상의 블록경계 부분에서의 불연속 때문에 때때로 시각블럭킹을 나타내기도 한다. 상기 불연속의 하나의 형태는, 각 블록의 독립된 처리(예를 들면, 필터링)가 관찰자에게 시각적인 불쾌함을 일으키는 화상을 야기하는 것이다. 이렇게 관찰된 상의 전체적인 질은 매우 떨어진다.

상기 블럭킹 문제는 수평 또는 수직방향에서 인접한 화소블록을 중첩하는 것에 의해 때때로 적당하게 처리될 수 있다. 예를 들면, 제2도는 Mx N블록(200,210)(M=N=8)으로 분할된 144개의 화소를 포함하는 화상부분을 나타낸다. 블록(210)은 수평방향의 4개의 화소에 의해 블록(200)을 중첩한다. 즉, 수평중첩계수 k_h=4이다. 물론 블록의 크기와 블록 사이의 중첩량은 디자인 표준에 적합하도록 선택될 수 있다. 이 경우 중첩된 각 블록의 필터링은 교차접촉된 영역으로 나타내는 것과 같이 각 블록에 대하여 필터링된 화소의 4× 4구역을 형성한다. 각 8× 8블록의 잔존 하는 2개의 화소는 폐기된다. 또한 인접한 화소블록의 중첩에 관한 처리는 미국특허 출원번호 08/427,457호(1995.4.24., Wober와 Reisch에 의한)에 개시되어 있다(특별하게 제7도를 참조).

각 블록이 인접한 블록으로부터 구분되도록 필터링되는 것과 같이, 각 블록이 상이한 방법으로 처리될 때, 독립된 처리로부터 명백한 불연속은 때때로 임의의 중첩량에 의해 극복될 수 없다. 예를 들면, 상기한 변형위너필터링 방법에서, 각각의 피라미드 단계에서 중첩된 각각의 중첩된 블록은 인접한 블록의 경계를 따라 수용할 수 없는 블럭킹의 출현을 일으키는 다수의 예정된 변형위너필터 중의 하나로 독립적으로 필터링된다.

미국특허 5,454,051(1995.9.26., Smith)호는 변형된 자료의 주파수계수에 기초하여 블록경계에서 가변저역필터(blur)의 작동을 인가함으로써, 블록변형압축 알고리즘에 의해 블럭킹을 감소시키는 방법을 제시하고 있다. 그러나 스미스의 방법에는 몇가지 제약이 따른다. 첫번째, 그의 방법은 중첩되지 않은 블록에 대해서만 적용할 수가 있다. 두번째, 그의 방법은 블록의 각 측면을 개별적으로 처리한다. 세번째, 그의 보정은 주파수 영역 내에서만 결정된다. 그리고 네번째, 그의 방법은 단지 경계화소의 오염에 대해 제한된 두개의 점필터를 사용한다.

본 발명은 디지털 화상처리에 관한 향상된 방법 및 장치에 관한 것으로, 특히 블록처리된 화상에서 블럭킹(blocking artifact)을 제거 또는 적어도 최소화하기 위한 새로운 장치 및 방법에 관한 것이다.

제1(a)도는 변형 위너 노이즈 필터링을 사용한 본 발명의 바람직한 제1실시예를 나타내는 블록도.

제1(b)도는 변형 위너 노이즈 필터링을 사용한 본 발명의 바람직한 제2실시예를 나타내는 블록도.

제2도는 화상자료의 두개의 중첩된 8× 8블록들을 나타내는 도표.

제3도는 화상의 16개의 점 일차원 조각을 나타내는 그래프.

제4(a)도는 4개의 점이 중첩된 제3도의 16개의 점 일차원 조각을 나타내는 그래프.

제4(b)도는 8개의 점상 조각에서 나타난 관측점보정값 δ와 참화소보정값 σ를 나타내는 그래프.

제5도는 16×16화소의 화상조각에서 8x 8화소블록(11)의 저장 및 제거된 영역을 나타내는 도표.

제6도는 제5도의 화상조각에서 블록(11)을 중첩하는 모든 8× 8화소블록을 나타내는 도표.

제7(a)도, 제7(b)도 및 제7(c)도는 제6도의 블록들을 수평중첩하는 것을 나타내는 도면.

제8(a)도, 제8(b)도 및 제8(c)도는 제6도의 블록들을 수직중첩하는 것을 나타내는 도면.

제9도는 제6도의 블록들을 수직 및 수평중첩하는 것을 나타내는 도면.

제10도는 본 발명을 따르는 방법에 의해 선택된 위치를 나타내는 제5도의 확대도.

제11도는 블록(11)의 8× 8점상 조각에서 관측점보정값 δ 및 참화소보정값 σ을 나타내는 그래프.

제12(a)도는 제1(a)도 및 제1(b)도의 본 발명의 스티칭방법이 프로그램된 장치에 사용되는 일반적인 목적의 컴퓨터를 나타내는 도면.

제12(b)도는 스티칭방법을 사용하는 장치에서 제12(a)도의 장치의 선택된 부분의 블록도.

많은 필터 중 하나로 화상의 중첩된 각 블록의 개별적인 처리에 의해 화상에 존재하는 블럭킹을 제거 또는 감소시킬 목적으로 참화소보정값들이 계산되고, 화소의 인접한 블록들 사이의 부드럽게 전이하도록 화상의 각 화소에 더해진다. 이러한 새로운 보정법 “스티칭(stitching)”은 화상의 필터링된 화소의 각 블록에 대하여 공간 또는 주파수 영역에서 적용될 수 있고, 다음과 같은 단계를 포함한다.

(i) 인접한 블록들에 의해 주어진 영역에서 관측점이 존재하고, 저장영역내에서 저장된 화소들과 필터링하는 동안 버려진 화소들 사이에 놓이도록 주어진 블록 내에서 잔측점을 선택하는 단계.

(ii) 필연적으로 이웃하는 화소로부터 화소 관측 또는 근사(approximation)에 의해 각각의 관측점에서 관측점값을 결정하는 단계.

(iii) 관측점들이 화소들 사이에 놓여졌을 때 0이 아닌 관측점보정값을 계산하는 단계.

(iv) 관측점보정값들 사이에서 삽입하는 것에 의해 저장영역에 놓인 화소들에 대하여 참화소보정값을 계산하는 단계.

(v) 참화소보정값에 따라서 저장영역 내에서 따로따로 화소값을 변형하는 단계.

이하에 설명하는 본 발명을 이용하는 디지탈상 처리 기술은 통상의 기술자가 사용할 수 있다. 그들의 발명을 수행하기 위한 발명가들에 의해 고려되는 4개의 적합한 방식이 존재한다. 그러나 청구항에 기재한 범위 내에서 그러한 기술에 대하여 다양한 변형이 있을 수 있다.

상기한 일차원 및 이차원의 바람직한 실시예에서, 본 발명을 따르는 스티칭 방법은 제1도에 나타낸 것과 같은 미국특허 출원번호 08/440,639호의 변형위너필터링을 조건으로 하여 화소의 블록에 적용된다. 본 발명을 따르는 스티칭방법은 화상의 각 블록의 독립적인 처리로부터 발생하는 블럭킹을 제거하거나 또는 적어도 감소시킨다. 아래의 예는 블록의 독립적인 처리에 의해 블럭킹을 나타나게 하거나 증가시키는 임의의 방법 또는 장치에서 임의의 차원에 관한 기술을 적용하여 일 또는 이차원에서 손쉽게 적용된다.

제1(a)도에서, 제3도에 나타내는 것과 같이, 16개의 점조각과 같은 일차원상은 단계 100에서 포착되어 디짓화된다. 이때 화상은 단계 102에서 저장되고 화소의 Mx N블록(M=8, N=1)으로 나누어 진다. 인접한 화소블록들은 단계 104에서 예정된 중첩인자 k_h=4를 따라서 수평으로 중첩된다. 중첩의 양은 요구되는 시각효과에 맞게 결정된다. 관심있는 화상블록들은 일차원이기 때문에 수직중첩인자 k_v=0이다. 블록(0)은 점 0∼7로, 블록(1)은 점 4∼11로, 블록(2)은 점 8∼15로 구성된다. 블록(0)과 블록(1) 사이의 중첩된 영역은 점 4, 5, 6 및 7로 구성되고, 블록(1)과 블록(2) 사이의 중첩된 영역은 점 8, 9, 10 및 11로 구성된다.

화소의 MxN블록에 상응하는 불연속 코사인변환(Discrete Cosine Transform, DCT)인자의 M× N블록들은 단계 106에서 화소의 중첩된 블록상에서 DCT를 수행하는 것에 의해 생성된다.

DCT인자의 각 블록의 변형위너필터링은 상응하는 필터링된 블록들을 생성하기 위해 단계 108에서 수행된다. 또한 상세한 변형위너필터링방법은 본 발명가에 의해 출원된 미국출원번호 08/440,639호에 설명되어 있다. 물론, 변형위너필터링은 단지 하나의 바람직한 실시예로써 나타내었다. 이것은 본 발명을 따르는 스티칭방법에서는 필요하지 않다. 공간 또는 주파수영역에 존재하는 임의의 독립적으로 필터링된 블록들은 본 발명의 스티칭루틴(routine)(125)에 적용될 수 있다.

계속해서 제1(a)도에서, 변형위너필터링방법은 필터링된 DCT인자의 블록들의 역불연속 코사인변환(Inverse Discrete Cosine Transform, IDCT)을 행하는 것에 의해 IDCT인자를 블록 110에서 생성하는 것이고, 반전된 블록의 선택된 부분, 즉, 저장된 영역을 필터링된 화소들에 상응해서 저장하는 것이다. 정리 축소된 IDCT는 중첩 과정에 의해 나타나는 중복된 경계를 제거하고, 상응하여 필터링된 화상자료행렬을 이끌어내는데 필요한 연산의 재원을 감소시킨다. 정리축소된 IDCT의 기능 및 적용에 관한 상기 언급은 미국특허출원번호 08/441,383호(1995.5.15., Haiiahmad와 Wober)에서 나타내고 있는 것과 관련이 있다. 저장된 IDCT인자들은 필터링된 최초의 화상을 재생하기 위해 디스플레이 또는 다른 출력장치로 보내진다. 그러나, 앞서 말했듯이 재생된 화상은 조각으로 나뉘어진 화상의 많은 블록들에 대한 다양한 필터들의 변형위너필터링방법에서 독립된 처리로 인하여 블럭킹을 포함할 수 있다.

이하에 상세하게 설명하듯이, 상기한 블럭킹에 관한 문제는 화상자료의 인접한 중첩된 블록들 사이의 전이를 부드럽게 하도록 본 발명의 스티칭방법에 따라서 상에서 각 화소에 대한 참화소보정값을 계산하고 더하는 것에 의해 극복될 수 있다.

스티칭은 상에서 필터링된 화상자료의 각 블록에 대하여 적용되고, 일반적으로 다음과 같은 단계를 포함한다.

(i) 인접한 블록들에 의해 주어진 영역에서 관측점이 존재하고, 저장영역내에서 저장된 화소들과 필터링하는 동안 버려진 화소들 사이에 놓이도록 주어진 블록 내에서 관측점을 선택하는 단계.

(ii) 필연으로, 이웃하는 화소로부터 화소 관측 또는 근사(approximation)에 의해 각각의 관측점에서 관측점값을 결정하는 단계.

(iii) 관측점들이 화소들 사이에 놓여졌을 때 0이 아닌 관측점보정값을 계산하는 단계.

(iv) 관측점보정값들 사이에서 삽입하는 것에 의해 저장영역에 놓인 화소들에 대하여 참화소보정값을 계산하는 단계.

(v) 참화소보정값에 따라서 저장영역 내에서 따로따로 화소값을 변형하는 단계.

스티칭루틴(125)은 요구되는 중첩량에 따라 관측점이 선택되는 단계 112에서 시작한다. 본 예에서 수평중첩인자 k_h=4는 제3도, 제4(a)도 및 제4(b)도에 나타내듯이 8개의 점블록에 사용된다. 상기 블록들은 각 블록에 대한 중앙의 4개의 화소들을 저장하고 2개의 화소광역주변을 폐기하여 이미 필터링된 것이다. 이상적인 관측점은 저장 및 폐기된 화소들 사이에 있을 수 있다. 화소 6, 7, 8 및 9는 블록(1)에서 저장되고 화소 4, 5, 10 및 11은 폐기되기 때문에, 제3도에 나타내듯이 이상적인 관측점 m₀=5.5 및 m₁=9.5이 선택된다.

실제로, 관측점들은 관측점보정값들이 결정되는 블록 내에서 기선택된 점으로서 규정된다. 아주 드물게는 관측점은 화소 상에서 존재하도록 선택될 수 있고, 그 결과 관측점값은 직접 측정될 수 있다. 그러나 보다 일반적으로 관측점은 화소 사이에 존재하도록 선택됨으로써 이웃하는 화소들로부터 알려진 근사방법(예를 들면, 이웃하는 화소값들의 쌍일차보간(bilinear interpolation)과 같은)을 이용하여 관측점값들이 근사에 의해 결정된다.

단계 114-각 관측점을 중첩하는 각 블록에 대한 하나의 연산에서 2개의 관측점 m₀및 m₁에서 2개의 연산이 수행된다. 블록(0)은 점 4, 5, 6, 7에서 블록(1)을 중첩하고, 블록(2)은 점 8, 9, 10, 11에서 블록(1)을 중첩한다. 블록(0)에서 관측점 m₀에 상응하는 것은 m_0a이고, 블록(1)에서는 m_ob이다. 블록(1)에서 관측점 m₁에 상응하는 것은 m_1a이고, 블록(2)에서는 m_1b이다. 스티칭방법에 대한 관측점은 인접한 블록들 사이에서 상접하도록 선택되어야 한다. 본 실시예의 경우, 관측점 m₀는 2개의 블록(0, 1)에 대하여 5.5에서 위치하고 관측점 m₁은 2개의 블록(1, 2)에 대하여 9.5에서 위치한다. 만약 관측점이 화소 상에서 선택되면 관측점값의 각 연산은 일반적으로 직접 관측에 의해 수행될 수 있고, 또는 관측점이 화소들 사이에 존재하도록 선택된다면 보간 또는 다른 알려진 측정방법에 의해 수행될 수 있다 이 경우 관측점 m₀는 5.5에서 화소들 사이에서 선택되기 때문에, 선 L₀를 따라 블록(1)에 상응하는 관측점값 m_0a는 블록(0)내의 화소(5, 6)와 같은 이웃하는 화소들로부터의 보간에 의해 결정될 수 있다. 선 L₀를 따라 블록(1)에 상응하는 관측점값 m_0b는 블록(1)내의 화소(5, 6)와 같은 이웃하는 화소들로부터의 보간에 의해 결정될 수 있다. 선 L₁을 따르는 유사한 형태로, 블록(1)에 상응하여 관측점값 m_1a가 결정될 수 있고, 블록(2)에 상응하여 관측점값 m_1b가 결정될 수 있다. 화상의 각 블록에 대하여 유사한 연산이 적용된다.

관측점값의 축적은 상기한 일차원의 예에 관한 |m_a|와 |m_b|의 배열에 상응하여 상을 통하여 배열될 수 있다. 평균값 |M|는 아래의 수학식 1에 의해 정의된다. 여기서 |m_a|와 |m_b|는 모든 관측점값의 배열이고, |M|는 관측점값에 상응하는 모든 평균값의 배열이다.

[수학식 1]

관측점보정값 δ(m_a)와 δ(m_b)는 각각의 관측점 m₀와 m₁에 대하여 단계 116에서 계산되고, |δ(m_0a)| = |M₀| - |m_oa| 및 |δ(m_0b)| = |M₀| - |m_0b|인 배열에서 저장된다. 블록(1) 처리 시, 제4(a)도 및 제4(b)에 나타내듯이, δ(m_0a)는 m₀에서 블록(0)과 관련된 관측점보정값을 나타내고, δ(m_0b)는 m₀에서 블록(1)과 관련된 관측점보정값을 나타낸다. 이와 유사하게, δ(m_1a)는 m₁에서 블록(1)과 관련된 관측점보정값을 나타내고, δ(m_1b)는 m₁에서 블록(2)과 관련된 관측점보정값을 나타낸다. 각 블록으로 부터 대칭되는 보정값을 만들 목적으로, 특별한 관측점과 관계있는 δ(m_1a)와 δ(m_1b)는 크기가 같고 부호는 반대이다. 블록(0)에 대해 묘사한 것과 같은 상기 방법에서, 관측점 m₀=5.5 및 m₁=9.5에서 블록(1)과 관련된 δ(m_0b)와 δ(m_1a)를 따로따로 제4(b)도에 나타내었다.

같은 선을 따라 인접한 블록들의 두 개의 관측점값(예를 들면, 제4(a)도에 나타내듯이 선 L1을 따르는 m_1a와 m_1b)이 같거나 매우 유사한 값이라면, 블록들 사이에서 불연속은 없고, 상응하는 관측점보정값이 0 또는 0에 근접한 값이 될 수 있다. 논리적으로, 두 관측점값의 공통점이 존재하지 않는다면, 대체적으로 0보다 큰 관측점보정값 δ(m_a)와 δ(m_b)의 하나 또는 두개의 절대값에서 두개의 인접한 블록들(블록(0)과 블록(1)) 사이에는 불연속이 존재한다.

관측점보정값 δ(m_0a), δ(m_0b), δ(m_1a) 및 δ(m_1b)는 처리하는 동안 결정되고, 창화소보정값인 보정값의 두번째 세트는 저장된 영역에서 각 화소위치, 즉, 화소위치 6, 7, 8 및 9에 대한 관측점보정값의 보간으로부터 결정될 수 있다. 참화소보정값은 δ(i)로 나타내고, 단계 118에서 계산된다. i는 6에서 9사이의 정수. 바람직한 방법에서, 참화소보정값 δ(i)는 저장된 영역에서 각 화소에 대하여 계산되고(이 경우 i=6, 7, 8 및 9), 블록내의 다른 화소들은 폐기된다. 그러나, 블록 내의 모든 화소에서 참화소보정값은 필요시에 계산된다. 제4(b)도에서 블록(1)의 저장영역 내에 위치한 화소들에 대한 참화소보정값 δ(i)는 주변의 관측점보정값 δ(m_0b)와 δ(m_1a)로부터의 보간에 의해 판단된다. 임의의 알려진 보간법이 적용될 수 있다. 참화소보정값 δ(i)는 중요한 각 화소에 대하여 결정되고, 단계 120에서 참화소보정값 δ(i)는 단계 110에서 정해져 저장된 각 IDCT인자들에 더해진다. 다시 말해, 참화소보정값 δ(i)(i = 6∼9)는 화상 내의 인접한 화소들 사이에서 원할한 전이를 제공하는 조정된 화소값을 제공하기 위해 단계 120에서 따로따로 화소위치 6, 7, 8 및 9에 더해져 화상의 본래의 모습을 손상시키지 않으면서 화상블럭킹을 이탈시킨다. 이러한 처리가 화상의 모든 블록마다 수행될 때, 단계 120으로부터의 결과 출력이 블럭킹이 없는 필터링된 최종 화소배열이다.

상기 묘사한 스티칭법의 단계는 주파수 영역내의 보정값 처리에 동일하게 적용할 수 있다. 제1(b)도는 스티칭루틴이 DCT영역에서 제공되고, IDCT단계 124가 공간영역으로 되돌아가는 결과로 변환되는 것을 제외하면 제1(a)도와 동일하다.

스티칭법의 상기한 일차원 적용은 다차원에서 블럭킹을 제거하는 것으로 쉽게 확장될 수 있다. 바람직한 스티칭법의 아래 예는 제5도에 나타내는 것과 같은 16x 16화소상 조각에 적용될 수 있다. 일차원 화상조각(제4도에 나타내는 것과 같은 블록(1)과 상기 예에서 묘사한 것과 같은)은 제5도에 나타내는 이차원 화상조각 블록(11)으로 대치된다. 일차원 예에서 화소의 저장영역 {6, 7, 8, 9}은 이차원 예에서 {6, 7, 8, 9}의 정수 화소값에서 x와 y가 구해진 저장영역으로 대치된다.

블록(11)은 단계 108의 필터링처리 동안에 화소의 인접한 8× 8블록에 의해각 방향에서 중첩될 수 있다(제1도). 블록(11)의 처리에서 필요로 하는 모든 블록의 파손을 제6도에 나타내었다. 각각의 블록(00, 10, 20, 01, 02, 12 및 22)은 블록(11)을 중첩할 것이다. 이러한 실시예에서, 수평중첩과 수직중첩은 수평중첩인자 k_h가 수직중첩인자 k_v와 같도록(k_h,=k_v=4) 동일해진다. 블록(00)의 중첩은 화소 x={4, 5, 6, 7}와 y={4, 5, 6, 7}에서 일어난다. 블록(10)의 중첩은 화소 x={4, 5, 6, 7, 8, 9, 10}와 y={4, 5, 6, 7}에서 일어난다. 블록(20)의 중첩은 화소 x={8, 9, 10, 11}와 y={4, 5, 6, 7}에서 일어난다. 블록(01)의 중첩은 화소 x={4, 5, 6, 7}와 y={4, 5, 6, 7, 8, 9, 10}에서 일어난다. 블록(21)의 중첩은 화소 x={8, 9, 10, 11}와 y={4, 5, 6, 7, 8, 9, 10, 11}에서 일어난다. 블록(02)의 중첩은 화소 x={4, 5, 6, 7}와 y={8, 9, 10, 11}에서 일어난다. 블록(12)의 중첩은 화소 x={4, 5, 6, 7, 8, 9, 10, 11}와 y={8, 9, 10, 11}에서 일어난다. 블록(22)의 중첩은 화소 x={8, 9, 10, 11}와 y={8, 9, 10, 11}에서 일어난다.

제7(a)도∼제7(c)도는 본 실시예에서 필요로 하는 수평중첩을, 제8(a)도∼제8(c)도는 수직중첩을 나타낸다. 제7(a)도는 블록(00), (10) 및 (20)의 수평중첩을 나타내고, 제7(b)도는 블록(01), (11) 및 (21)의 수평중첩을, 제7(c)도는 블록(02), (12) 및 (22)의 수평중첩을 나타내며, 제8(a)도는 블록(00), (10) 및 (20)의 수직중첩을, 제8(b)도는 블록(10), (11) 및 (12)의 수직중첩을, 제8(c)도는 블록(20), (21) 및 (22)의 수직중첩을 나타낸다.

블록(11)과 연관된 완전한 중첩계획은 제9도에서 나타낸다. 저장영역에 위치한 화소들은 Xs에 의해 지시된다. 블록(11)에 대한 처리가 종료된 후, 저장영역에서 화소들은 블럭킹을 제거하기 위해 변형(보정)된다. 이러한 화소들의 변형은 이하에 설명될 것이다.

다시 제1(a)도로 돌아가, 스티칭법(125)은 관측점들이 요구되는 중첩량에 따라 선택되는 단계(112)에서 시작한다. 이차원의 실시예에서, 수평 및 수직중첩은 동일해져 k_h=k_v=4가 된다. 블록(11)에서 64개의 점 중, x={6, 7, 8, 9}, y={6, 7, 8, 9}에 위치한 16개의 점들은 저장된다. 화상 자료점들(저장영역에 포함되지 않는 블록 (11)내의 점들)의 넓은 둘레는 폐기된다. 일차원의 예에서와 같이, 관측점들은 관측점값에 대한 보정이 저장영역 내에서 각 화소에 상응하는 참화소보정값을 산정하는데 이용될 수 있도록 선택된다. 이 경우(제10도), 관측점 m₁은 {L₀, L₁}={5.5, 5.5}에서 선택되고, 관측점 m₂는 {L₁, L₂}={9.5, 5.5}에서 선택되고, 관측점 m₃는 {L₀, L₃}={5.5, 9.5}에서 선택되고, 관측점 m₄는 {L₁, L₃}={9.5, 5.5}에서 선택된다.

각각의 관측점 m₁, m₂, m₃및 m₄에서, 4개의 관측점값들이 결정된다-하나는 통상의 관측점을 포함하는 중첩된 각 블록에 상응. 이것은 제9도로부터 결정될 수 있는 것처럼 4개의 분리화소블록이 각 관측점을 중첩하기 때문이다. 관측점 m₁은 블록(00), (10), (01) 및 (11)의 중첩영역 내에서 거짓이고, 관측점 m₂는 블록(10), (20), (11) 및 (21)의 중첩영역 내에서 거짓이고, 관측점 m₃는 블록(01), (11), (02) 및 (12)의 중첩영역 내에서 거짓이고, 관측점 m₄는 블록(11), (21), (12) 및 (22)의 중첩영역 내에서 거짓이다.

관측점 m₁에서, 4개의 관측점값 m_1a, m_1b, m_1c및 m_1d는 중첩블록(00), (10), (01) 및 (11)과 m₁과의 각각의 교차로부터 결정되고, 그것에 의해 m₁에서의 의미값은 M₁으로 나타낼 수 있다. 이것을 수학식 2에 나타낸다.

[수학식 2]

관측점 m₂에 대해서도 유사하게, 의미값 M₂=(m_2a+m_2b+m_2c+m_2d)/4, 의미값 M₃=(m_3a+m_3b+m_3c+m_3d)/4, 의미값 M₄=(m_4a+m_4b+m_4c+m_4d)/4이다. 4개의 관측점값은 각각이 특별한 관측점에 영향을 주는 4개의 중첩 8× 8화소블록의 하나에 관한 것이다. 그리하여, 예를 들면, 의미값 M₁은 관측점 m₁={L₀, L₁}에서 블록(00), (10), (01) 및 (11)의 효과를 고려한다(제9도 및 제10도). 관측점값은 상을 통한 관측점에서 모든 인접한 중첩블록에 대하여 결정된다.

화상 내에서 모든 블록들로부터 관측점값의 축적은 예를 들면, 모든 관측점m₁의 의미값 배열이 수학식 3에 나타내는 것과 같이 배열 |m_1a| |m_1b| |m_1c| 및 |m_1d|와 상응하여 정렬될 수 있다.

[수학식 3]

상기한 식에서 |m_1a| |m_1b| |m_1c| 및 |m_1d|는 m₁에 관한 모든 관측점값의 배열을, |M₁|은 모든 의미값의 배열을 나타낸다. 관측점보정값 δ_a, δ_b, δ_c및 δ_d는 각 관측점에서 각각의 상응하는 관측점값 m_a, m_b, m_c및 m_d에 대하여 따로 따로 단계 116에서 계산된다.

m₁={L₀, L₁}에서 4개의 관측점보정값은 아래의 수학식 4에 의해 결정된다.

[수학식 4]

[수학식 5]

[수학식 6]

[수학식 7]

m₂={L₀, L₂}, m₃={L₀, L₃} 및 m₄={L₀, L₄}에서 관측점보정값은 유사하게 계산된다. 물론, 상기 수학식 4의 관측점보정값은 본 발명의 기술들에 의해 행렬기호법으로 쉽게 쓰여질 수 있다.

여러가지 관측점보정값이 계산된 후에, 블록(11)의 저장영역에서 화소에 상응하는 참화소보정값 σ (i,j)는 알려진 수학식 4의 관측점보정값의 보간에 의해 단계 118에서 결정될 수 있다. 이것은 δ_a, δ_b, δ_c및 δ_d가 관측점 m₁, m₂, m₃및 m₄에서 따로따로 이전에 묘사한 것처럼 평가되는 블록(11)에 대한 제11도에 나타나 있고, 참화소보정값 σ (i,j)는 저장영역에서 각각의 화소 위치에 대하여 평가된다.

여기서, i={6, 7, 8, 9}, j={6, 7, 8, 9}. 블록(11)의 저장영역(Xs로 나타내는)에서 각 화소에 대한 참화소보정값은 이전에 일차원에서 묘사한 것과 같은 방법으로 평가된다. 이러한 참화소보정값 σ (i,j)은 처리된 상이 블럭킹없이 관찰되도록 또는 디스플레이되도록 따로따로, 저장영역에서 화소의 IDCT인자에 단계 120에서 더해진다.

상기한 것과 같은, 필터링된 화상에서 블럭킹을 제거하거나 적어도 최소화시키는 본 발명을 따르는 스티칭방법은 공간 또는 주파수영역에서 수행될 수 있다. 특별하게, 처리를 위한 입출력이 공간 또는 주파수영역에서 존재할 수 있다. 예를 들면, 공간영역 입력은 공간 또는 주파수영역의 출력이 될 수 있고, 주파수영역 입력은 또한 공간 또는 주파수영역의 출력이 될 수 있다.

블록의 크기, 인접한 블록들 사이의 중첩량 및 화소의 지수화 방식은 필요에 따라 모두 적합하게 변할 수 있다. 예를 들면, 상기 이차원의 예에서 관측점의 선택된 4개의 위치는 m₁={1.5, 1.5}, m₂={5.5, 1.5}, m₃={1.5, 5.5} 및 m₄={5.5, 5.5}이고, 주어진 x 및 y가 각각의 블록에 대하여 0∼7의 정수값에서 평가되는 화상 내에서 임의의 8× 8블록으로 인가하도록 광범위하게 변형될 수 있다.

상기한 스티칭법을 이행하기 위한 하나의 실행가능한 장치는 제12(a)도에 나타내는 것과 같은 일반적인 컴퓨터(310)이다. 상기 컴퓨터(310)의 선택된 부분, 컴퓨터 내로 스티칭법을 프로그램하기 위해 필요한 것들-관측점값(300)을 결정하기 위한 수단, 의미값(302)을 결정하기 위한 수단, 관측점보정값(304)을 결정하기 위한 수단, 참화소보정값(306)을 결정하기 위한 수단, 그리고 참화소값(308)을 조정하기 위한 수단-을 제12(b)도에 나타내고 있다. 관측점의 결정은 오퍼레이터(operator) 입력에 의해 손으로 가능하고, 또는 특별한 사용을 위한 소프트웨어에 따라 자동적으로 가능하다. 제12(b)도에 나타내는 각 구성요소들은 컴퓨터의 중앙처리장치 내에 존재하게 된다.

본 발명에 의하면 디지탈상의 각 블록의 독립적인 처리로부터 발생하는 블럭킹을 제거하거나 또는 적어도 감소시킬 수 있다. 즉, 블록의 독립적인 처리에 의해 블럭킹을 나타나게 하거나 증가시키는 임의의 방법 또는 장치에서 임의의 차원에 관한 기술을 적용하여 일 또는 이차원에서 손쉽게 블럭킹을 최소화 할 수 있다.

Claims (11)

1. 서로 다른 소정 수의 필터에 의해 각각 필터링되는 복수의 중첩되는 인접 화소의 블록으로 표현되는 화상에 나타나는 블럭킹을 최소화하기 위한 방법으로서, 인접한 블록들이 적어도 하나의 관측점을 공동으로 보유하며, 상기 관측점은 상기 화소 사이 또는 상기 화소 상에 위치하도록 상기 관측점을 선택하는 단계와, 상기 관측점값을 측정하고, 주변의 화소들로부터 상기 관측점값을 추정함으로써 상기 각 블록 내의 둘 또는 그 이상의 상기 관측점에서 관측점값을 결정하는 단계와, 상기 주변화소들로부터 보간에 의해 상기 인접한 각 블록에 대한 상기 관측점에서 관측점보정값을 결정하는 단계와, 상기 관측점보정값으로부터 보간에 의해 상기 각 블록의 기선택된 화소에 대하여 참화소보정값을 결정하는 단계와, 그리고 상기 참화소보정값에 의해 상기 블록의 화소를 조정함으로써 블럭킹을 최소화하는 단계로 이루어지며, 상기 단계들은 전적으로 공간적 영역 또는 주파수 영역에서 행해지는 것을 특징으로 하는 방법.
2. 제1항에 있어서, 상기 블록들은 4개의 화소에 의해 중첩된 8× 8화소를 포함하는 것을 특징으로 하는 화상에 나타나는 블럭킹을 최소화하기 위한 방법.
3. 제1항에 있어서, 상기 기선택된 화소들은 소정의 저장영역을 포함하는 것을 특징으로 하는 화상에 나타나는 블럭킹을 최소화하기 위한 방법.
4. 제1항에 있어서, 상기 기선택된 화소들은 상기 각 블록의 모든 화소를 포함하는 것을 특징으로 하는 화상에 나타나는 블럭킹을 최소화하기 위한 방법.
5. 서로 다른 소정 수의 필터에 의해 각각 필터링되는 복수의 중첩되는 인접 화소의 블록으로 표현되는 화상에 나타나는 블럭킹을 최소화하기 위한 방법으로서, 인접한 블록들이 적어도 하나의 관측점을 공동으로 보유하며, 상기 관측점을 상기 화소 사이 또는 상기 화소 상에 위치하도록 관측점을 선택하기 위한 수단과, 상기 관측점값을 측정하고, 주변의 화소들로부터 상기 관측점값을 추정함으로써 상기 각 블록 내의 둘 또는 그 이상의 상기 관측점에서 관측점값을 결정하기 위한 수단과, 상기 주변화소들로부터 보간에 의해 상기 인접한 각 블록에 대한 상기 관측점에서 관측점보정값을 결정하기 위한 수단과, 상기 관측점보정값으로부터 보간에 의해 상기 각 블록의 기선택된 화소에 대하여 참화소보정값을 결정하기 위한 수단과, 상기 참화소보정값에 의해 상기 블록의 화소를 조정함으로써 블럭킹을 최소화하기 위한 수단으로 이루어지며, 상기 수단은 모두 공간영역 또는 주파수영역에서 작동되는 것을 특징으로 하는 화상에 나타나는 블럭킹을 최소화하기 위한 장치.
6. 제5항에 있어서, 상기 블록들은 4개의 화소에 의해 중첩된 8× 8화소를 포함하는 것을 특징으로 하는 상에 나타나는 블럭킹을 최소화하기 위한 장치.
7. 제5항에 있어서, 상기 기선택된 화소들은 소정의 저장영역을 포함하는 것을 특징으로 하는 화상에 나타나는 블럭킹을 최소화하기 위한 장치.
8. 제5항에 있어서, 상기 기선택된 화소들은 상기 각 블록의 모든 화소를 포함하는 것을 특징으로 하는 화상에 나타나는 블럭킹을 최소화하기 위한 장치.
9. 화상을 일련의 중첩되고 필터링된 화소의 인접 블록으로서 처리하여 얻은 디지털 화상에 나타나는 블럭킹을 최소화하기 위한 방법으로서, 인접한 화소들의 접촉면의 중첩영역 내에서, 또한 관측점이 상기 화소 사이 또는 상기 화소 상에 위치하도록 공통의 관측점들을 선택하는 단계와, 주변화소들로부터 보간에 의해 상기 공통의 관측점값을 결정하는 단계와, 상기 각각의 관측점에 상응하는 상기 보간된 값에 근거하여 보정값을 결정하는 단계와, 블럭킹을 최소화하기 위해 상기 보정값에 근거하는 참화소보정값에 따라서 상기 인접한 화소의 소정 영역에서 화소값을 변화시키는 단계로 이루어지며, 상기 모든 단계는 공간적 영역 또는 주파수 영역에서 행해지는 것을 특징으로 하는 디지탈화상에서 블럭킹을 최소화하는 방법.
10. 제9항에 있어서, 상기 블록들은 4개의 화소에 의해 중첩된 8× 8화소를 포함하는 것을 특징으로 하는 디지탈화상에서 블럭킹을 최소화하는 방법.
11. 제9항에 있어서, 상기 참화소보정값은 관측점에 상응하는 상기 보정값들 사이에서의 보간에 의해 생성되는 것을 특징으로 하는 디지탈화상에서 블럭킹을 최소화하는 방법.

Images