KR102383578B1

KR102383578B1 - 화상 처리 장치, 디코딩 장치 및 화상 처리 방법

Info

Publication number: KR102383578B1
Application number: KR1020150127631A
Authority: KR
Inventors: 임대일
Original assignee: 삼성전자주식회사
Priority date: 2015-09-09
Filing date: 2015-09-09
Publication date: 2022-04-08
Also published as: US10339641B2; US20170069063A1; KR20170030277A

Abstract

화상 처리 장치, 디코딩 장치 및 화상 처리 방법에 관한 것으로, 화상 처리 장치는 화상을 수신하는 수신부, 상기 화상을 복수의 구역으로 분할하고, 상기 화상의 복수의 구역 각각에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 화상 처리부를 포함하되, 상기 적어도 하나의 필터는, 높이와 폭이 서로 상이한 비대칭적 필터링 윈도우를 이용하는 비대칭적 필터를 포함할 수 있다.

Description

화상 처리 장치, 디코딩 장치 및 화상 처리 방법{An imaging processing apparatus, a decoding apparatus and a method for processing an image}

화상 처리 장치, 디코딩 장치 및 화상 처리 방법에 관한 것이다.

화상 처리 장치는, 화상을 이루는 화상 데이터의 전부 또는 일부에 대한 화상 처리를 수행할 수 있는 장치를 의미한다. 화상 처리는, 화상을 확대, 축소, 회전시키거나, 화상에 대한 색 보정을 수행하거나, 복수의 화상 데이터를 정합하거나, 비디오 레벨이나 크로마 레벨을 조정하거나, 화상 데이터의 일부를 분할하는 등과 같이 화상 데이터를 가공하여 새로운 화상 데이터를 획득할 수 있다.

디스플레이 장치는, 획득 또는 저장된 전기적 정보를 시각적 정보로 변환하여 사용자에게 표시하는 출력 장치의 일종으로, 댁내나 산업 현장 여러 분야에서 이용되고 있다. 디스플레이 장치는, 수신하거나 입력되거나 또는 저장된 화상에 대해 소정의 화상 처리를 수행한 후, 화상 처리가 수행된 화상을 사용자에게 표시할 수도 있으며, 이런 점에서 디스플레이 장치 역시 화상 처리 장치일 수 있다.

이러한 디스플레이 장치로는, 개인용 컴퓨터 또는 서버용 컴퓨터 등에 연결된 모니터 장치나, 휴대용 컴퓨터 장치나, 내비게이션 단말 장치나, 일반 텔레비전 장치나, 인터넷 프로토콜 텔레비전(IPTV, Internet Protocol television) 장치나, 스마트 폰, 태블릿 피씨(tablet PC), 개인용 디지털 보조 장치(PDA, Personal Digital Assistant), 또는 셀룰러 폰 등의 휴대용 단말 장치나, 광고판 등과 같이 산업 현장에서 광고나 영화 같은 화상을 재생하기 위해 이용되는 각종 디스플레이 장치나, 또는 이외 다양한 종류의 오디오/비디오 시스템 등이 있을 수 있다.

화상 데이터를 생성한 생산자, 일례로 촬영자의 의도를 반영하여 화상 데이터에 대한 화상 처리를 수행할 수 있는 화상 처리 장치, 디코딩 장치 및 화상 처리 방법을 제공하는 것을 해결하고자 하는 과제로 한다.

라인 메모리와 같은 컴퓨터 자원을 상대적으로 적게 필요로 하면서도, 보다 신속하게 윈도우 기반 화상 처리를 수행할 수 있는 화상 처리 장치, 디코딩 장치 및 화상 처리 방법을 제공하는 것을 다른 해결하고자 하는 과제로 한다.

저해상도의 화상으로부터 고해상도의 이미지를 복원하는 역변환 화상 처리를 수행함에 있어서, 화질 처리 모델을 적절하게 획득하지 못하는 경우를 방지하고, 상대적으로 적은 리소스로도 신속하게 정확하게 고해상도의 이미지를 복원할 수 있는 화상 처리 장치, 디코딩 장치 및 화상 처리 방법을 제공하는 것을 또 다른 해결하고자 하는 과제로 한다.

상술한 과제를 해결하기 위하여 화상 처리 장치, 디코딩 장치 및 화상 처리 방법이 제공된다.

화상 처리 장치는 화상을 수신하는 수신부, 상기 화상을 복수의 구역으로 분할하고, 상기 화상의 복수의 구역 각각에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 화상 처리부를 포함하되, 상기 적어도 하나의 필터는, 높이와 폭이 서로 상이한 비대칭적 필터링 윈도우를 이용하는 비대칭적 필터를 포함할 수 있다.

상기 적어도 하나의 필터는 고 주파수 필터, 중간 주파수 필터 및 저 주파수 필터 중 적어도 하나를 포함할 수 있다.

상기 화상 처리부는, 상기 화상의 복수의 구역 각각의 초점 수준을 결정하되, 상기 초점 수준은 화상의 특정 구역에서 초점이 어느 정도 맞았는지를 나타내는 것일 수 있다.

상기 복수의 구역은 중심 구역 및 주변 구역을 포함할 수 있다.

상기 화상 처리부는, 상기 중심 구역의 초점 수준 및 주변 구역의 초점 수준에 따라 상기 화상의 초점 상태를 결정할 수 있다.

상기 화상 처리부는, 화상의 초점 상태가 아웃 포커스 상태인 경우, 상기 중심 구역에는 고 주파수 필터 또는 중간 주파수 필터를 적용하고 상기 주변 구역에는 저 주파수 필터를 적용할 수 있다.

상기 화상 처리부는, 화상의 초점 상태가 팬 포커스 상태인 경우, 상기 중심 구역 및 상기 주변 구역에 동일한 필터를 적용할 수 있다.

상기 화상 처리부는, 복수의 구역 각각에 대한 가중치를 결정하고, 상기 적어도 하나의 필터 각각에 가중치를 부여하고, 상기 가중치가 부여된 적어도 하나의 필터를 상기 화상의 복수의 구역 각각에 대해 적용할 수 있다.

상기 적어도 하나의 필터는, 높이 및 폭이 동일한 대칭적 필터링 윈도우를 더 이용하는 대칭적 필터를 더 포함할 수 있다.

상기 화상 처리부는, 순차적으로 필터링을 수행하는 제1 필터링부 및 제2 필터링부를 포함할 수 있다.

상기 제1 필터링부 및 상기 제2 필터링부는, 비대칭적 필터 및 대칭적 필터 중 어느 하나를 이용하여 필터링을 수행할 수 있다.

상기 화상 처리부는, 상기 비대칭적 필터를 상기 화상의 제k 열 내지 제n 열에 적용하여 필터링을 수행한 후, 상기 제k 열 내지 제n+1 열에 적용하여 다시 필터링을 수행하되, 상기 k 및 n은 자연수이고, k는 n보다 작을 수 있다.

상기 화상 처리부는, 상기 비대칭적 필터링 윈도우가 적용된 화상의 일 구역 내에 위치한 제1 화소를 필터링할 수 있다.

상기 화상 처리부는, 상기 비대칭적 필터링 윈도우가 적용된 화상의 일 구역에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터를 이용하여 상기 제1 화소를 필터링할 수 있다.

상기 화상 처리부는, 상기 비대칭적 필터링 윈도우가 적용된 화상의 일 구역에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터 및 상기 비대칭 필터링 윈도우가 적용된 화상의 일 구역의 외부에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터를 이용하여 상기 제1 화소를 필터링할 수 있다.

상기 비대칭 필터링 윈도우가 적용된 화상의 일 구역의 외부에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터는, 상기 적어도 하나의 화소의 실재 데이터를 포함할 수 있다.

상기 비대칭적 필터는, 상기 폭이 상기 높이보다 클 수 있다.

화상 처리 장치는 화상을 수신하는 수신부 및 상기 화상을 복수의 구역으로 분할하고, 상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 개선된 화상을 획득하는 화상 처리부를 포함할 수 있다.

화상 처리 장치는, 화상을 수신하는 수신부 및 상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 화상 처리부를 포함하되, 상기 적어도 하나의 필터는, 높이와 폭이 서로 상이한 비대칭적 필터링 윈도우를 이용하는 비대칭적 필터를 포함할 수 있다.

화상 처리 장치는, 화상을 수신하는 수신부 및 상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하되, 상기 적어도 하나의 필터는 필터링 윈도우를 이용하는 화상 처리부를 포함하되, 상기 화상 처리부는, 상기 필터링 윈도우가 적용된 화상의 일 구역에 위치하는 제1 화소를 필터링하되, 상기 필터링 윈도우가 적용된 화상의 일 구역에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터와, 상기 비대칭 필터링 윈도우가 적용된 화상의 일 구역의 외부에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터를 이용하여 상기 제1 화소를 필터링할 수 있다.

화상 처리 장치는 화상을 수신하는 수신부 및 상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하되, 상기 적어도 하나의 필터는 필터링 윈도우를 이용하는 화상 처리부를 포함하되, 상기 화상 처리부는, 상기 필터링 윈도우가 적용된 화상의 일 구역에 위치하는 제1 화소를 필터링하되, 상기 필터링 윈도우가 적용된 화상의 일 구역에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터와, 상기 비대칭 필터링 윈도우가 적용된 화상의 일 구역의 외부에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터를 이용하여 상기 제1 화소를 필터링할 수 있다.

화상 처리 방법은, 화상을 수신하는 단계 및 상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 단계를 포함하되, 상기 적어도 하나의 필터는, 높이와 폭이 서로 상이한 비대칭적 필터링 윈도우를 이용하는 비대칭적 필터를 포함할 수 있다.

상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 단계는, 상기 화상을 복수의 구역으로 분할하는 단계 및 상기 화상의 복수의 구역 각각에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 단계를 포함할 수 있다.

화상 처리 방법은, 화상을 수신하는 단계 및 상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하되, 상기 적어도 하나의 필터는 필터링 윈도우를 이용하는 단계를 포함하되, 상기 상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하되, 상기 적어도 하나의 필터는 필터링 윈도우를 이용하는 단계는, 상기 필터링 윈도우가 적용된 화상의 일 구역에 위치하는 제1 화소를 필터링하는 단계를 포함할 수 있다.

상기 필터링 윈도우가 적용된 화상의 일 구역에 위치하는 제1 화소를 필터링하는 단계는, 상기 필터링 윈도우가 적용된 화상의 일 구역에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터와, 상기 비대칭 필터링 윈도우가 적용된 화상의 일 구역의 외부에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터를 이용하여 상기 제1 화소를 필터링하는 단계를 포함할 수 있다

디코더는, 인코딩된 데이터를 수신하는 수신부 및 상기 인코딩된 데이터에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 디코딩부를 포함하되, 상기 적어도 하나의 필터는, 높이와 폭이 서로 상이한 비대칭적 필터링 윈도우를 이용하는 비대칭적 필터를 포함할 수 있다.

상기 디코딩부는, 상기 인코딩된 데이터를 복수의 구역으로 분할하고, 상기 인코딩된 데이터의 복수의 구역 각각에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득할 수 있다.

상술한 화상 처리 장치, 디코딩 장치 및 화상 처리 방법에 의하면, 화상 데이터를 생성한 생산자의 의도를 반영하여 화상의 화질을 처리할 수 있게 되는 효과를 얻을 수 있다.

상술한 화상 처리 장치, 디코딩 장치 및 화상 처리 방법에 의하면, 루프 기반 화상 처리를 수행함에 있어서 화질 처리 성능을 개선함으로써 제한된 루프 내에서 최대한 화상 처리를 수행함으로써 화상 처리의 속도가 개선되는 효과를 얻을 수 있게 된다.

상술한 화상 처리 장치, 디코딩 장치 및 화상 처리 방법에 의하면, 화상 처리에 필요한 리소스의 사용은 최대한 억제할 수 있게 되기 때문에, 화상 처리 장치나 디스플레이 장치의 제작이 용이해지고 아울러 화상 처리 장치나 디스플레이 장치의 생산에 필요한 비용이 절감되는 효과도 얻을 수 있다.

상술한 화상 처리 장치, 디코딩 장치 및 화상 처리 방법에 의하면, 역변환 화상 처리를 수행함에 있어서, 화질 처리 모델을 적절하게 획득하지 못하는 경우를 방지할 수 있게 되고, 또한 상대적으로 적은 리소스로도 신속하게 정확하게 고해상도의 이미지를 복원할 수 있게 되는 효과도 얻을 수 있다.

도 1은 화상이 디스플레이 장치에 전달되는 구조를 도시한 도면이다.
도 2는 송출 장치의 일 실시예에 대한 구성도이다.
도 3은 조리개 값이 작은 경우에 획득되는 아웃포커스 화상을 도시한 도면이다.
도 4는 조리개 값이 큰 경우에 획득되는 팬 포커스 화상을 도시한 도면이다.
도 5는 디스플레이 장치의 일 실시예에 대한 구성도이다.
도 6은 화상 처리부의 일 실시예에 대한 구성도이다.
도 7은 개선 필터링부의 일 실시예에 대한 구성도이다.
도 8은 라인 메모리를 설명하기 위한 도면이다.
도 9는 개선 필터링부의 다른 실시예에 대한 구성도이다.
도 10은 필터링 윈도우의 일 실시예를 도시한 도면이다.
도 11은 필터링 윈도우의 다른 실시예를 도시한 도면이다.
도 12는 필터링 윈도우를 이용한 화상 처리를 설명하기 위한 제1 도면이다.
도 13은 필터링 윈도우를 이용한 화상 처리를 설명하기 위한 제2 도면이다.
도 14는 필터링 윈도우를 이용한 화상 처리를 설명하기 위한 제3 도면이다.
도 15는 화상 처리부의 다른 실시예에 대한 도면이다.
도 16은 화상 분할의 일례를 도시한 도면이다.
도 17은 화상 분할의 다른 일례를 도시한 도면이다.
도 18은 분할된 각각의 화상에 필터링 윈도우가 적용된 일례를 도시한 도면이다.
도 19는 다른 실시예의 개선 필터링부를 설명하기 위한 도면이다.
도 20은 필터링 윈도우의 경계 주변을 도시한 도면이다.
도 21 내지 도 26은 필터링 윈도우 경계 외부 값으로 경계에 인접한 화소의 화소값을 중복하여 이용한 경우 획득되는 각각의 화소의 화소값을 설명하기 위한 도면이다.
도 27 내지 도 29는 필터링 윈도우 경계의 외부 값으로 실제 값을 이용한 경우 획득되는 각각의 화소의 화소값을 설명하기 위한 도면이다.
도 30은 인코더의 일 실시예를 도시한 도면이다.
도 31은 디코더의 일 실시예를 도시한 도면이다.
도 32는 화상 처리 방법의 일 실시예를 도시한 흐름도이다.
도 33은 화상 처리 방법의 다른 실시예를 도시한 흐름도이다.

이하 도 1 내지 도 29를 참조하여 화상 처리 장치 및 화상 처리 장치를 포함하는 디스플레이 장치의 일 실시예에 대해서 설명하도록 한다.

도 1은 화상이 화상 처리 장치, 일례로 디스플레이 장치에 전달되는 구조를 도시한 도면이다.

화상 처리 장치(100)는, 수신한 화상에 대해 소정의 처리를 수행함으로써 수신한 화상을 보정할 수 있는 장치를 의미한다. 화상 처리 장치(100)는 필요에 따라 사용자, 일례로 시청자에게 화상을 제공할 수 있는 출력 수단이 마련될 수 있으며, 또한 각종 연산 처리를 위해 중앙 처리 장치(CPU)나 마이크로 컨트롤 유닛(MCU) 등과 같은 프로세서가 마련될 수 있다. 도 1에 도시된 바와 같이 화상 처리 장치(100)는, 예를 들어, 텔레비전 장치와 같은 디스플레이 장치(100a)나, 휴대용 단말 장치(100b)나, 또는 개인용 컴퓨터나 서버용 컴퓨터와 같은 컴퓨터 장치(100c) 등을 포함할 수 있다.

디스플레이 장치(100a)는 화상을 재생하여 시청자에게 표시할 수 있는 장치를 의미하며, 필요에 따라서 음향을 시청자에게 더 출력할 수 있다. 여기서 디스플레이 장치(100a)에 의해 표시되는 화상은 정지 화상 및 동화상을 포함하며, 동화상은 각각 정지 화상을 이용하여 구현 가능한 복수의 화상 프레임으로 이루어진 것일 수 있다.

디스플레이 장치(100a)는, 다양한 종류의 디스플레이 수단을 이용하여 정지 화상 또는 동화상을 사용자에게 표시할 수 있다. 디스플레이 장치(100a)에 의해 이용되는 디스플레이 수단으로는 음극 선관(Cathode Ray Tube), 냉음극관(Cold Cathode Fluorescent Lamp), 발광 다이오드(Light Emitting Diode), 유기 발광 다이오드(Organic Light Emitting Diode), 능동형 유기 발광 다이오드(Active-Matrix Organic Light Emitting Diode), 액정(Liquid Crystal) 또는 전자 종이 등을 이용하여 구현된 것일 수 있다.

디스플레이 장치(100a)는, 내부에 마련된 저장 장치에 저장된 정지 화상 또는 동화상을 표시할 수도 있고, 또는 도 1에 도시된 바와 같이, 외부의 화상 제공자(10)에 의해 제공된 화상을 표시할 수도 있다.

휴대용 단말 장치(100b)는 스마트폰, 태블릿 피씨 또는 개인용 디지털 보조 장치(PDA, Personal Digital Assistant), 휴대용 멀티 미디어 재생 장치(PMP, portable multimedia player), 휴대용 게임기 또는 디지털 방송용 단말 장치 등을 포함할 수 있다. 컴퓨터 장치(100c)는 각종 연산 처리가 가능한 프로세서와, 화상을 표시할 수 있는 모니터 장치가 마련되어 있을 수 있으며, 예를 들어 데스크톱 컴퓨터나 노트북 컴퓨터 등을 포함할 수 있다. 도 1에 도시된 바 이외에도 상술한 디스플레이 장치(100a)는, 댁내나 산업 현장에서 정지 화상 또는 동화상을 표시할 수 있는 각종 디스플레이 장치도 포함할 수 있다.

화상 제공자(10)는, 저장되거나 생성된 화상 및/또는 음향을 데이터의 형태로 디스플레이 장치(100a)로 전송하여 제공하는 자를 의미하며, 예를 들어 방송용 송출 장치(10a), 별도의 서버 장치(10b) 또는 디스플레이 장치(100a)와 분리 가능한 외부 저장 매체(10c)를 포함할 수 있다.

방송용 송출 장치(10a)는 공중 송신을 위해 화상 데이터 및/또는 음향 데이터를, 소정 주파수 대역의 전자기파를 이용하여 디스플레이 장치(100a)에 전송하도록 마련된다. 송출 장치(10a)는 위성 등을 이용하여 광범위에 위치한 디스플레이 장치(100a) 또는 디스플레이 장치(100a)와 연결된 안테나 장치에 화상 및/또는 음향 데이터를 전송할 수 있다.

서버 장치(10b)는 무선 네트워크 또는 유선 네트워크를 통해 디스플레이 장치(100a)에 화상 데이터 및/또는 음향 데이터를 전송할 수 있도록 마련된다. 여기서 유선 통신 네트워크는 페어 케이블(pair cable), 동축 케이블, 광섬유 케이블, 이더넷(ethernet) 케이블 등과 같은 케이블을 이용하여 구축된 것일 수 있다. 무선 네트워크는 근거리 통신 표준 또는 이동 통신 표준을 이용하여 구현된 것일 수 있다. 근거리 통신 표준을 이용하는 무선 네트워크는 와이파이(Wi-Fi), 블루투스, 지그비(zigbee), WFD(Wi-Fi Direct), 초 광대역 통신(UWB, ultra wideband), 적외선 통신(IrDA, infrared Data Association), BLE(Bluetooth Low Energy) 및 근거리 장 통신(Near Field Communication) 등의 무선 통신 기술을 이용하여 구현될 수 있다. 이동 통신 표준을 이용하는 무선 네트워크는, 진화성 고속 패킷 접속(HPDA+)나 롱텀에볼루션(LTE) 등과 같은 3GPP 계열의 무선 통신 기술, 최적화된 에볼루션-데이터(EV-Do)와 같은 3GPP2 계열의 무선 통신 기술 또는 와이브로 에볼루션과 같은 와이맥스 계열 등의 무선 통신 기술을 이용하여 구현된 것일 수 있다.

외부 저장 매체(10c)는 외장형 하드디스크나, 범용 직렬 시리얼 버스(USB) 메모리 장치 등과 같이 각종 데이터를 저장할 수 있는 장치를 의미한다. 외부 저장 매체(10c)는 디스플레이 장치(100a)에 직접 결합되어 디스플레이 장치(100a)에 화상을 제공하거나 또는 케이블이나 무선 네트워크를 이용하여 디스플레이 장치(100a)에 화상 데이터를 전송 및 제공할 수 있다.

이하 설명의 편의를 위하여 화상 처리 장치(100)의 일 실시예를, 송출 장치(10a)로부터 화상 데이터 및/또는 음향 데이터를 수신하여 표시하는 디스플레이 장치(100a)를 이용하여 설명하도록 한다. 이하 설명되는 디스플레이 장치(100a)에 대한 여러 실시예는 오직 디스플레이 장치(100a)에만 적용될 수 있는 것은 아니다. 이하 설명되는 디스플레이 장치(100a)에 대한 여러 실시예는 상술한 화상 처리 장치(100)에 해당하는 다른 장치(100b, 100c)에도 동일하거나 또는 일부 변형을 거쳐 적용될 수 있다.

먼저 화상 처리 장치(100)의 일례인 디스플레이 장치(100a)에 화상을 제공하는 송출 장치(10)의 일례에 대해 설명하도록 한다.

도 2는 송출 장치의 일 실시예에 대한 구성도이다.

송출 장치(10)는, 도 2에 도시된 바와 같이, 입력부(11), 다중화기(multiplexor, 12), 변조기(modulator, 13), 송신기(14), 제어부(15) 및 저장부(16)를 포함할 수 있다.

입력부(11)는 화상에 대한 정보를 담은 전기적 신호로 구현된 화상 데이터(i1)와, 음악, 음성, 및/또는 기타 음향에 대한 정보를 담은 전기적 신호인 음향 데이터(s1)와, 화상이나 음향과 관련된 정보를 담은 전기적 신호인 메타 데이터(m1)를 입력 받을 수 있다.

화상 데이터(i1)는, 적어도 하나의 화상에 상응하는 데이터를 의미한다. 화상이 동화상인 경우, 화상 데이터(i1)는 동화상을 구현하기 위한 각각의 화상 프레임에 대응하는 복수의 정지 화상(i11 내지 i3)에 대한 데이터를 포함할 수 있다.

음향 데이터(s1)는, 음성, 음악 또는 기타 음향을 변환하여 획득된 데이터를 의미한다. 화상이 동화상인 경우, 음향 데이터(s1)는 화상 데이터(i1)와 동기화되도록 마련될 수 있다.

메타 데이터(m1)는, 입력부(11)를 통해 입력되는 화상 및 음향 중 적어도 하나와 관련된 정보를 포함할 수 있다. 예를 들어, 메타 데이터(m1)는 입력부(11)를 통해 입력되는 화상이나 음향의 제목, 장르, 화상이나 음향에 부가된 태그 정보, 화상이나 음향의 파일 명칭, 파일 크기, 촬영 일자 및 촬영 시간, 화상이나 음향의 수정 일자, 화상의 폭과 높이, 동화상이나 음향의 시간적 길이, 촬영 매체이나 녹음 매체의 제조사, 촬영 매체이나 녹음 매체의 모델명, 화상 촬영에 이용된 소프트웨어의 종류, 셔터 속도, 조리개 값, 초점 거리, 카메라의 감도, 촬상면의 크기, 노출이나 측광 방식에 대한 정보, 화상이나 음향의 압축 방식, 기타 추가적인 장치의 사용 여부에 대한 정보, 저작권자, 입체 화상 여부에 대한 정보 등과 같은 각종 정보 중 적어도 하나를 포함할 수 있다. 설계자의 선택에 따라서, 메타 데이터(m1)는 이들 중 일부 정보는 포함하지 않을 수도 있고, 이들 이외의 다른 정보를 더 포함할 수도 있다. 여기서 촬영 매체는, 디지털 카메라, 필름 카메라, 디지털 캠코더, 또는 비디오 테이프 레코더(VTR) 등과 같이 화상을 촬영할 수 있는 각종 장치를 의미한다.

도 3은 조리개 값이 작은 경우에 획득되는 아웃포커스 화상을 도시한 도면이고, 도 4는 조리개 값이 큰 경우에 획득되는 팬 포커스 화상을 도시한 도면이다.

구체적으로, 화상에 대한 메타 데이터(m1)는 각각의 화상(i11 내지 i13)이 촬영된 순간의 정보를 포함할 수 있다. 여기서 화상(i11 내지 i13)은 정지 화상일 수도 있고, 동화상을 이루는 화상 프레임일 수도 있다.

각각의 화상(i11 내지 i13)이 촬영된 순간의 정보는, 각각의 화상(i11 내지 i13)의 피사계 심도와 관련된 정보를 포함할 수 있다. 예를 들어, 각각의 화상(i11 내지 i13)이 촬영된 순간의 정보는 초점 거리 및 화상 촬영 시의 조리개 값(f값) 중 적어도 하나에 대한 정보를 포함할 수 있다. 또한, 실시예에 따라서, 각각의 화상(i11 내지 i13)이 촬영된 순간의 정보는 촬상면의 크기나, 촬영 매체(20)와 피사체(ob1) 사이의 거리에 대한 정보를 더 포함할 수도 있다.

피사계 심도란, 촬영된 화상(i14, i15) 내에서 초점이 맞거나 또는 대략적으로 맞는다고 판단되는 범위를 의미한다. 피사계 심도가 깊다는 것은 촬영 매체(20)와의 거리가 상이한 다양한 피사체에 초점이 맞는다는 것을 의미하고, 피사계 심도가 얕다는 것은 촬영 매체(20)와 특정 범위의 거리에 위치한 피사체에 초점이 맞고 이외의 범위의 거리에 위치한 피사체에는 초점이 맞지 않는다는 것을 의미한다.

촬영된 화상(i14, i15)의 피사계 심도는, 촬영 매체, 일례로 카메라(20)에 설정된 초점 거리, 조리개 값(f값) 및 피사체와 다른 피사체, 일례로 배경 사이의 거리에 따라 결정될 수 있다.

초점 거리는 촬영 매체, 일례로 카메라(20)의 렌즈의 중심점과 초점 사이의 거리를 의미한다. 초점 거리가 길어지면 피사계 심도는 얕아지고, 초점 거리가 짧아지면 피사계 심도는 깊어지게 된다.

조리개 값은 카메라(20)의 조리개(21)가 개방된 정도를 나타내는 값으로, 렌즈의 초점 거리를 입사 동공(22)의 직경(r1, r2)으로 나눈 값이다. 조리개 값은 조리개(21)가 더 크게 개방될수록 작아지고, 조리개(21)가 더 작게 개방될수록 커진다. 조리개 값이 작아지면 피사계 심도는 얕아지고, 조리개 값이 커지면 피사계 심도는 깊어지게 된다.

한편, 촬영되는 피사체와 촬영 매체 사이의 거리가 짧고, 피사체와 촬영 매체 사이의 거리와 다른 피사체와 촬영 매체 사이의 거리 사이의 차이가 크면, 양 피사체가 동일한 초점이 맞는 영역 내에 위치하기 어렵기 때문에 촬영된 화상(i14, i15) 내의 피사계 심도는 얕아질 가능성이 높고, 피사체와 촬영 매체 사이의 거리가 길거나, 또는 피사체와 촬영 매체 사이의 거리와 다른 피사체와 촬영 매체 사이의 거리 사이의 차이가 작으면 양 피사체가 동일한 초점이 맞는 영역 내에 위치하기 쉽기 때문에 촬영된 화상(i14, i15) 내의 피사계 심도는 깊게 될 가능성이 높다.

도 3 및 도 4에 도시된 바와 같이, 촬영 매체가 촬영 매체와 어느 정도 근접한 거리 내에 위치한 피사체를 촬영할 때, 촬영 매체의 조리개 값 및 초점 거리는 사용자의 수동 조작이나 또는 미리 정의된 설정에 따라서 조절될 수 있다.

만약 촬영 매체(20)의 초점 거리가 멀게 설정되거나, 도 3에 도시된 바와 같이 촬영 매체(20)의 조리개(21)가 확장되어 입사 동공(22)의 직경(r1)이 상대적으로 증가된 경우라면, 획득된 화상(i14)의 피사계 심도는 얕게 나타나게 된다(아웃 포커스). 다시 말해서, 특정 거리에 위치한 피사체(ob1)의 초점은 맞고, 배경(B1)의 초점은 맞지 않는 화상(i14)이 획득된다.

반대로 촬영 매체(20)의 초점 거리가 가깝게 설정되거나, 도 4에 도시된 바와 같이 촬영 매체(20)의 조리개(21)가 축소되어 입사 동공(22)의 직경(r2)이 상대적으로 감소된 경우라면, 획득된 화상(i15)의 피사계 심도는 깊게 나타난다(팬 포커스). 다시 말해서, 특정 피사체(ob1)와 배경(B1) 모두에 초점이 맞는 화상(i15)이 획득된다.

한편 촬영 매체(20)의 초점 거리가 길게 설정되고 아울러 도 3에 도시된 바와 같이 입사 동공(22)이 크게 개방된 상태라면, 근접한 피사체에는 초점이 맞지 않고 배경에 초점이 맞는 화상(미도시)이 획득될 수도 있다(역 아웃포커스).

메타 데이터(m1)는, 상술한 바와 같이, 화상(i1, i2)이 촬영된 경우의 초점 거리 및/또는 조리개 값에 대한 정보를 포함할 수 있으며, 이들 정보는 다중화기(12), 변조기(13) 및 송신기(14)를 통해, 화상 데이터(i)와 함께 디스플레이 장치(100a)로 전달될 수 있다.

다중화기(12)는, 화상 데이터(i1), 음향 데이터(s1) 및 메타 데이터(m1) 중 적어도 하나를 다중화하여 전송 스트림(ts, Transport Stream)을 생성할 수 있다. 필요에 따라 다중화기(12)는 메타 데이터(m1)는 생략하고 화상 데이터(i1) 및 음향 데이터(s1)만을 다중화할 수도 있다. 구체적으로 다중화기(12)는 화상 데이터(i1), 음향 데이터(s1) 및 메타 데이터(m1) 중 적어도 하나로 이우어진 기초 스트림을, 패킷(packet) 단위로 조합하여 다중화를 수행할 수 있다.

변조기(13)는 다중화기(12)에 의해 생성된 전송 스트림을 전송할 수 있도록 변조하여 송신기(14)로 전달할 수 있다. 변조기(13)는 미리 설정된 변조 방식에 따라 전송 스트림을 변조할 수 있으며, 예를 들어 전송 스트림의 주파수, 진폭 및 위상 중 적어도 하나를 변조하거나, 또는 전송 스트림을 펄스로 변환하는 등과 같이 다양한 방법을 이용하여 전송 스트림을 변조할 수 있다.

송신기(14)는 변조된 전송 스트림을 외부로 송출하고, 외부로 송출된 전송 스트림은 디스플레이 장치(100a)의 수신부(110)로 전달된다. 이 경우 송신기(14)는 전파(19)의 형태로 전송 스트림을 외부로 방출할 수 있으며, 디스플레이 장치(100a)의 무선 통신 모듈(111)은 전파(19)를 수신하여 화상 데이터(i), 음향 데이터(s1) 및 메타 데이터(m1) 중 적어도 하나를 획득하게 된다.

제어부(15)는 송출 장치(10)의 전반적인 동작을 제어하도록 마련되며, 예를 들어 다중화기(12), 변조기(13) 및 송신기(14) 각각에 소정의 제어 신호를 전달하여 이들의 동작을 제어함으로써 화상 데이터(i), 음향 데이터(s1) 및 메타 데이터(m1) 중 적어도 하나가 디스플레이 장치(100a)로 전달되도록 할 수 있다. 제어부(15)는 하나 또는 둘 이상의 반도체 칩 및 관련 부품으로 구현된 프로세서를 포함할 수 있다.

저장부(16)는 송출 장치(10)의 동작에 필요한 각종 명령이나 정보를 저장할 수 있도록 마련되며, 제어부(15)의 제어 동작을 지원하도록 마련될 수 있다. 저장부(16)는 반도체 저장 장치, 자기 디스크 저장 장치 또는 광 디스크 저장 장치 등을 이용하여 구현될 수 있다. 저장부(16)는, 예를 들어 각종 램(RAM)이나 롬(ROM)을 포함할 수 있다. 저장부(16)는 입력부(11)를 통해 입력된 화상 데이터(i1), 음향 데이터(s1) 및/또는 메타 데이터(m1)를 일시적 또는 비일시적으로 저장할 수도 있다.

도 5는 디스플레이 장치의 일 실시예에 대한 구성도이다.

도 5에 도시된 바에 따르면 디스플레이 장치(100a)는, 수신부(110), 복조기(114), 역 다중화기(115), 화상 처리부(120), 라인 메모리(160), 화상 출력부(180), 음향 데이터 처리부(190), 음향 출력부(191), 제어부(192) 및 저장부(193)을 포함할 수 있다. 수신부(110), 복조기(114), 역 다중화기(115), 화상 처리부(120), 라인 메모리(160), 화상 출력부(180), 음향 데이터 처리부(190), 음향 출력부(191), 제어부(192) 및 저장부(193) 중 적어도 두 개는 상호 전기적 신호를 전달할 수 있도록 회로나 도선 등을 이용하여 전기적으로 연결되도록 마련될 수 있다. 실시예에 따라서 복조기(114), 역 다중화기(115), 화상 처리부(120), 음향 데이터 처리부(190) 및 제어부(192)는, 하나 또는 둘 이상의 하드웨어 장치로 구현될 수 있으며, 여기서 하드웨어 장치는 적어도 하나의 반도체 칩 및 관련 부품으로 구현 가능한 프로세서를 포함할 수 있다. 이 경우, 각각의 하드웨어 장치는 동종의 하드웨어 장치일 수도 있고, 이종의 하드웨어 장치일 수도 있다. 또한 복조기(114), 역 다중화기(115), 화상 처리부(120), 음향 데이터 처리부(190) 및 제어부(192) 중 일부는 동일한 하드웨어 장치를 이용하여 구현되고, 다른 일부는 상이한 하드웨어 장치를 이용하여 구현될 수도 있다.

수신부(110)는, 화상 제공자(10)로부터 전달되는 전송 스트림을 수신할 수 있다.

수신부(110)는, 일 실시예에 의하면, 무선 통신 모듈(111), 유선 통신 모듈(112) 및 하드웨어 포트(113) 중 적어도 하나를 포함할 수 있다.

무선 통신 모듈(111)은 무선 통신 네트워크를 통해 전기적 신호를 전달받고, 전달받은 전기적 신호를 변조기(114)로 전달할 수 있다. 무선 통신 모듈(111)은, 상술한 전파(19)를 수신하여 전송 스트림을 수신할 수 있다. 무선 통신 모듈(111)은 근거리 통신 표준 또는 이동 통신 표준을 이용하여 외부와 무선 통신을 수행할 수 있도록 마련된 것일 수 있다. 무선 통신 모듈(111)은 안테나 및 적어도 하나의 통신칩을 이용하여 구현 가능하다.

유선 통신 모듈(112)은 유선으로 전송 스트림을 수신하고, 수신한 전송 스트림에 상응하는 전기적 신호를 변조기(114)로 전달할 수 있다. 유선 통신 모듈(112)은, 예를 들어, 동축 케이블이나, 이더넷 케이블, 디지털 비주얼 인터페이스(Digital Visual Interface, DVI) 규격의 케이블 또는 고선명 멀티미디어 인터페이스(High Definition Multimedia Interface, HDMI) 규격의 케이블 등이 결합되는 커넥터를 포함할 수 있으며, 커넥터는 플러그나 소켓의 형태로 마련될 수 있다. 유선 통신 모듈(112)은 셋톱 박스를 이용하여 구현될 수도 있다.

하드웨어 포트(113)는 디스플레이 장치(100a)의 외면에 마련된 포트로, 외부 저장 매체(10c) 등이 케이블을 통하거나, 또는 직접 결합될 수 있도록 마련될 수 있다. 하드웨어 포트(113)는, 예를 들어 범용 직렬 버스(USB) 단자 등을 포함할 수 있다.

수신부(110)가 수신한 신호는 복조기(114)로 전달될 수 있다.

복조기(114)는 전송 스트림을 복조하여 원래의 신호, 즉 변조기(13)에 의해 변조되기 전의 전송 스트림을 획득할 수 있다. 복조기(114)는 변조기(13)에 대응하여 마련된 것일 수 있다. 복조기(114)는, 직접 또는 하나 또는 둘 이상의 부품을 경유하여 전송 스트림을 역다중화기(115)로 전달할 수 있다.

역다중화기(115)는 복조된 전송 스트림으로부터 화상 데이터(i2), 음향 데이터(s2) 및 메타 데이터(m2) 중 적어도 하나를 역다중화하여 추출하고, 추출된 화상 데이터(i2)를 화상 처리부(120)로 전달하고, 음향 데이터(s2)를 음향 데이터 처리부(190)로 전달할 수 있다. 또한 역다중화기(115)는 메타 데이터(m2)가 추출된 경우, 추출된 메타 데이터(m2)를 화상 처리부(120) 및 음향 데이터 처리부(190) 중 적어도 하나로 더 전송할 수도 있다. 역다중화기(115)와 화상 처리부(120) 사이에는 증폭기나, 아날로그/디지털 컨버터와 같은 각종 부품이 더 마련될 수 있으며, 이 경우 역다중화기(115)에서 출력된 화상 데이터(i2), 음향 데이터(s2) 및 메타 데이터(m2) 중 적어도 하나는 증폭기나 아날로그 디지털 컨버터를 경유하여 증폭 또는 변환된 후 화상 처리부(120)나 음향 데이터 처리부(190)로 전달될 수도 있다.

화상 처리부(120)는 화상 데이터(i2)에 대한 화상 처리를 수행한다. 화상 처리부(120)는 정지 화상에 대한 화상 처리를 수행할 수도 있고, 동화상에 대한 화상 처리를 수행할 수도 있다. 동화상에 대한 화상 처리를 수행하는 경우, 화상 처리부(120)는 동화상을 이루는 각각의 화상 프레임마다 화상 처리를 수행함으로써 동화상에 대한 화상 처리를 수행할 수 있다.

일 실시예에 의하면, 화상 처리부(120)는 메타 데이터(m2)를 더 이용하여 화상 처리를 수행할 수도 있고, 메타 데이터(m2)를 이용하지 않고 화상 처리를 수행할 수도 있다.

일 실시예에 의하면 화상 처리부(120)는 입력된 화상 데이터(i2)를 이용하여 화상의 전 부분 또는 일 부분에 대해 초점 수준을 결정하고, 결정된 초점 수준을 이용하여 화상 처리를 수행할 수도 있다. 여기서 초점 수준은, 화상의 특정 구역에서 초점이 어느 정도 맞았는지를 이산적으로 나타낸 지표이다. 초점 수준은 복수의 단계로 구분될 수 있으며, 예를 들어 총 256개의 단계, 구체적으로 제0 단계 내지 제255 단계를 포함할 수 있다. 이 경우, 제0 단계는 초점이 가장 안 맞은 상태로 정의되고, 제255 단계는 초점이 가장 잘 맞은 상태로 정의될 수 있다. 물론 단계의 개수나 각 단계에서의 초점이 맞는 정도는 설계자의 선택에 따라 임의적으로 정의될 수 있다.

또한 화상 처리부(120)는, 일 실시예에 의하면, 역 변환 필터링을 통하여 역 번환 화상 처리를 수행할 수도 있다. 역 변환 화상 처리란 해상도가 낮은 이미지로부터 선명하고 해상도가 높은 이미지를 복원하는 방법을 의미하며, 구체적으로 원본 화상이 해상도가 높고 입력된 화상이 해상도 낮은 경우, 역변환 필터링을 통하여 본래 해상도를 복원하는 방법을 의미한다. 화상 처리부(120)는 메타 데이터(m2)에 포함된 초점 거리 및 조리개값 중 적어도 하나를 이용하거나, 또는 화상의 초점 상태를 이용하여 역 변환 영상 처리를 수행할 수도 있다. 이 경우, 화상 처리부(120)는 반복적인 방법을 통하여 화상 처리를 수행할 수 있다.

화상 처리부(120)의 상세한 내용은 후술한다.

라인 메모리(160)는 화상 데이터와 같은 각종 데이터를 일시적 또는 비일시적으로 저장할 수 있도록 마련된다. 라인 메모리(160)는 반도체 저장 장치나, 광 디스크 저장 장치나, 자기 디스크 저장 장치를 이용하여 구현될 수 있다. 반도체 저장 장치는 램을 이용하여 구현될 수 있으며, 예를 들어, 정적 램(SRAM, Static Random Access Memory), 동적 램(DRAM, Dynamic Random Access Memory), 사이리스터 램(T-RAM, Thyristor RAM) 및 제트 램(Z-RAM^TM, Zero-capacitor) 중 적어도 하나를 이용하여 구현될 수 있다. 동적 램을 이용하는 경우, 라인 메모리(160)는 디디알 에스디램(DDR SDRAM, Double-Data-Rate Synchronous Dynamic Random Access Memory)을 이용하여 구현된 것일 수도 있다.

라인 메모리(160)는, 화상 처리부(120)와 전기적으로 연결되어, 화상 처리부(120)의 화상 처리를 지원하는 기능을 수행할 수 있다. 예를 들어 라인 메모리(160)는, 화상 처리부(120)로부터 필터가 적용된 화상을 수신하여 저장하고, 화상 처리부(120)의 호출에 따라 저장된 필터가 적용된 화상을 화상 처리부(120)로 다시 전달할 수 있다.

라인 메모리(160)는 복수 개가 마련될 수 있으며(도 8의 161 내지 169), 화상 처리부(120)는 하나의 화상을 처리하기 위하여 복수 개의 라인 메모리(161 내지 169)를 이용할 수 있다. 이 경우 각각의 라인 메모리(161 내지 169)는 화상의 일부 영역에 대한 데이터를 저장하도록 마련될 수 있다. 예를 들어 각각의 라인 메모리(161 내지 169)는, 각각 동일한 열에 배치된 각 화소의 데이터 값을 저장하도록 설정된 것일 수 있다. 또한 다른 예를 들어, 각각의 라인 메모리(160)는, 각각 동일한 행에 배치된 각 화소의 데이터 값을 저장하도록 설정된 것일 수도 있다.

필터 저장부(170)는 화상 처리부(120)에 의해 수행되는 필터링에 필요한 각종 필터에 대한 정보(도 7의 171 내지 173)를 저장할 수 있다. 필터 저장부(170)에 저장된 필터(171 내지 173)는, 화상을 변화시키기 않고 출력하는 필터나, 화상의 선예도(sharpness)를 증가시키는 필터나, 화상에 블러(blur) 효과를 적용하는 필터 등을 포함할 수 있다.

필터 저장부(170)는 화상 처리부(120)의 호출에 따라 상술한 필터 중 적어도 하나를 화상 처리부(120)에 제공하여, 화상 처리부(120)가 화상의 전부 또는 일부를 보정할 수 있도록 한다. 필터 저장부(170)에 저장된 필터(171 내지 173)는 확장되지 않은 윈도우를 이용하는 필터(도 14의 171a 내지 173a) 및 확장된 윈도우를 이용하는 필터(도 14의 171b 내지 173b) 중 적어도 하나를 포함할 수 있다.

필터 저장부(170) 및 이들 필터(171 내지 173)에 대한 자세한 설명은 후술하도록 한다.

화상 출력부(180)는 화상 처리부(120)에 의해 처리된 화상(i3)을 외부로 출력할 수 있다. 화상 출력부(180)는 화상을 형성하는 디스플레이 패널(181)을 포함할 수 있다. 디스플레이 패널(181)은 외부에서 제공되는 광 중 일부를 방출하거나, 또는 스스로 발광하여 소정의 상을 생성하여 사용자에게 제공할 수 있다. 디스플레이 패널(181)은, 예를 들어, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 디스플레이 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode) 디스플레이 패널, 또는 능동형 유기 발광 다이오드(Active-Matrix Organic Light Emitting Diode) 디스플레이 패널 중 어느 하나를 채용하여 구현될 수 있다. 필요에 따라, 화상 출력부(180)는 디스플레이 패널(181)에 광을 제공하는 백 라이트 유닛(182)을 더 포함할 수 있다. 구체적으로 디스플레이 패널(181)이 액정 디스플레이 패널인 경우, 백 라이트 유닛(182)은 소정 색의 광, 일례로 백색 광 또는 청색 광을 방출하여 디스플레이 패널(181)의 일 면에 입사시키고, 디스플레이 패널(181)은 입사된 광에 따라서 소정의 화상을 출력하게 된다.

음향 데이터 처리부(190)는 역 다중화기(115)에 의해 분리된 음향 데이터(s2)를 음향 출력부(191)에 의해 재생될 수 있는 형태로 복원하거나, 음향 데이터(s2)를 일정한 크기로 증폭시키거나, 음향 데이터(s2)의 비트(beat)나 진폭 등을 변경하거나, 음향 데이터(s2)에 대한 필터링을 수행하거나, 음향 데이터(s2)의 에너지 레벨을 변경하거나 또는 서로 상이한 복수의 음향을 혼합하여 어느 하나의 음향을 생성하는 것과 같이 다양한 방법으로 음향 데이터를 처리할 수 있다. 일 실시예에 의하면, 음향 데이터 처리부(190)는 메타 데이터(m2)를 이용하여 음향 데이터 처리를 수행할 수도 있다. 음향 데이터 처리부(190)에서 처리된 음향 데이터는 음향 출력부(191)로 전달될 수 있다.

음향 출력부(191)는 음향 데이터에 대응하는 음향을 외부로 출력하여 디스플레이 장치(100a)의 사용자에게 청각적 정보를 제공할 수 있다. 음향 출력부(191)는, 예를 들어, 스피커 장치, 이어폰이나 해드폰을 포함할 수 있으며, 여기서 스피커 장치는 전기적 신호인 음향 데이터를 상응하는 진동으로 변환하여 공기 중에 복사시킴으로써 사용자에게 음향을 제공할 수 있다. 디스플레이 장치(100a)는 복수 개의 스피커 장치를 포함할 수 있으며, 복수의 스피커 장치 각각은 서로 상이한 음향을 출력함으로써 음향이 스테레오로 출력되도록 할 수 있다. 스피커는, 우퍼(woofer)와 중저음용 스피커를 포함할 수도 있다.

제어부(192)는 디스플레이 장치(100a)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(192)는 수신부(110), 복조기(114), 역 다중화기(115), 화상 처리부(120), 라인 메모리(160), 화상 출력부(180), 음향 데이터 처리부(190) 및 음향 출력부(191) 각각에 소정의 제어 신호를 전달하여 이들의 동작을 제어할 수 있다. 이에 따라 상술한 화상 처리가 수행될 수 있으며, 상술한 화상 처리가 수행된 정지 화상 또는 동화상이 화상 출력부(180)를 통해 사용자에게 표시되거나, 또는 음향이 음향 출력부(191)를 통해 사용자에게 제공될 수 있다. 제어부(191)는 저장부(193)에 저장된 정보를 이용하여 제어 신호를 생성한 후 생성한 제어 신호를 수신부(110), 복조기(114), 역 다중화기(115), 화상 처리부(120), 라인 메모리(160), 화상 출력부(180), 음향 데이터 처리부(190) 및 음향 출력부(191) 각각에 전달할 수도 있다. 제어부(15)는 하나 또는 둘 이상의 반도체 칩 및 관련 부품으로 구현 가능한 프로세서를 이용하여 구현될 수 있다.

저장부(193)는, 디스플레이 장치(100a)의 동작에 필요한 각종 명령이나 정보나, 프로그램인, 화상 또는 음향과 관련된 각종 데이터를 저장할 수 있다. 저장부(193)는, 화상 처리부(120)에서 처리된 화상을, 화상 출력부(180)를 통해 출력되기 전에, 일시적 또는 비일시적으로 저장할 수 있다. 또한 저장부(193)는, 음향 출력부(191)를 통해 출력되기 전에, 음향 데이터 처리부(190)에서 처리된 음향을 일시적 또는 비일시적으로 저장할 수도 있다. 저장부(193)는 반도체 저장 장치, 자기 디스크 저장 장치 또는 광 디스크 저장 장치 등을 이용하여 구현될 수 있다.

이하 도 6 내지 29를 참조하여 화상 처리부(120)의 여러 실시예에 대해 보다 자세히 설명하도록 한다.

도 6은 화상 처리부의 일 실시예에 대한 구성도이다.

도 6에 도시된 바에 따르면 화상 처리부(120)는, 입력부(121)와, 반복 판단부(122, iteration determiner)와, 출력부(123)와, 개선 필터링부(Enhanced filter applier, 130)를 포함할 수 있다.

입력부(121), 반복 판단부(122), 출력부(123) 및 개선 필터링부(130)는 서로 논리적으로 구분되는 것일 수도 있고, 물리적으로 구분되는 것일 수도 있다. 물리적으로 구분된 경우, 입력부(121), 반복 판단부(122), 출력부(123) 및 개선 필터링부(130)는 적어도 하나의 하드웨어 장치를 이용하여 구현될 수 있으며, 예를 들어 각각 별도의 하드웨어 장치를 이용하여 구현될 수 있다. 여기서 하드웨어 장치는, 프로세서로 동작하는 반도체 칩 및 관련 부품을 포함할 수 있다.

입력부(121), 반복 판단부(122), 출력부(123) 및 개선 필터링부(130) 중 적어도 두 개는 회로나 도선을 이용하여 상호 전기적으로 연결될 수 있으며, 이에 따라 전기적 신호의 형태로 구현된 데이터를 전송 가능하도록 마련된다.

입력부(121)는, 역다중화기(115)에서 출력된 화상 데이터(i2)를 수령하고, 수령한 화상 데이터(i2)를 개선 필터링부(130)로 전달할 수 있으며, 이 경우 필요에 따라 수령한 화상 데이터(i2)를 연산 가능한 신호 레벨로 변환하여 개선 필터링부(130)로 전달할 수도 있다. 입력부(121)는 논리적 구성일 수도 있고, 물리적 구성일 수도 있다. 예를 들어 입력부(121)는 반도체 칩에 마련된 입력핀으로 구현될 수도 있다.

개선 필터링부(130)는, 입력부(121)로부터 전달된 화상 데이터(i2)에 적어도 하나의 필터를 적용함으로써 화상 데이터(i2)에 대응하는 화상을 필터링하고, 필터링된 화상에 대응하는 화상 데이터(130a)를 반복 판단부(122)로 전달할 수 있다.

일 실시예에 의하면, 개선 필터링부(130)는, 일 회 필터를 화상 데이터(i2)에 적용하여 대응하는 화상을 보정할 수도 있고, 복수 회수로 필터를 적용하여 화상 데이터(i2)에 대응하는 화상을 보정할 수 있다. 복수 회수로 필터를 적용하는 경우 각각의 회수마다 적용되는 필터는 서로 동일한 필터일 수도 있고, 서로 상이한 필터일 수도 있으며, 일부는 동일하고 일부는 상이한 필터일 수 있다. 개선 필터링부(130)는 필터 저장부(170)로부터 적어도 하나의 필터(171 내지 173)를 호출한 후, 호출한 필터를 화상 데이터(i2)에 적용하여 필터링을 수행할 수도 있다. 개선 필터링부(130)는, 라인 메모리(160)와 상호 전기적 신호를 주고 받으면서 화상 데이터(i2)에 대응하는 화상을 보정할 수 있다. 개선 필터링부(130)의 자세한 내용은 후술하도록 한다.

반복 판단부(122)는 수신한 화상(130a)에 대해 추가적인 필터링 처리를 더 반복하여 수행할 것인지 여부를 결정할 수 있다. 이 경우, 반복 판단부(122)는, 필터링 시 부가되는 오류, 일례로 화이트 가우시안 오류(white Gaussian error)를 최소화시킬 수 있도록 대해 추가적인 필터링 처리를 더 반복하여 수행할 것인지 여부를 결정할 수 있다.

일 실시예에 의하면, 반복 판단부(122)는, 최소 평균 제곱 오차(MMSE, minimum mean square error)를 이용하여 오차가 최소화될 수 있도록 반복 여부를 결정할 수 있다. 또한 반복 판단부(122)는, 예를 들어, 필터링된 화상 데이터(130a)를 미리 정의된 데이터나 임계값와 비교하거나, 코스트 함수(cost function)를 이용하거나, 최소 제곱법(LSE, Least Square Estimation)을 이용하여 반복 여부를 결정할 수도 있다.

반복 판단부(122)가 반복하여 필터링할 것을 결정하면, 필터링된 화상 데이터(130a)를 다시 개선 필터링부(130)로 전달하여 개선 필터링부(130)가 필터링된 화상 데이터(130a)에 대한 추가적인 필터링을 수행하도록 할 수 있다. 다시 말해서, 반복 판단부(122)는 필터링된 화상 데이터(130a)를 개선 필터링부(130)로 다시 전달하여(122a), 화상에 반복적으로 필터 저장부(170)에 저장된 필터(171 내지 173)가 적용되도록 할 수 있다. 반대로 반복 판단부(122)가 더 이상 반복하지 않는다고 결정하면, 반복 판단부(122)는 수신한 필터링된 화상 데이터(130a)를 출력부(123)로 전달하여(122b), 최종적으로 처리된 화상 데이터(i3)가 외부로 출력되도록 할 수도 있다. 이 경우, 출력부(123)로 전달된 필터링된 화상 데이터(130a)는 개선 필터링부(130)에 의해 일 회 필터링 처리가 수행된 화상에 대응하는 신호일 수도 있고, 개선 필터링부(130)에 의해 복수 회 필터링 처리가 수행된 화상에 대응하는 신호일 수도 있다. 복수 회 필터링 처리가 수행된 경우 필터링 처리 회수는 예를 들어 대략 2 내지 4회일 수 있으며, 필요에 따라 그 이상도 가능하다.

출력부(123)는, 반복 판단부(122)로부터 전달받은 화상 데이터(122b)를 출력하여, 최종적으로 처리된 화상 데이터(i3)를, 화상 출력부(180)로 전달하거나, 또는 제어부(192)로 전달할 수 있다. 화상 데이터(i3)가 제어부(192)로 전달되는 경우, 제어부(192)는 수신한 화상 데이터(i3)를 기초로 디스플레이 패널(181)에 대한 제어 신호, 또는 디스플레이 패널(181) 및 백 라이트 유닛(182)에 대한 제어 신호를 생성하고 생성된 제어 신호를 상응하는 부품에 전달하여 화상 출력부(180)가 최종적으로 처리된 화상 데이터(i3)에 대응하는 화상을 출력하도록 할 수 있다.

이하 개선 필터링부(130)에 대해 보다 구체적으로 설명한다.

도 7은 개선 필터링부의 일 실시예에 대한 구성도이고, 도 8은 화상 처리 및 라인 메모리를 설명하기 위한 도면이다.

도 7에 도시된 바에 의하면, 개선 필터링부(130)는, 필터를 화상 데이터에 적용하는 적어도 하나의 필터링부(Filter applier, 131 내지 134) 및 필터링된 화상 데이터를 저장하는 화상 저장부(135)를 포함할 수 있다.

적어도 하나의 필터링부(131 내지 134)는, 각각 독립적으로 전달된 화상에 필터를 적용하여 필터링된 화상을 획득할 수 있다. 적어도 하나의 필터링부(131 내지 134)는, 필터 저장부(170)에 저장된 적어도 하나의 필터(171 내지 173)를 이용하여 필터링 처리를 수행할 수 있다.

실시예에 따라서, 개선 필터링부(130)는 한 개의 필터링부만을 포함할 수도 있고, 도 7에 도시된 것처럼 복수 개의 필터링부(131 내지 134)를 포함할 수도 있다. 예를 들어, 개선 필터링부(130)는, 네 개의 필터링부(131 내지 134)를 포함할 수 있다. 복수의 필터링부(131 내지 134)는 순차적으로 화상에 필터를 적용하여 화상을 필터링하여 각각 필터링된 화상을 획득할 수 있다. 복수의 필터링부(131 내지 134)는 각각 물리적으로 분리된 것일 수도 있고, 논리적으로 분리된 것일 수도 있으며, 물리적으로 분리된 경우 복수의 필터링부(131 내지 134)는 각각 별도의 프로세서에 의해 구현된 것일 수 있다. 논리적으로 분리된 경우 복수의 필터링부(131 내지 134)는 하나의 프로세서에 의해 구현될 수도 있으며, 다시 말해서 하나의 프로세서가 복수의 필터링부(131 내지 134) 각각의 기능을 수행할 수도 있다.

이하 설명의 편의를 위하여 개선 필터링부(130)가 네 개의 필터링부(131 내지 134)를 포함하는 실시예에 대해 설명하도록 한다. 이 경우, 각각의 필터링부(131 내지 134)는 필터(171 내지 173)를 적용하는 순서에 따라서 제1 필터링부(131), 제2 필터링부(132), 제3 필터링부(133) 및 제4 필터링부(134)라 칭하도록 한다.

제1 필터링부(131)는, 입력부(121)를 통해 입력된 화상 데이터(i) 또는 반복 판단부(122)로부터 전달되는 필터링된 화상 데이터(130a)를 수신하고, 수신한 화상 데이터에 적어도 하나의 필터(171 내지 173)를 적용할 수 있다.

구체적으로 제1 필터링부(131)는, 필터 저장부(170)에 저장된 제1 필터 내지 제3 필터(171 내지 173) 중 어느 하나의 필터를 호출한 후, 호출한 제1 필터 내지 제3 필터(171 내지 173) 중 어느 하나를 이용하여 필터링을 수행한다. 제1 필터 내지 제3 필터(171 내지 173)는 서로 상이한 필터일 수 있다.

일 실실예에 의하면, 제1 필터 내지 제3 필터(171 내지 173)는, 화상의 선예도를 증가시키거나, 유지시키거나, 또는 감소시키는 필터를 포함할 수 있다.

예를 들어, 제1 필터(171)는 언샤프 필터(unsharp filter), 경계 개선 필터(edge enhancement filter) 또는 하이 패스 필터(high pass filter) 등과 같이 화상의 선예도를 개선하기 위한 고 주파수 필터를 포함할 수 있다. 제1 필터(171)가 적용된 경우, 화상(i20) 내의 고주파 성분이 강화되어 화상(i20) 내의 경계선이 보다 선명하게 될 수 있으며, 이에 따라 화상(i20) 내의 경계선은 보다 날카로워짐으로써 제1 필터(171)가 적용된 화상(i20)의 전부 또는 일 부분은 상대적으로 초점이 더 잘 맞은 것처럼 뚜렷하게 나타나게 될 수 있다.

또한 예를 들어, 제2 필터(172)는 바이패스 필터 등과 같이 입력된 화상 데이터를 변환하지 않도록 하는 중간 주파수 필터를 포함할 수 있다. 제2 필터(172)가 적용된 경우, 제2 필터(172)가 적용된 화상(i20)은 제2 필터(172) 적용 전의 화상과 대체적으로 동일할 수 있다.

또한 예를 들어, 제3 필터(173)는, 로우 패스 필터(low pass filter) 등과 같이 선예도를 감소시키고 부드러움(smoothness)을 증가시켜 화상에 블러 효과를 추가하는 저 주파수 필터를 포함할 수 있다. 이 경우 제3 필터(173)가 적용되면, 화상(i20) 내의 고주파 성분이 약화되어 화상(i20) 내의 경계선이 상대적으로 흐리게 표현될 수 있다. 이에 따라 화상(i20)의 경계 부분은 상대적으로 부드러워지게 되고, 화상(i20)에서 제3 필터(173)가 적용된 부분은 초점이 상대적으로 덜 맞는 것처럼 보이게 될 수 있다.

필터 저장부(170)에 저장된 필터(171 내지 173)는 이외에도 설계자가 고려할 수 있는 다양한 필터를 이용하여 구현될 수 있다.

도 8에 도시된 바를 참조하면, 하나의 화상(i20)은 복수의 화소(P11 내지 Plm)로 이루어질 수 있으며, 각각의 화소(P11 내지 Plm)는 매트릭스의 형태로 배열된다. 이 경우, 각각의 화소(P11 내지 Plm)은 복수 개수(l)의 열과, 복수 개수(m)의 행으로 배열될 수 있다.

각각의 화소(P11 내지 Plm)마다 화상 출력부(180)를 통해 출력되는 화상 데이터가 존재하며, 이들 화상 데이터는 명암 값이나 색상 값에 대한 정보를 포함할 수 있다. 이들 명암 값과 색상 값을 포함하는 화상 데이터의 조합에 의하여 시청자가 시각적으로 인지할 수 있는 적어도 하나의 화상(i20)이 형성될 수 있다.

제1 필터링부(131)는 복수의 화소(P11 내지 Plm)에 존재하는 화상 데이터에 대해 필터링을 수행할 수 있다. 이 경우, 제1 필터링부(131)는 각각의 화소(P11 내지 Plm)마다 필터링을 수행할 수도 있고, 일 집단의 화소마다 필터링을 수행할 수 있다. 일 집단의 화소마다 필터링을 하는 경우, 제1 필터링부(131)는, 예를 들어, 동일한 열에 배치된 화소, 일례로 제1 열에 배치된 화소(P11 내지 P1m)에 대해 동시에 또는 이시에 필터링을 수행할 수도 있고, 복수 열, 일례로 제1 열 내지 제11 열에 배치된 화소(P11 내지 Pbm, 여기서 b=1)에 대해 동시에 또는 이시에 필터링을 수행할 수도 있다.

제1 필터링부(131)는, 필터링이 종료되면 필터링된 화상 데이터를 라인 메모리(160)로 전송하여 라인 메모리(160)가 필터링된 화상 데이터를 저장하도록 할 수 있다(s10).

일 실시예에 의하면, 제1 필터링부(131)는, 일 집단의 화소의 화상 데이터에 필터링을 수행하여 획득된 화상 데이터는 복수의 라인 메모리(161 내지 169) 중 어느 하나의 라인 메모리에 전달하고, 다른 집단의 화소의 화상 데이터에 필터링을 수행하여 획득된 화상 데이터는 다른 라인 메모리에 전달하도록 하여 각각의 라인 메모리(161 내지 169)가 대응되는 필터링된 화상 데이터를 저정하도록 할 수도 있다.

예를 들어, 제1 필터링부(131)는, 제1 열에 배치된 화소(P11 내지 P1m)의 화상 데이터에 필터링을 수행하여 획득된 화상 데이터는 제1 라인 메모리(161)에 저장하고, 제2 열에 배치된 화소(P21 내지 P2m)의 화상 데이터에 필터링을 수행하여 획득된 화상 데이터는 제2 라인 메모리(162)에 저장하도록 할 수 있다. 동일하게 제n 열에 배치된 화소에 대한 필터링 결과 획득된 화상 데이터는 제n 라인 메모리(169)에 저장하도록 할 수 있다. 여기서 라인 메모리의 개수(n)는 화상(i20)을 이루는 화소의 열의 개수(l)보다 클 필요는 없다. 다시 말해서, 라인 메모리의 개수(n)는 화상(i20)을 이루는 화소의 열의 개수보다 적을 수 있다. 실시예에 따라서 라인 메모리의 개수(n)는 화소의 수직 방향 개수(l)보다 매우 적을 수도 있으며, 예를 들어 라인 메모리의 개수(n)는 11개일 수 있다. 일 실시예에 의하면, 라인 메모리의 개수(n)는, 후술하는 필터링 윈도우의 수직 방향 크기에 대응하는 것일 수 있다.

라인 메모리(160)에 저장되고 제1 필터링부(131)에 의해 필터링된 화상의 전부 또는 일부는 제2 필터링부(132)로 전달된다(s11).

제2 필터링부(132)는, 라인 메모리(160, 161 내지 169)로부터 제1 필터링부(131)에 의해 필터링된 화상의 전부 또는 일부를 전달받고, 전달받은 화상의 전부 또는 일부에 적어도 하나의 필터(171 내지 173)를 적용할 수 있다.

이 경우, 제2 필터링부(132)는, 필터 저장부(170)에 저장된 제1 필터 내지 제3 필터(171 내지 173) 중 어느 하나의 필터를 호출한 후, 호출한 제1 필터 내지 제3 필터(171 내지 173) 중 어느 하나를 이용하여 필터링을 수행할 수 있다. 제1 필터 내지 제3 필터(171 내지 173)는 서로 상이한 필터일 수 있다. 상술한 바와 같이, 제1 필터 내지 제3 필터(171 내지 173)는 각각 하이 패스 필터, 바이 패스 필터 및 로우 패스 필터일 수 있으며, 이외에도 설계자가 고려할 수 있는 다양한 필터를 포함할 수 있다.

일 실시예에 의하면, 제2 필터링부(132)는, 제1 필터링부(131)에 의해 이용된 필터와 동일한 필터를 이용하여 화상의 전부 또는 일부를 필터링할 수도 있다. 예를 들어 제1 필터링부(131)는 제1 필터(171), 일례로 언샤프 필터를 이용하여 필터링을 수행한 경우, 제2 필터링부(132) 역시 제1 필터(171), 일례로 언샤프 필터를 이용하여 필터링을 수행할 수 있다.

다른 일 실시예에 의하면, 제2 필터링부(132)는, 제1 필터링부(131)에 의해 화상에 적용된 필터와 상이한 필터를 이용하여 화상의 전부 또는 일부를 필터링할 수도 있다. 예를 들어 제1 필터링부(131)는 제1 필터(171), 일례로 언샤프 필터를 이용하여 필터링을 수행하고, 제2 필터링부(132)는 제1 필터(171)과 상이한 제3 필터(172), 일례로 로우 패스 필터를 이용하여 필터링을 수행할 수도 있다.

제2 필터링부(132) 역시 제1 필터링부(131)과 동일하게 복수의 화소(P11 내지 Plm)에 존재하는 화상 데이터마다 필터링을 수행할 수 있으며, 이 경우, 제2 필터링부(132)는 각각의 화소(P11 내지 Plm)마다 필터링을 수행할 수도 있고, 일 집단의 화소 마다 필터링을 수행할 수 있다. 일 집단의 화소마다 필터링을 하는 경우, 제2 필터링부(132)는, 예를 들어, 동일한 열에 배치된 화소(P11 내지 P1m)에 대해 필터링을 수행할 수도 있고, 복수 열에 배치된 화소(P11 내지 Pbm)에 대해 필터링을 수행할 수도 있다.

제2 필터링부(132)는, 필터링이 종료되면 필터링된 화상 데이터를 라인 메모리(160)로 전송하여 라인 메모리(160)가 필터링된 화상 데이터를 저장하도록 할 수 있다(s12). 이 경우 제2 필터링부(132)가 일 집단의 화소, 일례로 복수 열의 화소의 화상 데이터에 대해 필터링을 수행함으로써 획득된 필터링된 화상 데이터는, 복수의 라인 메모리(161 내지 169) 중 각각의 열에 대응하는 라인 메모리(161 내지 169)에 전달되어, 각각의 열에 대응하는 라인 메모리(161 내지 169)에 저장될 수 있다.

라인 메모리(160)에 저장되고 제2 필터링부(132)에 의해 필터링된 화상의 전부 또는 일부는 제3 필터링부(133)로 전달될 수 있다(s13).

제3 필터링부(133)는, 라인 메모리(160, 161 내지 169)로부터 제2 필터링부(132)에 의해 필터링된 화상의 전부 또는 일부를 전달받고, 전달받은 화상의 전부 또는 일부에 적어도 하나의 필터(171 내지 173)를 적용할 수 있다. 제3 필터링부(132)는, 필터 저장부(170)에 저장된 제1 필터 내지 제3 필터(171 내지 173) 중 어느 하나의 필터를 호출한 후, 호출한 제1 필터 내지 제3 필터(171 내지 173) 중 어느 하나를 이용하여 필터링을 수행할 수 있다. 제1 필터 내지 제3 필터(171 내지 173)는 서로 상이한 필터일 수 있으며, 상술한 바와 같이, 각각 언샤프 필터, 바이 패스 필터 및 로우 패스 필터일 수 있다.

일 실시예에 의하면, 제3 필터링부(131)는, 제1 필터링부(131) 및 제2 필터링부(132) 중 적어도 하나에서 호출된 필터와 동일한 필터를 이용하여 화상의 전부 또는 일부를 필터링할 수도 있다. 예를 들어 제1 필터링부(131), 제2 필터링부(132) 및 제3 필터링부(133)는 모두 제1 필터(171), 일례로 언샤프 필터를 이용하여 필터링을 수행할 수 있다.

다른 일 실시예에 의하면, 제3 필터링부(131)는, 제1 필터링부(131) 및 제2 필터링부(132) 중 적어도 하나에서 호출된 필터와 상이한 필터를 이용하여 화상의 전부 또는 일부를 필터링할 수도 있다. 예를 들어 제1 필터링부(131)는 제1 필터(171), 일례로 언샤프 필터를 이용하여 필터링을 수행하고, 제2 필터링부(132)는 제1 필터(171)과 상이한 제3 필터(172), 일례로 로우 패스 필터를 이용하여 필터링을 수행하며, 제3 필터링부(133)는 제1 필터링부(131)에서 이용되었으나 제2 필터링부(132)에서는 이용되지 않은 제1 필터(171)를 이용하여 필터링을 수행할 수도 있다.

제3 필터링부(132) 역시 복수의 화소(P11 내지 Plm)에 존재하는 화상 데이터마다 필터링을 수행할 수 있으며, 이 경우 각각의 화소(P11 내지 Plm)마다 필터링을 수행할 수도 있고, 일 집단의 화소 마다 필터링을 수행할 수도 있다. 일 집단의 화소마다 필터링을 하는 경우, 제3 필터링부(133)는, 예를 들어, 동일한 열에 배치된 화소(P11 내지 P1m)에 대해 필터링을 수행할 수도 있고, 복수 열에 배치된 화소(P11 내지 Pbm)에 대해 필터링을 수행할 수도 있다.

제3 필터링부(133)는, 필터링이 종료되면 필터링된 화상 데이터를 라인 메모리(160)로 전송하여 라인 메모리(160)가 필터링된 화상 데이터를 저장하도록 할 수 있다(s14). 상술한 바와 동일하게, 일 집단의 화소, 일례로 복수 열의 화소의 화상 데이터에 필터링을 수행하여 획득된 화상 데이터는, 복수의 라인 메모리(161 내지 169) 중 각각의 열에 대응하는 라인 메모리(161 내지 169)에 전달하여, 각각의 열에 대응하는 라인 메모리(161 내지 169)에 저장될 수 있다.

라인 메모리(160)에 저장되고 제3 필터링부(133)에 의해 필터링된 화상의 전부 또는 일부는 제4 필터링부(134)로 전달될 수 있다(s15).

제4 필터링부(133)는, 라인 메모리(160, 161 내지 169)로부터 제3 필터링부(133)에 의해 필터링된 화상의 전부 또는 일부를 전달받고, 전달받은 화상의 전부 또는 일부에 대해 적어도 하나의 필터(171 내지 173)를 적용할 수 있다. 제4 필터링부(134)는, 필터 저장부(170)에 저장된 제1 필터 내지 제3 필터(171 내지 173) 중 어느 하나의 필터를 이용하여 필터링을 수행할 수 있으며, 이 경우, 제1 필터 내지 제3 필터(171 내지 173)는 각각 언샤프 필터, 바이 패스 필터 및 로우 패스 필터일 수 있다. 물론 설계자의 선택에 따라, 제1 필터 내지 제3 필터(171 내지 173)는 이외에도 다양한 필터일 수도 있다.

일 실시예에 의하면, 제4 필터링부(134)는, 제1 필터링부(131) 내지 제3 필터링부(133) 중 적어도 하나에서 호출된 필터와 동일한 필터를 이용하여 화상의 전부 또는 일부를 필터링할 수도 있다. 예를 들어 제1 필터링부 내지 제4 필터링부(131 내지 134) 모두는 제1 필터(171), 일례로 언샤프 필터를 이용하여 필터링을 수행할 수 있다.

다른 일 실시예에 의하면, 제4 필터링부(134)는, 제1 필터링부(131) 내지 제3 필터링부(133) 중 적어도 하나에 의해 화상에 적용된 필터와 상이한 필터를 이용하여 화상의 전부 또는 일부를 필터링할 수도 있다. 예를 들어 제1 필터링부(131)는 제1 필터(171), 일례로 언샤프 필터를 이용하여 필터링을 수행하고, 제2 필터링부(132)는 제1 필터(171)과 상이한 제3 필터(172), 일례로 로우 패스 필터를 이용하여 필터링을 수행하며, 제3 필터링부(133)는 제1 필터(171)를 이용하여 필터링을 수행하고, 제4 필터링부(143)는 제2 필터링부(132)에서만 이용되었던 로우 패스 필터를 이용하여 필터링을 수행할 수도 있다.

상술한 바와 동일하게 제4 필터링부(134)도 각각의 화소(P11 내지 Plm)마다 필터링을 수행할 수도 있고, 일 집단의 화소 마다 필터링을 수행할 수도 있다. 일 집단의 화소마다 필터링을 하는 경우, 제4 필터링부(134)는, 예를 들어, 동일한 열에 배치된 화소(P11 내지 P1m)에 대해 필터링을 수행할 수도 있고, 복수 열에 배치된 화소(P11 내지 Pbm)에 대해 필터링을 수행할 수도 있다.

제4 필터링부(133)는, 필터링이 종료되면 필터링된 화상 데이터를 라인 메모리(160)가 아닌 화상 저장부(135)로 전송할 수 있다.

화상 저장부(135)는 제1 필터링부 내지 제4 필터링부(131 내지 134)에 의해 복수 회수로 필터링된 화상 데이터를 저장하도록 마련된다. 화상 저장부(135)는 반도체 메모리 장치나, 자기 디스크 메모리 장치나, 광 디스크 메모리 장치 등을 이용하여 구현될 수 있다. 화상 저장부(135)는 필요에 따라 생략될 수 있다. 화상 저장부(135)는 라인 메모리(160)나 별도로 마련된 저장부(193)에 의해 구현되는 것도 가능하다.

화상 저장부(135)에 저장된 화상 데이터, 즉 복수 회수로 필터링된 화상 데이터는 반복 판단부(122)로 전달될 수 있다. 반복 판단부(122)는, 상술한 바와 같이 추가적인 필터링 여부를 결정할 수 있으며, 추가적인 필터링이 결정된 경우, 복수 회수로 필터링된 화상 데이터는 제1 필터링부(131)로 다시 전달되고, 제1 필터링부(131)는 상술한 바와 동일하게 반복하여 필터링을 수행한 후, 라인 메모리(160)에 다시 필터링된 화상 데이터를 저장할 수 있다. 제2 필터링부 내지 제4 필터링부(132 내지 134) 역시 동일하게 반복하여 필터링을 수행한 후 라인 메모리(160) 또는 화상 저장부(135)로 반복하여 필터링된 화상 데이터를 전달할 수 있다. 화상 저장부(135)에 전달된 반복하여 필터링된 화상 데이터는 다시 반복 판단부(122)로 전달될 수 있다.

이하 제1 필터링부 내지 제4 필터링부(131 내지 134)가 윈도우로 구현된 필터를 이용하는 실시예에 대해 설명하도록 한다.

도 9는 개선 필터링부의 다른 실시예에 대한 구성도이고, 도 10은 필터링 윈도우의 일 실시예를 도시한 도면이다. 도 11은 필터링 윈도우의 다른 실시예를 도시한 도면이다.

도 9에 도시된 바를 참조하면, 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는, 화상의 일부 구역에 필터를 적용함으로써 화상을 필터링할 수 있다. 다시 말해서 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는 소정의 구역을 선택하고 선택된 구역에 필터링을 수행할 수 있다. 이 경우 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는, 선택된 구역에 필터링을 수행하고, 선택된 구역과 상이한 다른 구역에 필터링을 수행하는 과정을 반복함으로써, 화상을 필터링할 수 있게 된다. 선택된 구역과 상이한 다른 구역은 일부 구역이 중첩될 수도 있고, 중첩되지 않을 수도 있다.

일 실시예에 의하면, 필터(170a, 170b)는 특정 구역을 필터링하기 위하여 특정 구역을 아우르도록 설계된 필터링 윈도우(w1, w2)를 이용하여 구현된 것일 수 있다.

구체적으로 필터링 윈도우(w1, w2)는, 화상(i20) 내에서 필터링 처리가 수행될 구역을 설정하고, 필터링 처리가 수행될 구역을 다른 구역과 구분하는 기능을 수행한다. 다시 말해서 화상 내에서 필터링 윈도우(w1, w2)가 적용된 영역은 필터링이 수행되고, 필터링 윈도우(w1, w2)가 적용되지 않은 다른 영역은 필터링이 수행되지 않게 된다.

필터링 윈도우(w1, w2)는, 화상(i20)의 형태에 대응하여 사각형의 형상을 가질 수 있으나, 실시예에 따라서 원, 타원 또는 마름모 등과 같이 다양한 형상을 가질 수도 있다.

일 실시예에 의하면 필터링 윈도우(fw1)는, 도 10에 도시된 바와 같이, 정사각형의 형상을 가질 수 있다. 다시 말해서 필터링 윈도우(fw1)는, 필터링 윈도우(fw1)의 높이(h1) 및 폭(w1)은 서로 동일하여 대칭적(symmetric)인 형태를 가진 대칭적 필터링 윈도우일 수 있다.

대칭적 필터링 윈도우(fw1)를 화상에 적용하는 경우, 수평 방향으로 Q개, 수직 방향으로 Q개의 화소, 즉 Q X Q 개의 화소(Q는 1 이상의 자연수)가 대칭적 필터링 윈도우(fw1) 내에 위치하게 된다. 따라서 대칭적 필터링 윈도우(fw1)를 이용하는 필터(171a, 172a, 173a)를 화상에 적용하는 경우, 화상의 일 구역에 위치한 Q X Q 개의 화소에 대한 필터링이 수행될 수 있다.

대칭적 필터링 윈도우(fw1)의 크기는, 대칭적 필터링 윈도우(fw1)의 내측에 위치하는 화소의 열의 개수 및 행의 개수를 이용하여 정의 가능하다. 예를 들어 Q X Q 개의 화소가 대칭적 필터링 윈도우(fw1)에 위치하는 경우, 대칭적 필터링 윈도우(fw1)의 크기는 Q X Q로 정의될 수 있다. 대칭적 필터링 윈도우(fw1)의 크기는, 설계자의 선택에 따라 임의적으로 결정될 수 있다. 예를 들어 대칭적 필터링 윈도우(fw1)는 11 X 11의 크기를 가질 수 있다. 이 경우 11 X 11의 매트릭스로 배열된 화소가 내측에 위치할 수 있으며, 따라서 대칭적 필터링 윈도우(fw1) 내부에는 총 121개의 화소가 배치되게 된다.

필터링 윈도우(fw2)는, 도 11에 도시된 바와 같이, 직사각형의 형상을 가질 수도 있다. 다시 말해서 필터링 윈도우(fw2)는, 필터링 윈도우(fw2)의 높이(h2) 및 폭(w2)이 서로 상이하여 비대칭적(asymmetric)인 형상을 가진 비대칭적 필터링 윈도우일 수 있다.

비대칭적 필터링 윈도우(fw2)를 화상에 적용하는 경우, 수평 방향으로 P개, 수직 방향으로 Q개의 화소, 즉 P X Q 개의 화소(P, Q는 1 이상의 자연수, P≠Q)가 비대칭적 필터링 윈도우(fw2) 내에 위치하게 된다. 따라서 비대칭적 필터링 윈도우(fw2)를 이용하는 필터(171b, 172b, 173b)를 화상에 적용하는 경우, 화상 내의 일 구역에 위치한 P X Q 개의 화소에 대한 필터링이 수행될 수 있다. 여기서, P가 Q보다 크다면 비대칭적 필터링 윈도우(fw2)는 수평 방향으로 긴 직사각형의 형상을 가질 수 있다. 이에 따라 비대칭적 필터링 윈도우(fw2)를 이용하는 경우, 대칭적 필터링 윈도우(fw1)를 이용하는 경우보다 동일한 열에 위치한 화소 중 더 많은 화소들이 필터링되게 된다. 다시 말해서, 대칭적 필터링 윈도우(fw1)를 이용하는 경우 동일한 열에 위치한 Q개의 화소에 대해 필터링이 수행되나, 비대칭적 필터링 윈도우(fw2)를 이용하는 경우 동일한 열에 위치한 P개의 화소(P>Q)에 대해 필터링이 수행될 수 있게 된다.

비대칭적 필터링 윈도우(fw2)의 크기 역시 상술한 바와 같이 비대칭적 필터링 윈도우(fw2)의 내측에 위치하는 화소의 개수를 이용하여 정의 가능하다. 비대칭적 필터링 윈도우(fw2)의 크기는 설계자의 선택에 따라 임의적으로 결정될 수 있다. 예를 들어, 비대칭적 필터링 윈도우(fw2)는 71 X 11의 크기를 가질 수 있으며, 이 경우 수직 방향으로 11개, 수평 방향으로 71 개의 화소, 즉 71 X 11 매트릭스의 형태로 배열된 화소가 내측에 위치하게 된다. 따라서 781개의 화소가 71 X 11의 크기의 비대칭적 필터링 윈도우(fw2) 내에 위치하게 된다. 그러므로 비대칭적 필터링 윈도우(fw2)를 갖는 필터(171b, 172b, 173b)를 이용하는 경우, 781개의 화소가 필터링되게 된다.

일 실시예에 의하면, 필터링 윈도우(w1, w2)를 이용하여 화상 처리를 하는 경우, 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는 필터링 윈도우(w1, w2)의 내부에 위치한 하나 또는 둘 이상의 화소의 데이터를 이용하여 특정 데이터의 화소에 대한 필터링을 수행할 수 있다. 예를 들어 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는 필터링 윈도우(w1, w2)의 내부에 위치한 특정 화소의 필터링을 위하여 특정 화소에 인접한 하나 이상의 다른 화소를 더 이용할 수도 있다.

또한 필요에 따라서, 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는, 필터링 윈도우(w1, w2)의 외부에 위치한 화소 중 적어도 하나의 데이터를 더 이용하여 필터링을 수행할 수도 있다. 특히, 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는 필터링 윈도우(w1, w2)의 경계 주변의 화소에 대한 필터링을 수행하는 경우, 필터링 윈도우(w1, w2)의 외부에 위치한 화소 중 적어도 하나의 데이터를 더 이용하여 필터링을 수행할 수 있다. 이에 대해선 후술하도록 한다.

필터링 저장부(170)는, 일 실시예에 의하면, 상술한 대칭적 필터링 윈도우(fw1)를 이용하는 필터(171a, 172a, 173a, 이하 대칭적 필터)와, 비대칭적 필터링 윈도우(fw2)를 이용하는 필터(171b, 172b, 173b, 이하 비대칭적 필터)를 저장하고 있을 수 있다.

필터링 저장부(170)는, 복수의 대칭적 필터링 윈도우(fw1)를 이용하는 대칭적 필터를 저장할 수 있다. 예를 들어, 필터 저장부(170)는 제1 대칭적 필터(171a), 제2 대칭적 필터(172a) 및 제3 대칭적 필터(173a)를 저장할 수 있으며, 제1 대칭적 필터(171a), 제2 대칭적 필터(172a) 및 제3 대칭적 필터(173a) 각각은 서로 상이하게 화상에 대한 필터링을 수행하기 위해 이용될 수 있다. 이 경우 제1 대칭적 필터(171a)는 언샤프 필터, 경계 개선 필터 또는 하이 패스 필터 등과 같이 화상의 선예도를 개선하기 위한 필터를 포함하고, 제2 대칭적 필터(172a)는 바이패스 필터 등과 같이 입력된 화상 데이터를 변환하지 않도록 하는 필터를 포함할 수 있으며, 제3 대칭적 필터(173a)는 화상에 블러 효과를 추가하는 로우 패스 필터 등과 같이 화상의 선예도를 감소시키는 필터를 포함할 수 있다.

또한 필터링 저장부(170)는 복수의 비대칭적 필터링 윈도우(fw2)를 이용하는 비대칭적 필터를 저장하고 있을 수 있다. 예를 들어, 필터링 저장부(170)는 제1 비대칭적 필터(171b), 제2 비대칭적 필터(172b) 및 제3 비대칭적 필터(173b)를 저장할 수 있다. 제1 비대칭적 필터(171b), 제2 비대칭적 필터(172b) 및 제3 비대칭적 필터(173b) 각각은 화상에 대한 상이한 필터링을 수행하기 위해 이용될 수 있다. 일 실시예에 의하면, 제1 비대칭적 필터(171b)는 언샤프 필터, 경계 개선 필터 또는 하이 패스 필터 등과 같이 화상의 선예도를 개선하기 위한 필터를 포함하고, 제2 비대칭적 필터(172b)는 바이패스 필터 등과 같이 입력된 화상 데이터를 변환하지 않도록 하는 필터를 포함할 수 있으며, 제3 비대칭적 필터(173b)는 화상에 블러 효과를 추가하는 로우 패스 필터 등과 같이 화상의 선예도를 감소시키는 필터를 포함할 수 있다.

일 실시예에 의하면, 제1 필터링부(131)는 필터링 저장부(170)에 저장된 제1 대칭적 필터(171a), 제2 대칭적 필터(172a), 제3 대칭적 필터(173a), 제1 비대칭적 필터(171b), 제2 비대칭적 필터(172b) 및 제3 비대칭적 필터(173b) 중 적어도 하나의 필터를 이용하여 화상에 대한 필터링을 수행할 수 있다. 예를 들어, 제1 필터링부(131)는 71 X 11의 매트릭스 형태로 배열되고 선예도 개선 필터링을 수행하기 위한 제1 비대칭적 필터(171b)를 이용하여 필터링을 수행할 수 있다.

제2 필터링부(132)는 제1 필터링부(131)와 동일하게 제1 대칭적 필터(171a), 제2 대칭적 필터(172a), 제3 대칭적 필터(173a), 제1 비대칭적 필터(171b), 제2 비대칭적 필터(172b) 및 제3 비대칭적 필터(173b) 중 적어도 하나의 필터를 이용하여 화상에 대한 필터링을 수행할 수 있으며, 이 경우 제2 필터링부(132)는 제1 필터링부(131)에서 이용된 필터와 동일한 필터를 이용하여 필터링을 수행할 수도 있고, 제1 필터링부(131)에서 이용된 필터와 상이한 필터를 이용하여 필터링을 수행할 수도 있다.

제3 필터링부(133)는 제1 필터링부(131) 및 제2 필터링부(132)와 동일하게 제1 대칭적 필터(171a), 제2 대칭적 필터(172a), 제3 대칭적 필터(173a), 제1 비대칭적 필터(171b), 제2 비대칭적 필터(172b) 및 제3 비대칭적 필터(173b) 중 적어도 하나의 필터를 이용하여 화상에 대한 필터링을 수행할 수 있다. 제3 필터링부(133)는 제1 필터링부(131) 및 제2 필터링부(132) 중 적어도 하나에서 이용된 필터와 동일한 필터를 이용하여 필터링을 수행할 수도 있고, 제1 필터링부(131) 및 제2 필터링부(132)에서 이용된 필터와 상이한 필터를 이용하여 필터링을 수행할 수도 있다.

제4 필터링부(134)는 제1 필터링부 내지 제3 필터링부(131 내지 133)와 동일하게 제1 대칭적 필터(171a), 제2 대칭적 필터(172a), 제3 대칭적 필터(173a), 제1 비대칭적 필터(171b), 제2 비대칭적 필터(172b) 및 제3 비대칭적 필터(173b) 중 적어도 하나의 필터를 이용하여 화상에 대한 필터링을 수행할 수 있다. 마찬가지로, 제4 필터링부(134)는 제1 필터링부 내지 제3 필터링부(131 내지 133) 중 적어도 하나에서 이용된 필터와 동일한 필터를 이용하여 필터링을 수행할 수도 있고, 제1 필터링부 내지 제3 필터링부(131 내지 133)에서 이용된 필터와 상이한 필터를 이용하여 필터링을 수행할 수도 있다.

제1 필터링부 내지 제4 필터링부(131 내지 134)가 각각 대칭적 필터(170a)를 이용할지 또는 비대칭적 필터(170b)를 이용할지 여부는 사전에 미리 판단된 것일 수 있다. 이 경우 제1 필터링부 내지 제4 필터링부(131 내지 134)는 외부의 제어부(192)의 제어에 따라 대칭적 필터(170a) 및 비대칭적 필터(170b) 중 어느 하나를 이용하도록 설계된 것일 수 있다.

도 12는 필터링 윈도우를 이용한 화상 처리를 설명하기 위한 제1 도면이고, 도 13은 필터링 윈도우를 이용한 화상 처리를 설명하기 위한 제2 도면이다. 도 12 및 도 13은 수평 방향으로 1280개의 화소가 존재하고, 수직 방향으로 1024개의 화소가 존재하는 화상(i20)에, 71x11 크기의 비대칭적 윈도우를 이용하는 필터(170b)를 적용한 일례를 도시한 것이다.

도 12 및 도 13에 도시된 바를 참조하면, 필터링 윈도우, 일례로 비대칭적 필터링 윈도우(fw2)를 이용하여 화상(i20) 내의 특정한 구역이 필터링을 위해 선택될 수 있다. 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는, 비대칭적 필터링 윈도우(fw2)가 적용된 구역에 대해 제1 필터 내지 제3 필터(171 내지 173) 중 어느 하나를 적용하여 필터링을 수행할 수 있다. 이 경우, 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는, 비대칭적 필터링 윈도우(fw2)가 적용된 구역의 선예도를 증가시킬 수도 있고, 비대칭적 필터링 윈도우(fw2)가 적용된 구역의 선예도를 유지시킬 수도 있으며, 또한 비대칭적 필터링 윈도우(fw2)가 적용된 구역의 선예도를 감소시켜 비대칭적 필터링 윈도우(fw2)가 적용된 구역의 화상을 부드럽게 만들 수도 있다.

필터링 윈도우(fw2) 내에 배치된 화소에 대한 필터링이 수행되면, 필터링 결과 획득된 화상 데이터는 라인 메모리(160)로 전달될 수 있으며, 라인 메모리(160)는 필터링에 의해 획득된 화상 데이터를 저장한다. 라인 메모리(160)에 전달된 필터링된 화상 데이터는, 도 7에 도시된 바와 같이, 다른 필터링부(132 내지 134)로 전달될 수 있다.

복수의 라인 메모리(161 내지 169)가 마련된 경우, 획득된 화상 데이터는 상응하는 라인 메모리(161 내지 169)에 저장될 수 있다. 예를 들어, 획득된 화상 데이터가 필터링 윈도우(fw2) 내에서 최상단의 열에 위치한 화소의 화상 데이터를 필터링하여 획득된 경우에는 제1 라인 메모리(161)에 저장되고, 다음 열에 위치한 화소의 화상 데이터를 필터링하여 획득된 화상 데이터는 제2 라인 메모리(162)에 저장될 수 있다. 최하단의 열에 위치한 화소의 화상 데이터를 필터링하여 획득된 화상 데이터는 제n 라인 메모리(169)에 저장될 수 있다. 예를 들어 도 11에 도시된 바와 같이 필터링 윈도우의 크기가 71x11인 경우, 11번째 열에 위치한 화소를 필터링하여 획득된 화상 데이터는 제11 라인 메모리에 저장될 수 있다. 제1 라인 메모리 내지 제n 라인 메모리(161 내지 169)에 저장된 화상 데이터는 순차적으로 또는 동시에 각각 다른 필터링부(132 내지 134)로 전달될 수 있다.

도 14는 필터링 윈도우를 이용한 화상 처리를 설명하기 위한 제3 도면이다.

제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는, 화상(i20) 내의 복수의 구역을 각각 독립적으로 필터링하여 화상(i20)의 전부 또는 일부를 보정할 수 있다. 여기서 복수의 구역은 서로 간에 일부 구역을 공유하도록 마련될 수 있다. 다시 말해서 각각의 구역 중 적어도 두 개의 구역은 서로 중첩된 것일 수 있다.

제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는, 필터링이 수행될 복수의 구역에 순차적으로 필터링 윈도우(w1, w2)를 이용하는 필터(170a, 170b)를 적용함으로써 복수의 일부 구역을 순차적으로 필터링할 수 있다. 이 경우, 적용되는 복수의 필터링 윈도우(w21 내지 w24) 중 적어도 두 개는 상호 간에 중첩될 수도 있으며, 이에 따라 필터링이 독립적으로 수행되는 각각의 구역은 서로 일부 구역을 공유할 수 있게 된다.

예를 들어, 도 14에 도시된 바와 같이, 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는, 복수의 필터링 윈도우, 일례로 제1 필터링 윈도우 내지 제4 필터링 윈도우(w21 내지 w24)를 이용하여 순차적으로 화상의 일부분을 선택하고 선택된 구역에 소정의 필터(170a, 170b)를 적용함으로써 화상에 대한 필터링을 수행할 수 있다. 여기서, 제1 필터링 윈도우 내지 제4 필터링 윈도우(w21 내지 w24)는, 각각에 의해 선택되는 화상의 일 구역의 위치에 따라 구분되는 것으로, 각각의 필터링 윈도우(w21 내지 w24)에 의해 선택되는 구역의 위치가 상이함을 명확하게 표현하기 위해 필터링 윈도우라는 단어 앞에 서수(序數)를 부가한 것이다.

일 실시에에 의하면, 제1 필터링 윈도우 내지 제4 필터링 윈도우(171a 내지 171d)는, 서로 동일한 크기의 필터링 윈도우일 수 있다. 그러나 서로 동일한 크기의 필터링 윈도우(171a 내지 171d)가 적용된다고 하더라도 동일한 필터가 반드시 적용되는 것은 아니다. 예를 들어 제1 필터링 윈도우(171a)에 의해 선택된 구역에는 언샤프 필터가 적용되고, 제2 필터링 윈도우(171b)에 의해 선택된 구역에는 바이 패스 필터가 적용될 수도 있다.

예를 들어 도 14에 도시된 바와 같이, 필터링 윈도우가 K x 11(K는 11을 초과하는 임의의 자연수)의 크기를 가진 경우, 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는 우선 제1 필터링 윈도우(fw1)를 이용하는 비대칭적 필터(170b)를 적용할 수 있다. 제1 필터링 윈도우(fw1)는 제1 열 내지 제11 열에 존재하는 화소(P1n 내지 P11n, n은 1 이상이고 K 이하의 임의의 자연수)를 망라하는 필터링 윈도우일 수 있다. 이에 따라 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는, 제1 열 내지 제11 열에 존재하는 화소(P1n 내지 P11n)에 대응화는 화상 화상 데이터에 대한 필터링을 수행할 수 있다. 필터링된 화상 데이터는 라인 메모리(160)에 전달되어 저장된다. 라인 메모리(160)에 전달된 필터링된 화상 데이터는 다른 필터링부(132 내지 134)로 전달될 수 있다.

제1 열 내지 제11 열에 존재하는 화소(P1n 내지 P11n)에 대한 필터링이 종료되고 필터링된 화상 데이터가 라인 메모리(160)에 전달되면, 이어서 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는, 필터링 전 화상의 상이한 위치나 구역에 제2 필터링 윈도우(fw2)를 이용하는 필터(170b)를 적용하여 화상에 대한 필터링을 수행할 수 있다. 이 경우, 기존에 필터링된 구역 중 일부 구역과 새로 필터링되는 구역의 일부 구역은 서로 중첩될 수도 있으며, 제1 필터링부(131)는 기존에 필터링이 수행되었는지 여부와 무관하게 중첩된 부분의 화상 데이터 역시 다시 필터링을 수행할 수 있다.

구체적으로 예를 들어, 제2 필터링 윈도우(171b)는 기존에 선택될 열 각각의 바로 하단에 있는 열에 존재하는 화소를 망라하는 필터링 윈도우일 수 있다. 다시 말해서, 제2 필터링 윈도우(171b)는, 기존에 선택된 제1 열 내지 제11 열 각각의 바로 하단에 있는 열, 즉 제2 열 내지 제12 열에 존재하는 화소(P2n 내지 P12n)를 망라하는 필터링 윈도우일 수 있다. 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는, 제2 필터링 윈도우(171b)를 이용하는 필터(170b)를 제2 열 내지 제12 열에 존재하는 화소(P2n 내지 P12n)에 적용함으로써 제2 열 내지 제12 열에 존재하는 화소(P2n 내지 P12n)의 화상 데이터에 대한 필터링을 수행할 수 있다.

한편 이 경우, 새로 적용된 제2 필터링 윈도우(171b)에 의해 선택된 구역 중 일부, 일례로 제2 열 내지 제11 열에 존재하는 화소(P2n 내지 P11n)가 존재하는 구역은, 도 14에 도시된 바와 같이, 기존의 제1 필터링 윈도우(171a)에 의해 선택된 구역의 일부와 중첩될 수 있다. 따라서 동일한 화상 데이터, 즉 제2 열 내지 제11 열에 존재하는 화소(P2n 내지 P11n)의 화상 데이터가 제1 필터링부(131)에 의해 일 회 더 필터링될 수 있다. 필터링된 화상 데이터는 라인 메모리(160)에 전달되어 저장될 수 있다.

제2 열 내지 제12 열에 존재하는 화소(P2n 내지 P12n)에 대한 필터링이 종료되면, 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는, 제3 필터링 윈도우(171c)를 이용하여 필터(170b)를 적용할 수 있다. 제3 필터링 윈도우(171c)는, 예를 들어 제2 열 내지 제12 열 각각의 바로 하단에 있는 열, 즉 제3 열 내지 제13 열에 존재하는 화소(P3n 내지 P13n)를 망라하도록 마련된 것일 수 있다. 이에 따라 제3 열 내지 제13 열에 존재하는 화소(P3n 내지 P13n)의 화상 데이터 역시 필터링될 수 있다. 필터링된 제3 열 내지 제13 열에 존재하는 화소(P3n 내지 P13n)의 화상 데이터는, 동일하게 라인 메모리(160)로 전달되어 저장될 수 있다.

상술한 바와 동일하게 제3 열 내지 제13 열에 존재하는 화소(P3n 내지 P13n)와 관련된 필터링이 종료되면, 제1 필터링부 내지 제4 필터링부(131 내지 134) 중 적어도 하나는 제4 열 내지 제14 열에 존재하는 화소(P4n 내지 P14n)를 선택하기 위해 제4 필터링 윈도우(171c)를 이용할 수 있으며, 제4 필터링 윈도우(171c) 내의 각각의 화소에 필터를 적용함에 따라, 제4 열 내지 제14 열에 존재하는 화소(P4n 내지 P14n)의 화상 데이터가 필터링될 수 있게 된다. 필터링된 화상 데이터는, 라인 메모리(160)에 전달되어 저장될 수 있다.

도 15는 화상 처리부의 다른 실시예에 대한 도면이다.

도 15에 도시된 바에 의하면, 다른 실시예에 의한 화상 처리부(120a)는, 입력부(121)와, 반복 판단부(122)와, 출력부(123)와, 개선 필터링부(130)와, 화상 분할부(140)와, 초점 수준 결정부(141)와, 차이 를 포함할 수 있다.

입력부(121)와, 반복 판단부(122)와, 출력부(123)와, 개선 필터링부(130)와, 화상 분할부(140)와, 초점 수준 결정부(141)는, 상술한 바와 같이, 서로 논리적으로 구분되는 것일 수도 있고, 물리적으로 구분되는 것일 수도 있다.

입력부(121)와, 반복 판단부(122)와, 출력부(123)와, 개선 필터링부(130)와, 화상 분할부(140)와, 초점 수준 결정부(141)는, 상호 전기적으로 연결될 수 있으며, 이에 따라 전기적 신호의 형태로 구현된 화상 데이터를 전송 가능하도록 마련된다.

입력부(121)는, 역다중화기(115)에서 출력된 화상 데이터(i2)를 수령하고, 수령한 화상 데이터(i2)를 개선 필터링부(130)로 전달할 수 있다.

반복 판단부(122)는, 개선 필터링부(130)에 의해 필터링된 화상 데이터(130a)를 수신하고, 수신한 필터링된 화상 데이터(130a)에 존재하는 잡음이나 오류를 제거하거나, 수신한 화상(130a)에 대해 추가적인 필터링 처리를 더 반복하여 수행할 것인지 여부를 결정할 수 있다.

반복 판단부(122)로부터 전달받은 화상 데이터(122b)를 출력하여, 최종적으로 처리된 화상 데이터(i3)를, 화상 출력부(180)로 전달하거나, 또는 제어부(192)로 전달할 수 있다.

입력부(121)와, 반복 판단부(122)와, 출력부(123)에 대해선 이미 설명한바 있으므로, 이하 자세한 내용은 생략하도록 한다.

도 15에 도시된 바와 같이, 입력부(121)와 개선 필터링부(130) 사이에는 화상 분할부(140)가 더 마련될 수 있다. 화상 분할부(140)는 입력부(121)를 통해 입력된 화상(i2)를 둘 이상의 구역으로 분할하고, 분할된 화상(i2) 또는 분할된 구역에 대한 정보를 개선 필터링부(130)로 전달할 수 있다. 실시예에 따라서 화상 분할부(140)는 분할된 화상(i2) 또는 분할된 구역에 대한 정보를 초점 수준 결정부(141)로 더 전달할 수도 있다.

화상 분할부(140)에 의한 화상(i2)의 분할 개수는 설계자의 선택에 따라 다양하게 결정될 수 있다. 예를 들어 화상 분할부(140)는 화상(i2)을 두 개로 분할할 수도 있고, 세 개로 분할할 수도 있으며, 네 개 이상 분할할 수도 있다. 화상 분할부(140)는 시청자의 시야각을 고려하여 화상(i2)을 분할할 수 있다.

도 16은 화상 분할의 일례를 도시한 도면이다.

화상 분할부(140)는, 도 16에 도시된 바와 같이, 화상(i2)을 두 개의 구역, 일례로 제1 구역(i211) 및 제2 구역(i212)으로 분할할 수 있다. 이 경우, 화상 분할부(140)는, 제1 구역(i211)이 제2 구역(i212)의 내측에 위치하도록 분할할 수 있으며, 보다 구체적으로 제1 구역(i211)의 높이와 폭은 제2 구역(i212)의 높이와 폭의 절반이고, 제1 구역(i211)과 제2 구역(i212)의 중심점(o)은 동일하도록 분할할 수 있다.

화상 출력부(180)에서 출력되는 화상의 해상도가 3840x2160의 초고해상도이고, 화상 출력부(180)에 의해 구현되는 화면의 크기가 55인치이며, 시청자가 화상 출력부(180)의 2m 앞에서 시청하고 있다고 가정하면, 시청자 눈의 공간 해상도가 가장 높은 시야각은 0도 내지 20도 사이의 구간이다. 이 경우, 도 16에 도시된 바와 같이 분할하면 시야각이 가장 높은 구간 내에 제1 구역(i211)이 위치할 수 있게 된다.

도 17은 화상 분할의 다른 일례를 도시한 도면이다.

화상 분할부(140)는, 도 17에 도시된 바와 같이, 화상(i2)을 세 개의 구역, 일례로 제3 구역(i221), 제4 구역(i222) 및 제5 구역(i223)으로 분할할 수 있다. 이 경우, 화상 분할부(140)는, 제3 구역(i221)이 제4 구역(i222)의 내측에 위치하고, 제4 구역(i222)이 제5 구역(i223)의 내측에 위치하도록 분할할 수 있다. 이 경우, 보다 구체적으로 제3 구역(i221)의 높이와 폭은 제5 구역(i213)의 높이와 폭의 1/3이 되고, 제4 구역(i222)의 높이와 폭은 제5 구역(i213)의 2/3이 되며, 제3 구역 내지 제5 구역(i221 내지 i223)의 중심점(o)은 동일하도록 분할할 수 있다.

화상 출력부(180)에서 출력되는 화상의 해상도가 3840x2160의 초고해상도이고, 화상 출력부(180)에 의해 구현되는 화면의 크기가 55인치이며, 시청자가 화상 출력부(180)의 2m 앞에서 시청하고 있다고 가정하면, 시청자 눈의 공간 해상도가 가장 높은 시야각은 0도 내지 20도 사이의 구간이고, 다음으로 공간 해상도가 높은 시야각은 20도 내지 40도 사이의 구간이다. 이 경우, 도 17에 도시된 바와 같이 분할하면 시야각이 가장 높은 구간 내에 제3 구역(i221)이 위치하고, 다음으로 시야각이 높은 구간 내에 제4 구역(i222)이 위치하게 된다. 제5 구역(i223)은 시청자의 눈의 공간 해상도가 높지 않은 40 내지 60도 사이의 구간에 위치하게 된다.

도 16 및 도 17에 도시된 바와 같이 화상(i2)을 분할한 후, 각각의 분할된 구역(i211, i212, 또는 i221, i222, i223)마다 상이하게 필터링을 수행하면, 시청자의 눈의 공간 해상도에 따라서 상이하게 필터링을 수행할 수 있게 된다.

예를 들어, 각각의 분할된 구역(i211, i212, 또는 i221, i222, i223)마다 다른 필터, 일례로 제1 필터 내지 제3 필터(171 내지 173)를 적용하거나 또는 특정 구역, 예를 들어 제1 구역(i212)이나 제3 구역(i223)에만 제1 필터 내지 제3 필터(171 내지 173) 중 적어도 하나를 적용하여 필터링이 수행될 수 있다. 보다 구체적으로 예를 들어, 공간 해상도가 높은 구역, 일례로 제1 구역(i212)이나 제3 구역(i223)은 선예도가 높아지도록 필터링을 수행하고, 공간 해상도가 높지 않은 구역, 일례로 제2 구역(i212)이나 제5 구역(i223)은 선예도가 낮아지도록 필터링을 수행할 수 있다. 또한 제2 구역(i212)이나 제5 구역(i223)에는 필터링이 수행하지 않을 수 있다. 이와 같이 화상의 일부 구역에만 필터링을 수행하는 경우, 필터링 속도를 개선할 수 있게 되고, 불필요한 자원의 소모를 절감할 수 있게 된다.

도 18은 분할된 각각의 화상에 필터링 윈도우가 적용된 일례를 도시한 도면이다.

도 18에 도시된 바를 참조하면, 분할된 각각의 구역(i211, i222)마다 서로 상이한 필터링 윈도우를 이용하는 필터를 적용하여 필터링이 수행될 수도 있다. 예를 들어, 내측에 위치하는 제1 구역(i211)에는, 도 14에 도시된 바와 같이, 비대칭적 필터링 윈도우(fw21 내지 fw23)을 순차적으로 적용하여 필터링을 수행하고, 제2 구역(i212)에는, 대칭적 필터링 윈도우(fw11 내지 fw13)을 적용하여 필터링을 수행할 수도 있다. 물론 실시예에 따라 분할된 각각의 구역(i211, i222)에 동일한 필터링 윈도우, 일례로 비대칭적 필터링 윈도우(fw2)를 적용하여 필터링을 수행할 수도 있다.

초점 수준 결정부(141)는 입력부(121)를 통해 입력되는 화상(i2) 전체에 대한 초점 수준을 결정하거나, 또는 화상 분할부(140)에서 분할된 복수의 구역(i211, i212, 또는 i221, i222, i223) 각각에 대한 초점 수준을 결정할 수 있다.

일 실시예에 의하면, 초점 수준 결정부(141)는 메타 데이터(m2)를 이용하여 화상(i2)의 전체 또는 복수의 구역(i211, i212, 또는 i221, i222, i223) 각각에 대한 초점 수준을 결정할 수 있다. 메타 데이터(m2)에는 상술한 바와 같이, 조리개 값 및/또는 초점 거리에 대한 정보가 포함될 수 있다. 조리개 값 및/또는 초점 거리에 따라서 피사계 심도가 깊어지거나 얕아지기 때문에, 조리개 값 및/또는 초점 거리를 이용하여 화상(i2)의 초점 수준을 어느 정도 추정할 수 있게 된다. 초점 수준 결정부(141)는 조리개 값 및/또는 초점 거리를 이용하여 화상(i2)의 전체 또는 복수의 구역(i211, i212, 또는 i221, i222, i223) 각각에 대한 초점 수준을 결정할 수 있다.

다른 일 실시예에 의하면 초점 수준 결정부(141)는 메타 데이터(m2)를 이용하지 않고 화상(i2)의 전체 또는 복수의 구역(i211, i212, 또는 i221, i222, i223) 각각에 대한 초점 수준을 결정할 수도 있다.

초점 수준 결정부(141)는 먼저 화상 전체에 대해 초점 수준을 측정할 수 있다. 초점 수준 결정부(141)는 화상 내의 고주파 성분 및 저주파 성분을 검출하고 고주파 성분 및 저주파 성분의 검출된 정도에 따라서 화상 전체에 대한 초점 수준(AFF, all-frame-focus level, 이하 전 구역 초점 수준이라 칭한다)을 측정할 수 있다.

이어서 초점 수준 결정부(141)는 복수의 구역(i211, i212, 또는 i221, i222, i223) 중 일부 구역, 일례로 중심에 위치한 제1 구역(i211)이나 제3 구역(i221)의 초점 수준(CFF, center-frame-focus level, 이하 중심 구역 초점 수준이라 칭한다)을 측정할 수 있다.

필요에 따라서 초점 수준 결정부(141)는 복수의 구역 중 중심에 위치하지 않은 다른 구역, 일례로 제2 구역(i212), 제4 구역(i222)이나 제5 구역(i223)의 초점 수준(MFF, Marginal-frame-focus level, 이하 주변 구역 초점 수준이라 칭한다)을 더 측정하여 결정할 수 있다.

이 경우, 화상 전체에 대한 초점 수준(AFF)과 중심에 위치한 제1 구역(i211)이나 제3 구역(i221)의 초점 수준(CFF) 사이의 차이(BFF)를 연산할 수 있으며, 이는 다음의 수학식 1로 주어질 수 있다.

초점 수준이 결정되면 초점 수준 결정부(141)는 결정된 초점 수준(AFF, CFF, MFF)에 따라서 화상 전체의 초점 상태를 판단할 수 있다. 여기서 초점 상태는 화상에 초점이 어떻게 맞춰졌는지를 의미한다. 예를 들어 초점 수준 결정부(141)는 화상 전체의 초점 상태가 아웃 포커스 상태인지 또는 팬 포커스 상태인지 여부를 판단할 수 있다. 판단 결과는 개선 필터링부(130)에 전달될 수 있으며, 개선 필터링부(130), 구체적으로는 개선 필터링부(130)의 각 필터링부(131 내지 134는 전달된 초점 수준(AFF, CFF)에 따라서 각각의 구역(i211, i212, 또는 i221, i222, i223)에 대해 어떤 필터를 적용할지를 결정할 수 있다.

이하 초점 수준 결정부(141)가 화상의 초점 상태를 판단하는 방법과 판단 결과에 따른 개선 필터링부(130)의 동작의 여러 일례에 대해 설명하도록 한다.

첫 번째 일례로 만약 중심 구역 초점 수준(CFF)가 미리 정의된 임계값보다 크고, 주변 구역 초점 수준(MFF)이 미리 정의된 임계값보다 작으면, 대체적으로 피사체는 중심 구역에 위치하므로 피사체의 초점 수준은 높고 배경에 대한 초점 수준은 낮다는 것을 의미한다. 따라서 도 3에 도시된 바와 같이 입력된 화상은, 배경(B1)보다는 피사체(ob1)에 초점이 맞는 상태인 아웃 포커스 상태인 것으로 판단될 수 있다. 판단 결과는 개선 필터링부(130)로 전달되고, 개선 필터링부(130)는 전달된 판단 결과를 기초로 필터링을 수행하게 된다.

실시예에 따라서 초점 수준 결정부(141)는 상술한 메타 데이터(m2)의 조리개 값 및 초점 거리 중 적어도 하나를 더 참조하여 초점 상태를 판단할 수도 있다. 예를 들어, 중심 구역 초점 수준(CFF)와 주변 구역 초점 수준(MFF)을 이용하여 화상이 아웃 포커스 상태라고 판단되는 경우, 조리개 값 및 초점 거리 중 적어도 하나를 기초로 피사체 심도가 얕은 상태인지 여부를 별도로 마련된 데이터베이스를 참조하거나 추가적인 연산을 통해 판단하고, 중심 구역 초점 수준(CFF)와 주변 구역 초점 수준(MFF)을 이용한 판단 결과와 조리개 값 및 초점 거리 중 적어도 하나를 기초로 한 판단 결과를 비교하여 화상이 아웃 포커스 상태인지 여부를 결정하도록 할 수도 있다. 중심 구역 초점 수준(CFF)와 주변 구역 초점 수준(MFF)을 이용한 판단 결과와 조리개 값 및 초점 거리 중 적어도 하나를 기초로 한 판단 결과 사이의 비교 결과, 아웃 포커스 상태가 확실하지 않은 경우에는 초점 수준 결정부(141)는 판단 결과를 폐기하거나, 중심 구역 초점 수준(CFF)와 주변 구역 초점 수준(MFF)에 따른 판단 결과에 대한 정보를 개선 필터링부(130)로 전달하거나, 또는 조리개 값 및 초점 거리 중 적어도 하나를 기초로 한 판단 결과에 대한 정보를 개선 필터링부(130)로 전달할 수도 있다.

개선 필터링부(130)는, 초점 수준 결정부(141)의 판단 결과, 화상이 아웃 포커스 상태인 경우, 중심 구역, 일례로 제1 구역(i211) 및 제3 구역(i221)에는 언샤프 필터, 경계 개선 필터 또는 하이 패스 필터 등과 같이 화상의 선예도를 개선하기 위한 고 주파수 필터 및 바이 패스 필터와 같은 중간 주파수 필터 중 적어도 하나를 이용하여 필터링을 수행할 수 있다.

한편 개선 필터링부(130)는 주변 구역, 일례로 제2 구역(i212), 제4 구역(i222) 및 제5 구역(i223) 중 적어도 하나에는 바이 패스 필터와 같은 중간 주파수 필터 및 로우 패스 필터와 같은 저 주파수 필터 중 적어도 하나를 이용하여 필터링을 수행할 수 있다. 만약 중심 구역(i211, i221)과 주변 구역(i212, i222, i223) 사이의 초점 수준 차이를 더 크게 하고 싶다면, 다시 말해서 아웃 포커스 효과를 더 강화하고자 하는 경우 개선 필터링부(130)는 주변 구역(i212, i222, i223)에 저 주파수 필터를 적용하여 필터링을 수행하고, 그렇지 않은 경우에는 중간 주파수 필터를 주변 구역(i212, i222, i223)에 적용할 수 있다.

두 번째 일례로 만약 중심 구역 초점 수준(CFF)가 미리 정의된 임계값보다 크고, 주변 구역 초점 수준(MFF) 역시 미리 정의된 임계값보다 크면, 화상 전체에 대해 초점 수준이 높으므로, 도 4에 도시된 바와 같이 화상은 배경(B1)과 피사체(ob1) 모두에 초점이 맞는 팬 포커스 상태인 것으로 판단될 수 있다. 이와 같은 판단 결과 역시 초점 수준 결정부(141)로부터 개선 필터링부(130)로 전달될 수 있으며, 개선 필터링부(130)는 전달된 판단 결과를 기초로 필터링을 수행하게 된다.

이 경우에도, 초점 수준 결정부(141)는, 실시예에 따라, 상술한 메타 데이터(m2)의 조리개 값 및 초점 거리 중 적어도 하나를 더 참조하여 초점 상태를 판단할 수도 있다. 만약 조리개 값 및 초점 거리 중 적어도 하나 역시 팬 포커스에 상응하는 값인 경우에는 초점 수준 결정부(141)는 화상은 팬 포커스 상태라고 결정할 수 있다.

개선 필터링부(130)는, 초점 수준 결정부(141)의 판단 결과, 화상이 팬 포커스 상태인 경우, 중심 구역(i211, i221)과 주변 구역(i212, i222, i223) 모두에 언샤프 필터, 경계 개선 필터 또는 하이 패스 필터 등과 같이 화상의 선예도를 개선하기 위한 고 주파수 필터를 적용하거나, 바이 패스 필터와 같은 중간 주파수 필터를 적용하거나, 고 주파수 필터 및 바이 패스 필터를 모두 적용하여 필터링을 수행할 수 있다.

세 번째 일례로, 중심 구역 초점 수준(CFF)가 미리 정의된 임계값보다 작고, 주변 구역 초점 수준(MFF)는 미리 정의된 임계값보다 크면, 피사체(ob1) 보다는 배경(b1)에 더 많은 초점이 맞는 경우, 즉 역 아웃 포커스의 상태로 판단할 수 있다. 이 경우에도, 초점 수준 결정부(141)는, 실시예에 따라, 상술한 메타 데이터(m2)의 조리개 값 및 초점 거리 중 적어도 하나를 더 참조하여 초점 상태를 판단할 수도 있다.

이 경우 개선 필터링부(130)는, 중심 구역(i211, i221)과 주변 구역(i212, i222, i223) 모두에 바이 패스 필터와 같은 중간 주파수 필터를 적용할 수도 있고, 주변 구역(i212, i222, i223)에 고 주파수 필터나 바이 패스 필터와 같은 중간 주파수 필터를 적용하고 중심 구역(i211, i221)에는 저 주파수 필터나 바이 패스 필터를 적용하여 필터링을 수행할 수 있다.

네 번째로 중심 구역 초점 수준(CFF) 및 주변 구역 초점 수준(MFF) 양자 모두 미리 정의된 임계값보다 작으면, 초점 수준 결정부(141)는 화상 전체에 초점이 안 맞은 것으로 판단할 수 있으며, 개선 필터링부(130)는 초점 수준 결정부(141)에서 전달된 정보에 따라서 저 주파수 필터나 바이 패스 필터를 화상 전체에 적용하여 필터링을 수행하도록 설정될 수 있다.

도 15에 도시된 바에 따르면, 디스플레이 장치(100a)는 화질 측정부(150)를 더 포함할 수도 있다. 화질 측정부(150)는 화상 처리부(120, 120a)를 구현하는 프로세서에 의해 구현될 수도 있고, 이와 별도로 마련된 프로세서에 의해 구현될 수도 있다.

화질 측정부(150)는 필터링되기 전의 화상(i2)과 필터링되어 개선된 화상(i3) 사이의 화질을 측정할 수 있다.

구체적으로 화질 측정부(150)는 중심 구역 초점 수준(CFF), 주변 구역 초점 수준(MFF) 및 전 구역 초점 수준(AFF)를 이용하여 화질 측정 값(FDR, Focus Dynamic Range)을 연산함으로써 화질을 측정할 수 있다.

화질 측정값(FDR)은 다음의 수학식 2와 같이 주어질 수 있다.

한편, 전 구역 초점 수준(AFF)은 하기의 수학식 3과 같이 중심 구역 초점 수준(CFF)과, 주변 구역 초점 수준(MFF) 사이의 평균으로 연산될 수 있다.

따라서 화질 측정값(FDR)은 다음의 수학식 4와 같이 주어지게 된다.

화질 측정부(150)는, 수학식 2 내지 수학식 4를 이용하여 필터링 전 화상(i2)에 대한 화질 측정값(FDR_before)을 연산하고, 개선된 화상(i3)에 대한 화질 측정값(FDR_after)를 연산한 후, 이들의 차(FDR_Diff)를 다음의 수학식 5와 같이 연산할 수 있으며, 이에 따라 필터링 처리 전과 후의 초점 수준을 측정할 수 있다.

여기서, 필터링 전과 후의 화질 측정값 사이의 차(FDR_Diff)는, 상황에 따라서 음수의 값을 가질 수도 있고, 양수의 값을 가질 수도 있다.

화질 측정부(150)에 의해 연산된 필터링 처리 전과 후의 초점 수준에 대한 측정 결과는, 설계자가 필터링의 적절성 여부를 판단하거나 또는 디스플레이 장치(100a)의 동작의 오류 여부 등을 판단하기 위해 이용될 수 있다. 또한 화상 처리에 따른 화질 개선의 정도의 판단에도 이용될 수 있다. 만약 화질 측정부(150)의 측정 결과 화질 개선의 정도가 적은 경우에는 미리 정의된 설정이나 설계자의 선택에 따라서 반복 판단부(122)는 상대적으로 덜 반복하여 필터링이 수행되도록 할 수 있으며, 이에 따라 처리 지연 시간에 있어서 이득이 발생하거나 또는 디스플레이 장치(100a)에 의한 전력 소비를 상대적으로 줄일 수 있게 된다.

이하 상술한 개선 필터링부(130)의 제1 필터링부 내지 제4 필터링부(131 내지 134)의 다른 실시예에 대해 설명하도록 한다.

도 19는 다른 실시예의 개선 필터링부를 설명하기 위한 도면이다.

도 19에 도시된 바와 같이 개선 필터링부(139)는, 일 실시예에 있어서, 저개선 필터링부(139a), 중개선 필터링부(139b), 고개선 필터링부(139c) 및 병합부(139d)를 포함할 수 있다.

도 15 내지 도 17을 통해 설명한 바와 같이 화상 분할부(140)는 입력된 화상(i2)을 복수의 구역(i211, i212, 또는 i221, i222, i223)으로 분할할 수 있으며, 분할하여 획득된 복수의 구역(i211, i212, 또는 i221, i222, i223)은 각각 저개선 필터링부(139a), 중개선 필터링부(139b) 및 고개선 필터링부(139c) 중 어느 하나로 전달될 수 있다.

예를 들어, 저 주파수 필터를 이용하여 필터링이 수행될 부분, 일례로 화상의 초점 상태가 아웃 포커스 상태인 경우 주변 구역(i212, i222, i223)은 저개선 필터링부(139c)로 전달될 수 있고, 고 주파수 필터를 이용하여 필터링이 수행될 부분, 일례로 화상의 초점 상태가 아웃 포커스 상태인 경우 중심 구역(i211, i221)은 고개선 필터링부(139c)로 전달될 수 있다. 중간 주파수 필터를 이용하여 필터링될 부분은 중개선 필터링부(139b)로 전달될 수 있다.

저개선 필터링부(139a)는 로우 패스 필터와 같은 저 주파수 필터를 이용하여 필터링을 수행하고, 중개선 필터링부(139b)는 바이 패스 필터와 같은 중 주파수 필터를 이용하여 필터링을 수행하며, 고개선 필터링부(139c)는 언샤프 필터와 같은 고 주파수 필터를 이용하여 필터링을 수행할 수 있다. 저개선 필터링부(139a), 중개선 필터링부(139b) 및 고개선 필터링부(139c)는 상술한 필터 저장부(170)로부터 상응하는 필터를 호출하여, 전달된 화상의 일 구역(i211, i212, 또는 i221, i222, i223)에 호출한 필터를 적용함으로써 전달된 화상의 일 구역(i211, i212, 또는 i221, i222, i223)을 필터링할 수 있다.

일 실시예에 의하면, 저개선 필터링부(139a), 중개선 필터링부(139b) 및 고개선 필터링부(139c) 각각은 도 7 및 도 9에 도시된 바와 같이 복수의 필터링부(131 내지 134)를 포함할 수도 있다. 또한 필터링 수행 시, 저개선 필터링부(139a), 중개선 필터링부(139b) 및 고개선 필터링부(139c)는 각각 라인 메모리(160)를 이용할 수도 있다.

일 실시예에 의하면 저개선 필터링부(139a), 중개선 필터링부(139b) 및 고개선 필터링부(139c)는 별도로 마련된 가중치 제공부(138)로부터 소정의 가중치(wa1 내지 w3)를 제공받고, 제공받은 소정의 가중치(wa1 내지 wa3)를 이용하여 필터링을 수행할 수 있다. 가중치 제공부(138)로부터 제공되는 가중치는 필터에 의해 수행되는 필터링의 정도를 조절하기 위한 가중치를 포함할 수 있다. 예를 들어, 고개선 필터링부(139c)에 큰 가중치가 제공된 경우 고개선 필터링부(139c)는 화상의 선예도가 상대적으로 더 많이 증가하도록 화상의 특정 구역에 대한 필터링을 처리할 수 있다. 반대로 고개선 필터링부(139c)에 작은 가중치가 제공된 경우 고개선 필터링부(139c)는 화상의 선예도가 상대적으로 덜 증가하도록 화상의 특정 구역에 대한 필터링을 처리할 수 있다.

저개선 필터링부(139a), 중개선 필터링부(139b) 및 고개선 필터링부(139c)는 제공받은 소정의 가중치(wa1 내지 wa3)를 적용되는 각각의 필터에 부가하여 화상을 필터링할 수 있다. 이 경우 저개선 필터링부(139a), 중개선 필터링부(139b) 및 고개선 필터링부(139c)는 각각 특정 구역(i211, i212, 또는 i221, i222, i223)을 필터링하도록 설정되었으므로, 특정 구역(i211, i212, 또는 i221, i222, i223)은 가중치에 따라 상대적으로 더 많이 선예도가 증가하거나 또는 상대적으로 더 많이 블러 효과가 부가될 수도 있고, 선예도가 상대적으로 덜 증가하거나 또는 블러 효과가 상대적으로 덜 부가될 수도 있다.

일 실시예에 의하면, 저개선 필터링부(139a)에는 상대적으로 작은 가중치가 제공되고, 고개선 필터링부(139c)에는 상대적으로 큰 가중치가 제공되고, 중개선 필터링부(139b)에는 중간 정도의 가중치가 제공될 수 있으며, 이에 따라 초점이 맞는 부분은 더욱 초점이 맞도록 보정되고, 초점이 맞지 않는 부분은 더욱 초점이 맞지 않도록 보정된 화상이 획득될 수 있게 된다.

가중치 제공부(138)로부터 저개선 필터링부(139a), 중개선 필터링부(139b) 및 고개선 필터링부(139c)에 제공되는 소정의 가중치(wa1 내지 w3)들은, 설계자에 의해 임의적으로 선택된 것일 수 있으며, 디스플레이 장치(100a)의 사용자에 의해 임의적으로 선택된 것일 수도 있다.

제1 병합부(139d)는 저개선 필터링부(139a), 중개선 필터링부(139b) 및 고개선 필터링부(139c) 각각에 의해 필터링된 복수의 구역(i211, i212, 또는 i221, i222, i223)을 병합하여 분할되기 전의 화상을 다시 복원할 수 있다.

이하 도 20 내지 도 29를 참조하여 필터링 윈도우를 이용하는 경우, 필터링 윈도우의 경계 주변에 위치한 화소의 필터링을 수행하는 방법의 여러 실시예에 대해 설명하도록 한다.

도 20은 필터링 윈도우의 경계 주변을 도시한 도면이다.

도 20에 도시된 바를 참조하면, 필터링 윈도우(FW)를 적용하는 경우, 화상(i) 내의 일부 화소(P34 내지 P36, P44 내지 P46 등)는 필터링 윈도우(FW) 내부에 배치되고, 화상(i) 내의 다른 일부의 화소(P24 내지 P26, P31 내지 P33, P41 내지 P43)은 필터링 윈도우(FW)의 경계의 외부 주변에 배치된다. 상술한 바와 같이 화상 처리부(120)는 복수 회수로 반복하여 필터링을 수행함으로써 개선된 화상(i3)를 얻을 수 있다. 이 경우, 어떤 값을 필터링 윈도우의 외부에 위치하되, 필터링 윈도우 경계에 인접한 화소의 데이터로 이용하느냐에 따라 필터링된 후 획득되는 화상(i3)이 상이하게 될 수 있다.

도 21 내지 도 26은 필터링 윈도우 경계 외부에 존재하는 값으로 경계에 인접한 화소의 화소값을 중복하여 이용한 경우 획득되는 각각의 화소의 화소값을 설명하기 위한 도면이다. 도 21은 최초 필터링 시의 결과를 도시한 도면이고, 도 22는 두 번째 반복하여 필터링을 수행한 경우의 결과를 도시한 도면이고, 도 23은 세 번째 반복하여 필터링을 수행한 경우의 결과를 도시한 도면이고, 도 24는 네 번째 반복하여 필터링을 수행한 경우의 결과를 도시한 도면이고, 도 25는 다섯 번째 반복하여 필터링을 수행한 경우의 결과를 도시한 도면이고, 도 26은 최종적으로 획득된 필터링된 데이터를 도시한 도면이다.

도 21 내지 도 26에서 채색된 부분은 필터링 윈도우의 내부를 의미하며, 채색되지 않은 부분은 필터링 윈도우의 외부를 의미한다. 도 21 내지 도 26의 위에 도시된 브레이스(brace)는 특정 필터링이 수행되는 경우 이용되는 화소를 나타내며, 브레이스 위에 기재된 숫자는 필터링 결과 획득된 필터링 결과값을 의미한다. 이 경우 필터링은 수평 방향으로 수행되는 것으로 정의한다. 한편 필터링 윈도우 경계 외부에 존재하는 값으로 경계에 인접한 화소의 화소값을 중복 사용에 따라 영향 받을 수 있는 필터링 결과값은 0_a, 0_b 등으로 표현하였으며, 영향을 받지 않는 필터링 결과값은 브레이스에 의해 포섭된 화소들의 데이터의 평균값을 의미한다. 물론 실시예에 따라 필터링 결과값은 평균값에 한정되지 않는다. 도 21 내지 도 26은 설명의 편의를 위하여 다섯 개의 화소의 데이터를 이용하는 실시예에 대해 도시되어 있으나, 이용되는 화소의 개수는 이에 한정되지 않으며, 설계자의 선택에 따라 임의적으로 결정될 수 있다.

도 21에 도시된 바와 같이 필터링 윈도우 내부의 화소를 필터링하는 경우, 경계 주변의 화소인 제1 화소(E1)의 우측에는 필터링 윈도우 내부에 위치하는 제2 화소(E2) 및 제3 화소(E3)가 존재하나, 제1 화소(E1)의 좌측에는 이와 같은 화소가 존재하지 않는다. 따라서 제1 화소(E1)의 필터링을 위하여 제1 화소(E1)의 좌측에는 가상의 화소(O1, O2)를 가정하고 가상의 화소(O1, O2)는 제1 화소(E1)의 값을 중복하여 가지고 있는 것으로 설정할 수 있다.

이 경우, 필터링이 수행되면 제1 화소(E1)의 값은 가상의 화소(O1, O2)에 대응하는 데이터에 영향을 받을 수 있으며, 이에 따라 0_a로 변환될 수 있다. 또한 제2 화소(E2)의 값 역시 가상의 화소(O2)에 대응하는 값에 영향을 받을 수 있으며, 이에 따라 0_b로 변환되게 된다. 제3 화소(E3) 및 제3 화소(E3)의 우측에 존재하는 화소들의 필터링된 데이터는 가상의 화소(O1, O2)에 의해 영향을 받지 않는다. 따라서 적절한 값, 일례로 2의 값을 가지게 된다.

도 22에 도시된 바와 같이, 필터링 윈도우 내부의 화소를 다시 필터링하는 경우, 제1 화소(E1) 및 제2 화소(E2)의 값은 가상의 화소(O1, O2)의 데이터에 의해 영향을 받은 상태이기 때문에, 필터링을 수행함에 있어서 가상의 화소(O1, O2)와, 제1 화소(E1)와, 제2 화소(E2) 중 적어도 하나를 이용하게 되는 제1 화소 내지 제4 화소(E1 내지 E4)는 마찬가지로 가상의 화소(O1, O2)의 영향을 직접 또는 간접적으로 받게 된다. 이에 따라 제1 화소 내지 제4 화소(E1 내지 E4)의 값은 0_aa, 0_bb, 0_c 및 0_d의 값을 가지게 된다. 가상의 화소(O1, O2)와, 제1 화소(E1)와, 제2 화소(E2)의 영향을 받지 않는 제5 화소 내지 제7 화소(E7)는 적절한 값을 가지게 된다.

도 23에 도시된 바와 같이, 필터링이 반복하여 수행되는 경우 제1 화소 내지 제6 화소(E1 내지 E6)의 값은 상술한 바와 동일하게 가상의 화소(O1, O2)의 영향을 직접 또는 간접적으로 받게 되고, 제7 화소(E7) 및 제7 화소(E7) 우측에 존재하는 호소(E8, E9)은 가상의 화소(O1, O2)에 의해 영향을 받지 않고 적절하게 변환된다.

도 24 및 도 25에 도시된 바와 같이, 필터링이 계속하여 반복하여 수행되는 경우, 제7 화소 내지 제10 화소(E7 내지 E10) 역시 가상의 화소(O1, O2)의 영향을 직접 또는 간접적으로 받게 되고, 이에 따라 반복 회수가 증가할수록 가상의 화소(O1, O2)의 영향을 받아 원하는 값과 상이한 값을 갖는 화소가 증가하게 된다.

최종적으로 도 26에 도시된 바와 같이, 필터링 윈도우 내부의 값들은 의도하는 바와 상이한 데이터로 이루어지게 되고, 이에 따라 화상 복원의 정확도가 저하되게 된다.

도 27 내지 도 29는 필터링 윈도우 경계의 외부 값으로 실제 값을 이용한 경우 획득되는 각각의 화소의 화소값을 설명하기 위한 도면이다.

도 27은 최초 필터링 시의 결과를 도시한 도면이고, 도 28은 두 번째 반복하여 필터링을 수행한 경우의 결과를 도시한 도면이고, 도 29는 최종적으로 획득된 필터링된 데이터를 도시한 도면이다.

도 27 내지 도 29의 채색된 부분, 브레이스, 브레이스 위에 기재된 숫자, 필터링 결과값의 의미 등은 상술한 도 21 내지 도 26의 경우와 동일하다.

도 27에 도시된 바와 같이 필터링 윈도우 내부의 화소를 필터링하는 경우, 경계 주변의 화소인 제1 화소(E1)의 우측에는 필터링 윈도우 내부에 위치하는 제2 화소(E2) 및 제3 화소(E3)가 존재하나, 제1 화소(E1)의 좌측에는 이와 같은 화소가 존재하지 않을 수 있다. 이 경우, 상술한 바와 반대로, 실재 데이터를 이용하여 필터링이 수행될 수 있다. 다시 말해서, 필터링 윈도우 내부에 존재하지는 않으나 화상 내에 실재로 존재하는 데이터인 실재 데이터를 이용하여 필터링을 수행할 수 있다.

이 경우, 필터링이 수행되면 가상의 화소를 이용하지 않고 실재 데이터를 이용하기 때문에 제1 화소(E1)의 값은 가상의 데이터에 영향을 받지 않는다. 동일하게 제2 화소(E2) 및 제3 화소(E3) 역시 가상의 데이터에 영향을 받지 않는다. 이에 따라 필터링 결과에 따라 제1 화소 내지 제3 화소(E1 내지 E3)에 대한 적절한 데이터가 획득될 수 있다.

이는, 도 28에 도시된 바와 같이, 반복되는 경우에도 동일하게 각각의 화소(E1 내지 E7)는 가상의 데이터에 영향을 받지 않기 때문에 각각의 화소(E1 내지 E7)에 대한 적절한 데이터가 획득된다.

최종적으로 도 29에 도시된 바와 같이, 필터링 윈도우 내부의 값들은 적절한 데이터로 이루어지게 되고, 이에 따라 화상 복원의 정확도가 저하되지 않게 될 수 있다.

상술한 바와 같이, 대칭적 필터링 윈도우(fw1)를 이용하면서 동시에 대칭적 필터링 윈도우(fw1)의 좌우 양 말단에 인접한 외부에 존재하는 실재 데이터를 이용하지 않고, 대신에 대칭적 필터링 윈도우(fw1)의 좌우 양 말단에 인접하는 내측의 데이터를 이용하여 필터링을 수행하는 경우, 반복적으로 필터링을 수행하면 대신 이용된 값에 의해 대칭적 필터링 윈도우(fw1) 내부의 각각의 화소가 영향을 받게 되고, 최종적으로 획득되는 필터링된 화상은 원래의 화상과 차이가 발생할 수 있다. 예를 들어 11 X 11 대칭적 필터링 윈도우를 이용하는 경우, 일 회 반복 시마다 대칭적 필터링 윈도우(fw1) 내부의 양 측 경계 각각의 2개의 화소, 즉 4개의 화소에 영향이 발생하게 된다. 따라서 만약 5회 반복하여 필터링이 수행되면 20개의 화소가 영향을 받을 수 있으므로, 결국 11 X 11 대칭적 필터링 윈도우 내부의 모든 화소가 영향을 받게 된다.

그러나, 비대칭적 필터링 윈도우(fw2)를 이용하는 경우, 예를 들어 71 X 11 윈도우를 이용하는 경우, 비대칭적 필터링 윈도우(fw2)의 좌우 양 말단에 인접하고 필터링 윈도우의 외부에 존재하는 실재 데이터를 이용하지 않고 대신에 비대칭적 필터링 윈도우(fw2)의 좌우 양 말단의 내측에 인접한 데이터를 필터링에 중복해서 사용한다고 하더라도 비대칭적 필터링 윈도우(fw2) 내에 존재하는 모든 화소가 대신 이용된 데이터에 의해 영향을 받는 것이 아니다. 또한 비대칭 필터링 윈도우의 좌우 양 말단에 인접하고 비대칭 필터링 윈도우의 외부에 존재하는 화소의 데이터를 직접 이용하면 상술한 바와 같이 각각의 화소의 데이터는 원래의 데이터와 동일하거나 또는 거의 유사하므로 원래의 화상과 차이가 거의 발생하지 않는다. 따라서, 비대칭적 필터링 윈도우(fw2)를 이용하면서 양 말단의 외부 주변에 위치하는 데이터를 직접 이용하는 경우, 원래의 화상(i1)과 실질적으로 동일한 화상을 획득할 수 있게 된다.

이하 도 30 및 도 31에 도시된 바를 참조하여 인코더 및 디코더의 일 실시예에 대해 설명하도록 한다.

도 30은 인코더의 일 실시예를 도시한 도면이고, 도 31은 디코더의 일 실시예를 도시한 도면이다.

도 30에 도시된 바를 참조하면 인코더(1000)는 입력부(1010) 및 데이터 인코딩부(1011)를 포함할 수 있다.

입력부(1010)는 인코딩 대상인 데이터(d1)를 입력받고, 입력 받은 데이터(d1)를 데이터 인코딩부(1011)로 전달한다. 입력부(1010)는 소정의 데이터를 읽어들일 수 있는 다양한 종류의 데이터 리더를 포함할 수 있으며, 데이터를 제공하는 외부의 장치와 통신할 수 있는 통신 모듈을 포함할 수도 있다.

데이터 인코딩부(1011)는 압축하거나 필터링하는 것과 같이 다양한 방법을 통하여 데이터를 인코딩할 수 있다. 데이터 인코딩부(1011)는 디코더(1100)의 데이터 디코딩부(1111)의 데이터 디코딩 방법에 대응하는 인코딩 방법으로 데이터를 인코딩할 수 있다. 일 실시예에 의하면, 데이터 인코딩부(1011)는 입력된 데이터, 일례로 화상 데이터에 로우 패스 필터 등과 같은 저 주파수 필터를 적용하여 화상 데이터에 블러 효과를 부가할 수도 있다. 이 경우, 데이터 인코딩부(1011)는 상술한 바와 같이 비대칭적 필터링 윈도우를 이용하는 비대칭적 필터를 이용하여 화상 데이터에 블러 효과를 부가할 수 있다. 또한 비대칭적 필터링 윈도우를 이용하는 경우 데이터 인코딩부(1011)는 비대칭적 필터링 윈도우(fw2)의 양 말단의 외부에 위치하는 실재 데이터를 이용하여 필터링을 수행할 수 있다. 상술한 화상 처리부(120)의 동작은 동일한 방법으로 또는 설계자가 용이하게 고려할 수 있는 정도의 변형을 거쳐 데이터 인코딩부(1011)에 적용될 수 있다. 이들에 대한 구체적인 내용은 기설명한 바 있으므로, 이하에선 생략하도록 한다.

상술한 방법에 따라 인코더(1000)는 인코딩된 데이터(d2)를 획득할 수 있다. 획득된 인코딩된 데이터(d2)는, 물리적 저장 장치나, 유선 네트워크 또는 무선 네트워크를 통하여 디코더(1110)로 전달될 수 있다.

도 31에 도시된 바를 참조하면 디코더(1100)는 입력부(1110) 및 데이터 디코딩부(1111)를 포함할 수 있다.

입력부(1110)는 인코더(1000)에서 인코딩된 데이터(d2)를 입력받고 입력 받은 데이터(d2)를 데이터 디코딩부(1111)로 전달할 수 있다. 입력부(1010)는 인코딩된 데이터(d2)를 읽어들일 수 있는 다양한 종류의 데이터 리더를 포함할 수 있으며, 외부의 인코더(1000)와 통신 가능한 통신 모듈을 포함할 수 있다.

데이터 디코딩부(1111)는 인코딩된 데이터(d2)를 디코딩하여 원래의 데이터(d1)과 동일하거나 거의 유사한 디코딩된 데이터(d3)를 획득할 수 있다. 데이터 디코딩부(1111)는 데이터 인코딩부(1011)의 데이터 인코딩 방법에 대응하는 디코딩 방법으로 인코딩된 데이터(d2)를 디코딩할 수 있다. 일 실시예에 의하면, 데이터 디코딩부(1111)는 입력된 데이터(d2)가 저 주파수 필터를 적용하여 블러 효과가 부가된 화상 데이터인 경우, 입력된 데이터(d2)에 언샤프 필터와 같이 고 주파수 필터를 적용하여 블러 효과가 부가되기 전의 원래의 화상 데이터를 획득할 수도 있다. 데이터 디코딩부(1111)는 상술한 바와 같이 비대칭적 필터링 윈도우를 이용하는 비대칭적 필터를 이용하여 화상 데이터를 개선하여 원래의 데이터(d1)와 동일하거나 유사한 디코딩된 데이터(d2)를 획득하도록 설정된 것일 수 있다. 또한 데이터 디코딩부(1111)는, 상술한 바와 동일하게, 비대칭적 필터링 윈도우를 이용하는 경우에 비대칭적 필터링 윈도우(fw2)의 양 말단의 외부에 위치하는 실재 데이터를 이용하여 필터링을 수행할 수 있다. 상술한 화상 처리부(120)의 동작은 동일한 방법으로 또는 설계자가 용이하게 고려할 수 있는 정도의 변형을 거처 데이터 디코딩부(1111)에 적용될 수 있다. 이들에 대한 구체적인 내용은 기설명한 바 있으므로, 이하에선 생략하도록 한다.

데이터 디코딩부(1111)의 동작에 따라 디코딩된 데이터(d4)가 획득될 수 있다.

이하 도 32 및 도 33을 참조하여 화상 처리 방법의 여러 실시예에 대해 설명하도록 한다.

도 32는 화상 처리 방법의 일 실시예를 도시한 흐름도이다.

도 32에 도시된 화상 처리 방법의 일 실시예에 따르면, 먼저 화상 처리를 수행할 디스플레이 장치가 화상을 수신한다(s200).

디스플레이 장치는, 화상에 적어도 하나의 필터를 적용하여 화상을 필터링할 수 있다(s201). 이 경우, 디스플레이 장치에서 이용되는 필터는 고 주파수 필터, 중 주파수 필터 및 저 주파수 필터 중 적어도 하나를 포함할 수 있으며, 디스플레이 장치는 필요에 따라 별도로 저장된 고 주파수 필터, 중 주파수 필터 및 저 주파수 필터 중 어느 하나를 선택하고, 선택된 필터를 이용하여 필터링을 수행할 수 있다. 또한 디스플레이 장치는 대칭적 윈도우를 이용하는 필터 및 비대칭적 윈도우를 이용하는 필터 중 적어도 하나를 이용하여 필터링을 수행할 수 있다. 대칭적 윈도우 또는 비대칭적 윈도우를 이용하는 경우, 디스플레이 장치는 필터링 윈도우의 경계에 인접한 화소의 값을 연산하기 위하여 필터링 윈도우의 좌우 양 말단에 인접하고 필터링 윈도우의 외부에 존재하는 화소의 실재 데이터를 이용하여 필터링을 수행할 수 있다. 이들의 자세한 내용은 기설명한 바 있으므로, 자세한 설명은 이하 생략한다.

화상의 필터링이 종료되면, 반복 여부가 결정될 수 있다(s202). 반복 여부는 최소 평균 제곱 오차, 미리 정의된 임계값와의 비교, 코스트 함수 또는 최소 제곱법을 이용하여 결정될 수 있다.

만약 필터링의 반복 수행이 결정되면 디스플레이 장치는, 화상에 적어도 하나의 필터를 적용하여 화상을 다시 반복하여 필터링할 수 있다(s201). 반대로 필터링의 반복 수행 종료가 결정되면, 화상 처리는 종료되고 디스플레이 장치는 개선된 화상을 획득하게 된다(s203). 획득된 화상은 디스플레이 장치의 화상 출력부를 통해 외부로 출력될 수 있다.

도 33은 화상 처리 방법의 다른 실시예를 도시한 흐름도이다.

도 32에 도시된 화상 처리 방법의 일 실시예에 따르면, 먼저 화상 처리를 수행할 디스플레이 장치가 화상을 수신한다(s210).

디스플레이 장치는, 화상을 복수의 구역으로 분할할 수 있다(s211). 이 경우, 디스플레이 장치(100a)는 설계자에 의해 미리 정의된 설정이나 사용자의 선택에 따라서 화상을 둘, 셋 또는 넷 이상의 구역으로 구획할 수 있다. 이 경우, 일부 구역은 도 16 및 도 17에 도시된 바와 같이, 화상의 중심 및 그 주변에 위치하도록 마련될 수 있다.

디스플레이 장치는 화상 전체에 대한 초점 수준 및 분할된 각 구역의 초점 수준, 예를 들어 중심 구역의 초점 수준과 주변 구역의 초점 수준을 결정할 수 있다(s212). 중심 구역의 초점 수준과 주변 구역의 초점 수준이 결정되면, 이를 기초로 화상의 초점 상태가 결정될 수도 있다. 화상의 초점 상태는 중심 구역의 초점 수준과 주변 구역의 초점 수준뿐만 아니라 초점 거리나 조리개값과 같은 메타 데이터를 더 이용하여 결정될 수도 있다.

디스플레이 장치는 화상 전체에 대한 초점 수준 및 분할된 각 구역의 초점 수준이 결정된 후, 각 구역에 대한 가중치 부가 여부 및 각 구역에 부가될 가중치를 결정할 수도 있다(s213). 실시예에 따라서, 각 구역에 대한 가중치 부가 여부 및 각 구역에 부가될 가중치의 결정은 화상 전체에 대한 초점 수준 및 분할된 각 구역의 초점 수준의 결정과 동시에 수행될 수도 있고, 화상 전체에 대한 초점 수준 및 분할된 각 구역의 초점 수준의 결정 이전에 수행될 수도 있다.

만약 각 구역에 대해 가중치를 부가하는 경우라면, 디스플레이 장치는 부가될 가중치 및 분할된 각 구역의 초점 수준을 기초로 필터링을 수행할 수 있다(s214). 이 경우, 예를 들어, 화상의 초점 상태가 아웃 포커스 상태라면 중심 구역은 고 주파수 필터나 중간 주파수 필터를 높은 가중치를 부가하여 적용하고 주변 구역은 저 주파수 필터를 낮은 가중치를 부가하여 적용하여 필터링을 수행하고, 화상의 초점 상태가 팬 포커스 상태라면 중심 구역 및 주변 구역 모두 고 주파수 필터나 중간 주파수 필터를 적용하되, 각각 동일하거나 또는 근사한 가중치를 적용하여 화상에 대한 필터링을 수행할 수 있다.

화상의 필터링이 종료되면, 반복 여부가 결정될 수 있다(s215). 반복 여부는 최소 평균 제곱 오차, 미리 정의된 임계값와의 비교, 코스트 함수 또는 최소 제곱법을 이용하여 결정될 수 있다.

만약 필터링의 반복 수행이 결정되면 디스플레이 장치는, 부가될 가중치 및 분할된 각 구역의 초점 수준을 기초로 화상에 적어도 하나의 필터를 적용하여 화상을 다시 반복하여 필터링할 수 있다(s214). 반대로 필터링의 반복 수행 종료가 결정되면, 화상 처리는 종료되고 디스플레이 장치는 개선된 화상을 획득하게 된다(s218). 획득된 화상은 디스플레이 장치의 화상 출력부를 통해 외부로 출력될 수 있다.

만약 각 구역에 대해 가중치를 부가하지 않는 경우라면, 디스플레이 장치는 분할된 각 구역의 초점 수준에 따라 적어도 하나의 필터를 적용하여 필터링을 수행할 수 있다(s216). 이 경우, 예를 들어, 화상의 초점 상태가 아웃 포커스 상태라면 중심 구역은 고 주파수 필터나 중간 주파수 필터를 적용하고 주변 구역은 저 주파수 필터를 적용하여 필터링을 수행하고, 화상의 초점 상태가 팬 포커스 상태라면 중심 구역 및 주변 구역 모두 고 주파수 필터나 중간 주파수 필터를 적용하여 필터링을 수행할 수 있다.

화상의 필터링이 종료되면, 반복 여부가 결정될 수 있다(s217). 상술한 바와 동일하게 반복 여부는 최소 평균 제곱 오차, 미리 정의된 임계값와의 비교, 코스트 함수 또는 최소 제곱법 등의 수단을 이용하여 결정될 수 있다.

만약 필터링의 반복 수행이 결정되면 디스플레이 장치는, 분할된 각 구역의 초점 수준을 기초로 화상에 적어도 하나의 필터를 적용하여 화상을 다시 반복하여 필터링할 수 있다(s216). 반대로 필터링의 반복 수행 종료가 결정되면, 화상 처리는 종료되고 디스플레이 장치는 개선된 화상을 획득하게 된다(s218). 획득된 화상은 디스플레이 장치의 화상 출력부를 통해 외부로 출력될 수 있다.

상술한 화상 처리 방법은, 디코더를 이용한 디코딩 방법에도 동일하거나 또는 일부 변경을 거쳐 채용될 수도 있다.

10: 화상 제공자 11: 입력부
12: 다중화기 13: 변조기
14: 송신기 15: 제어부
16: 저장부 100: 디스플레이 장치
110: 수신부 114: 복조기
115: 역다중화기 120: 화상처리부
121: 입력부 122: 반복 판단부
123: 출력부 130: 개선 필터링부
131: 제1 필터링부 132: 제2 필터링부
133: 제3 필터링부 134: 제4 필터링부
135: 화상 저장부 140: 화상 분할부
141: 초점 수준 결정부 150: 화질 측정부
160: 라인 메모리 170: 필터 저장부
171: 제1 필터 172: 제2 필터
173: 제3 필터 180: 화상 출력부
190: 음향 처리부 191: 음향 출력부
192: 제어부 193: 저장부
1000: 인코더 1100: 디코더

Claims

화상을 수신하는 수신부;
상기 화상을 복수의 구역으로 분할하고, 상기 화상의 복수의 구역 각각에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 화상 처리부;를 포함하되,
상기 적어도 하나의 필터는, 높이와 폭이 서로 상이한 비대칭적 필터링 윈도우를 이용하는 비대칭적 필터를 포함하고,
상기 화상의 초점 상태에 따라 서로 다른 종류의 상기 필터를 적용하며,
상기 화상 처리부는, 상기 화상의 복수의 구역 각각의 초점 수준을 결정하되, 상기 초점 수준은 화상의 특정 구역에서 초점이 어느 정도 맞았는지를 나타내는 화상 처리 장치.
제1항에 있어서,
상기 적어도 하나의 필터는 제 1 주파수 필터, 제 2 주파수 필터 및 제 3 주파수 필터 중 적어도 하나를 포함하고,
상기 제 1 주파수 필터는 상기 제 2 주파수 필터보다 더 높은 주파수를 필터링하고,
상기 제 3 주파수 필터는 상기 제 2 주파수 필터보다 더 낮은 주파수를 필터링하는 화상 처리 장치.
삭제
제1항에 있어서,
상기 복수의 구역은 중심 구역 및 주변 구역을 포함하는 화상 처리 장치.
제4항에 있어서,
상기 화상 처리부는, 상기 중심 구역의 초점 수준 및 주변 구역의 초점 수준에 따라 상기 화상의 초점 상태를 결정하는 화상 처리 장치.
제5항에 있어서,
상기 화상 처리부는, 화상의 초점 상태가 아웃 포커스 상태인 경우, 상기 중심 구역에는 고 주파수 필터 또는 중간 주파수 필터를 적용하고 상기 주변 구역에는 저 주파수 필터를 적용하는 화상 처리 장치.
제5항에 있어서,
상기 화상 처리부는, 화상의 초점 상태가 팬 포커스 상태인 경우, 상기 중심 구역 및 상기 주변 구역에 동일한 필터를 적용하는 화상 처리 장치.
◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 화상 처리부는, 복수의 구역 각각에 대한 가중치를 결정하고, 상기 적어도 하나의 필터 각각에 가중치를 부여하고, 상기 가중치가 부여된 적어도 하나의 필터를 상기 화상의 복수의 구역 각각에 대해 적용하는 화상 처리 장치.
◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 적어도 하나의 필터는, 높이 및 폭이 동일한 대칭적 필터링 윈도우를 더 이용하는 대칭적 필터를 더 포함하는 화상 처리 장치.
◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈

제9항에 있어서,
상기 화상 처리부는, 순차적으로 필터링을 수행하는 제1 필터링부 및 제2 필터링부를 포함하는 화상 처리 장치.
◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈

제10항에 있어서,
상기 제1 필터링부 및 상기 제2 필터링부는, 비대칭적 필터 및 대칭적 필터 중 어느 하나를 이용하여 필터링을 수행하는 화상 처리 장치.
제1항에 있어서,
상기 화상 처리부는, 상기 비대칭적 필터를 상기 화상의 제k 열 내지 제n 열에 적용하여 필터링을 수행한 후, 상기 제k 열 내지 제n+1 열에 적용하여 다시 필터링을 수행하되, 상기 k 및 n은 자연수이고, k는 n보다 작은 화상 처리 장치.
제1항에 있어서,
상기 화상 처리부는, 상기 비대칭적 필터링 윈도우가 적용된 화상의 일 구역 내에 위치한 제1 화소를 필터링하는 화상 처리 장치.
◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈

제13항에 있어서,
상기 화상 처리부는, 상기 비대칭적 필터링 윈도우가 적용된 화상의 일 구역에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터를 이용하여 상기 제1 화소를 필터링하는 화상 처리 장치.
제13항에 있어서,
상기 화상 처리부는, 상기 비대칭적 필터링 윈도우가 적용된 화상의 일 구역에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터 및 상기 비대칭적 필터링 윈도우가 적용된 화상의 일 구역의 외부에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터를 이용하여 상기 제1 화소를 필터링하는 화상 처리 장치.
◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈

제15항에 있어서,
상기 비대칭적 필터링 윈도우가 적용된 화상의 일 구역의 외부에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터는, 상기 적어도 하나의 화소의 실재 데이터를 포함하는 화상 처리 장치.
◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 비대칭적 필터는, 상기 폭이 상기 높이보다 큰 화상 처리 장치.
화상을 수신하는 수신부;
상기 화상을 복수의 구역으로 분할하고, 상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 개선된 화상을 획득하는 화상 처리부;를 포함하고,
상기 화상의 초점 상태에 따라 서로 다른 종류의 상기 필터를 적용하며,
상기 화상 처리부는, 상기 화상의 복수의 구역 각각의 초점 수준을 결정하되, 상기 초점 수준은 화상의 특정 구역에서 초점이 어느 정도 맞았는지를 나타내는 화상 처리 장치.
◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈

화상을 수신하는 수신부; 및
상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하되, 상기 적어도 하나의 필터는 비대칭적 필터링 윈도우를 이용하는 화상 처리부;를 포함하되,
상기 화상 처리부는, 상기 필터링 윈도우가 적용된 화상의 일 구역에 위치하는 제1 화소를 필터링하고, 상기 필터링 윈도우가 적용된 화상의 일 구역에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터와, 상기 비대칭적 필터링 윈도우가 적용된 화상의 일 구역의 외부에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터를 이용하여 상기 제1 화소를 필터링하고,
상기 화상의 초점 상태에 따라 서로 다른 종류의 상기 필터를 적용하며,
상기 화상 처리부는, 상기 화상의 복수의 구역 각각의 초점 수준을 결정하되, 상기 초점 수준은 화상의 특정 구역에서 초점이 어느 정도 맞았는지를 나타내는 화상 처리 장치.
삭제
◈청구항 21은(는) 설정등록료 납부시 포기되었습니다.◈

화상을 수신하는 단계;
상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 단계;를 포함하되,
상기 적어도 하나의 필터는, 높이와 폭이 서로 상이한 비대칭적 필터링 윈도우를 이용하는 비대칭적 필터를 포함하고,
상기 화상의 초점 상태에 따라 서로 다른 종류의 상기 필터를 적용하며,
상기 화상의 복수의 구역 각각의 초점 수준이 결정되고, 상기 초점 수준은 화상의 특정 구역에서 초점이 어느 정도 맞았는지를 나타내는 화상 처리 방법.
◈청구항 22은(는) 설정등록료 납부시 포기되었습니다.◈

제21항에 있어서,
상기 상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 단계는,
상기 화상을 복수의 구역으로 분할하는 단계 및 상기 화상의 복수의 구역 각각에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 단계를 포함하는 화상 처리 방법.
◈청구항 23은(는) 설정등록료 납부시 포기되었습니다.◈

화상을 수신하는 단계; 및
상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하되, 상기 적어도 하나의 필터는 비대칭적 필터링 윈도우를 이용하는 단계;를 포함하되,
상기 화상에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 단계는,
상기 필터링 윈도우가 적용된 화상의 일 구역에 위치하는 제1 화소를 필터링하는 단계를 포함하고,
상기 화상의 초점 상태에 따라 서로 다른 종류의 상기 필터를 적용하며,
상기 화상의 복수의 구역 각각의 초점 수준이 결정되고, 상기 초점 수준은 화상의 특정 구역에서 초점이 어느 정도 맞았는지를 나타내는 화상 처리 방법.
◈청구항 24은(는) 설정등록료 납부시 포기되었습니다.◈

제23항에 있어서,
상기 필터링 윈도우가 적용된 화상의 일 구역에 위치하는 제1 화소를 필터링하는 단계는,
상기 필터링 윈도우가 적용된 화상의 일 구역에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터와, 상기 비대칭적 필터링 윈도우가 적용된 화상의 일 구역의 외부에 위치하고 상기 제1 화소에 인접한 적어도 하나의 화소의 데이터를 이용하여 상기 제1 화소를 필터링하는 단계를 포함하는 화상 처리 방법.
◈청구항 25은(는) 설정등록료 납부시 포기되었습니다.◈

인코딩된 데이터를 수신하는 수신부;
상기 인코딩된 데이터에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 디코딩부;를 포함하되,
상기 적어도 하나의 필터는, 높이와 폭이 서로 상이한 비대칭적 필터링 윈도우를 이용하는 비대칭적 필터를 포함하고,
상기 화상의 초점 상태에 따라 서로 다른 종류의 상기 필터를 적용하며,
상기 화상의 복수의 구역 각각의 초점 수준이 결정되고, 상기 초점 수준은 화상의 특정 구역에서 초점이 어느 정도 맞았는지를 나타내는 디코더.
◈청구항 26은(는) 설정등록료 납부시 포기되었습니다.◈

제25항에 있어서,
상기 디코딩부는, 상기 인코딩된 데이터를 상기 복수의 구역으로 분할하고, 상기 인코딩된 데이터의 상기 복수의 구역 각각에 대해 반복적으로 적어도 하나의 필터를 적용하여 필터링을 수행함으로써 개선된 화상을 획득하는 디코더.