KR102470242B1

KR102470242B1 - 영상 처리 장치, 영상 처리 방법, 및 프로그램

Info

Publication number: KR102470242B1
Application number: KR1020150089908A
Authority: KR
Inventors: 켄지 스즈키
Original assignee: 삼성디스플레이 주식회사
Priority date: 2014-12-05
Filing date: 2015-06-24
Publication date: 2022-11-25
Also published as: US20160162756A1; JP2016110354A; KR20160069452A; US9754162B2

Abstract

영상 처리 장치는 입력 영상 신호에 기초하여 서로 다른 2개 이상의 판정 조건들을 이용하여 각 화소마다 인공 화상인지 자연화상인지를 판정하는 인공 화상 판정부를 포함한다. 상기 판정 조건들은 소정의 영역이 평탄한 영역을 나타내는지 판정함으로써, 주목 화소의 인공 화상 여부를 판정하는 제1 판정 조건, 상기 소정의 영역이 그라데이션 영역을 나타내는지 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제2 판정 조건, 및 상기 소정의 영역에 있어서의 색 변화를 판단하여, 상기 주목 화소의 인공 화상 여부를 판정하는 제3 판정 조건 중 어느 하나 이상을 포함한다.

Description

영상 처리 장치, 영상 처리 방법, 및 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM}

본 발명은 영상 처리 장치, 영상 처리 방법, 및 프로그램에 관한 것이다.

영상의 선명화를 행하는 경우, 예를 들어, 입력되는 영상 신호(이하, 입력 영상 신호)에 대해 라플라시안 필터(Laplacian Filter) 등의 엣지(edge)의 강조에 사용하는 것이 가능한 필터(이하, 엣지 강조 필터)를 적용한다. 엣지 강조 필터를 적용한 결과를 게인(gain)으로서 입력 영상 신호에 대해 가산(또는 감산)하여, 영상의 윤곽 부분의 선명함을 향상시킬 수 있다.

예를 들어, 촬상 디바이스(imaging device)에 의해 촬상된 촬상 영상이나, 방송국 등으로부터 송신된 영상 등에 엣지 강조 필터를 사용한 처리를 행하여 영상의 선명도를 향상시킬 수 있다. 하지만, 소프트 웨어에 의해 생성된 문자, 도형 또는 아이콘 등에 대해 엣지 강조 필터를 사용한 처리가 행해지는 경우에는, 링잉(ringing)이 발생할 우려가 있고, 더욱이 화질이 저하할 가능성이 있다. 이하에서는, 컴퓨터(또는 소프트웨어)에 의해 생성된 문자나 도형을 인공 화상인공 화상으로 나타내고, 또한, 촬상 영상이나 방송국 등으로부터 송신된 영상 등의 인공 화상인공 화상 이외의 영상을 자연 화상자연 화상으로 나타낸다.

이와 같은 것 중에서, 입력 영상 신호에 기초하여, 화소마다 인공 화상인지, 자연 화상인지를 판정하는 기술이 개발되어 있다. 입력 영상 신호에 기초하여, 화소마다 인공 화상인지, 자연 화상인지를 판정하는 기술로서는 예를 들어, 하기의 특허문헌 1에 기재된 기술을 들 수 있다.

JP

2002-015327

A

예를 들어 특허문헌 1에 기재된 기술에서는, 하나의 화소의 화상 데이터 값과 하나의 화소의 근방 화소에 대한 비교 화상 데이터의 값을 비교한다. 화상 데이터 값과 비교 화상 데이터의 값의 차이가 작은 경우, 차이가인공 화상을 포함하는 영역(이하, 인공 화상 영역)으로 판정한다. 여기서, 인공 화상 영역은 화상 데이터 값과 비교 화상 데이터 값의 차이가 작은 경우가 많기 때문에, 화소마다 인공 화상인지, 자연 화상인지에 대해 판정할 수 있다.

하지만, 컴퓨터 등에 표시되는 인공 화상에 그라데이션(gradation)이 포함된 경우, 특허 문헌 1의 기술로는 차이로부터인공 화상 영역을 판정하기 어려울 수 있다.

본 발명의 목적은 상기한 문제점을 최소화하여, 화소마다 인공 화상인지, 자연 화상인지를 판정하는 것이 가능한, 신규하고, 개량된 영상 처리 장치, 영상 처리 방법, 및 프로그램을 제공하는 것에 있다.

본 발명의 일 실시예에 따르면, 입력되는 입력 영상 신호에 기초하여 인공 화상 여부를 판정하기 위한 서로 다른 2개 이상의 판정 조건들 각각을 이용하여 인공 화상 여부를 판정하고, 상기 판정 조건들의 판정 결과들의 논리적 조합 결과에 기초하여 상기 입력 영상 신호가 나타내는 입력 영상에 포함되는 인공 화상을 화소들 각각마다 판정하는 인공 화상 판정부를 포함하고, 상기 판정 조건들은 주목 화소와 상기 주목 화소의 주변 화소들을 매트릭스 형상으로 갖는 소정의 영역에 포함되는 화소들 각각의 화소 값을 사용하여 상기 소정의 영역이 평탄한 영역을 나타내는지 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제1 판정 조건, 상기 소정의 영역에 포함되는 화소들 각각의 계조 값을 사용하여 상기 소정의 영역이 그라데이션 영역을 나타내는지 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제2 판정 조건, 및 상기 주변 화소들 각각의 계조 값의 다이나믹 레인지를 근거로 상기 소정의 영역에 있어서의 색 변화를 판단하여, 상기 주목 화소의 인공 화상 여부를 판정하는 제3 판정 조건 중 어느 하나 이상을 포함하는 영상 처리 장치가 제공된다.

이러한 구성에 의해, 다른 복수의 인공 화상을 판정하기 위한 판정 조건 각각의 판정 결과를 이용하여 화소마다 인공 화상인지 자연 화상인지를 판정하는 것이 가능하기 때문에, 인공 화상인지 자연 화상인지를 보다 정확하게 판정할 수 있다. 따라서, 이러한 구성에 의해, 입력 영상에 기초하여 화소마다 인공 화상인지 자연 화상인지를 판정할 수 있다.

또한, 상기 제1 의 판정 조건에 의해 판정을 행하는 경우, 상기 인공 화상 판정부는 상기 주목 화소의 화소 값과 상기 주변 화소들 각각의 화소 값 차이에 절대값을 취하여 제1 절대값을 산출하고, 상기 제1 절대값이 제1 문턱값 이상인 경우 상기 제1 절대값을 포함하는 제1 수를 산출하고, 상기 제1 수가 제2 문턱값보다 작은 경우 상기 주목 화소가 상기 인공 화상을 나타내는 것으로 판정할 수 있다.

또한, 상기 인공 화상 판정부는 상기 입력 영상의 수평 방향, 및 상기 입력 영상의 수직 방향으로 각각 인접하는 화소들 사이의 화소 값의 차이의 상기 제1 절대값을 산출할 수 있다.

또한, 상기 인공 화상 판정부는 상기 입력 영상 신호에 대응하는 색 신호에 기초하여, 상기 화소 값의 차이의 상기 제1절대값을 광의 삼원색마다 산출할 수 있다.

상기 제 2 판정 조건에 의해 판정을 행하는 경우 상기 인공 화상 판정부는 상기 소정의 영역 내의 상기 입력 영상의 수평 방향에 있어서 그라데이션의 판정, 및 상기 입력 영상의 수직 방향에 있어서 그라데이션의 판정을 행하고, 상기 수평 방향과 상기 수직 방향과의 적어도 한 방향에서 그라데이션을 나타내는 것으로 판정된 때에, 상기 주목 화소가 상기 인공 화상을 나타내는 것으로 판정할 수 있다.

또한, 상기 인공 화상 판정부는 상기 소정의 영역내의 모든 행들 각각에 있어서, 상기 수평 방향으로 인접하는 화소들 사이의 계조 값의 차이에 절대값을 취한 제2 절대값을 산출하고, 상기 소정의 영역 내의 모든 행들 각각의 상기 제2 절대값이 제3 문턱값 이하인 경우 상기 제2 절대값을 포함하는 제2 수를 상기 모든 행들 각각마다 산출하고, 상기 소정의 영역 내의 모든 행들 각각의 상기 제 2 수가 제 4 문턱값보다 큰 경우, 상기 소정의 영역이 상기 수평 방향의 그라데이션을 나타내는 것으로 판정할 수 있다.

또한, 상기 인공 화상 판정부는 상기 소정의 영역 내의 모든 열들 각각에 있어서, 상기 수직 방향으로 인접하는 화소들 사이의 계조 값의 차이에 절대값을 취하여 제3 절대값을 산출하고, 상기 소정의 영역 내의 모든 열들 각각의 상기 제3 절대값이 제5 문턱값 이하인 경우 상기 제3 절대값을 포함하는 제3 수를 상기 모든 열들 각각마다 산출하고, 상기 소정의 영역의 모든 열들 각각의 상기 제 3 수가 제 6 문턱값보다 큰 경우 상기 소정의 영역이 상기 수직 방향의 그라데이션을 나타내는 것으로 판정할 수 있다.

상기 제 3 판정 조건에 의해 판정을 행하는 경우 상기 인공 화상 판정부는,

상기 입력 영상 신호에 대응하는 색 신호에 기초하여, 광의 삼원색마다 상기 다이나믹 레인지를 산출하고, 산출된 3 개의 상기 다이나믹 레인지를 사용하여, 상기 광의 삼원색 중의 한 색만 변화가 크고, 다른 2 색은 변화가 작은 것으로 판정된 때, 또는 상기 광의 삼원색 중의 한 색만 변화가 작고, 다른 2 색은 변화가 큰 것으로 판정된 때에, 상기 소정의 영역 내의 상기 주목 화소가, 상기 인공 화상을 나타내는 것으로 판정할 수 있다.

또한, 상기 인공 화상 판정부는, 산출된 3 개의 상기 다이나믹 레인지 중, 하나의 상기 다이나믹 레인지만이 제 7 문턱값 이상이고, 다른 2 개의 상기 다이나믹 레인지가 제 8 문턱값보다 작은 경우, 상기 광의 삼원색 중의 한 색만 변화가 크고, 또한 다른 2 색은 변화가 작은 것으로 판정하고, 산출된 3 개의 상기 다이나믹 레인지 중, 2 개의 상기 다이나믹 레인지가 상기 제 7 문턱값 이상이고, 다른 하나의 상기 다이나믹 레인지가 상기 제 8 문턱값보다 작은 경우, 상기 광의 삼원색 중의 한 색만 변화가 작고, 또한 다른 2 색은 변화가 큰 것으로 판정할 수 있다.

또한, 상기 논리적 조합은 상기 판정 조건들의 판정 결과들의 논리 합일 수 있다.

또한, 상기 인공 화상 판정부는 인공 화상의 정도를 나타내는 인공 화상도를 각 화소마다 결정하여 상기 입력 영상에 포함되는 상기 인공 화상 여부를 각 화소마다 판정할 수 있다.

또한, 상기 인공 화상 판정부는, 상기 논리적 조합의 결과, 상기 인공 화상으로 판정된 화소에 대해, 상기 인공 화상도의 최대 값을 할당하고, 상기 인공 화상으로 판정되지 않은 화소에 대해, 상기 인공 화상도의 최소 값을 할당하여, 상기 인공 화상도가 할당된 복수의 화소를 공간적으로 필터링함으로써, 상기 주목 화소마다의 상기 인공 화상도를 결정할 수 있다.

또한, 상기 입력 영상 신호에 대해 제 1 영상 처리를 행하는 제 1 영상 처리부, 및 상기 인공 화상 판정부의 판정 결과에 기초하여, 상기 입력 영상 신호와 상기 제 1 영상 처리가 행해진 영상 신호를 합성하는 합성부를 더 포함할 수 있다. 또한, 상기 판정 결과는 화소마다의 인공 화상의 정도를 나타내는 인공 화상도이고, 상기 합성부는 상기 인공 화상도에 기초하여, 상기 입력 영상 신호와 상기 제 1 영상 처리부에 있어서 처리된 영상 신호를 화소마다 합성할 수 있다.

또한, 상기 인공 화상 판정부는 판정 결과에 대하는 확대 처리를 더 행하고,

상기 입력 영상 신호에 대해 확대 처리를 포함하는 제 2 영상 처리를 행하는 제 2 영상 처리부, 상기 입력 영상 신호에 대해, 확대 처리와 엣지 강조 처리를 포함하는 상기 제 2 영상 처리와는 다른 제 3 영상 처리를 행하는 제 3 영상 처리부, 및 상기 인공 화상 판정부의 판정 결과에 기초하여, 상기 제 2 영상 처리가 행해진 영상 신호와 상기 제 3 영상 처리가 행해진 영상 신호를 합성하는 합성부를 포함할 수 있다.

또한, 상기 제 3 영상 처리부는, 상기 주목 화소의 화소 값과 상기 인접 화소들 각각의 화소 값에 기초하여, 상기 주목 화소가 평탄 영역에 포함되는지를 판정하고, 판정 결과에 따라 보정 하한 값 및 보정 상한 값 중 적어도 어느 하나로 , 상기 주목 화소마다 설정하고, 상기 확대 처리 및 상기 엣지 강조 처리가 행해진 영상 신호를, 상기 보정 하한 값 및 상기 보정 상한 값 중 적어도 어느 하나로 클립할 수 있다.

또한 상기 목적을 달성하기 위해, 본 발명의 제 2 관점에 의하면, 입력되는 입력 영상 신호에 기초하여, 인공 화상을 판정하기 위한 서로 다른 2 개 이상의 판정 조건들 각각을 이용하여 인공 화상 여부를 판정하고, 상기 판정 조건들의 판정 결과들의 논리적 조합 결과에 기초하여 상기 입력 영상 신호가 나타내는 입력 영상에 포함되는 인공 화상을 화소들 각각마다 판정하는 인공 화상 판정 단계를 포함하고, 상기 판정 조건들은 주목 화소와 상기 주목 화소의 주변 화소들을 매트릭스 형상으로 갖는 소정의 영역에 포함되는 화소들 각각의 화소 값을 사용하여, 상기 소정의 영역이 평탄한 영역을 나타내는지 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제 1 판정 조건, 상기 소정의 영역에 포함되는 화소들 각각의 계조 값을 사용하여 상기 소정의 영역이 그라데이션을 나타내는지를 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제 2 판정 조건, 및 상기 주변 화소들 각각의 계조 값의 다이나믹 레인지를 근거로 상기 소정의 영역에 있어서 색의 변화를 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제 3 판정 조건 중의 하나 이상을 포함하는 영상 처리 방법이 제공 된다.

상기 방법을 사용함으로써, 서로 다른 복수의 판정 조건 각각의 판정 결과를 이용하여 화소마다 인공 화상인지 자연 화상인지를 판정할 수 있다. 따라서, 인공 화상인지 자연 화상인지를 보다 정확하게 판정할 수 있다. 또한 상기 목적을 달성하기 위해, 본 발명의 제 3 관점에 의하면, 컴퓨터를, 입력되는 입력 영상 신호에 기초하여 인공 화상을 판정하기 위한 서로 다른 2개 이상의 판정 조건들 각각을 이용하여 인공 화상 여부를 판정하고, 상기 판정 조건들의 판정 결과들의 논리적 조합 결과에 기초하여 상기 입력 영상 신호가 나타내는 입력 영상에 포함되는 인공 화상을 화소들 각각마다 판정하는 인공 화상 판정 수단으로 기능시키고, 상기 판정 조건들은 주목 화소와 상기 주목 화소의 주변 화소들을 매트릭스 형상으로 갖는 소정의 영역에 포함되는 화소들 각각의 화소 값을 사용하여, 상기 소정의 영역이 평탄한 영역을 나타내는지 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제1 판정 조건, 상기 소정의 영역에 포함되는 화소들 각각의 계조 값을 사용하여, 상기 소정의 영역이 그라데이션 영역을 나타내는지 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제2 판정 조건, 및 상기 주변 화소들 각각의 계조 값의 다이나믹 레인지를 근거로, 상기 소정의 영역에 있어서의 색 변화를 판단하여, 상기 주목 화소의 인공 화상 여부를 판정하는 제3 판정 조건 중 어느 하나 이상을 포함하는 프로그램이 제공된다.

이러한 프로그램이 사용됨으로써, 다른 복수의 인공 화상을 판정하기 위한 판정 조건 각각의 판정 결과를 이용하여 화소마다 인공 화상인지 자연 화상인지를 판정하는 것이 가능하기 때문에, 인공 화상인지 자연 화상인지를 보다 정확하게 판정할 수 있다. 따라서, 이러한 구성에 의해, 입력 영상에 기초하여 화소마다 인공 화상인지 자연 화상인지를 판정할 수 있다.

본 발명에 의하면, 입력 영상 신호에 기초하여, 화소마다 인공 화상인지, 자연 화상인지를 판정할 수 있다.

도 1은 본 발명의 제 1 실시 형태에 따른 영상 처리 장치의 구성의 일 예를 나타내는 블록도이다.
도 2는 본 발명의 제 1 실시 형태에 따른 인공 화상 판정부의 구성의 일 예를 나타내는 블록도이다.
도 3은 본 발명의 제 1 실시 형태에 따른 화소 차이 판정부에 있어서 처리의 일 예를 설명하기 위한 설명도이다.
도 4는 본 발명의 제 1 실시 형태에 따른 계조 판정부에 있어서 처리의 일 예를 설명하기 위한 설명도이다.
도 5는 본 발명의 제 1 실시 형태에 따른 다이나믹 레인지(dynamic range) 판정부에 있어서 처리의 일 예를 설명하기 위한 설명도이다.
도 6은 본 발명의 제 1 실시 형태에 따른 인공 화상도 생성부에 있어서 처리의 일 예를 설명하기 위한 설명도이다.
도 7은 본 발명의 제 1 실시 형태에 따른 자연 화상 처리부에 있어서 처리의 일 예를 설명하기 위한 설명도이다.
도 8은 본 발명의 제 2 실시 형태에 따른 영상 처리 장치의 구성의 일 예를 나타내는 블록도이다.
도 9는 본 발명의 제 2 실시 형태에 따른 인공 화상 판정부의 구성의 일 예를 나타내는 블록도이다.
도 10은 본 발명의 제 2 실시 형태에 따른 자연 화상 확대 처리부의 구성의 일 예를 설명하기 위한 블록도이다.
도 11은 본 발명의 제 2 실시 형태에 따른 인공 화상 확대 처리부의 구성의 일 예를 설명하기 위한 블록도이다.
도 12는 본 발명의 제 2 실시 형태에 따른 인공 화상 확대 처리부에 있어서 처리의 일 예를 설명하기 위한 설명도이다.
도 13은 본 발명의 제 2 실시 형태에 따른 인공 화상 확대 처리부에 있어서 처리의 일 예를 설명하기 위한 설명도이다.

이하에 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태에 대해서 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 붙임으로써, 중복 설명을 생략한다.

(본 발명의 일 실시에 따른 영상 처리 방법)

먼저, 본 발명의 실시 형태에 따른 영상 처리 방법에 대해서 설명한다. 이하에서는, 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리를, 본 발명의 실시 형태에 따른 영상 처리 장치가 행하는 경우를 예를 들어서, 본 발명의 실시 형태에 따른 영상 처리 방법에 대해서 설명한다.

상술한 바와 같이, 예를 들어 특허문헌 1에 기재된 기술과 같이 단지 화소 차이로부터 인공 화상 영역을 판정하는 경우에는, 인공 화상 영역을 정확하게 판정하기 어렵다.

본 발명의 일 실시예에 따른 영상 처리 장치는 입력 영상 신호에 기초하여, 인공 화상 여부를 판정하기 위한 서로 다른 2개 이상의 판정 조건들 각각을 이용하여 인공 화상 여부를 판정한다. 그리고, 본 발명의 실시 형태에 따른 영상 처리 장치는 2 개 이상의 판정 조건들의 판정 결과의 논리적 조합의 결과에 기초하여, 입력 영상 신호가 나타내는 영상(이하, 입력 영상)에 포함되는 인공 화상을 화소마다 판정한다(인공 화상 판정 처리).

입력 영상 신호로서는 예를 들어, 동영상, 또는 정지 영상을 나타내는 신호를 예로서 들 수 있다. 입력 영상 신호로서는 예를 들어, 컴포넌트(component) 방식의 신호를 예로서 들 수 있다. 이하에서는, 입력 영상 신호가 적색(이하, R(red)), 녹색(이하, G(Green)), 및 청색(이하, B(Blue))의 광의 삼원색의 색 신호를 포함하는 경우를 예로 든다. 또한, 본 발명의 실시 형태에 따른 입력 영상 신호에는 휘도 신호와 색차 신호가 포함될 수 있다.

또한, 본 발명의 실시 형태에 따른 판정 조건으로서는 예를 들어, 하기의 제 1 판정 조건, 제2 판정 조건, 및 제 3 판정 조건을 들 수 있다.

(1) 제 1 판정 조건

제 1 판정 조건은 인공 화상 영역이 평탄한 영역을 포함하는 경우가 많은 것을 이용하여 인공 화상을 판정하기 위한 판정 조건이다. 영상 처리 장치는 소정의 영역에 포함되는 화소의 화소 값을 사용하여, 당해 소정의 영역이 평탄한 영역을 나타내는지를 판정함으로써, 주목 화소마다 인공 화상 여부를 판정한다.

소정의 영역이라 함은 예를 들어, 하나의 주목 화소(처리 대상의 화소로서 주목하고 있는 화소)와 당해 하나의 주목 화소의 주변화소를 매트릭스(matrix) 형상으로 갖는 영역이고, 주목 화소 각각에 대응하는 영역이다. 본 발명의 실시 형태에 따른 소정의 영역으로서는, 예를 들어, MxN(M는 영상의 수평 방향의 화소 수이고, N은 영상의 수직 방향의 화소 수이다)의 복수의 화소를 포함하는 영역을 들 수 있다. 이하에서는, M = N인 경우, 즉, 본 발명의 실시 형태에 따른 소정의 영역이, 3x3 화소의 영역이나 5x5의 영역 등의 사각형의 영역인 경우를 예로 든다. 본 발명의 실시 형태에 따른 소정의 영역이 사각형의 영역인 경우, 주목 화소는 예를 들어, 영역의 중심에 포함된다.주변 화소라 함은 소정의 영역에 포함되는 주목 화소 이외의 화소이다.

영상 처리 장치는 소정의 영역이 평탄한 영역을 나타내는 것으로 판정된 경우에, 소정의 영역 내의 주목 화소가 인공 화상을 나타내는 것으로 판정한다. 또한, 본 발명의 실시 형태에 따른 영상 처리 장치는 소정의 영역이 평탄한 영역을 나타내는 것으로 판정되지 않은 경우에는, 소정의 영역 내의 주목 화소가 인공 화상을 나타내지 않는 것으로 판정한다.

본 발명의 실시 형태에 따른 제 1 판정 조건에 의한 인공 화상의 판정에 따른 처리에 대하여는 후술한다.

(2) 제 2 판정 조건

제 2 판정 조건은 인공 화상 영역이 그라데이션을 포함할 수 있는 것을 고려하여, 인공 화상 여부를 판정하기 위한 판정 조건이다. 본 발명의 일 실시예에 따른 영상 처리 장치는 소정의 영역에 포함되는 화소의 계조 값을 사용하여, 당해 소정의 영역이 그라데이션을 나타내는지를 판정한다. 영상 처리 장치는 주목 화소마다 인공 화상 여부를 판정할 수 있다.

예를 들어, 영상 처리 장치는 소정의 영역에 있어서, 입력 영상의 수평 방향에 있어서 그라데이션의 판정, 및 입력 영상의 수직 방향에 있어서 그라데이션의 판정을 행한다. 그리고, 수평 방향과 수직 방향의 적어도 한 방향에서 그라데이션을 나타내는 것으로 판정된 경우에, 영상 처리 장치는 소정의 영역 내의 주목 화소가 인공 화상을 나타내는 것으로 판정한다. 또한, 영상 처리 장치는 수평 방향과 수직 방향의 양쪽에서 그라데이션을 나타내지 않는는 것으로 판정될 경우에는, 주목 화소가 인공 화상을 나타내지 않는 것으로 판정한다.

본 발명의 실시 형태에 따른 제 2 판정 조건에 의한 인공 화상의 판정에 따른 처리에 대하여는 후술한다.

(3) 제 3 판정 조건

제 3 판정 조건은 소정의 영역에 있어서 색의 변화를 이용하여 인공 화상을 판정하기 위한 판정 조건이다.

본 발명의 일 실시예에 따른 영상 처리 장치는 소정의 영역에 포함되는 주변 화소의 계조 값의 다이나믹 레인지를 사용하여 소정의 영역에 있어서 색의 변화를 판정함으로써, 주목 화소마다 인공 화상인지 여부를 판정한다. 상기 다이나믹 레인지는소정의 영역에 포함되는 주변 화소에 있어서 계조 값의 최대 값과 최소 값과의 차이로 정의된다.

영상 처리 장치는 입력 영상 신호에 대응하는 색 신호에 기초하여, 광의 삼원색마다 다이나믹 레인지를 산출한다. 입력 영상 신호에 대응하는 색 신호는 “입력 영상 신호에 포함되는 색 신호”나, “입력 영상 신호에 포함되는 휘도 신호 및 색차 신호로부터 변환된 색 신호”일 수 있다.

예를 들어, 입력 영상 신호에 색 신호가 포함되는 경우 영상 처리 장치는 색 신호를 사용하여 다이나믹 레인지를 산출한다. 또한, 입력 영상 신호에 휘도 신호 및 색차 신호가 포함되는 경우에는 영상 처리 장치는 입력 영상 신호에 포함되는 휘도 신호 및 색차 신호를 색 신호로 변환하여, 다이나믹 레인지를 산출한다.

영상 처리 장치는 광의 삼원색 중 어느 한 색만 변화가 크고, 다른 2 색은 변화가 작은 것으로 판정된 경우, 또는, “광의 삼원색 중 어느 한 색만 변화가 작고, 다른 2 색은 변화가 큰 것으로 판정된 경우에, 소정의 영역 내의 주목 화소가 인공 화상을 나타내는 것으로 판정한다. 또한, 본 발명의 실시 형태에 따른 영상 처리 장치는 광의 삼원색 중 어느 한 색만 변화가 크고, 다른 2 색은 변화가 작은 경우 또는 광의 삼원색 중의 어느 한 색만 변화가 작고, 다른 2 색은 변화가 큰 경우에 해당하지 않는 경우에는 소정의 영역 내의 주목 화소가 인공 화상을 나타내지 않는 것으로 판정한다.

본 발명의 실시 형태에 따른 제 3 판정 조건에 의한 인공 화상의 판정에 따른 처리에 대하여는 후술한다.

또한, 본 발명의 실시 형태에 따른 판정 조건은 상기 제1 판정 조건, 상기 제2 판정 조건 및 상기 제3 판정 조건에 한정되지 않는다. 예를 들어, 본 발명의 다른 실시예에서 판정 조건은 상기 제1 내지 제3 판정 조건들 외에 다른 판정 조건이 더 포함될 수 있다.

본 발명의 실시 형태에 따른 2 개 이상의 판정 조건으로서는, 예를 들어,2 개 이상의 판정 조건들은 상기 제1 내지 제3 판정 조건들 중 적어도 2 이상의 판정 조건, 또는 상기 제1 내지 제3 판정 조건들 중 어느 하나 이상과 다른 판정 조건을 포함할 수 있다.

영상 처리 장치는 2 개 이상의 판정 조건을 근거로 인공 화상 여부를 판정하고, 2 개 이상의 판정 조건의 판정 결과의 논리적 조합의 결과에 기초하여, 입력 영상에 포함되는 인공 화상을 각 화소마다 판정한다.

본 발명의 일 실시예에 따른 논리적 조합으로는 2 개 이상의 판정 조건의 판정 결과의 논리 합을 예로 들 수 있다. 논리적 조합이 논리 합인 경우, 영상 처리 장치는 2 개 이상의 판정 조건에 의한 인공 화상의 판정의 결과, 어느 하나의 판정 조건에 있어서 인공 화상인 것으로 판정된 화소는 인공 화상을 나타내는 것으로 판정한다.

논리적 조합은 논리 합에 한정되지 않는다. 예를 들어, 본 발명의 실시 형태에 따른 논리적 조합은 논리 곱일 수도 있다. 또한, 본 발명의 실시 형태에 따른 논리적 조합은 예를 들어, 부정, 논리 합, 및 논리 곱 중의 2 이상을 조합한 논리 연산으로 실현될 수 있다. 이하에서는, 본 발명의 실시 형태에 따른 논리적 조합이 2 개 이상의 판정 조건의 판정 결과의 논리 합인 경우를 예로 든다.

또한, 본 발명의 실시 형태에 따른 영상 처리 장치에 있어서, 화소마다의 인공 화상의 판정은 상기에 나타내는 예에 한정되지 않는다. 본 발명의 다른 실시예에서 영상 처리 장치는 인공 화상의 정도를 나타내는 인공 화상도인지 여부를 화소마다 결정함으로써, 화소마다의 인공 화상의 판정을 행할 수도 있다.

보다 구체적으로는, 영상 처리 장치는 논리적 조합의 결과, 인공 화상으로 판정된 화소에 대해, 인공 화상의 정도를 나타내는 인공 화상도(人工畵度)의 최대 값(예를 들어, 255나, 256 등)을 할당하여, 인공 화상으로 판정되지 않은 화소에 대해, 인공 화상도의 최소 값(예를 들어, 0 등)을 할당한다.

영상 처리 장치는 인공 화상도가 할당된 복수의 화소를 공간적으로 필터링(filtering)함으로써, 주목 화소마다의 인공 화상도를 결정한다. 영상 처리 장치는 예를 들어, 가우시안 필터(Gaussian Filter)나, 평균화 필터를 사용한 공간 필터링을 행함으로써, 주목 화소마다의 인공 화상도를 결정한다.

영상 처리 장치는 다른 2 개 이상의 판정 조건에 의한 인공 화상의 판정을 각각 행하고, 2 개 이상의 판정 조건의 판정 결과의 논리적 조합의 결과에 기초하여, 입력 영상에 포함되는 인공 화상을 화소마다 판정한다.

영상 처리 장치는 단지 화소 차이로부터 인공 화상 영역을 판정하는 경우보다도, 화소마다 인공 화상인지, 자연 화상인지를 보다 정확히 판정할 수 있다.

영상 처리 방법은 인공 화상 판정 처리에 한정되지 않는다.

예를 들어, 영상 처리 장치는 인공 화상 판정 처리의 판정 결과에 기초하는 영상 처리를 수행할 수 있다. 인공 화상 판정 처리의 판정 결과에 기초하는 영상 처리에 대하여는 후술한다.

영상 처리 장치는 영상 처리 방법으로서 제1 영상 처리, 제2 영상 처리 또는 제3 영상 처리를 행할 수 있다. 상기 제1 내지 제3 영상 처리들에 대한 구체적인 설명은 후술한다.

(본 발명의 실시 형태에 따른 영상 처리 장치)

이어서, 본 발명의 실시 형태에 따른 영상 처리 방법을 행하는 것이 가능한 영상 처리 장치의 구성에 대하여 설명한다.

이하에서는, “인공 화상 판정 처리”에 더하여 “인공 화상 판정 처리의 판정 결과에 기초하는 영상 처리” 등의 다른 처리를 수행 할 수 있는 영상 처리 장치의 구성을 위주로 설명한다. 또한, 이하에서는, 본 발명의 실시 형태에 따른 영상 처리 장치가, 인공 화상 판정 처리에 있어서, 상기 제1 내지 제3 판정 조건들 각각의 판정 결과의 논리적 조합의 결과에 기초하여, 입력 영상에 포함되는 인공 화상을 화소마다 판정하는 경우를 예로 든다.

[1] 제 1 실시 형태에 따른 영상 처리 장치

도 1은 본 발명의 제 1 실시 형태에 따른 영상 처리 장치(100)의 구성의 일 예를 나타내는 블록도이다. 도 1에서는 입력 영상 신호를 “입력 영상”으로 나타내고, 처리 후의 영상 신호를 “출력 영상”으로 나타내고 있다.

영상 처리 장치(100)는 인공 화상 판정부(102), 자연 화상 처리부(104)(제 1 영상 처리부), 및 합성부(106)를 포함할 수 있다.

영상 처리 장치(100)는 예를 들어, CPU(Central Processing Unit) 등의 프로세서(processor)나 각종 처리 회로 등으로 구성되고, 영상 처리 장치(100) 전체를 제어하는 제어부(미도시) 등을 구비할 수 있다. 제어부를 구비하는 경우, 영상 처리 장치(100)에서는 제어부가 인공 화상 판정부(102), 자연 화상 처리부(104), 및 합성부(106)의 역할을 수행할 수 있다.

또한, 인공 화상 판정부(102), 자연 화상 처리부(104), 및 합성부(106) 중의 1 또는 2 이상이, 제어부와는 별개의 처리 회로(예를 들어, 전용의 처리 회로 또는 범용의 처리 회로) 등으로 실현될 수 있다. 또한, 인공 화상 판정부(102), 자연 화상 처리부(104), 및 합성부(106) 중의 1 또는 2 이상에 있어서 처리는 프로세서 등으로 실행되는 프로그램(program)(소프트웨어)에 의해 실현될 수 있다.

[1-1] 인공 화상 판정부(102)

인공 화상 판정부(102)는 상기 인공 화상 판정 처리를 주도적으로 행하는 역할을 수행한다. 인공 화상 판정부(102)는 입력 영상 신호에 기초하여, 서로 다른 2 개 이상의 판정 조건들 각각을 이용하여 인공 화상 여부를 판정하고, 2 개 이상의 판정 조건의 판정 결과의 논리적 조합의 결과에 기초하여, 입력 영상에 포함되는 인공 화상을 화소마다 판정한다.

또한, 인공 화상 판정부(102)는 예를 들어, 화소마다의 인공 화상의 판정 결과로서 화소마다의 인공 화상도를 출력한다.

도 2는 본 발명의 제 1 실시 형태에 따른 인공 화상 판정부(102)의 구성의 일 예를 나타내는 블록도이다. 인공 화상 판정부(102)는 화소 차이 판정부(108), 계조 판정부(110), 다이나믹 레인지 판정부(112), 및 인공 화상도 생성부(114)를 포함할 수 있다.

[1-1-1] 화소 차이 판정부(108)

화소 차이 판정부(108)는 상기 제 1 판정 조건을 이용하여 주목 화소마다 인공 화상 여부를 판정한다. 화소 차이 판정부(108)는 인접하는 화소(이하, 인접 화소) 사이에 있어서 화소 값 차이에 기초하여, 주목 화소가 인공 화상 영역에 포함되는지 아닌지를 판정한다.

본 발명의 실시 형태에 따른 인접 화소 사이에 있어서 화소 값 차이로서는, 예를 들어, “인접 화소 사이에 있어서 화소 값의 차이의 절대값”을 들 수 있다. 이하에서는, 인접 화소 사이에 있어서 화소 값 차이를 단지 「화소 값 차이」으로 나타내는 경우가 있다.

도 3은 본 발명의 제 1 실시 형태에 따른 화소 차이 판정부(108)에 있어서 처리의 일 예를 설명하기 위한 설명도이다.

도 3은 화소 차이 판정부(108)가, 입력 영상 신호에 대응하는 색 신호에 기초하여, 광의 삼원색마다 화소 값 차이를 취하는 경우를 나타내고 있고, 도 3에서는, 도 3의 A, D가 적색, 도 3의 B, E가 녹색, 도 3의 C, F가 청색에 대응한다. 또한, 도 3에서는 화소 차이 판정부(108)가 도 3의 A~C에 나타내는 바와 같이, 영상의 수평 방향으로 인접하는 화소 사이에 있어서 화소 값 차이, 및 영상의 수직 방향으로 인접하는 화소 사이에 있어서 화소 값 차이를 산출하는 예를 나타내고 있다. 도 3에서는, 화소 값 차이를 산출하는 인접 화소의 그룹을 양쪽향 화살표로 나타내고 있다.

화소 차이 판정부(108)는 하기의 (A-1)~(A-3)의 수순에 의해, 주목 화소마다 인공 화상을 판정한다.

(A-1)

화소 차이 판정부(108)는 예를 들어, 주목 화소를 중심으로 하는 3x3 화소의 영역을, 소정의 영역으로서 추출한다.

또한, 주목 화소에 대응하는 소정의 영역을 추출할 수 없는 경우에는, 화소 차이 판정부(108)는 예를 들어, 당해 주목 화소를 인공 화상이 아닌 것으로 판정하고, 인공 화상이 아닌 것을 나타내는 “0”을 출력한다.

화소 차이 판정부(108)는 예를 들어, 도 3의 A~F로 나타내는 36 개의 인접 화소의 그룹 각각에 있어서, 화소 값 차이를 산출한다. 화소 차이 판정부(108)는 예를 들어, 인접하는 하나의 화소의 계조 값으로부터 인접하는 다른 화소의 계조 값을 감산하고, 절대값을 취함으로써, 화소 값 차이를 산출한다.

(A-2)

화소 차이 판정부(108)는 제 1 문턱값 보다 큰 화소 값 차이의 수(또는, 제 1 문턱값 이상의 화소 값 차이의 수)인 제 1 수를 산출한다.

여기서, 제 1 문턱값으로서는 “1/255”(계조 값이 8 비트로 나타내는 경우에 있어서 제 1 문턱값의 일 예)를 들 수 있지만, 본 발명의 실시 형태에 따른 제 1 문턱값은 상기에 한정되지 않는다. 또한, 제 1 문턱값은 미리 설정되는 고정 값일 수 있고, 영상 처리 장치(100)의 유저(user) 등의 조작에 의해 변경될 수 있는 가변 값일 수도 있다.

(A-3)

화소 차이 판정부(108)는 제 1 수가 제 2 문턱값 이하인 때(또는, 제 1 수가 제 2 문턱값 보다 작은 때)에, 소정의 영역에 대응하는 주목 화소가 인공 화상을 나타내는 것으로 판정한다. 그리고, 화소 차이 판정부(108)는 인공 화상인 것을 나타내는 “1”을 출력한다.

또한, 화소 차이 판정부(108)는 제 1 수가 제 2 문턱값 보다 큰 때(또는, 제 1 수가 제 2 문턱값 이상인 때)에, 소정의 영역에 대응하는 주목 화소가 인공 화상을 나타내지 않는 것으로 판정한다. 그리고, 화소 차이 판정부(108)는 인공 화상이 아닌 것을 나타내는 “0”을 출력한다.

여기서, 제 2 문턱값으로서는, 예를 들어 “10”을 들 수 있지만, 본 발명의 실시 형태에 따른 제 2 문턱값은 상기에 한정되지 않는다. 또한, 제 2 문턱값은 미리 설정되는 고정 값일 수 있고, 영상 처리 장치(100)의 유저 등의 조작에 의해 변경될 수 있는 가변 값일 수도 있다.

화소 차이 판정부(108)는 예를 들어 상기의 (A-1)~(A-3)의 수순에 의해, 주목 화소마다 인공 화상을 판정한다.

또한, 화소 차이 판정부(108)에 있어서 처리는 상기에 나타내는 예에 한정되지 않는다.

예를 들어, 화소 차이 판정부(108)는 입력 영상 신호에 대응하는 휘도 값을 화소 값으로 사용하여, 인접 화소 사이에 있어서 화소 값 차이를 산출하는 것이 가능하다.

또한, 화소 차이 판정부(108)는 영상의 수평 방향으로 인접하는 화소 사이의 화소 값 차이, 또는, 영상의 수직 방향으로 인접하는 화소 사이의 화소 값 차이 중의 하나를 산출할 수 있다.

[1-1-2] 계조 판정부(110)

계조 판정부(110)는 상기 제 2 판정 조건을 이용하여 주목 화소마다 인공 화상을 판정한다. 계조 판정부(110)는 예를 들어, 소정의 영역에 포함되는 화소의 계조 값에 기초하여, 주목 화소가 인공 화상 영역에 포함되는지 아닌지를 판정한다.

도 4는 본 발명의 제 1 실시 형태에 따른 계조 판정부(110)에 있어서 처리의 일 예를 설명하기 위한 설명도이다. 도 4의 A는 영상의 수평 방향의 그라데이션의 판정의 일 예를 나타내고 있고, 도 4의 B는 영상의 수직 방향의 그라데이션의 판정의 일 예를 나타내고 있다.

계조 판정부(110)는 예를 들어, 하기의 (B-1)~(B-3)의 수순에 의해, 주목 화소마다 인공 화상을 판정한다.

(B-1)

계조 판정부(110)는 예를 들어, 주목 화소를 중심으로 하는 3x3 화소의 영역을 소정의 영역으로서 추출한다.

또한, 주목 화소에 대응하는 소정의 영역을 추출할 수 없는 경우에는, 계조 판정부(110)는 예를 들어, 당해 주목 화소를 인공 화상이 아닌 것으로 판정하고, 인공 화상이 아닌 것을 나타내는 “0”을 출력한다.

(B-2)

계조 판정부(110)는 주목 화소 각각에 대응하는 소정의 영역 각각에 있어서, 영상의 수평 방향, 및 영상의 수직 방향 각각에 있어서, 그라데이션을 판정한다.

(B-2-1) 영상의 수평 방향에 있어서 그라데이션의 판정

계조 판정부(110)는 소정의 영역의 모든 행에 있어서, 수평 방향으로 인접하는 화소 사이의 화소 값 차이를 산출한다. 계조 판정부(110)는 인접하는 하나의 화소의 계조 값으로부터 인접하는 다른 화소의 계조 값을 감산하고, 감산된 값에 절대값을 취해 화소 값 차이를 산출한다.

계조 판정부(110)는 소정의 영역의 모든 행에 있어서, 제 3 문턱값 이하의 화소 값 차이의 수(또는, 제 3 문턱값 보다 작은 화소 값 차이의 수)인 제 2 수를 행마다 산출한다.

제 3 문턱값으로서는 “1/255”(계조 값이 8 비트로 나타내는 경우에 있어서 제 3 문턱값의 일 예)를 들 수 있지만, 본 발명의 실시 형태에 따른 제 3 문턱값은 상기에 한정되지 않는다. 또한, 제 3 문턱값은 미리 설정되는 고정 값일 수 있고, 영상 처리 장치(100)의 유저 등의 조작에 의해 변경될 수 있는 가변 값일 수도 있다.

계조 판정부(110)는 소정의 영역의 모든 행에 있어서, 제 2 수가 제 4 문턱값 이상인 때(또는, 제 2 수가 제 4 문턱값 보다 큰 때)에, 소정의 영역이 수평 방향의 그라데이션을 나타내는 것으로 판정한다. 또한, 계조 판정부(110)는 소정의 영역 중의 어느 하나의 행에 있어서, 제 2 수가 제 4 문턱값 보다 작은 때(또는, 제 2 수가 제 4 문턱값 이하인 때)에, 소정의 영역이 수평 방향의 그라데이션을 나타내지 않는 것으로 판정한다.

여기서, 제 4 문턱값으로서는, 예를 들어 “2”(소정의 영역이 3x3 화소의 영역인 경우에 있어서 제 4 문턱값의 일 예)를 들 수 있지만, 본 발명의 실시 형태에 따른 제 4 문턱값은 상기에 한정되지 않는다. 또한, 제 4 문턱값은 미리 설정되는 고정 값일 수 있고, 영상 처리 장치(100)의 유저 등의 조작에 의해 변경될 수 있는 가변 값일 수도 있다.

(B-2-2) 영상의 수직 방향에 있어서 그라데이션의 판정

계조 판정부(110)는 소정의 영역의 모든 열에 있어서, 수직 방향으로 인접하는 화소 사이의 화소 값 차이를 산출한다. 계조 판정부(110)는 인접하는 하나의 화소의 계조 값으로부터 인접하는 다른 화소의 계조 값을 감산하고, 감사된 값에 절대값을 취함으로써, 화소 값 차이를 산출한다.

계조 판정부(110)는 소정의 영역의 모든 열에 있어서, 제 5 문턱값 이하의 화소 값 차이의 수(또는, 제 5 문턱값 보다 작은 화소 값 차이의 수)인 제 3 수를 열마다 산출한다.

여기서, 제 5 문턱값으로서는 “1/255”(계조 값이 8 비트로 나타내는 경우에 있어서 제 5 문턱값의 일 예)를 들 수 있지만, 본 발명의 실시 형태에 따른 제 5 문턱값은 상기에 한정되지 않는다. 또한, 제 5 문턱값은 미리 설정되는 고정 값일 수 있고, 영상 처리 장치(100)의 유저 등의 조작에 의해 변경될 수 있는 가변 값일 수도 있다.

계조 판정부(110)는 소정의 영역의 모든 열에 있어서, 제 3 수가 제 6 문턱값 이상인 때(또는, 제 3 수가 제 6 문턱값 보다 큰 때)에, 소정의 영역이 수직 방향의 그라데이션을 나타내는 것으로 판정한다. 또한, 계조 판정부(110)는 소정의 영역 중의 어느 하나의 열에 있어서, 제 3 수가 제 6 문턱값 보다 작은 때(또는, 제 3 수가 제 6 문턱값 이하인 때) 에, 소정의 영역이 수직 방향의 그라데이션을 나타내지 않는 것으로 판정한다.

여기서, 제 6 문턱값으로서는, 예를 들어 “2”(소정의 영역이 3x3 화소의 영역인 경우에 있어서 제 6 문턱값의 일 예)를 들 수 있지만, 본 발명의 실시 형태에 따른 제 6 문턱값은 상기에 한정되지 않는다. 또한, 제 6 문턱값은 미리 설정되는 고정 값일 수 있고, 영상 처리 장치(100)의 유저 등의 조작에 의해 변경될 수 있는 가변 값일 수도 있다.

(B-3)

계조 판정부(110)는 주목 화소 각각에 대응하는 소정의 영역 각각에 있어서, 수평 방향과 수직 방향의 적어도 한 방향에서 그라데이션을 나타내는 것으로 판정된 때에, 소정의 영역에 대응하는 주목 화소가 인공 화상을 나타내는 것으로 판정한다. 그리고, 계조 판정부(110)는 예를 들어, 인공 화상인 것을 나타내는 “1”을 출력한다.

또한, 계조 판정부(110)는 주목 화소 각각에 대응하는 소정의 영역 각각에 있어서, 수평 방향과 수직 방향의 양쪽에서 그라데이션을 나타내지 않는 것으로 판정된 때에는, 소정의 영역에 대응하는 주목 화소가 인공 화상을 나타내지 않는 것으로 판정한다. 그리고, 계조 판정부(110)는 인공 화상이 아닌 것을 나타내는 “0”을 출력한다.

계조 판정부(110)는 예를 들어, 상기의 (B-1)~(B-3)의 수순에 의해, 주목 화소마다 인공 화상을 판정한다.

[1-1-3] 다이나믹 레인지 판정부(112)

다이나믹 레인지 판정부(112)는 상기 제 3 판정 조건에 의해, 주목 화소마다 인공 화상을 판정한다. 다이나믹 레인지 판정부(112)는 소정의 영역에 포함되는 주변 화소의 계조 값의 다이나믹 레인지에 기초하여, 주목 화소가 인공 화상 영역에 포함되는지 아닌지를 판정한다.

도 5는 본 발명의 제 1 실시 형태에 따른 다이나믹 레인지 판정부(112)에 있어서 처리의 일 예를 설명하기 위한 설명도이다.

도 5는 화소 차이 판정부(108)가 입력 영상 신호에 대응하는 색 신호에 기초하여 광의 삼원색마다 다이나믹 레인지를 산출하는 경우를 나타낸다. 도 5에서는, 도 5의 A가 적색, 도 5의 B가 녹색, 도 5의 C가 청색에 대응한다.

다이나믹 레인지 판정부(112)는 하기의 (C-1)~(C-3)의 수순에 의해, 주목 화소마다 인공 화상을 판정한다.

(C-1)

다이나믹 레인지 판정부(112)는 예를 들어, 주목 화소를 중심으로 하는 3x3 화소의 영역을 소정의 영역으로서 추출한다.

또한, 주목 화소에 대응하는 소정의 영역을 추출할 수 없는 경우에는, 다이나믹 레인지 판정부(112)는 당해 주목 화소를 인공 화상이 아닌 것으로 판정하고, 인공 화상이 아닌 것을 나타내는 “0”을 출력한다.

(C-2)

다이나믹 레인지 판정부(112)는 주목 화소 각각에 대응하는 소정의 영역 각각에 있어서, 입력 영상 신호에 대응하는 색 신호에 기초하여 광의 삼원색마다 다이나믹 레인지를 산출한다.

다이나믹 레인지 판정부(112)는 하기의 수식 1에 의해, 광의 삼원색마다 다이나믹 레인지를 산출한다.

여기서, 수식 1에 나타내는 “DR(R)”은 적색에 대응하는 다이나믹 레인지이고, 수식 1에 나타내는 “Max(R)” 및 “Min(R)”는 적색에 대응하는 색 신호에 기초하는 주변 화소의 계조 값의 최대 값 및 최소 값을 나타낸다. 또한, 수식 1에 나타내는 “DR(G)”는 녹색에 대응하는 다이나믹 레인지이고, 수식 1에 나타내는 “Max(G)” 및 “Min(G)”는 녹색에 대응하는 색 신호에 기초하는 주변 화소의 계조 값의 최대 값 및 최소 값을 나타내고 있다. 또한, 수식 1에 나타내는 “DR(B)”는 청색에 대응하는 다이나믹 레인지이고, 수식 1에 나타내는 “Max(B)” 및 “Min(B)”는 청색에 대응하는 색 신호에 기초하는 주변 화소의 계조 값의 최대 값 및 최소 값을 나타내고 있다.

(C-3)

다이나믹 레인지 판정부(112)는 주목 화소 각각에 대응하는 소정의 영역 각각에 있어서, 산출된 3 개의 다이나믹 레인지를 사용하여, “광의 삼원색 중의 한 색만 변화가 크고, 또한 다른 2 색은 변화가 작은 것으로 판정된 때”, 또는, “광의 삼원색 중의 한 색만 변화가 작고, 또한 다른 2 색은 변화가 큰 것으로 판정된 때”에, 소정의 영역에 대응하는 주목 화소가 인공 화상을 나타내는 것으로 판정한다. 그리고, 다이나믹 레인지 판정부(112)는 인공 화상인 것을 나타내는 “1”을 출력한다.

구체적으로는, 다이나믹 레인지 판정부(112)는 “산출된 3 개의 다이나믹 레인지 중, 하나의 다이나믹 레인지만이 제 7 문턱값 이상이고(혹은, 하나의 다이나믹 레인지만이 제 7 문턱값 보다 크고), 다른 2 개의 다이나믹 레인지가 제 8 문턱값 이하인(혹은, 다른2 개의 다이나믹 레인지가 제 8 문턱값 보다 작은) 때”에, 광의 삼원색 중의 한 색만 변화가 크고, 또한 다른 2 색은 변화가 작은 것으로 판정한다. 또한, 다이나믹 레인지 판정부(112)는 예를 들어, “산출된 3 개의 다이나믹 레인지 중, 2 개의 다이나믹 레인지가 제 7 문턱값 이상이고(혹은, 2 개의 다이나믹 레인지가 제 7 문턱값 보다 크고), 다른 하나의 다이나믹 레인지가 제 8 문턱값 이하인(혹은, 다른 하나의 다이나믹 레인지가 제 8 문턱값 보다 작은) 때”에, 광의 삼원색 중의 한 색만 변화가 작고, 또한 다른 2 색은 변화가 큰 것으로 판정한다.

여기서, 제 7 문턱값은 “100/255”(계조 값이 8 비트로 나타내는 경우에 있어서 제 7 문턱값의 일 예)일 수 있고, 제 8 문턱값은 “1/255”(계조 값이8 비트로 나타내는 경우에 있어서 제 8 문턱값의 일 예)일 수 있다. 또한, 본 발명의 실시 형태에 따른 제 7 문턱값과 제 8 문턱값은 상기에 한정되지 않는다. 제 7 문턱값과 제 8 문턱값은 미리 설정되는 고정 값일 수 있고, 영상 처리 장치(100)의 유저 등의 조작에 의해 변경될 수 있는 가변 값일 수도 있다.

또한, 다이나믹 레인지 판정부(112)는 주목 화소 각각에 대응하는 소정의 영역 각각에 있어서, 산출된 3 개의 다이나믹 레인지를 사용하여, “광의 삼원색 중의 한 색만 변화가 크고, 또한 다른 2 색은 변화가 작은” 또는 “광의 삼원색 중의 한 색만 변화가 작고, 또한 다른 2 색은 변화가 큰”것으로 판정되지 않은 때에는, 소정의 영역에 대응하는 주목 화소가 인공 화상을 나타내지 않는 것으로 판정한다. 그리고, 다이나믹 레인지 판정부(112)는 예를 들어, 인공 화상이 아닌 것을 나타내는 “0”을 출력한다.

다이나믹 레인지 판정부(112)는 예를 들어, 상기의 (C-1)~(C-3)의 수순에 의해, 주목 화소마다 인공 화상을 판정한다.

[1-1-4] 인공 화상도 생성부(114)

인공 화상도 생성부(114)는 화소 차이 판정부(108), 계조 판정부(110), 및 다이나믹 레인지 판정부(112) 각각의 판정 결과의 논리적 조합의 결과에 기초하여, 인공 화상도(인공 화상의 판정 결과의 일 예)를 생성(결정)한다.

인공 화상도 생성부(114)는 판정 결과를 논리적 조합한다. 인공 화상도 생성부(114)는 인공 화상으로 판정된 화소에 대해 인공 화상의 정도를 나타내는 인공 화상도의 최대 값을 할당한다. 또한, 인공 화상도 생성부(114)는 인공 화상으로 판정되지 않은 화소에 대해 인공 화상도의 최소 값을 할당한다. 그리고, 인공 화상도 생성부(114)는 인공 화상도가 할당된 복수의 화소를 공간적으로 필터링함으로써, 주목 화소마다의 인공 화상도를 결정한다. 또한, 인공 화상도 생성부(114)는 판정 결과의 논리적 조합의 결과를 인공 화상도로 할 수 있다.

도 6은 본 발명의 제 1 실시 형태에 따른 인공 화상도 생성부(114)에 있어서 처리의 일 예를 설명하기 위한 설명도이다.

인공 화상도 생성부(114)는 화소 차이 판정부(108), 계조 판정부(110), 및 다이나믹 레인지 판정부(112) 각각의 판정 결과의 논리 합(판정 결과의 논리적 조합의 일 예)을 취한다.

또한, 상술한 바와 같이, 본 발명의 실시 형태에 따른 논리적 조합은 판정 결과의 논리 합에 한정되지 않는다. 예를 들어, 인공 화상도 생성부(114)는 화소 차이 판정부(108), 계조 판정부(110), 및 다이나믹 레인지 판정부(112) 각각의 판정 결과의 논리곱을 취하는 것도 가능하다.

판정 결과의 논리 합을 취하면, 인공 화상도 생성부(114)는 판정 결과의 논리적 조합의 결과에 대하여, 인공 화상도의 최대 값에 해당하는 값을 승산한다.

도 6에서는 인공 화상도 생성부(114)가 “255”(입력 영상 신호가 8 비트로 나타내는 경우에 있어서 인공 화상도의 최대 값의 일 예)를, 판정 결과의 논리적 조합의 결과에 대하여 승산하고 있는 예를 나타내고 있다. 또한, 본 발명의 실시 형태에 따른 인공 화상도의 최대 값에 해당하는 값은 “255”에 한정되지 않고, “256” 등의 다른 값일 수도 있다. 본 발명의 실시 형태에 따른 인공 화상도의 최대 값에 해당하는 값은 미리 설정되는 고정 값일 수 있고, 영상 처리 장치(100)의 유저 등의 조작에 의해 변경될 수 있는 가변 값일 수도 있다.

인공 화상도 생성부(114)는 예를 들어, 인공 화상도가 할당된 복수의 화소를 공간적으로 필터링함으로써, 주목 화소의 인공 화상도를 생성한다. 인공 화상도 생성부(114)는 예를 들어, 주목 화소를 중심으로 하는 5x5 화소의 영역에 대해, 가우시안 필터에 의해 공간 필터링함으로써, 주목 화소의 인공 화상도를 생성(결정)한다. 또한, 주목 화소에 대응하는 5x5 화소의 영역이 설정할 수 없는 경우에는, 인공 화상도 생성부(114)는 판정 결과의 논리적 조합의 결과를 인공 화상도로 한다.

상기와 같은 가우시안 필터에 의해 공간 필터링함으로써, 인공 화상도 생성부(114)는 인공 화상도를, 예를 들어 256 단계 등으로 단계적으로 생성할 수 있다.

인공 화상도 생성부(114)는 예를 들어 상기와 같은, 화소 차이 판정부(108), 계조 판정부(110), 및 다이나믹 레인지 판정부(112) 각각의 판정 결과의 논리적 조합의 결과에 기초하여, 인공 화상도(인공 화상의 판정 결과의 일 예)를 생성한다.

또한, 인공 화상도 생성부(114)에 있어서 처리는 상기에 나타내는 예에 한정되지 않는다.

예를 들어, 인공 화상도 생성부(114)는 도 6에 나타내는 가우시안 필터의 대신에, 평균화 필터 등의 다른 필터를 사용한 공간 필터링을 행하는 것도 가능하다. 또한, 인공 화상도 생성부(114)는 3x3 화소의 영역이나 7x7 화소의 영역 등, 5x5 화소의 영역 이외의 영역에 대해 공간 필터링을 행할 수도 있다.

인공 화상 판정부(102)는 입력 영상 신호에 기초하여, 인공 화상을 화소마다 판정한다. 또한, 제 1 실시 형태에 따른 인공 화상 판정부(102)의 구성은 도 2에 나타내는 구성에 한정되지 않는다.

예를 들어, 인공 화상 판정부(102)는 도 2에 나타내는 화소 차이 판정부(108), 계조 판정부(110), 및 다이나믹 레인지 판정부(112) 중의 하나를 갖지 않을 수 있다. 또한, 인공 화상 판정부(102)는 예를 들어, 상기 (1)에 나타내는 제 1 판정 조건~상기 (3)에 나타내는 제 3 판정 조건과는 다른 판정 조건에 의해 화소마다 인공 화상의 판정을 행하는 1 또는 2 이상의 판정부를 더 가질 수 있다. 또한, 상기 1 또는 2 이상의 판정부를 갖는 경우에는, 인공 화상 판정부(102)는, 도 2에 나타내는 화소 차이 판정부(108), 계조 판정부(110), 및 다이나믹 레인지 판정부(112) 중의 하나 또는 2 개를 갖지 않는 구성을 취하는 것도 가능하다.

[1-2] 자연 화상 처리부(104)

자연 화상 처리부(104)는 입력 영상 신호에 대해 제 1 영상 처리를 행한다.

본 발명의 실시 형태에 따른 제 1 영상 처리로서는 엣지 강조 처리, 색 영역 변환 처리, 콘트라스트의 보정 처리 등 여러 가지 영상 처리를 들 수 있다. 또한, 본 발명의 실시 형태에 따른 제 1 영상 처리에는 영상의 확대 처리는 포함되지 않는다. 확대 처리가 포함되는 제 2 영상 처리에 대하여는 후술한다.

도 7은 본 발명의 제 1 실시 형태에 따른 자연 화상 처리부(104)에 있어서 처리의 일 예를 설명하기 위한 설명도이고, 엣지 강조 처리의 일 예를 나타내고 있다. 도 7에서는 편의상, 자연 화상 처리부(104)에 의해 처리된 처리 후의 영상을 「자연 화상 처리 영상」으로 나타내고 있다.

자연 화상 처리부(104)는 입력 영상 신호에 대해 라플라시안 필터를 사용하여 필터 처리를 행한다. 자연 화상 처리부(104)는 라플라시안 필터를 적용한 결과를 게인으로서 입력 영상 신호에 대해 가산(또는 감산)한다. 또한, 자연 화상 처리부(104)는 라플라시안 필터 이외의 다른 엣지 강조 필터를 사용한 필터 처리를 행하는 것도 가능하다. 본 발명의 실시 형태에 따른 엣지 강조 필터는 선형 필터일 수 있고, 비선형 필터일 수도 있다.

[1-3] 합성부(106)

합성부(106)는 인공 화상 판정 처리의 판정 결과에 기초하는 영상 처리를 행하는 역할을 수행하고, 인공 화상 판정부(102)의 판정 결과에 기초하여, 입력 영상 신호와, 자연 화상 처리부(104)에 있어서 제 1 영상 처리가 행해진 영상 신호를 합성한다.

합성부(106)는 하기의 수식 2에 나타내는 연산을 화소마다 행한다. 또한, 하기의 수식 2는 입력 영상 신호가 8 비트로 나타내는 경우에 있어서 합성부(106)에 있어서 연산의 일 예이다.

제 1 실시 형태에 있어서, 하기의 수식 2에 나타내는 “R_arl”, “G_arl”, “B_arl”는 입력 영상 신호에 대응하는 색 신호가 나타내는 계조 값(화소 값의 일 예)이다. 하기의 수식 2에 나타내는 “bld”는 인공 화상도를 나타낸다. 또한, 하기의 수식 2에 나타내는 “R_natural”, “G_natural”, “B_natural”은 제 1 영상 처리가 행해진 입력 영상 신호에 대응하는 색 신호가 나타내는 계조 값(화소 값의 일 예)이다. 하기의 수식 2에 나타내는 “R_bld”, “G_bld”, “B_bld”는 출력 영상 신호에 대응하는 색 신호가 나타내는 계조 값(화소 값의 일 예)이다.

제 1 실시 형태에 따른 영상 처리 장치(100)는 예를 들어, 도 1에 나타내는 구성을 갖는다.

여기서, 영상 처리 장치(100)는 인공 화상 판정부(102)에 있어서, 본 발명의 실시 형태에 따른 인공 화상 판정 처리를 행한다.

따라서, 영상 처리 장치(100)는 예를 들어, 도 1에 나타내는 구성을 가짐으로써, 입력 영상 신호에 기초하여, 화소마다 인공 화상인지, 자연 화상인지를 판정할 수 있다.

또한, 영상 처리 장치(100)는 합성부(106)에 있어서, 인공 화상 판정부(102)의 판정 결과에 기초하여, 입력 영상 신호와 제 1 영상 처리가 행해진 영상 신호를 합성한다.

여기서, 예를 들어, 자연 화상에 있어서 텍스처(Texture)(예를 들어, 입력 영상에 포함되는 잔디나 풀 등)에서는 엣지를 강조하여 오버슈트(overshoot)나 언더슈트(undershoot)를 발생시킴으로써, 선명도가 높은 영상으로 할 수 있다.

한편, 예를 들어, 컴퓨터 등에 의해 생성된 문자 등의 인공 화상에서는 엣지를 강조하면, 링깅이 발생할 수 있다. 링깅이 발생한 경우에는 아티팩트(artifact)로서 인식될 우려가 있기 때문에, 더욱 더 화질을 저하시킬 가능성이 있다. 그러므로, 입력 영상에 포함되는 인공 화상의 부분에 대하여는 입력 영상을 그대로 출력하는 등, 엣지를 강조하지 않는 것이 바람직하다.

영상 처리 장치(100)는 합성부(106)에 있어서, 인공 화상 판정부(102)의 판정 결과인 복수 단계의 인공 화상도(예를 들어, 256 단계의 인공 화상도)에 기초하여, 입력 영상 신호와 제 1 영상 처리가 행해진 영상 신호를 합성한다. 따라서, 상술한 바와 같은 화질의 저하를 방지할 수 있고, 또한, 자연 화상과 인공 화상의 경계 부분에서의 아티팩트는 발생하지 않는다.

따라서, 영상 처리 장치(100)는 도 1에 나타내는 구성을 가짐으로써, 출력 영상의 화질의 향상을 도모할 수 있다.

또한, 제 1 실시 형태에 따른 영상 처리 장치의 구성은 도 2에 나타내는 구성에 한정되지 않는다.

예를 들어, 제 1 실시 형태에 따른 영상 처리 장치는 인공 화상에 대한 영상 처리를 행하는 인공 화상 처리부를 더 포함할 수 있다. 인공 화상 처리부를 더 포함하는 경우 합성부(106)는 자연 화상 처리부(104)에서 제 1 영상 처리가 행해진 영상 신호와, 인공 화상 처리부에 있어서 영상 처리가 행해진 영상 신호를 합성할 수 있다.

또한, 자연 화상 처리부(104)와 합성부(106) 중 적어도 어느 하나와 동일한 기능을 갖는 1 또는 2 이상의 외부 장치(또는, 외부 처리 회로)와 연대하여 처리를 행할 수 있다. 이 경우, 영상 처리 장치는 자연 화상 처리부(104)와 합성부(106)의 어느 하나 또는 모두를 구비하지 않는 구성을 취하는 것도 가능하다.

자연 화상 처리부(104)와 합성부(106) 중의 어느 하나 또는 모두를 구비하지 않는 구성일지라도, 제 1 실시 형태에 따른 영상 처리 장치는 본 발명의 실시 형태에 따른 인공 화상 판정 처리를 행하는 것이 가능하다. 따라서, 자연 화상 처리부(104)와 합성부(106) 중의 어느 하나 또는 모두를 구비하지 않는 구성 일지라도, 제 1 실시 형태에 따른 영상 처리 장치는 입력 영상 신호에 기초하여, 화소마다 인공 화상인지, 자연 화상인지를 판정할 수 있다.

[2] 제 2 실시 형태에 따른 영상 처리 장치

또한, 본 발명의 실시 형태에 따른 영상 처리 장치는 상기 제 1 실시 형태에 따른 영상 처리 장치에 한정되지 않는다. 제 2 실시 형태에 따른 영상 처리 장치로서 입력 영상을 확대한 출력 영상을 출력하는 것이 가능한 영상 처리 장치의 구성의 일 예를 설명한다.

제 2 실시 형태에 따른 입력 영상의 확대로서는 예를 들어, FHD(Full High Definition) 해상도의 영상을 UHD(Ultra High Definition) 해상도의 영상에 확대하는 등, 입력 영상을 영상의 수평 방향 및 수직 방향으로 각각 2 배로 확대하는 것, 즉 입력 영상을 4 배로 확대하는 것을 들 수 있다. 또한, 제 2 실시 형태에 따른 입력 영상의 확대는 상기의 예에 한정되지 않고, 제 2 실시 형태에 따른 영상 처리 장치는 입력 영상을 확대하는 것이 가능한 임의의 배율에 의해, 입력 영상을 확대하는 것이 가능하다.

도 8은 본 발명의 제 2 실시 형태에 따른 영상 처리 장치(200)의 구성의 일 예를 나타내는 블록도이다. 도 8에서는, 도 1 와 마찬가지로, 입력 영상 신호를 “입력 영상”으로 나타내고, 처리 후의 영상 신호를 “출력 영상”으로 나타내고 있다.

영상 처리 장치(200)는 인공 화상 판정부(202), 자연 화상 확대 처리부(204)(제 2 영상 처리부), 인공 화상 확대 처리부(206)(제 3 영상 처리부), 및 합성부(208)를 포함한다.

영상 처리 장치(200)는 도 1에 나타내는 영상 처리 장치(100)와 마찬가지로, CPU 등의 프로세서나 각종 처리 회로 등으로 구성될 수 있다. 영상 처리 장치(200)는 전체를 제어하는 제어부(미도시) 등을 구비할 수 있다. 영상 처리 장치(200)가 제어부를 포함하는 경우, 제어부가 인공 화상 판정부(202), 자연 화상 확대 처리부(204), 인공 화상 확대 처리부(206), 및 합성부(208)의 역할을 수행할 수 있다.

또한, 인공 화상 판정부(202), 자연 화상 확대 처리부(204), 인공 화상 확대 처리부(206), 및 합성부(208) 중의 1 또는 2 이상이, 제어부와는 별개의 처리 회로(예를 들어, 전용의 처리 회로, 또는, 범용의 처리 회로) 등으로 실현될 수 있다. 또한, 인공 화상 판정부(202), 자연 화상 확대 처리부(204), 인공 화상 확대 처리부(206), 및 합성부(208) 중의 1 또는 2 이상에 있어서 처리는 프로세서 등에서 실행되는 프로그램(소프트웨어)에 의해 실현될 수 있다.

[2-1] 인공 화상 판정부(202)

인공 화상 판정부(202)는 인공 화상 판정 처리를 주도적으로 행하는 역할을 수행한다. 인공 화상 판정부(202)는 서로 다른 2 개 이상의 포정 조건 각각을 이용하여 입력 영상 신호의 인공 화상 여부를 판정한다. 인공 화상 판정부(202)는 2 개 이상의 판정 조건의 판정 결과를 논리적 조합하고, 그 결과에 기초하여 입력 영상에 포함되는 인공 화상을 화소마다 판정한다. 또한, 인공 화상 판정부(202)는 화소마다의 인공 화상의 판정 결과로서 화소마다의 인공 화상도를 출력한다.

도 9는 본 발명의 제 2 실시 형태에 따른 인공 화상 판정부(202)의 구성의 일 예를 나타내는 블록도이다. 인공 화상 판정부(202)는 화소 차이 판정부(108), 계조 판정부(110), 다이나믹 레인지 판정부(112), 인공 화상도 생성부(114), 및 확대 처리부(210)를 포함한다.

도 9에 나타내는 인공 화상 판정부(202)와, 도 2에 나타내는 제 1 실시 형태에 따른 인공 화상 판정부(102)를 비교하면, 인공 화상 판정부(202)가 확대 처리부(210)를 더 구비하고 있는 점이 다르다. 따라서, 이하에서는 인공 화상 판정부(202)를 구성하는 확대 처리부(210)에 대해서 설명한다.

확대 처리부(210)는 인공 화상의 판정 결과에 대하는 확대 처리를 더 행한다. 확대 처리부(210)는 인공 화상도 생성부(114)로부터 출력되는 화소마다의 인공 화상도(인공 화상의 판정 결과의 일 예)에 대해, 최근린(nearest neighbor)법이나, 바이리니어(Bi-Linear)법, 바이큐빅(Bi-Qubic)법 등의 영상을 확대하는 것이 가능한 임의의 방법에 따른 처리를 확대 처리로서 행한다.

[2-2] 자연 화상 확대 처리부(204)

자연 화상 확대 처리부(204)는 입력 영상 신호에 대해, 확대 처리를 포함하는 제 2 영상 처리를 행한다.

본 발명의 실시 형태에 따른 제 2 영상 처리로서는 제 1 실시 형태에 따른 제 1 영상 처리와, 확대 처리를 조합한 처리를 들 수 있다.

또한, 본 발명의 실시 형태에 따른 제 2 영상 처리에서는 후술하는 제 3 영상 처리에 포함되는 클립(clip) 처리는 행해지지 않는다. 영상에 포함되는 자연 화상의 부분에 대하여 클립 처리를 행하면, 덧칠된 유화와 같아지기 때문이다.

도 10은 본 발명의 제 2 실시 형태에 따른 자연 화상 확대 처리부(204)의 구성의 일 예를 설명하기 위한 블록도이다.

자연 화상 확대 처리부(204)는 확대 처리부(212), 및 자연 화상 처리부(104)를 갖는다.

확대 처리부(212)는 입력 영상 신호에 대한 확대 처리를 행한다. 확대 처리부(212)는 입력 영상 신호에 대해, 최근린법이나, 바이리니어 법, 바이큐빅 법 등을 이용하여 영상을 확대하는 처리를 행할 수 있다. 자연 화상 처리부(104)는 확대 처리부(212)로부터 전달되는 영상 신호(입력 영상 신호에 대해 확대 처리가 행해진 영상 신호)에 대해, 엣지 강조 처리 등의 제 1 실시 형태에 따른 자연 화상 처리부(104)와 동일한 제 1 영상 처리를 행한다. 자연 화상 처리부(104)에 있어서 엣지 강조 처리가 행해지는 경우에는 확대 시에 발생하는 블러 현상(Blur)이 개선될 수 있다. 도 10에서는 편의상, 자연 화상 처리부(104)에 의해 처리된 처리 후의 영상을 「자연 화상 확대 처리 영상」으로 나타내고 있다.

또한, 자연 화상 확대 처리부(204)의 구성은 도 10에 나타내는 예에 한정되지 않는다. 예를 들어, 자연 화상 확대 처리부(204)는 자연 화상 처리부(104)의 후단에 확대 처리부(212)가 마련될 수 있다.

[2-3] 인공 화상 확대 처리부(206)

인공 화상 확대 처리부(206)는 입력 영상 신호에 대해, 확대 처리와 엣지 강조 처리를 포함하는 제 2 영상 처리와는 다른 제 3 영상 처리를 행한다.

인공 화상 확대 처리부(206)는 확대 시에 발생하는 블러(blur) 현상을 개선하기 위해 엣지 강조 처리를 행한다.

인공 화상에 대해 엣지 강조 처리가 행해진 경우에는 오버슈트나 언더슈트가 눈에 띌 수 있다. 따라서, 인공 화상 확대 처리부(206)는 오버슈트나 언더슈트를 발생시키지 않도록 클립 처리를 행할 수 있다.

인공 화상 확대 처리부(206)는 주목 화소의 화소 값과 인접 화소의 화소 값에 기초하여, 주목 화소가 평탄 영역에 포함되는지를 판정한다. 인공 화상 확대 처리부(206)는 판정 결과에 따른 보정 하한 값 및 보정 상한 값 중의 적어도 어느 하나를 주목 화소마다 설정한다. 그리고, 인공 화상 확대 처리부(206)는 확대 처리 및 엣지 강조 처리가 행해진 영상 신호를 보정 하한 값 및 보정 상한 값 중의 적어도 어느 하나로 클립한다.

이하, 보정 하한 값 및 보정 상한 값의 모두로 클립하는 경우를 예를 들어서, 인공 화상 확대 처리부(206)에 있어서 처리를 보다 구체적으로 설명한다. 또한, 이하에서는 보정 하한 값과 보정 상한 값을 총칭하여 「보정 값」으로 나타내는 경우가 있다.

도 11은 본 발명의 제 2 실시 형태에 따른 인공 화상 확대 처리부(206)의 구성의 일 예를 설명하기 위한 블록도이다.

인공 화상 확대 처리부(206)는 평탄 검출부(214), 보정 값 산출부(216), 확대 처리부(218, 220), 강조부(222), 및 보정부(224)를 갖는다.

[2-3-1] 평탄 검출부(214)

평탄 검출부(214)는 주목 화소의 화소 값과 인접 화소의 화소 값에 기초하여, 주목 화소가 평탄 영역에 포함되는지를 판정한다.

도 12는 본 발명의 제 2 실시 형태에 따른 인공 화상 확대 처리부(206)에 있어서 처리의 일 예를 설명하기 위한 설명도이다. 도 12에 나타내는 “T”는 주목 화소를 나타내고 있다. 또한, 도 12에 나타내는 “L”은 주목 화소에 대해, 영상의 수평 방향의 왼쪽에 인접하는 인접 화소이고, 도 12에 나타내는 “R”은 주목 화소에 대해, 영상의 수평 방향의 우측에 인접하는 인접 화소이다. 또한, 도 12에 나타내는 “U”는 주목 화소에 대해, 영상의 수직 방향의 상측에 인접하는 인접 화소이고, 도 12에 나타내는 “D”는 주목 화소에 대해, 영상의 수직 방향의 하측에 인접하는 인접 화소이다.

평탄 검출부(214)는 예를 들어 하기의 수식 3에 나타내는 연산을, 도 12에 나타내는 4 개의 인접 화소 각각에 대해 행한다.

여기서, 하기의 수식 3에 나타내는 “*”는 도 12에 나타내는 4 개의 인접 화소 “L”, “R”, “U”, “D” 중의 어느 하나를 나타내고 있다. 또한, 하기의 수식 3에 나타내는 “R_T”, “G_T”, “B_T”는 입력 영상 신호에 대응하는 색 신호가 나타내는 주목 화소의 계조 값(화소 값의 일 예)이고, “R_*”, “G_*”, “B_*”는 입력 영상 신호에 대응하는 색 신호가 나타내는 인접 화소의 계조 값(화소 값의 일 예)이다.

또한, 하기의 수식 3에 나타내는 “Th”는 주목 화소가 평탄 영역에 포함되는지를 판정하기 위한 문턱값이다. 하기의 수식 3에 나타내는 “Th”로서는 예를 들어 “3”을 들 수 있다. 하기의 수식 3에 나타내는 “Th”는 미리 설정되는 고정 값일 수 있고, 영상 처리 장치(100)의 유저 등의 조작에 의해 변경될 수 있는 가변 값일 수도 있다.

평탄 검출부(214)는 하기의 수식 4에 나타내는 연산을 행함으로써, 주목 화소가 평탄 영역에 포함되는지를 판정한다. 여기서, 하기의 수식 4에 나타내는 “DetFlat”의 값이 “1”을 나타내는 경우가 주목 화소가 평탄 영역에 포함되는 것을 나타내고 있고, 하기의 수식 4에 나타내는 “DetFlat”의 값이 “0”을 나타내는 경우가 주목 화소가 평탄 영역에 포함되지 않는 것을 나타내고 있다.

평탄 검출부(214)는 주목 화소가 평탄 영역에 포함되는지를 판정한다. 또한, 주목 화소가4 개의 인접 화소를 갖지 않는 경우, 평탄 검출부(214)는 당해 주목 화소가 평탄 영역에 포함되지 않는 것으로 판정할 할 수 있다.

[2-3-2] 보정 값 산출부(216)

보정 값 산출부(216)는 보정 값(보정 하한 값 및 보정 상한 값 중 어느 하나 또는 모두)을 설정한다. 이하에서는, 보정 값 산출부(216)가 보정 하한 값 및 보정 상한 값의 모두를 설정하는 경우에 대하여 설명한다.

보정 값 산출부(216)는 도 12에 나타내는 바와 같이 주목 화소의 상하 좌우에 인접하는 4 개의 인접 화소에 있어서, 화소 값의 최대 값과 최소 값을 선택한다.

이하, 인접 화소에 있어서, 화소 값의 최대 값을 “R_max”(적색의 색 신호에 대응하는 화소 값의 최대 값), “G_max”(녹색의 색 신호에 대응하는 화소 값의 최대 값), “B_max”(청색의 색 신호에 대응하는 화소 값의 최대 값)으로 나타낸다. 또한, 이하, 인접 화소에 있어서, 화소 값의 최소 값을 “R_min”(적색의 색 신호에 대응하는 화소 값의 최소 값), “G_min”(녹색의 색 신호에 대응하는 화소 값의 최소 값), “B_min”(청색의 색 신호에 대응하는 화소 값의 최소 값)으로 나타낸다.

그리고, 보정 값 산출부(216)는 예를 들어, 하기의 수식 5~ 수식 10에 의해, 보정 하한 값 및 보정 상한 값을 설정한다.

여기서, 하기의 수식 5~수식 7에 나타내는 “R_c _{_max}”, “G_c _{_max}”, “B_c _{_max}”는 입력 영상 신호에 대응하는 색 신호에 각각 대응하는 보정 상한 값이다. 또한, 하기의 수식 8~수식 10에 나타내는 “R_c _{_min}”, “G_c _{_min}”, “B_c _{_min}”는 입력 영상 신호에 대응하는 색 신호에 각각 대응하는 보정 하한 값이다.

[2-3-3] 확대 처리부(218)

확대 처리부(218)는 화소마다 설정된 보정 값에 대해 확대 처리를 행한다. 확대 처리부(218)는 예를 들어, 화소마다 설정된 보정 값에 대해, 최근린법이나, 바이리니어법, 바이큐빅법 등의 영상을 확대하는 것이 가능한 임의의 방법에 따른 처리를 확대 처리로서 행한다.

[2-3-4] 확대 처리부(220)

확대 처리부(220)는 입력 영상 신호에 대해 확대 처리를 행한다. 확대 처리부(220)는 예를 들어, 입력 영상 신호에 대해, 최근린법이나, 바이리니어법, 바이큐빅법 등의 영상을 확대하는 것이 가능한 임의의 방법에 따른 처리를, 확대 처리로서 행한다.

[2-3-5] 강조부(222)

강조부(222)는 엣지 강조 처리를 행한다.

도 13은 본 발명의 제 2 실시 형태에 따른 인공 화상 확대 처리부(206)에 있어서 처리의 일 예를 설명하기 위한 설명도이다. 도 13은 인공 화상 확대 처리부(206)를 구성하는 강조부(222)에 있어서 처리의 일 예를 나타내고 있다. 도 13에서는, 강조 처리가 행해진 적색에 대응하는 색 신호가 나타내는 계조 값(화소 값의 일 예)를 “R_enh”, 강조 처리가 행해진 녹색에 대응하는 색 신호가 나타내는 계조 값(화소 값의 일 예)를 “G_enh”, 강조 처리가 행해진 청색에 대응하는 색 신호가 나타내는 계조 값(화소 값의 일 예)를 “B_enh”으로 나타내고 있다.

강조부(222)는 입력 영상 신호에 대해 라플라시안 필터를 사용한 필터 처리를 행하고, 라플라시안 필터를 적용한 결과를 게인으로서 입력 영상 신호에 대해 가산(또는 감산)한다. 또한, 강조부(222)는 라플라시안 필터 이외의 다른 엣지 강조 필터를 사용한 필터 처리를 행하는 것도 가능하다.

[2-3-6] 보정부(224)

보정부(224)는 확대 처리부(220) 및 강조부(222)에 있어서 확대 처리 및 엣지 강조 처리가 행해진 영상 신호를 보정 값(보정 하한 값 및 보정 상한 값)에서 클립한다.

보정 하한 값 및 보정 상한 값의 모두에서 클립하는 경우를 예로 들면, 보정부(224)는 예를 들어 하기의 수식 11~수식 13에 나타내는 연산을 행함으로써, 확대 처리 및 엣지 강조 처리가 행해진 영상 신호를 보정 값으로 클립한다.

여기서, 하기의 수식 11~ 수식 13에 나타내는 “R_clip”, “G_clip”, “B_clip”는 입력 영상 신호에 대응하는 색 신호에 각각 대응하는 보정 후의 계조 값(화소 값의 일 예)이다.

인공 화상 확대 처리부(206)는 도 11에 나타내는 구성에 의해, “확대 처리”, “엣지 강조 처리”, 및, “확대 처리 및 엣지 강조 처리가 행해진 영상 신호를, 보정 하한 값 및 보정 상한 값 중 하나 또는 모두에서 클립하는 클립 처리”를, 제 3 영상 처리로서 행한다. 또한, 인공 화상 확대 처리부(206)의 구성은 도 11에 나타내는 구성에 한정되는 것은 아니다. [2-4] 합성부(208)

다시, 도 8을 참조하여, 제 2 실시 형태에 따른 영상 처리 장치(200)의 구성의 일 예를 설명한다. 합성부(208)는 인공 화상 판정부(202)의 판정 결과(도 1에 나타내는 인공 화상 판정부(102)에 있어서 처리에 또한 확대 처리가 행해진 판정 결과)에 기초하여, 자연 화상 확대 처리부(204)에 있어서 제 2 영상 처리가 행해진 영상 신호와, 인공 화상 확대 처리부(206)에 있어서 제 3 영상 처리가 행해진 영상 신호를 합성한다.

합성부(208)는 상기 수식 2에 나타내는 연산을 화소마다 행하여, 제 2 영상 처리가 행해진 영상 신호와 제 3 영상 처리가 행해진 영상 신호를 합성한다. 합성부(208)가 상기 수식 2에 나타내는 연산을 행하는 경우, 상기 수식 2에 나타내는 “R_art”, “G_art”, “B_art”는 인공 화상 확대 처리부(206)에 있어서 제 3 영상 처리가 행해진 영상 신호에 대응하는 색 신호가 나타내는 계조 값(화소 값의 일 예)이다.

제 2 실시 형태에 따른 영상 처리 장치(200)는 예를 들어 도 8에 나타내는 구성을 갖는다.

영상 처리 장치(200)는 인공 화상 판정부(202)에 있어서, 본 발명의 실시 형태에 따른 인공 화상 판정 처리를 행한다.

따라서, 영상 처리 장치(200)는 예를 들어 도 8에 나타내는 구성을 가짐으로써, 입력 영상 신호에 기초하여, 화소마다 인공 화상인지, 자연 화상인지를 판정할 수 있다.

합성부(208)는 인공 화상 판정부(202)의 판정 결과에 기초하여, 제 2 영상 처리가 행해진 영상 신호와 제 3 영상 처리가 행해진 영상 신호를 합성한다.

상술한 바와 같이, 자연 화상의 텍스쳐에서는, 엣지를 강조하여 오버슈트나 언더슈트를 발생시킴으로써, 선명도가 높은 영상으로 할 수 있다.

또한, 확대 처리에 의해 블러 현상이 발생할 수 있기 때문에, 블러 현상을 개선하기 위해, 영상 처리 장치(200)는 예를 들어, 컴퓨터 등에 의해 생성된 문자 등의 인공 화상에 대해, 엣지 강조 처리를 행한다. 상술한 바와 같이 인공 화상에서는 엣지를 강조하면 링깅이 발생할 수 있지만, 영상 처리 장치(200)는 보정 값에 의해 클립함으로써, 오버슈트나 언더슈트의 발생을 방지하기 때문에, 링깅의 발생을 방지할 수 있다.

또한, 합성부(208)는 인공 화상 판정부(202)의 판정 결과인 복수 단계의 인공 화상도(예를 들어, 256 단계의 인공 화상도)에 기초하여, 제 2 영상 처리가 행해진 영상 신호와 제 3 영상 처리가 행해진 영상 신호를 합성한다. 따라서, 제 1 실시 형태에 따른 영상 처리 장치와 마찬가지로 자연 화상과 인공 화상의 경계 부분에서의 아티팩트는 발생하지 않는다.

영상 처리 장치(200)는 도 8에 나타내는 구성을 가짐으로써, 출력 영상의 화질의 향상을 도모할 수 있다.

또한, 제 2 실시 형태에 따른 영상 처리 장치의 구성은 도 8에 나타내는 구성에 한정되지 않는다.

예를 들어, 자연 화상 확대 처리부(204), 인공 화상 확대 처리부(206), 및 합성부(208) 중의 1 또는 2 이상과 동일한 기능을 갖는 1 또는 2 이상의 외부 장치(또는, 외부 처리 회로)와 연대하여 처리를 행하는 경우에는, 제 2 실시 형태에 따른 영상 처리 장치는 자연 화상 확대 처리부(204), 인공 화상 확대 처리부(206), 및 합성부(208) 중의 1 또는 2 이상을 구비하지 않는 구성을 취하는 것도 가능하다.

자연 화상 확대 처리부(204), 인공 화상 확대 처리부(206), 및 합성부(208) 중의 1 또는 2 이상을 구비하지 않는 경우라도, 제 2 실시 형태에 따른 영상 처리 장치는 본 발명의 실시 형태에 따른 인공 화상 판정 처리를 행하는 것이 가능하다.또한, 이 경우 영상 처리 장치는 입력 영상 신호에 기초하여, 화소마다 인공 화상인지, 자연 화상인지를 판정할 수 있다.

이상, 본 발명의 실시 형태로서, 영상 처리 장치를 예를 들어서 설명하였으나, 본 발명의 실시 형태는 이러한 형태에 한정되지 않는다. 본 발명의 실시 형태는 예를 들어, PC나 서버 등의 컴퓨터나, 테블릿(tablet)형의 장치, 휴대 전화나 스마트폰(smart phone) 등의 통신 장치, 텔레비젼 수상기, 모니터 등의 표시 디바이스 등, 영상 신호를 처리하는 것이 가능한 여러 가지 기기에 적용할 수 있다. 또한, 본 발명의 실시 형태는 상술한 바와 같은 기기는 조립하는 것이 가능한 1 또는 2 이상의 IC(Integrated Circuit)에 적용할 수도 있다.

(본 발명의 실시 형태에 따른 프로그램)

본 발명의 실시 형태에 따른 영상 처리 장치로서 기능하기 위해 컴퓨터 내의 소정의 프로그램이 실행될 수 있다.

예를 들어 상기 프로그램은 인공 화상 판정부(102)에 대응하는 인공 화상 판정 수단, 자연 화상 처리부(104)에 대응하는 제1 영상 처리 수단, 합성부(106)에 대응하는 합성 수단을 포함할 수 있다.또한, 상기 프로그램은 컴퓨터를 인공 화상 판정부(102)에 대응하는 인공 화상 판정 수단과 같은, 제 1 실시 형태의 변형예에 따른 영상 처리 장치로서 기능시키는 것이 가능한 프로그램일 수 있다.

상기 프로그램은 컴퓨터를 인공 화상 판정부(202)에 대응하는 인공 화상 판정 수단, 자연 화상 확대 처리부(204)에 대응하는 제 2 영상 처리 수단, 인공 화상 확대 처리부(206)에 대응하는 제 3 영상 처리 수단, 및 합성부(208)에 대응하는 합성 수단과 같은, 제 2 실시 형태에 따른 영상 처리 장치(200)로서 기능시키는 것이 가능한 프로그램일 수 있다.

상기 프로그램은 컴퓨터를, 인공 화상 판정부(202)에 대응하는 인공 화상 판정 수단과 같은 제 2 실시 형태의 변형예에 따른 영상 처리 장치로서 기능시키는 것이 가능한 프로그램일 수 있다.

따라서, 컴퓨터가 실행됨에 따라 입력 영상 신호가 각 화소마다 인공 화상인지, 자연 화상인지를 판정할 수 있다.

또한, 컴퓨터를, 본 발명의 실시 형태에 따른 영상 처리 장치로서 기능시키기 위한 프로그램이, 컴퓨터에 있어서 실행됨으로써, 상술한 본 발명의 실시 형태에 따른 영상 처리 장치가 사용됨으로써, 나타내는 효과를 나타낼 수 있다.

또한, 상기에서는, 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태에 대해서 설명하였으나, 본 발명은 따른 예에 한정되지 않는다는 것은 말할 필요도 없다. 당업자이라면, 특허 청구의 범위에 기재된 범주 내에 있어서, 각 종의 변경 예 또는 수정 예로 상상하여 얻을 수 있다는 것은 명확하고, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 해석된다.

예를 들어, 상기에서는, 컴퓨터를, 본 발명의 실시 형태에 따른 영상 처리 장치로서 기능시키기 위한 프로그램(컴퓨터 프로그램)이 제공되는 것을 나타내었으나, 본 발명의 실시 형태는 또한, 상기 프로그램을 기억시킨 기록 매체도 함께 제공할 수 있다.

100: 영상 처리 장치 102: 인공 화상 판정부
104: 자연 화상 처리부 106: 합성부
108: 화소 차이 판정부 110: 계조 판정부
112: 다이나믹 레인지 판정부 114: 인공 화상도 생성부
204: 자연 화상 확대 처리부 206: 인공 화상 확대 처리부
210: 확대 처리부 214: 평탄 검출부
216: 보정 값 산출부 222: 강조부
224: 보정부

Claims

입력되는 입력 영상 신호에 기초하여 인공 화상 여부를 판정하기 위한 서로 다른 2개 이상의 판정 조건들 각각을 이용하여 인공 화상 여부를 판정하고, 상기 판정 조건들의 판정 결과들의 논리적 조합 결과에 기초하여 상기 입력 영상 신호가 나타내는 입력 영상에 포함되는 인공 화상을 화소들 각각마다 판정하는 인공 화상 판정부를 포함하고,
상기 판정 조건들은,
주목 화소와 상기 주목 화소의 주변 화소들을 매트릭스 형상으로 갖는 소정의 영역에 포함되는 화소들 각각의 화소 값을 사용하여 상기 소정의 영역이 평탄한 영역을 나타내는지 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제1 판정 조건;
상기 소정의 영역에 포함되는 화소들 각각의 계조 값을 사용하여 상기 소정의 영역이 그라데이션 영역을 나타내는지 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제2 판정 조건; 및
상기 주변 화소들 각각의 계조 값의 다이나믹 레인지를 근거로 상기 소정의 영역에 있어서의 광의 삼원색마다 색 변화를 판단하여, 상기 주목 화소의 인공 화상 여부를 판정하는 제3 판정 조건 중 어느 하나 이상을 포함하는 영상 처리 장치.
제 1 항에 있어서,
상기 제 1 판정 조건에 의해 판정을 행하는 경우,
상기 인공 화상 판정부는,
상기 주목 화소의 화소 값과 상기 주변 화소들 각각의 화소 값 차이에 절대값을 취하여 제1 절대값을 산출하고,
상기 제1 절대값이 제1 문턱값 이상인 경우 상기 제1 절대값을 포함하는 제1 수를 산출하고,
상기 제1 수가 제2 문턱값보다 작은 경우 상기 주목 화소가
상기 인공 화상을 나타내는 것으로 판정하는 영상 처리 장치.
제2 항에 있어서,
상기 인공 화상 판정부는 상기 입력 영상의 수평 방향, 및 상기 입력 영상의 수직 방향으로 각각 인접하는 화소들 사이의 화소 값의 차이의 상기 제1 절대값을 산출하는 영상 처리 장치.
제2 항에 있어서,
상기 인공 화상 판정부는 상기 입력 영상 신호에 대응하는 색 신호에 기초하여, 상기 광의 삼원색마다 상기 제1 절대값을 산출하는 영상 처리 장치.
제1 항에 있어서,
상기 제 2 판정 조건에 의해 판정을 행하는 경우
상기 인공 화상 판정부는 상기 소정의 영역 내의 상기 입력 영상의 수평 방향에 있어서 그라데이션의 판정, 및 상기 입력 영상의 수직 방향에 있어서 그라데이션의 판정을 행하고,
상기 수평 방향과 상기 수직 방향과의 적어도 한 방향에서 그라데이션을 나타내는 것으로 판정된 때에, 상기 주목 화소가 상기 인공 화상을 나타내는 것으로 판정하는 영상 처리 장치.
제 5 항에 있어서,
상기 인공 화상 판정부는,
상기 소정의 영역내의 모든 행들 각각에 있어서, 상기 수평 방향으로 인접하는 화소들 사이의 계조 값의 차이에 절대값을 취한 제2 절대값을 산출하고,
상기 소정의 영역 내의 모든 행들 각각의 상기 제2 절대값이 제3 문턱값 이하인 경우 상기 제2 절대값을 포함하는 제2 수를 상기 모든 행들 각각마다 산출하고,
상기 소정의 영역 내의 모든 행들 각각의
상기 제 2 수가 제 4 문턱값보다 큰 경우, 상기 소정의 영역이 상기 수평 방향의 그라데이션을 나타내는 것으로 판정하는 영상 처리 장치.
제5 항에 있어서,
상기 인공 화상 판정부는
상기 소정의 영역 내의 모든 열들 각각에 있어서, 상기 수직 방향으로 인접하는 화소들 사이의 계조 값의 차이에 절대값을 취하여 제3 절대값을 산출하고,
상기 소정의 영역 내의 모든 열들 각각의 상기 제3 절대값이 제5 문턱값 이하인 경우 상기 제3 절대값을 포함하는 제3 수를 상기 모든 열들 각각마다 산출하고,
상기 소정의 영역의 모든 열들 각각의 상기 제 3 수가 제 6 문턱값보다 큰 경우 상기 소정의 영역이 상기 수직 방향의 그라데이션을 나타내는 것으로 판정하는 영상 처리 장치.
제 1 항에 있어서,
상기 제 3 판정 조건에 의해 판정을 행하는 경우 상기 인공 화상 판정부는,
상기 입력 영상 신호에 대응하는 색 신호에 기초하여, 상기 광의 삼원색마다 상기 다이나믹 레인지를 산출하고,
산출된 3 개의 상기 다이나믹 레인지 중, 하나의 상기 다이나믹 레인지만이 제 7 문턱값 이상이고, 다른 2 개의 상기 다이나믹 레인지가 제 8 문턱값보다 작은 경우, 상기 광의 삼원색 중의 한 색만 변화가 크고, 또한 다른 2 색은 변화가 작은 것으로 판정하고,
산출된 3 개의 상기 다이나믹 레인지 중, 2 개의 상기 다이나믹 레인지가 상기 제 7 문턱값 이상이고, 다른 하나의 상기 다이나믹 레인지가 상기 제 8 문턱값보다 작은 경우, 상기 광의 삼원색 중의 한 색만 변화가 작고, 또한 다른 2 색은 변화가 큰 것으로 판정하는 영상 처리 장치.
삭제
제1 항에 있어서,
상기 논리적 조합은 상기 판정 조건들의 판정 결과들의 논리 합인 영상 처리 장치.
제 1 항에 있어서,
상기 인공 화상 판정부는 인공 화상의 정도를 나타내는 인공 화상도를 각 화소마다 결정하여 상기 입력 영상에 포함되는 상기 인공 화상 여부를 각 화소마다 판정하는 영상 처리 장치.
제 11 항에 있어서,
상기 인공 화상 판정부는,
상기 논리적 조합의 결과, 상기 인공 화상으로 판정된 화소에 대해, 상기 인공 화상도의 최대 값을 할당하고, 상기 인공 화상으로 판정되지 않은 화소에 대해, 상기 인공 화상도의 최소 값을 할당하여,
상기 인공 화상도가 할당된 복수의 화소를 공간적으로 필터링함으로써, 상기 주목 화소마다의 상기 인공 화상도를 결정하는 것을 특징으로 하는 영상 처리 장치.
제 1 항에 있어서,
상기 입력 영상 신호에 대해 제 1 영상 처리를 행하는 제 1 영상 처리부; 및
상기 인공 화상 판정부의 판정 결과에 기초하여, 상기 입력 영상 신호와 상기 제 1 영상 처리가 행해진 영상 신호를 합성하는 합성부를 더 포함하는 영상 처리 장치.
제 13 항에 있어서,
상기 판정 결과는 화소마다의 인공 화상의 정도를 나타내는 인공 화상도이고,
상기 합성부는 상기 인공 화상도에 기초하여, 상기 입력 영상 신호와 상기 제 1 영상 처리부에 있어서 처리된 영상 신호를 화소마다 합성하는 영상 처리 장치.
제 1 항에 있어서,
상기 인공 화상 판정부는 판정 결과에 대하는 확대 처리를 더 행하고,
상기 입력 영상 신호에 대해 확대 처리를 포함하는 제 2 영상 처리를 행하는 제 2 영상 처리부;
상기 입력 영상 신호에 대해, 확대 처리와 엣지 강조 처리를 포함하는 상기 제 2 영상 처리와는 다른 제 3 영상 처리를 행하는 제 3 영상 처리부; 및
상기 인공 화상 판정부의 판정 결과에 기초하여, 상기 제 2 영상 처리가 행해진 영상 신호와 상기 제 3 영상 처리가 행해진 영상 신호를 합성하는 합성부를 포함하는 영상 처리 장치.
제 15 항에 있어서,
상기 제 3 영상 처리부는,
상기 주목 화소의 화소 값과 상기 주변 화소들 각각의 화소 값에 기초하여, 상기 주목 화소가 평탄 영역에 포함되는지를 판정하고, 판정 결과에 따라 보정 하한 값 및 보정 상한 값 중 적어도 어느 하나로, 상기 주목 화소마다 설정하고,
상기 확대 처리 및 상기 엣지 강조 처리가 행해진 영상 신호를, 상기 보정 하한 값 및 상기 보정 상한 값 중 적어도 어느 하나로 클립하는 영상 처리 장치.
입력되는 입력 영상 신호에 기초하여, 인공 화상을 판정하기 위한 서로 다른 2 개 이상의 판정 조건들 각각을 이용하여 인공 화상 여부를 판정하고, 상기 판정 조건들의 판정 결과들의 논리적 조합 결과에 기초하여 상기 입력 영상 신호가 나타내는 입력 영상에 포함되는 인공 화상을 화소들 각각마다 판정하는 인공 화상 판정 단계를 포함하고,
상기 판정 조건들은
주목 화소와 상기 주목 화소의 주변 화소들을 매트릭스 형상으로 갖는 소정의 영역에 포함되는 화소들 각각의 화소 값을 사용하여, 상기 소정의 영역이 평탄한 영역을 나타내는지 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제 1 판정 조건;
상기 소정의 영역에 포함되는 화소들 각각의 계조 값을 사용하여 상기 소정의 영역이 그라데이션을 나타내는지를 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제 2 판정 조건; 및
상기 주변 화소들 각각의 계조 값의 다이나믹 레인지를 근거로 상기 소정의 영역에 있어서 광의 삼원색마다 색의 변화를 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제 3 판정 조건 중의 하나 이상을 포함하는 영상 처리 방법.
컴퓨터를,
입력되는 입력 영상 신호에 기초하여 인공 화상을 판정하기 위한 서로 다른 2개 이상의 판정 조건들 각각을 이용하여 인공 화상 여부를 판정하고, 상기 판정 조건들의 판정 결과들의 논리적 조합 결과에 기초하여 상기 입력 영상 신호가 나타내는 입력 영상에 포함되는 인공 화상을 화소들 각각마다 판정하는 인공 화상 판정 수단으로 기능시키고,
상기 판정 조건들은,
주목 화소와 상기 주목 화소의 주변 화소들을 매트릭스 형상으로 갖는 소정의 영역에 포함되는 화소들 각각의 화소 값을 사용하여, 상기 소정의 영역이 평탄한 영역을 나타내는지 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제1 판정 조건;
상기 소정의 영역에 포함되는 화소들 각각의 계조 값을 사용하여, 상기 소정의 영역이 그라데이션 영역을 나타내는지 판정함으로써, 상기 주목 화소의 인공 화상 여부를 판정하는 제2 판정 조건; 및
상기 주변 화소들 각각의 계조 값의 다이나믹 레인지를 근거로, 상기 소정의 영역에 있어서의 광의 삼원색마다 색 변화를 판단하여, 상기 주목 화소의 인공 화상 여부를 판정하는 제3 판정 조건 중 어느 하나 이상을 포함하는 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체.