KR101314390B1 - 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로 - Google Patents

시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로 Download PDF

Info

Publication number
KR101314390B1
KR101314390B1 KR1020087027471A KR20087027471A KR101314390B1 KR 101314390 B1 KR101314390 B1 KR 101314390B1 KR 1020087027471 A KR1020087027471 A KR 1020087027471A KR 20087027471 A KR20087027471 A KR 20087027471A KR 101314390 B1 KR101314390 B1 KR 101314390B1
Authority
KR
South Korea
Prior art keywords
signal
image
effect
visual processing
region
Prior art date
Application number
KR1020087027471A
Other languages
English (en)
Other versions
KR20090009232A (ko
Inventor
다케시 이토
하루오 야마시타
유스케 모노베
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20090009232A publication Critical patent/KR20090009232A/ko
Application granted granted Critical
Publication of KR101314390B1 publication Critical patent/KR101314390B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/75—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Abstract

급준한 에지 영역을 가지는 화상이 입력된 경우에도, 부작용을 억제하는 것을 가능하게 한다. 입력된 화상 신호로부터 주변 화상 정보(US)를 출력하는 공간 처리부(10)와, 에지 근방 영역의 평탄 정도에 따라 효과 조정 신호(MOD)를 출력하는 제어 신호 발생부(40)와, 효과 조정 신호(MOD)에 따라 화상 신호(IS)와 주변 화상 정보(US)의 비율을 바꾸어 합성한 합성 신호(MUS)를 출력하는 효과 조정부(20)와, 합성 신호(MUS)와 화상 신호(IS)에 의거하여 화상 신호(IS)를 시각 처리하는 시각 처리부(30)를 구비한다.

Description

시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로{VISUAL PROCESSING APPARATUS, VISUAL PROCESSING METHOD, PROGRAM, RECORDING MEDIUM, DISPLAY, AND INTEGRATED CIRCUIT}
본 발명은, 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로에 관한 것이다. 특히, 화상의 시각 처리 효과를 다르게 하도록 조정하는 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로에 관한 것이다.
종래, 원화상의 화상 신호의 화질 개선 처리로서, 계조 처리에 의한 화상 처리 장치와, 공간 처리에 의한 화상 처리 장치가 알려져 있다.
계조 처리는, 착목 화소의 주변 화소와는 관계없이, 착목 화소마다 룩 업 테이블(이하, 「LUT」라고 한다)을 이용해 화소값의 변환을 행하는 처리이며, 감마 보정으로 불리기도 한다. 예를 들어, 콘트라스트를 강조할 때, 원화상에서의 출현 빈도가 높은 계조 레벨을 강조하는 LUT를 이용해 화소값의 변환이 행해진다. LUT를 이용한 계조 처리로서, 원화상 전체에 하나의 LUT를 결정하여 이용하는 계조 처리와, 원화상을 복수로 분할한 화상 영역의 각각에 대해서 LUT를 결정하여 이용하는 계조 처리가 알려져 있다.
공간 처리는, 필터 적용의 대상이 되는 착목 화소의 값과 그 주변 화소의 값을 이용해, 착목 화소의 값을 변환하는 것이다. 이 공간 처리된 화상 신호를 이용하여, 원화상의 콘트라스트 강조를 행한다(예를 들어, 특허 문헌 1을 참조).
[특허 문헌 1：미국 특허 제 4667304호]
(발명이 해결하려는 과제)
한편, 인간의 시각에 가까운 화질 개선 처리로서, 착목 화소의 값과 그 주변 영역에 있는 화소의 값의 대비에 의거하여 착목 화소의 값을 변환하는 시각 처리가 있다. 이러한 시각 처리에서는, 처리 효과를 보다 높이기 위해, 착목 화소의 위치를 중심으로 광범위한 영역으로부터 밝기 정보를 추출한다.
그러나, 착목 화소의 값과 그 주변 화소의 값의 대비로부터 착목 화소의 값을 결정하기 때문에, 주변 영역에 급준한 에지 영역이 있는 경우에는, 그 주변에 있는 화소의 값의 영향을 받아, 화소의 값이 거의 변동하지 않는 평탄 영역에서도 시각 처리의 출력은 에지 근방에 있어서 완만하게 변화한다. 평탄 영역에서 큰 휘도의 변화가 발생하면, 에지에 인접한 영역에 그림자와 같은 윤곽이 발생하여(이하, 「부작용」이라고 한다), 부자연스러운 화상이 된다.
본 발명은, 이러한 과제를 해결하는 것으로, 급준한 에지 영역을 가지는 화상이 입력된 경우에도, 부작용을 억제하는 것이 가능한 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로를 제공하는 것을 목적으로 한다.
(과제를 해결하기 위한 수단)
제1 발명은, 입력된 화상 신호의 주변 화상 정보를 추출하는 주변 화상 정보 추출부와, 화상 신호와 주변 화상 정보에 의거하여 화상 신호에 대해서 시각 처리를 행하는 시각 처리부와, 시각 처리 효과를 설정하기 위한 효과 조정 신호를 출력하는 제어 신호 발생부와, 효과 조정 신호에 따라 시각 처리 효과를 설정하는 효과 조정부를 구비하는 시각 처리 장치이다. 제어 신호 발생부는, 화상 신호에 의해 형성되는 화상의 화상 영역에 포함되는 에지 근방 영역과 평탄부 영역을 판정하고, 에지 근방 영역이 아니거나, 또는 평탄 영역이 아니라고 판정된 화상 영역에 대해서, 화상 신호와 주변 화상 정보에 의거하는 시각 처리를 실현시키는 효과 조정 신호를 발생시키고, 에지 근방 영역이고, 또한 평탄 영역이라고 판정된 화상 영역에 대해서, 화상 신호와 주변 화상 정보에 의거하는 시각 처리 효과보다도 약한 효과에 의한 시각 처리를 실현시키는 효과 조정 신호를 발생시킨다.
이 시각 처리 장치에서는, 제어 신호 발생부에 의해, 시각 처리 효과를 설정하기 위한 효과 조정 신호를 출력하고, 주변 화상 정보 추출부에 의해, 입력된 화상 신호의 주변 화상 정보를 추출하고, 효과 조정부에 의해, 효과 조정 신호에 따라 시각 처리 효과를 설정하므로, 효과 조정 신호에 따라 시각 처리 효과를 다르게 하는 것이 가능해져, 부작용이 발생하는 화상 영역에서 시각 처리 효과를 조정함으로써 부작용을 억제할 수 있다. 또한, 이 시각 처리 장치에서는, 제어 신호 발생부에 의해, 화상 신호에 의해 형성되는 화상의 화상 영역에 포함되는 에지 근방 영역과 평탄부 영역을 판정하고, 에지 근방 영역이 아니거나, 또는 평탄 영역이 아니라고 판정된 화상 영역에 대해서, 화상 신호와 주변 화상 정보에 의거하는 시각 처리를 실현시키는 효과 조정 신호를 발생시키며, 에지 근방 영역이고, 또한 평탄 영역이라고 판정된 화상 영역에 대해서, 화상 신호와 주변 화상 정보에 의거하는 시각 처리 효과보다도 약한 효과에 의한 시각 처리를 실현시키는 효과 조정 신호를 발생시키므로, 부작용이 발생하기 쉬운 화상 영역에 대한 시각 처리 효과를 약하게 할 수 있어, 부작용의 발생을 억제할 수 있다. 특히, 화상 상에, 소위 halo가 발생하는 부작용에 대해서 효율적으로 억제할 수 있다.
또한, 여기서, 「약한 효과에 의한 시각 처리」는, 전혀 시각 처리 효과를 발생시키지 않는, 즉 시각 처리를 행하지 않는 것을 포함하는 개념이다. 또한, 「주변 화상 정보」는, 주목 화소 및 주목 화소 주변의 화소로부터 이끌어 내어진 정보를 말하며, 예를 들면 주변 화소를 중심으로 한 N×N 화소 영역의 평균 밝기(계조값) 등이 그 일례이다. 또한, 주변 화상 정보를 취득하기 위해서, 반드시 화소 단위에서의 처리를 행할 필요는 없고, 복수의 화소로 이루어지는 블록 단위에서의 처리를 행함으로써 주변 화상 정보를 취득해도 된다.
제2 발명은, 제1 발명으로서, 시각 처리부는, 화상 신호와 주변 화상 정보에 의거하여 화상 신호에 대해서 국소 콘트라스트를 조정하는 시각 처리를 행한다.
이에 따라, 국소 콘트라스트의 조정을 행하는 시각 처리를 실현하는 시각 처리 장치에 있어서도 부작용을 억제할 수 있다.
또한, 여기서, 「국소 콘트라스트」는, 주목 화소와 그 주변 화소의 밝기의 대비에 의해 이끌어 내어지는 콘트라스트를 말하고, 「국소 콘트라스트를 조정하는 시각 처리」는, 예를 들면, 국소적인 화상 영역에 있어서, 주목 화소와 그 주변 화소의 밝기 대비에 의거하여, 그 국소적인 화상 영역의 콘트라스트를 조정하는 처리를 말한다. 또한, 화소 단위의 처리뿐만 아니라, 블록 단위의 처리여도 되는 것은 말할 것도 없다. 또한, 「국소 콘트라스트를 조정하는 시각 처리」는, 밝기 대비 이외에도 색 정보(명도, 채도, 색상 등)의 대비에 의거하는 처리도 포함하는 개념이다.
제3 발명은, 제1 또는 제2 발명으로서, 제어 신호 발생부는, 주변 화상 정보의 변화량에 따라 효과 조정 신호를 출력한다.
이에 따라, 주변 화상 정보의 변화에 수반해 발생하는 부작용을 억제할 수 있다.
제4 발명은, 제1 또는 제2 발명으로서, 제어 신호 발생부는, 주변 화상 정보의 변화량을 검출하는 변화량 검출부와, 변화량 검출부에 의해 검출된 변화량에 기초하여 효과 조정 신호를 발생시키는 효과 조정 신호 발생부를 가진다.
이에 의해, 주변 화상 정보의 변화량에 수반해 발생하는 부작용을 억제할 수 있다.
제5 발명은, 제1 또는 제2 발명으로서, 제어 신호 발생부는, 화상 신호로부터 인접 영역과의 휘도차가 소정의 값 이하로 되는 평탄 영역의 평탄 정도를 검출하는 평탄 검출부와, 화상 신호로부터 인접 영역과의 휘도차가 소정의 값 이상이 되는 에지 영역의 에지량을 검출하는 에지 검출부와, 에지량에 의해, 화상 영역의 에지 근방 정도를 나타내는 에지 근방도를 산출하는 에지 근방 검출부와, 평탄 검출부에 의해 검출된 평탄 정도와 에지 근방 검출부에 의해 산출된 에지 근방도에 의거하여 효과 조정 신호를 발생시키는 효과 조정 신호 발생부를 가진다.
이에 의하면, 급준한 에지 영역을 가지는 화상이 입력된 경우에도, 에지 영역 근방의 평탄 영역의 부작용을 억제할 수 있다.
제6 발명은, 제1 내지 제5 중 어느 하나의 발명으로서, 효과 조정부는, 효과 조정 신호에 따라, 화상 신호와 주변 화상 정보를 합성한 제1 합성 신호를 출력하고, 시각 처리부는, 제1 합성 신호와 화상 신호에 의거하여 화상 신호에 대해서 시각 처리를 행한다.
이에 의하면, 또한 시각 처리부는, 제1 합성 신호에 의거하여 다른 계조 변환 처리를 선택하는 것이 가능해지고, 선택한 계조 변환 처리에 의해서 화상 신호를 시각 처리할 수 있어, 시각 처리 효과를 다르게 할(조정한다) 수 있다.
제7 발명은, 제1 내지 제5 중 어느 하나의 발명으로서, 효과 조정부는, 효과 조정 신호에 따라, 화상 신호와 시각 처리부에서 시각 처리가 실시된 출력을 합성한 제2 합성 신호를 출력한다.
이에 의하면, 또한 효과 조정 신호에 따라 화상 신호와 처리 신호의 비율을 바꾸어 출력할 수 있어, 시각 처리 효과를 다르게 할(조정한다) 수 있다.
제8 발명은, 입력된 화상 신호의 주변 화상 정보를 추출하는 주변 화상 정보 추출 단계와, 화상 신호와 주변 화상 정보에 의거하여 화상 신호에 대해서 시각 처리를 행하는 시각 처리 단계와, 시각 처리 효과를 설정하기 위한 효과 조정 신호를 출력하는 제어 신호 발생 단계와, 효과 조정 신호에 따라 시각 처리 효과를 설정하는 효과 조정 단계를 구비하는 시각 처리 방법이다. 제어 신호 발생 단계에서는, 화상 신호에 의해 형성되는 화상의 화상 영역에 포함되는 에지 근방 영역과 평탄부 영역을 판정하고, 에지 근방 영역이 아니거나, 또는 평탄 영역이 아니라고 판정된 화상 영역에 대해서, 화상 신호와 주변 화상 정보에 의거하는 시각 처리를 실현시키는 효과 조정 신호를 발생시키고, 에지 근방 영역이고 또한 평탄 영역이라고 판정된 화상 영역에 대해서, 화상 신호와 주변 화상 정보에 의거하는 시각 처리 효과보다도 약한 효과에 의한 시각 처리를 실현시키는 효과 조정 신호를 발생시킨다.
이에 따라, 제1 발명과 동일한 효과를 발휘하는 시각 처리 방법을 실현할 수 있다.
제9 발명은, 컴퓨터에, 입력된 화상 신호의 주변 화상 정보를 추출하는 주변 화상 정보 추출 단계와, 화상 신호와 주변 화상 정보에 의거하여 화상 신호에 대해서 시각 처리를 행하는 시각 처리 단계와, 시각 처리 효과를 설정하기 위한 효과 조정 신호를 출력하는 제어 신호 발생 단계와, 효과 조정 신호에 따라 시각 처리 효과를 설정하는 효과 조정 단계로 실행시키는 프로그램이다. 제어 신호 발생 단계에서는, 화상 신호에 의해 형성되는 화상의 화상 영역에 포함되는 에지 근방 영역과 평탄부 영역을 판정하고, 에지 근방 영역이 아니거나 또는 평탄 영역이 아니라고 판정된 화상 영역에 대해서, 화상 신호와 주변 화상 정보에 의거하는 시각 처리를 실현시키는 효과 조정 신호를 발생시키고, 에지 근방 영역이고 또한 평탄 영역이라고 판정된 화상 영역에 대해서, 화상 신호와 주변 화상 정보에 의거하는 시각 처리 효과보다도 약한 효과에 의한 시각 처리를 실현시키는 효과 조정 신호를 발생시킨다.
이에 따라, 제1 발명과 동일한 효과를 발휘하는 프로그램을 실현할 수 있다.
제10 발명은, 컴퓨터에, 입력된 화상 신호의 주변 화상 정보를 추출하는 주변 화상 정보 추출 단계와, 화상 신호와 주변 화상 정보에 의거하여 화상 신호에 대해서 시각 처리를 행하는 시각 처리 단계와, 시각 처리 효과를 설정하기 위한 효과 조정 신호를 출력하는 제어 신호 발생 단계와, 효과 조정 신호에 따라 시각 처리 효과를 설정하는 효과 조정 단계를 실행시키는 프로그램을 기록한 기록 매체이다. 제어 신호 발생 단계에서는, 화상 신호에 의해 형성되는 화상의 화상 영역에 포함되는 에지 근방 영역과 평탄부 영역을 판정하고, 에지 근방 영역이 아니거나, 또는 평탄 영역이 아니라고 판정된 화상 영역에 대해서, 화상 신호와 주변 화상 정보에 의거하는 시각 처리를 실현시키는 효과 조정 신호를 발생시키고, 에지 근방 영역이고 또한 평탄 영역이라고 판정된 화상 영역에 대해서, 화상 신호와 주변 화상 정보에 의거하는 시각 처리 효과보다도 약한 효과에 의한 시각 처리를 실현시키는 효과 조정 신호를 발생시킨다.
이에 따라, 제1 발명과 동일한 효과를 발휘하는 기록 매체를 실현할 수 있다.
제11 발명은, 입력된 화상 신호의 주변 화상 정보를 추출하는 주변 화상 정보 추출부와, 화상 신호와 주변 화상 정보에 의거하여 화상 신호에 대해서 시각 처리를 행하는 시각 처리부와, 시각 처리 효과를 설정하기 위한 효과 조정 신호를 출력하는 제어 신호 발생부와, 효과 조정 신호에 따라 시각 처리 효과를 설정하는 효과 조정부를 구비하는 집적 회로이다. 제어 신호 발생부는, 화상 신호에 의해 형성되는 화상의 화상 영역에 포함되는 에지 근방 영역과 평탄부 영역을 판정하고, 에지 근방 영역이 아니거나, 또는, 평탄 영역이 아니라고 판정된 화상 영역에 대해서, 화상 신호와 주변 화상 정보에 의거하는 시각 처리를 실현시키는 효과 조정 신호를 발생시키고, 에지 근방 영역이고, 또한, 평탄 영역이라고 판정된 화상 영역에 대해서, 화상 신호와 주변 화상 정보에 의거하는 시각 처리 효과보다도 약한 효과에 의한 시각 처리를 실현시키는 효과 조정 신호를 발생시킨다.
이에 따라, 제1 발명과 동일한 효과를 발휘하는 집적 회로를 실현할 수 있다.
제12 발명은, 통신 또는 방송된 화상 데이터를 수신하는 데이터 수신부와, 수신된 화상 데이터를 영상 데이터로 복호하는 복호부와, 복호된 영상 데이터를 시각 처리하여 출력 신호를 출력하는 제1 내지 제7 중 어느 하나의 발명인 시각 처리 장치와, 시각 처리 장치에 의해 시각 처리된 출력 신호의 표시를 행하는 표시부를 구비하는 표시 장치이다.
이에 따라, 제1 내지 제7 발명과 동일한 효과를 발휘하는 시각 처리를 표시 장치에 있어서 실현시킬 수 있다.
(발명의 효과)
본 발명에 의하면, 급준한 에지 영역을 가지는 화상이 입력된 경우에도, 부작용을 억제하는 것이 가능한 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체 및 집적 회로를 제공할 수 있다.
도 1은 본 발명의 실시 형태 1의 시각 처리 장치의 구성을 나타내는 블록도,
도 2는 동 2차원 계조 특성을 설명하는 설명도,
도 3은 동 처리 신호(OS)의 출력을 설명하는 설명도,
도 4는 동 제어 신호 발생부의 구성을 나타내는 블록도,
도 5는 동 효과 조정 신호의 출력을 설명하는 설명도,
도 6은 동 시각 처리 장치의 동작을 설명하는 플로우차트,
도 7은 동 변형예의 제어 신호 발생부의 구성을 나타내는 블록도,
도 8은 동 변형예의 효과 조정 신호를 설명하는 설명도,
도 9는 본 발명의 실시 형태 2에 있어서의 시각 처리 장치의 구성을 나타내는 블록도,
도 10은 본 발명의 실시 형태 3에 있어서의 시각 처리 장치의 구성을 나타내는 블록도,
도 11은 본 발명의 실시 형태 4에 있어서의 시각 처리 시스템의 구성을 나타내는 블록도,
도 12는 동 2차원 게인 특성을 설명하는 설명도,
도 13은 본 발명의 실시 형태 1에 있어서의 시각 처리 장치의 효과 조정 신호의 출력을 설명하는 설명도,
도 14는 본 발명의 실시 형태 1에 있어서의 시각 처리 장치의 효과 조정 신호의 출력을 설명하는 설명도,
도 15는 본 발명의 실시 형태에 있어서의 컴퓨터의 구성을 나타내는 블록도,
도 16은 본 발명의 실시 형태 5에 있어서의 컨텐츠 공급 시스템의 전체 구성도,
도 17은 동 실시 형태에 있어서의 시각 처리 장치를 탑재하는 휴대 전화의 정면도,
도 18은 동 실시 형태에 있어서의 휴대 전화의 전체 구성에 대해서 설명하는 블록도,
도 19는 동 실시 형태에 있어서의 디지털 방송용 시스템의 전체 구성에 대한 설명도이다.
<도면의 주요 부분에 대한 부호의 설명>
1, 2, 3 : 시각 처리 장치 4 : 게인형 시각 처리 시스템
5 : 게인형 시각 처리 장치 10 : 공간 처리부
11 : 곱셈기 12 : 뺄셈기
20, 21, 22 : 효과 조정부 30, 31, 32 : 시각 처리부
40, 70 : 제어 신호 발생부 41 : 에지 검출부
42 : 에지 근방 검출부 43 : 평탄 검출부
44, 72 : 효과 조정 신호 발생부
60 : 프로파일 A 61 : 프로파일 B
71 : 변화량 검출부 100 : CPU
101 : ROM 102 : RAM
103 : 입력부 104 : 출력부
105 : 기억부 106 : 통신부
107 : 드라이브 108 : 디스크
109 : 메모리 카드 110 : 버스
111 : 네트워크
이하, 본 발명의 실시 형태에 대해서, 도면을 이용해 상세하게 설명한다.
(실시 형태 1)
일반적으로, 자연 화상은 계조수가 많고, 자연 화상에 시각 처리를 행함으로써 국소 콘트라스트 등을 높인 선명한 화상을 얻을 수 있다. 한편, 화상 중에 급준한 에지가 있으면, 시각 처리를 실시한 경우에는, 부작용이 눈에 띄기 쉽다. 이 부작용을 억제하기 위해서, 시각 처리를 약하게 하면, 자연 화상에 대해서도 처리가 약해져 선명함이 없는 화상이 되어 버린다.
따라서, 에지 근방에 대해서만, 시각 처리를 약하게 함으로써, 자연 화상 전체에 대해서 처리 효과를 유지하면서, 에지 근방에서의 부작용을 억제하는 것이 가능해진다.
본 발명의 실시 형태 1인 시각 처리 장치는, 시각 처리 효과를 다르게 하기 위한 효과 조정 신호를 출력하고, 효과 조정 신호에 따라 시각 처리 효과를 다르게 하도록(강도, 보정량) 조정을 행하는 것이다.
또한, 시각 처리의 대상으로 하는 화상에 있어서, 에지에 인접한 영역, 또는 에지에 인접한 평탄 영역을 검출하고, 에지량과 평탄도의 정도로부터 효과 조정 신호를 생성하고, 효과 조정 신호에 따라 시각 처리 효과를 다르게 하도록 조정하는 것이다.
이에 따라, 시각 처리 장치에 급준한 에지 영역을 가지는 화상이 입력된 경우에도, 시각 처리 효과를 얻으면서, 에지 근방에서의 부작용을 억제할 수 있다.
여기서, 시각 처리는, 사람의 눈으로 보는 것에 가까운 특성을 갖게한 처리이며, 입력된 화상 신호의 대상 화소의 값과 그 주변 화소의 값(밝기)의 대비에 따라 출력 신호의 값을 결정하는 처리이다. 시각 처리는, 역광 보정, 니(knee) 처리, D 레인지 압축 처리, 색 처리, 또는 밝기 조정(계조 처리, 콘트라스트 조정을 포함한다) 등에 적용된다.
또한, 본 발명의 실시 형태에서는, YCbCr 색 공간, YUV 색 공간, Lab 색 공간, Luv 색 공간, YIQ 색 공간, YPbPr 색 공간의 휘도 성분(Y) 또는 명도 성분(L)을 휘도 신호로 정의한다. 이하, 휘도 신호를 화상 신호로서 설명한다.
본 발명의 실시 형태 1인 시각 처리 장치에 대해서, 도 1∼도 8을 이용해 설명한다. 도 1은, 본 발명의 실시 형태 1에 있어서의 시각 처리 장치(1)의 구성을 나타내는 블록도이다.
도 1에 있어서, 본 발명의 실시 형태 1에 의한 시각 처리 장치(1)는, 입력된 화상 신호로부터 주변 화상 정보(언샤프(unsharp) 신호)(US)를 출력하는 공간 처리부(10)와, 에지 근방 영역의 평탄 정도에 따라 효과 조정 신호(MOD)를 출력하는 제어 신호 발생부(40)와, 효과 조정 신호(MOD)에 따라 화상 신호(IS)와 주변 화상 정 보(US)의 비율을 바꾸어 합성한 합성 신호(MUS)를 출력하는 효과 조정부(20)와, 합성 신호(MUS)와 화상 신호(IS)에 의거하여 화상 신호(IS)를 시각 처리하는 시각 처리부(30)를 구비한다.
이하, 시각 처리 장치(1)의 각 기능부에 대해서 설명한다.
공간 처리부(10)는, 화상 신호(IS)로부터 대상 화소의 값과 대상 화소의 주변 영역에 있는 화소(이하, 「주변 화소」라고 한다)의 값을 추출하고, 추출한 화소의 값을 이용해 화상 신호(IS)에 대해서 필터 처리를 행한다.
예를 들어, 공간 처리부(10)는, 화상 신호(IS)를 로우패스 필터에 의해 처리한 언샤프 신호(US)를 생성한다. 언샤프 신호(US)는, 이하와 같은 연산에 의해 생성된다.
US=(Σ［Wij］×［Aij］)÷(Σ［Wij］)
여기서,［Wij］는, 대상 화소 및 주변 화소에 있어서, i행 j열째에 위치하는 화소의 가중 계수이며,［Aij］는, 대상 화소 및 주변 화소에 있어서, i행 j열째에 위치하는 화소의 값이다. 또, 「Σ」는, 대상 화소 및 주변 화소의 각각의 화소에 대한 합계의 계산을 행하는 것을 의미한다.
또한, 화소값 차의 절대값이 클수록 작은 값의 가중 계수가 주어져도 되고, 대상 화소로부터 거리가 클수록 작은 가중 계수를 부여해도 된다. 또한, 주변 화소의 영역 사이즈는 효과에 따라 미리 설정되는 크기이며, 소정의 사이즈보다 크게 하면 시각 효과를 높일 수 있다. 예를 들어, 대상으로 하는 화상의 크기가 세로 1024 화소 및 가로 768 화소이면, 가로 세로가 각각 80 화소 이상인 영역에서 언샤프 신호(US)를 생성함으로써, 각각 가로 세로 3 화소 정도의 국소 영역과 비교해 시각 효과를 보다 높일 수 있다.
또한, 저역 공간 필터로는, 언샤프 신호의 생성에 통상 이용되는 FIR(Finite Impulse Response)형의 저역 공간 필터, 혹은 IIR(Infinite Impulse Response)형의 저역 공간 필터 등을 이용해도 된다.
다음, 효과 조정부(20)는, 제어 신호 발생부(40)로부터 출력되는 효과 조정 신호(MOD)에 따라, 화상 신호(IS)와 언샤프 신호(US)를 보간 처리에 의해 합성하고, 합성 신호(MUS)를 출력한다. 합성 신호(MUS)는, 예를 들어, 효과 조정 신호(MOD)에 따라, 이하의 (식 1)과 같이 내분 연산된다. 제어 신호 발생부(40)에 대해서는 후술한다.
MUS＝US×MOD＋IS×(1.0－MOD) (식 1)
여기서, 효과 조정 신호(MOD)의 값은 「0.0」부터 「1.0」까지의 범위에서 변화하고, 효과 조정 신호(MOD)의 값이 「0.0」에서 처리 무, 효과 조정 신호(MOD)의 값이 「1.O」에서 처리의 세기가 최대로 된다. 또한, (식 1)은, (식 2)와 같이 변형시킬 수도 있고, 마찬가지로 합성 신호(MUS)를 생성할 수 있다.
MUS＝(US－IS)×MOD＋IS (식 2)
다음, 시각 처리부(30)는, 효과 조정부(20)로부터의 합성 신호(MUS)에 따라서, 화상 신호(IS)를 계조 변환한다.
시각 처리부(30)는, 예를 들어, 도 2에 나타내는, 2차원 계조 변환 특성에 의거하여 계조 변환을 행한다. 여기서, 2차원 계조 변환은, 합성 신호(MUS)와 화상 신호(IS)의 2개의 입력에 대해서 출력의 값이 결정되는 계조 변환을 말한다. 시각 처리부(30)는, 2차원 계조 변환 특성에 의거하여 화상 신호(IS)와 합성 신호(MUS)에 대해서 처리 신호(OS)를 출력한다. 이 계조 변환 특성에 의해 다양한 시각 효과를 낼 수 있다.
도 2를 이용하여, 2차원 계조 변환 특성을 설명한다. 도 2는, 2차원 계조 변환 특성을 설명하는 설명도이다. 여기서, 가로축은 입력된 화상 신호(IS), 세로축은 변환된 처리 신호(OS)의 출력이다.
도 2에 나타낸 바와 같이, 2차원 계조 변환은, 합성 신호(MUSO)로부터 (MUSn)의 신호 레벨(계조값)에 따라 소정의 계조 변환 특성을 가진다. 즉, 2차원 계조 변환은, 합성 신호(MUS)의 신호 레벨(계조값)에 따라, 계조 변환 곡선(MUSO∼MUSn) 중 어느 하나가 선택되고, 그 선택된 계조 변환 곡선에 의해, 입력 신호(IS)(IS의 계조값)가 처리 신호(OS)(OS의 계조값)로 변환됨으로써 실현된다. 예를 들면, MUS 신호의 레벨(계조값)이 「1」일 때, 도 2의 계조 변환 곡선(MUS1)이 선택되고, MUS 신호의 레벨(계조값)이 「120」일 때, 계조 변환 곡선(MUS120)이 선택된다. 단, 계조 변환 곡선(MUSO∼MUSn)은, 반드시 MUS 신호의 계조값 수에 상당하는 수만큼 준비해 둘 필요는 없고, 예를 들면, 계조 변환 곡선(MUSO∼MUSn)을 MU S 신호의 계조값 수에 상당하는 수보다 적은 수만큼 준비해 두고, 준비되지 않은 계조 변환 곡선에 대해서는, 준비된 계조 변환 곡선으로부터 보간 처리에 의해, MUS 신호의 계조값에 대응하는 계조 변환 곡선을 산출함으로써, 2차원 계조 변환을 실현하도록 해도 된다.
2차원 계조 변환에 있어서, 예를 들면, 화상 신호(IS)의 화소값이 8비트의 값으로 하면, 256 단계로 나뉘어진 화상 신호(IS)의 값에 대한 처리 신호(OS)의 화소값이 소정의 2차원 계조 변환 특성에 의해 결정된다. 계조 변환 특성은 소정의 감마 변환 특성을 가지는 계조 변환 곡선이며, 합성 신호(MUS)의 첨자에 대해서, 출력이 단조 감소하는 관계에 있다. 또한, 합성 신호(MUS)의 첨자에 대해서, 출력이 일부분 단조 감소가 아닌 부분이 있다고 해도, 실질적으로 단조 감소이면 된다. 또한, 도 2에 나타낸 것처럼, 2차원 계조 변환 특성에 있어서, 모든 화상 신호(IS)의 화소의 명도값에 대해서, (MUS＝MUSO인 경우의 출력값)≥(MUS＝MUS1인 경우의 출력값)≥…≥(MUS＝MUSn인 경우의 출력값)의 관계를 만족한다.
도 2에 나타낸 2차원 계조 변환 특성에 의하면, 시각 처리부(30)는, 입력된 화상 신호(IS)가 값 「a」에 대해서, 주위 영역의 명도값이 작을 때에 MUSO을 선택함으로써 처리 신호(OS)의 값은 「P」로 되고, 반대로 주위 영역의 명도값이 클 때에 MUSn를 선택함으로써 처리 신호(OS)의 값은 「Q」로 된다. 이와 같이, 입력된 화상 신호(IS)가 값 「a 」여도, 주위 영역의 명도값의 변화에 의해서 처리 신호(OS)는 값 「P」로부터 값 「Q」까지 크게 변화시킬 수 있다. 이에 따라, 암부(暗部)의 콘트라스트를 합성 신호(MUS)에 따라 강조할 수 있다.
한편, 시각 처리 효과를 없애기 위해, 합성 신호 MUS＝화상 신호(IS)가 되도록 하면, 도 2에 나타낸, 곡선 2의 계조 변환 특성을 갖게 할 수 있다. 곡선(2)의 계조 변환 특성에서는, 화상 전체의 밝기 조정(감마 변환)이 가능하지만, 국소의 암부 영역만 콘트라스트를 높이는 등의 시각 효과는 없다.
또한, 이 2차원 계조 변환 특성을 변경함으로써, 다양한 시각 처리 효과를 낼 수 있고, 니 처리, DR 압축 처리, 색 처리, 또는 밝기 조정(계조 처리, 콘트라스트 조정을 포함한다) 등에 적용 가능해진다.
다음, 시각 처리부(30)에 있어서, 합성 신호(MUS)에 의거하여 시각 처리 효과를 다르게 했을 때의 처리 신호(OS)에 대해서 도 3을 이용해 설명한다. 도 3은, 처리 신호(OS)의 출력을 설명하는 설명도이다.
도 3(a)에 있어서, 가로축은 처리하는 화소 위치, 세로축은 합성 신호(MUS)의 출력이다.
합성 신호(MUS)는, 예를 들어 효과 조정 신호(MOD)의 값을 「0.5」로 했을 때는, 화상 신호(IS)와 언샤프 신호(US)의 중간적 출력이 된다.
이때, 도 3(b)에 나타낸 바와 같이, 화상 신호(IS)에만 의거하여 시각 처리한 처리 신호(OS)를 OS(IS, IS)로 하고, 화상 신호(IS)와 언샤프 신호(US)에 의거하여 시각 처리한 처리 신호(OS)를 OS(IS, US)로 하면, 화상 신호(IS)와 합성 신호(MUS)에 따라서 시각 처리된 처리 신호(OS)인 OS(IS, MUS)는, OS(IS, IS)와 OS(IS, US)의 중간적 출력이 된다.
따라서, 효과 조정 신호(MOD)의 값이 「1.0」일 때, 합성 신호 MUS＝US가 되고, 시각 처리의 「효과가 최대」인 처리 신호(OS)(IS, US)를 출력한다. 한편, 효과 조정 신호(MOD)의 값이 「0.0」일 때, 합성 신호 MUS＝IS가 되고, 시각 처리의 「효과 무」인 처리 신호(OS)(IS, IS)를 출력한다.
이와 같이, 시각 처리부(30)는, 합성 신호(MUS)에 따라 암부 콘트라스트의 시각 처리 효과를 강하게 하거나, 약하게 할 수 있다. 이에 따라, 화상 전체의 밝기를 변환하는 것만의 처리 효과로부터, 국소 영역에서의 콘트라스트를 주위의 밝기로 다르게 하도록(변화시키도록)한 처리의 효과까지, 효과가 다른 다양한 시각 효과를, 시각 처리 장치(101)에 있어서 실현할 수 있다.
또한, 시각 처리 장치(1)에 있어서, 2차원 계조 변환 특성을 변경함으로써, 니 처리, DR 압축 처리, 색 처리 등도 실현할 수 있다.
또한, 시각 처리부(30)는, 2차원 룩 업 테이블(이하, 「2차원 LUT」라고 한다)을 가져도 된다. 시각 처리부(30)의 2 차원 LUT에, 도 2에 나타내는, 특성 데이터(이하, 「프로파일」이라고 한다)를 설정함으로써, 계조 변환한다.
또한, 시각 처리부(30)는, 연산 회로에 의해서 시각 처리를 행하도록 해도 된다. 특히, 시각 처리부(30)의 2차원 LUT에, 간단한 직선에 의해서 근사 가능한 특성인 프로파일이 설정되는 경우, 2차원 LUT의 테이블을 없앨 수 있어, 시각 처리 장치(1)의 회로 규모를 삭감할 수 있다.
다음, 도 4, 도 5를 이용하여, 제어 신호 발생부(40)에 대해서 설명한다. 도 4는 제어 신호 발생부(40)의 구성을 나타내는 블록도, 도 5는 효과 조정 신호(MOD)의 출력을 설명하기 위한 설명도이다.
도 4에 나타낸 바와 같이, 제어 신호 발생부(40)는, 화상 신호(IS)로부터 인접 영역마다의 휘도차인 에지량을 검출하는 에지 검출부(41)와, 에지량으로부터 에지 영역의 근방 정도를 검출하는 에지 근방 검출부(42)와, 인접 영역과의 휘도차가 소정의 값 이하가 되는 평탄 영역의 평탄 정도를 검출하는 평탄 검출부(43)와, 에지 근방 정도와 평탄 정도에 따라 효과 조정 신호(MOD)를 출력하는 효과 조정 신호 발생부(44)를 구비하고 있다.
에지 검출부(41)는, 소정의 범위의 영역마다, 화상 신호(IS)로부터 에지량을 검출한다. 에지 검출부(41)는, Sobel 필터나 Prewitt 필터 등의 1차 미분 필터, 라플라시안 필터(Laplacian filter) 등의 2차 미분 필터 등의 에지 검출 필터(도시하지 않음)를 이용해 에지량(EG)을 검출한다. 에지 검출부(41)는, 예를 들어, 도 5(a)에 나타낸, 화상 신호(IS)가 입력되었을 때에, 도 5(b)에 나타낸 에지량을 출력한다. 여기서, 도 5(a)의 세로축은 화상 신호(IS)의 값이며, 가로축은 처리하고 있는 화소의 화소 위치이다. 또한, 도 5(b)의 세로축은 에지량(EG)이며, 가로축은 처리하고 있는 화소의 화소 위치이다.
에지 근방 검출부(42)는, 에지의 근방 영역을 검출한다. 예를 들어, 에지 근방 검출부(42)는, 소정의 영역마다 검출되는 에지량을 로우패스 필터로 처리하고, 에지 근방에 근접했을 때에 큰 출력이 되는 근방 정도를 출력한다. 또한, 에지량(EG)을 공간적으로 수평 수직으로 겹치지 않도록 가산한 것 혹은 평균한 것을 에지 근방도로 해도 된다. 또한, 에지량(EG)을 MAX 필터로 처리한 것을 에지 근방도로 해도 된다. 예를 들어, 도 5(c)에 나타낸 바와 같이, 에지 근방 검출부(42)는, 에지의 근방에 가까울수록, 큰 출력이 되는 에지 근방도를 출력한다. 여기서, 또한, 도 5(c)의 세로축은 에지 근방도이며, 가로축은 처리하고 있는 화소의 화소 위치이다.
평탄 검출부(43)에 있어서는, 평탄한 것을 판단하기 위해서, 에지 검출부(41)보다도 더욱 광범위에서의 휘도차를 이용해 평탄도(FT)를 산출하는 것이 보다 바람직하다. 이는 사람이 화상을 보았을 때에, 부자연스러운 화상이라고 느끼는 등의 부작용을 인식할 수 있는 것이, 어느 정도 넓은 면적을 가지는 평탄 영역을 보는 대상으로 했을 때이기 때문이다. 예를 들어, 하이비젼(HDTV)용 디스플레이 장치를 이용해 공간 처리한 화상을, 최적 시청 거리인 3H(H는 화면의 높이)의 거리로 시청하는 경우에는, H／20(풀 HD(풀 스펙 하이비젼)(1920x1080 화소)의 경우, 가로 세로 54 화소에 상당) 이상의 범위에서 평탄도(FT)를 검출하는 것이 바람직하다. 다만, 대화면화에 수반되어 상대적으로 시청 거리가 짧아지기 때문에, 예를 들어 H／30(동, 가로 세로 36화소에 상당) 이상의 범위에서 평탄도(FT)를 검출해도 된다. 적어도 H／50(동, 가로 세로 22화소에 상당) 이상의 범위에서 평탄도(FT)를 검출함으로써, 어느 정도의 효과를 얻을 수 있다.
평탄 검출부(43)는, 인접 영역과의 휘도차가 소정의 값 이하가 되는 평탄 영역의 평탄 정도(평탄도(FT))를 검출한다. 예를 들어, 인접 영역과의 휘도차가 소정의 값 이하가 되는 영역의 면적을 구하고, 면적이 클수록 큰 평탄 정도(평탄도(FT))를 출력한다.
또는, 도 5(d)에 나타낸 바와 같이, 도 5(b)의 에지량의 출력으로부터, 인접 영역과의 휘도차를 검출하고, 휘도차가 작을수록 큰 평탄 정도(평탄도(FT))를 출력해도 된다. 도 5(d)에 있어서, 세로축은 평탄도(FT)이며, 가로축은 처리하고 있는 화소의 화소 위치이다.
효과 조정 신호 발생부(44)는, 도 5(e)에 나타낸 바와 같이, 도 5(c)의 근방도와, 도 5(d)의 평탄도를 곱하여, 에지 근방도가 크고, 평탄도가 높을수록 시각 효과를 약하게 하는 효과 조정 신호(MOD)를 출력한다. 여기서, 도 5(d)의 세로축은 효과 조정 신호(MOD)의 출력이며, 가로축은 처리하고 있는 화소의 화소 위치이다. 또한, 시각 처리 장치(1)에 있어서, 효과 조정 신호(MOD)의 값이 클수록 시각 효과는 강해진다.
이에 따라, 효과 조정 신호 발생부(44)는, 도 5(e)에 나타낸 바와 같이, 에지 근방 영역에서는, 시각 효과를 약하게 하는 출력을 행하고, 에지 근방 영역보다는 떨어진 영역에 대해서는 시각 효과를 강하게 하는 출력을 생성한다. 또한, 효과 조정 신호 발생부(44)는, 평탄 정도에 따라, 에지 근방 영역에서는, 평탄 정도가 클수록 시각 효과를 약하게 하는 출력을 행하고, 평탄 정도가 작을수록 시각 효과를 강하게 하는 출력을 행한다.
또한, 도 13(a)에 화소 위치와 화상 신호(IS)의 관계를, 도 13(b)에 화소 위치와 에지량(EG)의 관계를, 도 13(c)에 화소 위치와 에지 근방도의 관계를, 도 13(d)에 화소 위치와 평탄도(FT)의 관계를, 도 13(e)에 화소 위치와 효과 조정 신호(MOD)의 관계를, 각각 나타낸다. 또한, 도 13(a)에 나타낸 화상 신호(IS)가 입력된 경우의, 에지량(EG)을 도 13(b)에, 에지 근방도를 도 13(c)에, 평탄도(FT)가 도 13(d)에, 효과 조정 신호(MOD)를 도 13(e)에, 각각 나타낸다. 여기서, 도 13의 EF로 표시되는 영역이 에지 근방의 평탄 부분이다. 에지 근방의 평탄 영역(EF)에서는 효과 조정 신호(MOD)가 작아져 있다.
이에 따라, 시각 처리 장치(1)에서는, 에지 근방에 대해서만 부작용을 저감할 수 있고, 자연 화상에 대해서 뛰어난 시각 처리 효과를 가지는 시각 처리를 실현할 수 있다.
다음, 시각 처리 장치(1)의 동작에 대해서, 도 6을 이용해 설명한다. 도 6은 시각 처리 장치(1)의 동작을 설명하는 플로우차트이다.
도 6에 나타낸 바와 같이, 시각 처리 장치(1)에, 화상이 입력되고(S101), 에지 검출부(41)에 의해, 화상 신호(IS)로부터 인접 영역마다의 휘도차인 에지량을 검출한다(S102).
다음, 시각 처리 장치(1)는, 에지 근방 검출부(42)에 의해, 에지량을 로우패스 필터에 의해 처리하고, 에지량으로부터의 근방 정도를 검출한다(S103). 또한, 시각 처리 장치(1)는, 평탄 검출부(43)에 의해, 에지량으로부터 휘도차를 검출하고, 에지 근방의 평탄 정도를 검출한다(S104).
다음, 시각 처리 장치(1)는, 효과 조정 신호 발생부(44)에 의해, 에지 근방 검출부(42)로부터 출력되는 근방도와, 평탄 검출부(43)로부터 출력되는 평탄도를 곱해 효과 조정 신호(MOD)를 생성한다(S105).
다음, 시각 처리 장치(1)는, 효과 조정부(20)에 의해, 효과 조정 신호(MOD)에 따라 화상 신호(IS)와 언샤프 신호(US)의 비율을 바꾸어 합성한 합성 신호(MUS)를 생성한다(S106).
다음, 시각 처리 장치(1)는, 시각 처리부(30)에 의해, 합성 신호(MUS)에 대응하여, 도 2에 나타낸 2차원 계조 변환 특성의 곡선의 하나를 선택하여, 화상 신 호(IS)를 변환한다(S107). 이에 따라, 시각 처리 장치(1)는, 합성 신호(MUS)에 따라, 시각 처리 효과를 다르게 하도록 조정한 시각 처리를 실행한다.
다음, 시각 처리 장치(1)는, 다음에 처리하는 화소가 있는지 여부를 판단한다(S1O8). 다음에 처리가 필요한 화소가 없는 경우는, 시각 처리를 완료한다. 한편, 다음에 처리가 필요한 화소가 있는 경우는, 단계 S101로 되돌아가, 다음의 화상(화소)이 입력된다. 이후, 처리가 필요한 화소가 없어지기까지, S101로부터 S108까지의 단계을 반복 실행한다.
이상과 같이, 본 발명의 실시 형태 1의 시각 처리 장치(1)에 의하면, 에지 근방에 대해서만 부작용을 저감할 수 있어, 자연 화상에 대해서 뛰어난 시각 처리 효과를 가지는 시각 처리를 실현할 수 있다.
또한, 시각 처리 장치(1)는, 에지량으로부터 에지 근방도를, 입력 화상 신호(IS)로부터 평탄도를 구하고, 에지 근방도와 평탄도에 의거하여 효과 조정 신호(MOD)를 생성했는데, 공간 처리부(10)의 언샤프 신호(US)의 변화량으로부터 효과 조정 신호(MOD)를 생성해도 된다.
이하, 제어 신호 발생부(40)의 변형예에 의한 에지 근방의 평탄 영역을 검출하는 방법에 대해서, 제어 신호 발생부(40)의 변형예에 대해 설명한다.
도 7 및 도 14를 이용하여, 언샤프 신호(US)의 변화량으로부터 효과 조정 신호(MOD)를 생성하는 실시 형태에 대해서 설명한다. 도 7(a)는, 본 실시 형태에 있어서의 변형예에 관한 시각 처리 장치(1)의 구성을 나타내는 블록도이다. 즉, 도 1에 도시한 시각 처리 장치(1)의 변형예를 나타낸다. 제어 신호 발생부(70)(제어 신호 발생부(40)의 변형예)의 입력을, 입력 신호(IS)가 아니라, 언샤프 신호(US) 신호로 하고 있는 점이, 도 1의 시각 처리 장치(1)와 다르다. 또한, 도 7(b)는, 제어 신호 발생부(40)의 변형예인 제어 신호 발생부(70)의 구성을 나타내는 블록도이다.
도 7(b)에 나타낸 바와 같이, 제어 신호 발생부(70)는, 언샤프 신호(US)의 변화량을 검출하는 변화량 검출부(71)와, 검출된 변화량에 따라 효과 조정 신호(MOD)를 출력하는 효과 조정 신호 발생부(72)를 구비한다.
언샤프 신호(US)는, 자연 화상에 포함되는 고주파의 신호 성분이 삭제(저감)되어 있는데, 급준한 에지 성분은 남아 있는 신호로 되어 있다. 이 때문에, 언샤프 신호(US)에 남아 있는 에지 성분에 의거해, 에지 주변 영역을 추출함으로써, 개략 에지 근방의 평탄 부분을 검출할 수 있다.
본 실시 형태에서는, 제어 신호 발생부(70)의 입력을 언샤프 신호(US)로 하고, 그 변화량을 구함으로써 에지 근방의 평탄 부분을 검출하고 있다. 이 때문에, 넓은 면적(화상 영역)을 참조하는 것이 바람직한 평탄 검출에 있어서, 참조하는 화상 영역을 적게할 수 있어, 평탄부를 검출하는데 필요한 처리량을 삭감할 수 있다.
변화량 검출부(71)는, Sobe1 필터나 Prewitt 필터 등의 1차 미분 필터, 라플라시안 필터 등의 2차 미분 필터 등의 에지 검출 필터(도시하지 않음)를 이용하여 검출한다.
또한, 에지 주변 영역의 넓이를 조정하기 위해서, 로우패스 필터나 MAX 필터 등과 조합해도 된다.
예를 들어, 도 14(a)에 나타낸 화상 신호(IS)가 입력된 경우에서, 도 14(b)에 나타낸 언샤프 신호가 얻어질 때, 변화량 검출부(71)는, 도 14(c)에 나타낸 바와 같이, 언샤프 신호(US)가 변화하는 에지 근방에서 큰 신호를 출력한다. 여기서, 도 14(a)의 세로축은 화상 신호(IS)의 값이며, 가로축은 처리하고 있는 화소 위치이다. 도 14(b)의 세로축은 언샤프 신호(US)의 값이며, 가로축은 처리하고 있는 화소 위치이다. 도 14(c)의 세로축은 언샤프 신호(US)의 변화량의 값이며, 가로축은 처리하고 있는 화소 위치이다.
효과 조정 신호 발생부(72)는, 변화량 검출부(71)에서 검출된 변화량에 따라, 출력을 조정한다. 즉, 효과 조정 신호 발생부(72)는, 변화량이 높을수록 효과 조정 신호(MOD)의 신호 레벨(값)을 작게 하도록 출력한다. 예를 들어, 도 8에 도시한 바와 같이, 검출된 변화량이 소정의 값(Tha) 이상 얻어졌을 때에 효과 조정 신호(MOD)의 신호 레벨을 변화시키고, 소정의 값(Thb)까지의 범위에서 효과 조정 신호(MOD)의 신호 레벨을 감소시킨다. 소정의 값(Thb) 이상은 효과 조정 신호(MOD)의 신호 레벨을 변화시키지 않는다. 이에 따라, 자연 화상에 통상 포함되는 에지 성분에는 반응하지 않고, 급준한 에지 영역이 입력되었을 때에 효과 조정 신호(MOD)의 신호 레벨을 변화시킬 수 있다. 여기서, 가로축은 변화량, 세로축은 효과 조정 신호(MOD)의 출력(신호 레벨)이다. 또한, 출력되는 효과 조정 신호(MOD)의 신호 레벨이 출력하는 범위를 「0.0」부터 「1.0」으로 했는데, 시각 처리의 강도에 따라 「0.2」부터 「1.0」 등으로 조정하도록 해도 된다. 또한, 효과 조정 신호(MOD)의 신호 레벨이 클수록, 시각 처리 장치(1)에서의 시각 처리 효과가 강하게 되도록, 시각 처리 장치(1)를 구성한다.
도 14(d)에 나타낸 바와 같이, 효과 조정 신호 발생부(72)는, 에지 근방의 평탄 영역(EF)에서는 시각 효과를 약하게 하는 출력을 행하고, 에지 근방 영역보다는 떨어진 영역에 대해서는 시각 효과를 강하게 하는 출력을 생성하고 있다. 이 효과 조정 신호 발생부(72)에서 생성된 효과 조정 신호(MOD)를 이용함으로써, 에지 근방의 평탄 영역(EF)에서는, 시각 효과를 약하게 하는 처리를 행하고, 에지 근방 영역에서 떨어진 영역에 대해서는 시각 효과를 강하게 하는 처리를 행하는 시각 처리 장치(1)를 실현할 수 있다. 또한, 도 14(d)의 세로축은 효과 조정 신호(MOD)의 값이며, 가로축은 처리하고 있는 화소 위치이다.
이상과 같이, 제어 신호 발생부(70)에 의하면, 언샤프 신호(US)의 변화량으로부터, 에지 근방의 평탄 영역을 검출할 수 있어 효과 조정 신호(MOD)를 생성할 수 있다.
또한, 화상 신호가 축소되어 있는 섬네일 화상 등의 축소 화상으로부터 에지 근방의 평탄 영역을 검출하고, 에지 근방의 평탄 정도, 또는 언샤프 신호(US)의 변화량에 의거하여 효과 조정 신호(MOD)를 출력하도록 해도 된다.
또한, 화상 신호와 제어 신호 발생부(40)의 사이에 화상 신호를 축소하는 축소 처리부(도시하지 않음)를 구비하고, 축소 처리부에서 생성된 축소 화상으로부터 에지 근방의 평탄 정도, 또는 언샤프 신호(US)의 변화량에 의거하여 효과 조정 신호(MOD)를 출력하도록 해도 된다.
이와 같이 축소 화상을 이용함으로써, 노이즈의 영향을 억제하면서 에지 근 방의 평탄 영역을 검출할 수 있다. 즉, 화상 신호를 평균한 후에 솎아내는 축소 방법으로 생성된 축소 화상은, 노이즈 성분이 저감되어 있으므로, 축소 화상을 이용함으로써, 노이즈의 영향을 억제하면서 에지 근방의 평탄 영역을 검출할 수 있다. 또한, 축소 화상을 이용하면, 검출하는 화소수를 삭감할 수 있어, 연산량을 삭감할 수 있다.
또한, 제어 신호 발생부(40), 제어 신호 발생부(70)의 전에 로우패스 필터 등을 설치하고, 화상 신호의 대역 제한을 행하여, 에지 근방의 평탄 영역을 검출해도 된다. 이에 따라, 노이즈 성분을 저감 할 수 있어, 노이즈의 영향을 억제하면서 에지 근방의 평탄 영역을 검출할 수 있다.
(실시 형태 2)
본 발명의 실시 형태 1에서는, 효과 조정 신호(MOD)에 따라 화상 신호(IS)와 주변 화상 정보(언샤프 신호)(US)의 비율을 바꾸어 합성한 합성 신호(MUS)를 출력하고, 시각 처리부(30)는 효과 조정부(20)로부터의 합성 신호(MUS)에 따라서 화상 신호(IS)를 시각 처리한 처리 신호(OS)를 출력하도록 했는데, 본 발명의 실시 형태 2에서는, 효과 조정부(21)에 의해서, 시각 처리된 처리 신호(OS)와 화상 신호(IS)를 효과 조정 신호에 따라 합성한 처리 신호(OS)를 출력하도록 한 실시 형태에 대해서, 도 9를 이용해 설명한다.
도 9는 본 발명의 실시 형태 2에 있어서의 시각 처리 장치(2)의 구성을 나타내는 블록도이다. 이하, 실시 형태 1과 동일한 부분에 대해서는, 동일 부호를 붙이고, 그 상세한 설명은 생략한다.
도 9에 있어서, 시각 처리부(30)는, 화상 신호(IS)와 공간 처리부(10)의 출력(US)에 의거하여 처리 신호(OS)를 출력한다.
효과 조정부(21)는, 화상 신호(IS)와 처리 신호(OS)를, 효과 조정 신호(MOD)에 따라 내분 연산함으로써, 시각 처리 효과를 다르게 한다(변경한다). 예를 들어, 효과 조정부(21)로부터의 출력(OUT)은, 이하의 (식 3)과 같이 내분 연산에 의해서 산출된다.
OUT＝OS×MOD＋IS×(1.0－MOD) (식 3)
또한, (식 3)은, (식 4)와 같이 변형해도 실현할 수 있다.
OUT＝(OS－IS)×MOD＋IS (식 4)
이상과 같이, 본 발명의 실시 형태 2에 의하면, 효과 조정 신호(MOD)에 따라, 처리 신호(OS)와 화상 신호(IS)의 비율을 변화시켜 합성한 합성 신호(OUT)를 출력할 수 있어, 시각 처리 효과를 다르게 (변경) 할 수 있다.
또한, 제어 신호 발생부(40)는, 본 발명의 실시 형태 1에 있어서의 제어 신호 발생부(70)로 치환해도 된다. 이에 의해서도, 마찬가지로 에지 근방 영역을 검출할 수 있어, 에지 근방에서의 주변 정보의 변화량에 따른 효과 조정 신호(MOD)를 생성할 수 있다.
(실시 형태 3)
본 발명의 실시 형태 1에서는, 효과 조정 신호(MOD)에 따라 화상 신호(IS)와 주변 화상 정보(US)의 비율을 바꾸어 합성한 합성 신호(MUS)를 출력하고, 시각 처리부(30)는 효과 조정부(20)로부터의 합성 신호(MUS)에 따라 화상 신호를 시각 처 리한 처리 신호(OS)를 출력하도록 했는데, 본 발명의 실시 형태 3에서는, 효과 조정부(22)는, 효과 조정 신호(MOD)에 따라, 시각 처리 효과가 다른 시각 처리부(31)와 시각 처리부(32)의 출력의 비율을 바꾸어 합성한 처리 신호(OS)를 출력하는 실시 형태에 대해서, 도 10을 이용해 설명한다.
도 10은 본 발명의 실시 형태 3에 있어서의 시각 처리 장치(3)의 구성을 나타내는 블록도이다. 이하, 실시 형태 1과 동일한 부분에 대해서는, 동일한 부호를 붙여, 그 상세한 설명은 생략한다.
효과 조정부(22)는, 제어 신호 발생부(40)로부터 출력되는 효과 조정 신호(MOD)에 따라, 시각 처리의 강도가 다른 제1 프로파일(60)이 LUT로 설정된 시각 처리부(31)의 출력(OSA)과, 제2 프로파일(61)이 LUT로 설정된 시각 처리부(32)의 출력(OSB)을 내분 연산에 의해 합성하여, 처리 신호(OS)를 출력한다. 또한, 외분 연산에 의해서 합성 출력을 생성해도 된다. 이 때, 처리 신호(OS)는 (식 5)와 같이 된다.
OUT＝OSA×MOD＋OSB×(1.0－MOD) (식 5)
또한, (식 5)는 (식 6)과 같이 변형해도 실현할 수 있다.
OUT＝(OSA－OSB)×MOD＋OSB (식 6)
이상과 같이, 본 발명의 실시 형태 3에 의하면, 효과 조정 신호(MOD)에 따라, 시각 처리 효과가 다른 시각 처리부(31)의 출력과 시각 처리부(32)의 출력의 비율을 바꾸어 합성한 합성 출력을 얻음으로써, 시각 효과의 정도를 다르게 한 시각 처리를 행할 수 있다.
또한, 제어 신호 발생부(40)는, 본 발명의 실시 형태 1에 있어서의 제어 신호 발생부(70)로 치환해도 된다. 이에 의해서도, 마찬가지로 에지 근방 영역을 검출할 수 있고, 에지 근방에서의 주변 정보의 변화량에 따른 효과 조정 신호(MOD)를 생성할 수 있다.
(실시 형태 4)
본 발명의 실시 형태 1부터 본 발명의 실시 형태 3까지의 시각 처리 장치에서는, 2차원 계조 변환 특성에 의거하는 계조 변환값을 출력하도록 하고 있는데, 본 발명의 실시 형태 4에서는, 게인 신호를 이용해 계조 변환을 행하는 경우에 대해서, 도 11, 도 12를 이용해 설명한다.
도 11은 본 발명의 실시 형태 4에 있어서의 게인형 시각 처리 시스템(4)의 구성을 나타내는 블록도, 도 12는 2차원 게인 특성을 설명하기 위한 설명도이다. 이하, 실시 형태 1과 동일한 부분에 대해서는, 동일 부호를 붙이고, 그 상세한 설명은 생략한다.
도 11에 있어서, 게인형 시각 처리 시스템(4)은, 화상 신호(IS)를 시각 처리한 게인 신호(GAIN)를 출력하는 게인형 시각 처리 장치(5)와, 게인 신호(GAIN)와 화상 신호(IS)를 곱셈하는 곱셈기(11)를 구비한다.
또한, 게인형 시각 처리 장치(5)는, 화상 신호(IS)를 시각 처리한 처리 신호(OS)를 출력하는 시각 처리 장치(1)와, 처리 신호(OS)를 화상 신호(IS)로 뺄셈하는 뺄셈기(12)를 구비한다. 여기서, 시각 처리 장치(1)는, 화상 신호(IS)의 출력을 시각 처리한 계조 변환값을 출력하는 것으로, 이 계조 변환값을 화상 신호(IS) 로 뺄셈함으로써, 게인형 시각 처리 장치(5)를 실현할 수 있다.
곱셈기(11)는, 게인형 시각 처리 장치(5)로 출력되는 게인 신호(GAIN)와 화상 신호(IS)를 곱셈하고, 화상 신호(IS)의 출력을 시각 처리한 계조 변환값을 출력한다.
또한, 시각 처리부(30)에 있어서, 도 12에 도시한, 2차원 게인 특성을 가지는 프로파일을 직접 이용해 처리하도록 해도 된다. 여기서, 도 12의 세로축은 게인 출력(GN), 가로축은 화상 신호(IS)이다. 도 12에 도시한 2차원 게인 특성은, 도 2에 나타낸 2차원 계조 특성의 프로파일의 출력을 화상 신호(IS)로 뺄셈하여 얻은 것과 등가이다. 이 2차원 게인 특성을 가지는 프로파일을 시각 처리 장치(1)의 시각 처리부(30)의 LUT로 설정해도 된다. 이와 같이, 2차원 게인 특성의 프로파일을 시각 처리부(30)의 LUT에 미리 설정하면, 게인 신호(GN)와 게인 신호(GAIN)는 등가로 되므로, 뺄셈기(12)를 삭제해도 게인형 시각 처리 장치(5)를 실현할 수 있다.
게인형 시각 처리 장치(5)에서는, 입력된 화상 신호(IS)의 변화에 대해서 처리 신호의 변화가 작기 때문에, 입력 신호의 비트수를 삭감할 수 있어, 회로 규모를 삭감할 수 있다. 또한, 시각 처리부(30)에 2차원 LUT가 구비된 경우에는 메모리 용량을 삭감할 수 있다.
이상과 같이, 본 발명의 실시 형태 4의 게인형 시각 처리 시스템 4에 의하면, 게인 신호(GAIN)를 제어함으로써, 용이하게 계조의 포화를 억제할 수 있어 뛰어난 시각 처리를 실현할 수 있다.
또한, 본 발명의 실시 형태 1에 있어서의 시각 처리 장치(1)는, 본 발명의 실시 형태 2에 있어서의 시각 처리 장치(2)로 치환해도 된다. 이에 의해서도, 마찬가지로 게인형 시각 처리 장치(5)를 실현할 수 있다.
또한, 본 발명의 실시 형태 1에 있어서의 시각 처리 장치(1)는, 본 발명의 실시 형태 3에 있어서의 시각 처리 장치(3)로 치환해도 된다. 이에 의해서도, 마찬가지로 게인형 시각 처리 장치(5)를 실현할 수 있다.
이상과 같이, 본 발명의 실시 형태 1부터 본 발명의 실시 형태 4에 의하면, 급준한 에지 영역을 가지는 화상이 입력된 경우에도, 부작용을 억제한 시각 처리를 실현할 수 있다.
또한, 상기 실시 형태에서 설명한 시각 처리 장치는, 동화상을 취급하는 기기에 내장 혹은 접속하고, 프레임마다, 혹은 필드마다의 화상으로부터 효과 조정 신호(MOD)를 생성하도록 해도 된다. 제어 신호 발생부(40)는, 화상 신호가 프레임 화상일 때는 하나(1프레임) 이상 전의 프레임 화상에서, 혹은 화상 신호가 필드 화상일 때에는 하나(1필드) 이상 전의 필드 화상으로부터 에지 정보나 평탄도 정보를 추출할 수 있다. 이에 따라, 시각 처리 장치는, 프레임의 선두부터 에지 정보나 평탄도 정보에 따른 효과 조정 신호(MOD)를 사용할 수 있다. 또한, 시각 처리 장치는, 하나 전(1필드 전)의 필드 화상으로부터 에지 정보나 평탄도 정보를 추출할 수 있어, 필드 화상의 선두부터 에지 정보나 평탄도 정보에 따른 효과 조정 신호(MOD)를 사용할 수 있다. 또한, 제어 신호 발생부(40)는, 하나 이상 전(1프레임 전)의 프레임 화상에서, 혹은 하나(1필드) 이상 전의 필드 화상으로부터 에지 정보 나 평탄도 정보를 추출함으로써, 회로의 지연을 맞추는 것이 용이해져 회로 규모를 삭감할 수 있다.
또한, 본 발명의 실시 형태 1부터 본 발명의 실시 형태 4까지의 시각 처리 장치 또는 시각 처리 시스템에 있어서의 공간 처리 기능, 효과 조정 기능, 시각 처리 기능 등의 각종 기능은, 집적 회로 등을 이용한 하드웨어에 의해 실시해도 되고, 중앙 처리 장치(이하, 「CPU」라고 한다), 디지털 신호 처리 장치 등을 이용해 동작하는 소프트 웨어에 의해 실시해도 된다.
우선, 각종 기능을 하드웨어로 실시하는 경우는, 본 발명의 실시 형태에서의 각 기능을 개별적으로 집적 회로로 해도 되고, 일부 또는 모든 것을 포함하도록 1칩화된 집적 회로로 해도 된다.
또한, 집적 회로는, 전용 회로 또는 범용 프로세서로 실현해도 된다. 예를 들어, 반도체 칩을 제조한 후, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, 집적 회로 내부의 셀의 접속이나 설정을 재구성 가능한 리컨피규러블·프로세서(reconfigurable processor)를 이용해도 된다.
나아가, 반도체 기술의 진보 또는 파생하는 별도 기술에 의한 집적 회로화의 기술이 등장하면, 당연히 그 기술을 이용해 기능 블록의 집적화를 행해도 된다. 예를 들어, 바이오 기술의 진보에 의해, 바이오 컴퓨터의 적용 등을 생각할 수 있다.
다음에, 각종 기능을 소프트웨어로 실시하는 경우에 대해서, 도 15를 이용해 설명한다. 도 15는, 본 발명의 실시 형태에 있어서의 컴퓨터의 구성을 나타내는 블록도이다.
도 15에 있어서, 컴퓨터(6)는, 각종 프로그램의 명령을 실행하는 CPU(100)와, 프로그램 등이 격납되어 있는 리드 온리 메모리(101)(이하, 「ROM(101)」라고 한다)와, 일시 기억의 데이터를 격납하는 랜덤 액세스 메모리(102)(이하, 「RAM(102)」라고 한다)와, 화상을 입력하는 입력부(103)와, 화상을 출력하는 출력부(104)와, 프로그램이나 각종 데이터를 기억하는 기억부(105)를 구비한다.
또한, 외부와의 통신을 행하는 통신부(106)와, 정보 기억 매체를 적절히 접속하는 드라이브(107)를 구비하도록 해도 된다.
또한, 각 기능부는 버스(110)를 경유하여 제어 신호, 데이터 등의 송수신을 행한다.
CPU(100)는, ROM(101)에 기억되어 있는 프로그램에 따라서 각종 기능의 처리를 실행한다.
ROM(101)은, 프로그램, 프로파일 등을 기억한다.
RAM(102)은, CPU(100)에 의해 각종 기능의 처리에 필요한 데이터를 일시 기억한다.
입력부(103)는 화상을 입력한다. 예를 들어, 전파를 수신하고, 수신한 수신 신호를 복호화함으로써 영상 신호를 취득한다. 또, 직접 유선을 경유하여 디지털 화상을 취득하도록 해도 된다.
출력부(104)는, 화상을 출력한다. 예를 들어, 액정 표시 장치나 플라즈마 디스플레이 등의 표시 장치에 출력한다.
기억부(105)는, 자기 메모리 등으로 구성되고, 다양한 프로그램, 데이터를 기억한다.
통신부(106)는, 네트워크(111)에 접속되고, 네트워크(111)를 경유하여 프로그램을 취득, 또는 필요에 따라서 기억부(105)에 취득한 프로그램을 인스톨하도록 해도 된다. 이에 따라, 컴퓨터(6)는, 통신부(106)에 의해 프로그램의 다운로드가 가능해진다.
드라이브(107)는, 정보 기억 매체를 적절히 접속하고, 정보 기억 매체에 기억되어 있는 기억 정보를 취득한다. 정보 기억 매체는, 예를 들어, 자기 디스크, 광 자기 디스크, 광 디스크 등의 디스크(108), 또는 반도체 메모리 등의 메모리 카드(109) 등이다.
또한, 디스크(108), 또는 반도체 메모리 등의 메모리 카드(109) 등에 각종 기능을 실행하기 위한 프로그램, 프로파일 등을 기억하고, 컴퓨터(6)에, 그 정보를 부여해도 된다.
또한, 프로그램은, 미리 컴퓨터에 전용 하드웨어로 조합해 넣어도 되고, ROM(101), 기억부(105)에 미리 조합해 넣어 제공해도 된다.
또한, 프로그램은, 정보 처리 장치, 텔레비젼, 디지털 카메라, 휴대 전화, PDA 등의 화상을 취급하는 기기에 적용할 수 있다. 프로그램은, 화상을 취급하는 기기에 내장, 혹은 접속되고, 에지 근방에 있어서의 평탄 영역에 대해서 부작용을 억제한 시각 처리를 실행한다.
또한, 시각 처리 장치는, 동화상을 취급하는 기기에 내장 혹은 접속하고, 프 레임마다, 혹은 필드마다의 화상으로부터 효과 조정 신호(MOD)를 생성하도록 해도 된다. 제어 신호 발생부(40)는, 화상 신호가 프레임 화상일 때에는 하나 이상 전의 프레임 화상에서, 혹은 화상 신호가 필드 화상일 때에는 하나 이상 전의 필드 화상으로부터 에지 정보나 평탄도 정보를 추출할 수 있다. 이에 따라, 시각 처리 장치는, 프레임의 선두부터 에지 정보나 평탄도 정보에 따른 효과 조정 신호(MOD)를 사용할 수 있다. 또한, 시각 처리 장치(1)는, 하나 전의 필드 화상으로부터 에지 정보나 평탄도 정보를 추출할 수 있어, 필드 화상의 선두부터 에지 정보나 평탄도 정보에 따른 효과 조정 신호(MOD)를 사용할 수 있다. 또한, 제어 신호 발생부(40)는, 하나 이상 전의 프레임 화상에서, 혹은 하나 이상 전의 필드 화상으로부터 에지 정보나 평탄도 정보를 추출함으로써, 회로의 지연을 맞추는 것이 용이해져 회로 규모를 삭감할 수 있다.
(실시 형태 5)
다음, 실시 형태 5로서, 상기 실시 형태에서 설명한 시각 처리 장치의 응용예와 이를 이용한 시스템을 도 16∼도 19를 이용해 설명한다.
도 16은, 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체 구성을 나타내는 블록도이다. 통신 서비스의 제공 에어리어를 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.
이 컨텐츠 공급 시스템(ex100)은, 예를 들면, 인터넷(ex101)에 인터넷 서비스 제공자(ex102) 및 전화망(ex104), 및 기지국(ex107∼ex110)를 통해, 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대 전 화(ex114), 카메라 부착 휴대 전화(ex115) 등의 각 기기가 접속된다.
그러나, 컨텐츠 공급 시스템(ex100)은 도 16과 같은 조합에 한정되지 않고, 어떠한 것을 조합하여 접속하도록 해도 된다. 또한, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다.
카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또한, 휴대 전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W－CDMA(Wideband－Code Division Multiple Access) 방식, 혹은 GSM(Global System for Mobile Communications) 방식의 휴대 전화기, 또는 PHS(Personal Handyphone System) 등이며, 어떠한 것이어도 상관없다.
또한, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해서 접속되어 있고, 카메라(ex113)를 이용해 사용자가 송신하는 부호화 처리된 데이터에 기초한 라이브 전송 등이 가능하게 된다. 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행하거나, 데이터의 송신 처리를 하는 서버 등에서 행해도 된다. 또한, 카메라(ex116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지 화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)로 행하거나 컴퓨터(ex111)로 행하거나 어느쪽이어도 된다. 또한, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 가지는 LSIex(117)에서 처리하게 된다. 또한, 화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 읽어내기가 가능한 기록 매체인 어떠한 축적 미디어(CD－ROM, 플렉서블 디스크, 하드 디스크 등)에 조합해 넣어도 된다. 또한, 카메라 부착의 휴대 전화(ex115)로 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대 전화(ex115)가 가지는 LSI로 부호화 처리된 데이터이다.
이 컨텐츠 공급 시스템(ex100)에서는, 사용자가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 컨텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있는 클라이언트에 대해서 상기 컨텐츠 데이터를 스트림 전송한다. 클라이언트로서는, 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등이 있다. 이와 같이 함으로써 컨텐츠 공급 시스템(ex100)은, 부호화된 데이터를 클라이언트에 있어서 수신하여 재생할 수 있고, 또한 클라이언트에 있어서 실시간으로 수신하여 복호화하고, 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다.
컨텐츠의 표시에 있어서, 상기 실시 형태에서 설명한 시각 처리 장치를 이용해도 된다. 예를 들면, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등은, 상기 실시 형태에서 나타낸 시각 처리 장치를 구비하고, 시각 처리 방법, 시각 처리 프로그램을 실현하는 것이어도 된다.
또한, 스트리밍 서버(ex103)는, 시각 처리 장치에 대해서, 인터넷(ex101)을 통하여 2차원 게인 데이터(프로파일)를 제공하는 것이어도 된다. 또한, 스트리밍 서버(ex103)는 복수대 존재하고, 각각 다른 2차원 게인 데이터를 제공하는 것이어 도 된다. 또한, 스트리밍 서버(ex103)는 2차원 게인 데이터의 작성을 행하는 것이어도 된다. 이와 같이, 인터넷(ex101)을 통해, 시각 처리 장치가 2차원 게인 데이터를 취득할 수 있는 경우, 시각 처리 장치는 미리 시각 처리에 이용하는 2차원 게인 데이터를 기억해 둘 필요가 없고, 시각 처리 장치의 기억 용량을 삭감하는 것도 가능해진다. 또한, 인터넷(ex101)을 통해 접속되는 복수의 서버로부터 2차원 게인 데이터를 취득할 수 있으므로, 다른 시각 처리를 실현하는 것이 가능해진다. 일례로서 휴대 전화에 대해서 설명한다.
도 17은, 상기 실시 형태의 시각 처리 장치(1)를 구비한 휴대 전화(ex115)를 도시하는 도면이다. 휴대 전화(ex115)는, 기지국(ex110)과의 사이에 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지 화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)로 촬영한 영상, 안테나(ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 혹은 정지 화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 혹은 정지 화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 저장하기 위한 기록 미디어(ex207), 휴대 전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 가지고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 개서나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래 쉬 메모리 소자를 격납한 것이다.
또한, 휴대 전화(ex115)에 대해서 도 18을 이용해 설명한다. 휴대 전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적에 제어하도록 이루어진 주제어부(ex311)에 대해서, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해 서로 접속되어 있다.
전원 회로부(ex310)는, 사용자의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대해서 전력을 공급함으로써 카메라 부착 디지털 휴대 전화(ex115)를 동작 가능한 상태로 기동한다.
휴대 전화(ex115)는, CPU, ROM, RAM 등으로 이루어지는 주 제어부(ex311)의 제어에 의거하여, 음성 통화 모드 시에 음성 입력부(ex205)에서 집음(集音)한 음성 신호를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해 송신한다. 또한 휴대 전화(ex115)는, 음성 통화 모드 시에 안테나(ex201)로 수신한 수신 신호를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 음성 처리부(ex305)에 의해서 아날로그 음성 신호로 변환한 후, 이를 음성 출력부(ex208)를 통해 출력한다.
또한, 데이터 통신 모드시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해 주 제어부(ex311)에 송출된다. 주 제어부(ex311)는, 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해 기지국(ex110)에 송신한다.
데이터 통신 모드 시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통해 화상 부호화부(ex312)에 공급한다. 또한, 화상 데이터를 송신하지 않는 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해 표시부(ex202)에 직접 표시하는 것도 가능하다.
화상 부호화부(ex312)는, 카메라부(ex203)로부터 공급된 화상 데이터를 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이를 다중 분리부(ex308)로 송출한다. 또한, 이 때 동시에 휴대 전화(ex115)는, 카메라부(ex203)에서 촬상 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해 디지털 음성 데이터로서 다중 분리부(ex308)에 송출한다.
다중 분리부(ex308)는, 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하여, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해 송신한다.
데이터 통신 모드 시에 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해 기지국(ex110)으로부터 수신한 수신 신호를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하고, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.
또한, 안테나(ex201)를 통해 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는, 다중화 데이터를 분리함으로써 화상 데이터의 부호화 비트 스트림과 음성 데이터의 부호화 비트 스트림으로 나누고, 동기 버스(ex313)를 통해 당해 부호화 화상 데이터를 화상 복호화부(ex309)에 공급함과 더불어 당해 음성 데이터를 음성 처리부(ex305)에 공급한다.
다음, 화상 복호화부(ex309)는, 화상 데이터의 부호화 비트 스트림을 복호화함으로써 재생 동화상 데이터를 생성하고, 이를 LCD 제어부(ex302)를 통해 표시부(ex202)에 공급하고, 이에 따라, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 신호로 변환한 후, 이를 음성 출력부(ex208)에 공급하고, 이에 따라, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.
이상의 구성에 있어서, 화상 복호화부(ex309)는, 상기 실시 형태의 시각 처리 장치를 구비해도 된다.
또한, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디 지털 방송이 화제가 되고 있어, 도 19에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시 형태에서 설명한 시각 처리 장치를 조합할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 부호화 비트 스트림이 전파를 통해 통신 또는 방송 위성(ex410)에 전송된다. 이를 받은 방송 위성(ex410)은, 방송용의 전파를 발신하고, 이 전파를 위성 방송 수신 설비를 가지는 가정의 안테나(ex406)로 수신하고, 텔레비젼(수신기)(ex401) 또는 셋탑 박스(STB)(ex407) 등의 장치에 의해 부호화 비트 스트림을 복호화하여 이를 재생한다. 여기서, 텔레비젼(수신기)(ex401) 또는 STB(ex407) 등의 장치가 상기 실시 형태에서 설명한 시각 처리 장치를 구비해도 된다. 또한, 상기 실시 형태의 시각 처리 방법을 이용하는 것이어도 된다. 또한, 시각 처리 프로그램을 구비해도 된다. 또한, 기록 매체인 CD나 DVD등의 축적 미디어(ex402)에 기록한 부호화 비트 스트림을 읽어내고, 복호화하는 재생 장치(ex403)에도 상기 실시 형태에서 설명한 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램을 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또, 케이블 텔레비젼용의 케이블(ex405) 또는 위성／지상파 방송의 안테나(ex406)에 접속된 STB(ex407) 내에 상기 실시 형태에서 설명한 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램을 실장하고, 이를 텔레비젼의 모니터(ex408)로 재생하는 구성도 생각할 수 있다. 이 때 STB가 아니고, 텔레비젼 내에 상기 실시 형태에서 설명한 시각 처리 장치를 조합해 넣어도 된다. 또한, 안테나(ex411)를 가지는 자동차(ex412)에서 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하고, 자동차(ex412)가 가지는 카 내비게이 션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.
또한, 화상 신호를 부호화하고, 기록 매체에 기록할 수도 있다. 구체적인 예로는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 리코더나, 하드 디스크에 기록하는 디스크 리코더 등의 리코더(ex420)가 있다. 또한 SD 카드(ex422)에 기록할 수도 있다. 리코더(ex420)가 상기 실시 형태의 시각 처리 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 보간하여 재생하고, 모니터(ex408)에 표시할 수 있다.
또한, 카 내비게이션(ex413)의 구성은, 예를 들면 도 18에 도시하는 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있고, 동일한 것을 컴퓨터(ex111)나 텔레비젼(수신기)(ex401) 등에서도 생각할 수 있다.
또한, 상기 휴대 전화(ex114) 등의 장치는, 부호화기·복호화기를 양쪽 모두 가지는 송수신형의 장치 외에, 부호화기만의 송신 장치, 복호화기만의 수신 장치의 3가지 실장 형식을 생각할 수 있다.
또한, 본 발명의 구체적인 구성은, 전술의 실시 형태에 한정되는 것이 아니라, 발명의 요지를 일탈하지 않는 범위에서 다양한 변경 및 수정이 가능하다.
본 발명에 관한 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로에 의하면, 화상 신호를 시각 처리할 수 있고, 특히 급준한 에지 영역을 가지는 화상이 입력된 경우에도, 부작용을 억제할 수 있으므로, 영상 ·화상 처리 장치 관련 분야에 있어서 유용하고, 본 발명에 관한 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로는, 당해 분야에 있어서 실시할 수 있다.

Claims (12)

  1. 입력된 화상 신호의 주변 화상 정보를 추출하는 주변 화상 정보 추출부와,
    상기 화상 신호와 상기 주변 화상 정보에 의거하여 상기 화상 신호에 대해서 국소 콘트라스트를 조정하는 시각 처리를 행하는 시각 처리부와,
    상기 시각 처리의 국소 콘트라스트를 조정하는 효과를 설정하기 위한 효과 조정 신호를 출력하는 제어 신호 발생부와,
    상기 효과 조정 신호에 따라 상기 시각 처리의 국소 콘트라스트를 조정하는 효과를 설정하는 효과 조정부를 구비하고,
    상기 제어 신호 발생부는, 상기 화상 신호에 의해 형성되는 화상의 화상 영역에 포함되는 에지(edge) 근방 영역과 평탄부 영역을 판정하고,
    에지 근방 영역이 아니거나, 또는, 평탄 영역이 아니라고 판정된 상기 화상 영역에 대해서, 상기 화상 신호와 상기 주변 화상 정보에 의거하는 상기 시각 처리를 실현시키는 상기 효과 조정 신호를 발생시키고,
    에지 근방 영역이고, 또한, 평탄 영역이라고 판정된 상기 화상 영역에 대해서, 상기 화상 신호와 상기 주변 화상 정보에 의거하는 상기 시각 처리의 국소 콘트라스트를 조정하는 효과보다도 약한 효과에 의한 상기 시각 처리를 실현시키는 상기 효과 조정 신호를 발생시키는, 시각 처리 장치.
  2. 청구항 1에 있어서,
    상기 제어 신호 발생부는, 상기 주변 화상 정보의 변화량에 따라 상기 효과 조정 신호를 출력하는, 시각 처리 장치.
  3. 청구항 1에 있어서,
    상기 제어 신호 발생부는,
    상기 주변 화상 정보의 변화량을 검출하는 변화량 검출부와,
    상기 변화량 검출부에 의해 검출된 상기 변화량에 의거하여 상기 효과 조정 신호를 발생시키는 효과 조정 신호 발생부를 가지는, 시각 처리 장치.
  4. 청구항 1에 있어서,
    상기 제어 신호 발생부는,
    상기 화상 신호로부터 인접 영역과의 휘도차가 소정의 값 이하가 되는 평탄 영역의 평탄 정도를 검출하는 평탄 검출부와,
    상기 화상 신호로부터 인접 영역과의 휘도차가 소정의 값 이상이 되는 에지 영역의 에지량을 검출하는 에지 검출부와,
    상기 에지량에 의해, 상기 화상 영역의 에지 근방 정도를 나타내는 에지 근방도를 산출하는 에지 근방 검출부와,
    상기 평탄 검출부에 의해 검출된 상기 평탄 정도와 상기 에지 근방 검출부에 의해 산출된 에지 근방도에 의거하여 상기 효과 조정 신호를 발생시키는 효과 조정 신호 발생부를 가지는, 시각 처리 장치.
  5. 청구항 1에 있어서,
    상기 효과 조정부는, 상기 효과 조정 신호에 따라, 상기 화상 신호와 상기 주변 화상 정보를 합성한 제1 합성 신호를 출력하고,
    상기 시각 처리부는, 상기 제1 합성 신호와 상기 화상 신호에 의거하여 상기 화상 신호에 대해서 시각 처리를 행하는, 시각 처리 장치.
  6. 청구항 1에 있어서,
    상기 효과 조정부는, 상기 효과 조정 신호에 따라, 상기 화상 신호와 상기 시각 처리부에서 시각 처리가 실시된 출력을 합성한 제2 합성 신호를 출력하는, 시각 처리 장치.
  7. 입력된 화상 신호의 주변 화상 정보를 추출하는 주변 화상 정보 추출 단계와,
    상기 화상 신호와 상기 주변 화상 정보에 의거하여 상기 화상 신호에 대해서 국소 콘트라스트를 조정하는 시각 처리를 행하는 시각 처리 단계와,
    상기 시각 처리의 국소 콘트라스트를 조정하는 효과를 설정하기 위한 효과 조정 신호를 출력하는 제어 신호 발생 단계와,
    상기 효과 조정 신호에 따라 상기 시각 처리의 국소 콘트라스트를 조정하는 효과를 설정하는 효과 조정 단계를 구비하고,
    상기 제어 신호 발생 단계에서는, 상기 화상 신호에 의해 형성되는 화상의 화상 영역에 포함되는 에지 근방 영역과 평탄부 영역을 판정하고,
    에지 근방 영역이 아니거나, 또는, 평탄 영역이 아니라고 판정된 상기 화상 영역에 대해서, 상기 화상 신호와 상기 주변 화상 정보에 의거하는 상기 시각 처리를 실현시키는 상기 효과 조정 신호를 발생시키고,
    에지 근방 영역이고, 또한, 평탄 영역이라고 판정된 상기 화상 영역에 대해서, 상기 화상 신호와 상기 주변 화상 정보에 의거하는 상기 시각 처리의 국소 콘트라스트를 조정하는 효과보다도 약한 효과에 의한 상기 시각 처리를 실현시키는 상기 효과 조정 신호를 발생시키는, 시각 처리 방법.
  8. 컴퓨터에,
    입력된 화상 신호의 주변 화상 정보를 추출하는 주변 화상 정보 추출 단계와,
    상기 화상 신호와 상기 주변 화상 정보에 의거하여 상기 화상 신호에 대해서 국소 콘트라스트를 조정하는 시각 처리를 행하는 시각 처리 단계와,
    상기 시각 처리의 국소 콘트라스트를 조정하는 효과를 설정하기 위한 효과 조정 신호를 출력하는 제어 신호 발생 단계와,
    상기 효과 조정 신호에 따라 상기 시각 처리의 국소 콘트라스트를 조정하는 효과를 설정하는 효과 조정 단계를 실행시키는 프로그램을 기록한 기록 매체로서,
    상기 제어 신호 발생 단계에서는, 상기 화상 신호에 의해 형성되는 화상의 화상 영역에 포함되는 에지 근방 영역과 평탄부 영역을 판정하고,
    에지 근방 영역이 아니거나, 또는, 평탄 영역이 아니라고 판정된 상기 화상 영역에 대해서, 상기 화상 신호와 상기 주변 화상 정보에 의거하는 상기 시각 처리를 실현시키는 상기 효과 조정 신호를 발생시키고,
    에지 근방 영역이고, 또한, 평탄 영역이라고 판정된 상기 화상 영역에 대해서, 상기 화상 신호와 상기 주변 화상 정보에 의거하는 상기 시각 처리의 국소 콘트라스트를 조정하는 효과보다도 약한 효과에 의한 상기 시각 처리를 실현시키는 상기 효과 조정 신호를 발생시키는, 기록 매체.
  9. 입력된 화상 신호의 주변 화상 정보를 추출하는 주변 화상 정보 추출부와,
    상기 화상 신호와 상기 주변 화상 정보에 의거하여 상기 화상 신호에 대해서 국소 콘트라스트를 조정하는 시각 처리를 행하는 시각 처리부와,
    상기 시각 처리의 국소 콘트라스트를 조정하는 효과를 설정하기 위한 효과 조정 신호를 출력하는 제어 신호 발생부와,
    상기 효과 조정 신호에 따라 상기 시각 처리의 국소 콘트라스트를 조정하는 효과를 설정하는 효과 조정부를 구비하고,
    상기 제어 신호 발생부는, 상기 화상 신호에 의해 형성되는 화상의 화상 영역에 포함되는 에지 근방 영역과 평탄부 영역을 판정하고,
    에지 근방 영역이 아니거나, 또는, 평탄 영역이 아니라고 판정된 상기 화상 영역에 대해서, 상기 화상 신호와 상기 주변 화상 정보에 의거하는 상기 시각 처리를 실현시키는 상기 효과 조정 신호를 발생시키고,
    에지 근방 영역이고, 또한, 평탄 영역이라고 판정된 상기 화상 영역에 대해서, 상기 화상 신호와 상기 주변 화상 정보에 의거하는 상기 시각 처리의 국소 콘트라스트를 조정하는 효과보다도 약한 효과에 의한 상기 시각 처리를 실현시키는 상기 효과 조정 신호를 발생시키는, 집적 회로.
  10. 통신 또는 방송된 화상 데이터를 수신하는 데이터 수신부와,
    수신된 상기 화상 데이터를 영상 데이터로 복호하는 복호부와,
    복호된 상기 영상 데이터를 시각 처리하여 출력 신호를 출력하는 청구항 1에 기재된 시각 처리 장치와,
    상기 시각 처리 장치에 의해 시각 처리된 상기 출력 신호의 표시를 행하는 표시부를 구비하는 표시 장치.
  11. 삭제
  12. 삭제
KR1020087027471A 2006-04-28 2007-04-03 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로 KR101314390B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2006-125504 2006-04-28
JP2006125504 2006-04-28
PCT/JP2007/057468 WO2007125732A1 (ja) 2006-04-28 2007-04-03 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路

Publications (2)

Publication Number Publication Date
KR20090009232A KR20090009232A (ko) 2009-01-22
KR101314390B1 true KR101314390B1 (ko) 2013-10-04

Family

ID=38655267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087027471A KR101314390B1 (ko) 2006-04-28 2007-04-03 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로

Country Status (4)

Country Link
US (3) US7903898B2 (ko)
KR (1) KR101314390B1 (ko)
CN (2) CN101438575B (ko)
WO (1) WO2007125732A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881549B2 (en) * 2005-10-12 2011-02-01 Panasonic Corporaiton Visual processing device, display device, visual processing method, program, and integrated circuit
EP2012527B1 (en) * 2006-04-19 2017-10-25 Panasonic Intellectual Property Corporation of America Visual processing device, visual processing method, program, display device, and integrated circuit
CN101438575B (zh) * 2006-04-28 2011-09-28 松下电器产业株式会社 视觉处理装置、视觉处理方法以及显示装置
JP4864835B2 (ja) * 2007-08-21 2012-02-01 Ｋｄｄｉ株式会社 色補正装置、方法及びプログラム
TW201001334A (en) * 2008-06-20 2010-01-01 Altek Corp Adjustment method of color tone for digital image and electronic apparatus thereof
US8442328B2 (en) 2008-10-03 2013-05-14 3M Innovative Properties Company Systems and methods for evaluating robustness of saliency predictions of regions in a scene
AU2009298416B8 (en) * 2008-10-03 2013-08-29 3M Innovative Properties Company Systems and methods for evaluating robustness
US8284232B2 (en) * 2009-01-30 2012-10-09 Hewlett-Packard Development Company, L.P. Equalization of video streams
CN102129678A (zh) * 2010-01-12 2011-07-20 鸿富锦精密工业（深圳）有限公司 影像特征模型建立系统及方法以及应用其的影像处理系统
JP5672776B2 (ja) * 2010-06-02 2015-02-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6135937B2 (ja) 2013-08-28 2017-05-31 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
CN105100769B (zh) * 2014-05-05 2018-08-28 浙江大学 一种视觉特效图像或视频对的生成方法及装置
JP2015231086A (ja) * 2014-06-04 2015-12-21 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 制御装置、およびプログラム
KR102384234B1 (ko) * 2016-10-26 2022-04-07 삼성전자주식회사 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
US11200713B2 (en) * 2018-10-05 2021-12-14 Amitabha Gupta Systems and methods for enhancing vision
KR102327151B1 (ko) * 2019-11-25 2021-11-17 한국전자통신연구원 심전도의 심실 탈분극 검출 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020047911A1 (en) 2000-03-23 2002-04-25 Takashi Tsuchiya Image processing circuit and method for processing image

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4667304A (en) * 1984-11-23 1987-05-19 Digivision, Inc. Real-time, localized enhancement of a video image using separable two-dimensional filters
GB2170373B (en) 1984-12-28 1989-03-15 Canon Kk Image processing apparatus
JPH074003B2 (ja) 1985-12-18 1995-01-18 松下電器産業株式会社 信号圧縮装置
JPS63177662A (ja) 1987-01-19 1988-07-21 Matsushita Electric Ind Co Ltd 輪郭補正器
JPS63182785A (ja) 1987-01-26 1988-07-28 Canon Inc カラ−画像処理装置
JP2575476B2 (ja) * 1988-10-20 1997-01-22 富士写真フイルム株式会社 画像信号処理方法およびその装置
US5012333A (en) * 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
US5038388A (en) * 1989-05-15 1991-08-06 Polaroid Corporation Method for adaptively sharpening electronic images
JPH0348980A (ja) 1989-07-18 1991-03-01 Fujitsu Ltd 輪郭強調処理方式
JP2663189B2 (ja) 1990-01-29 1997-10-15 富士写真フイルム株式会社 画像のダイナミックレンジ圧縮処理方法
US5485534A (en) * 1990-03-28 1996-01-16 Fuji Photo Film Co., Ltd. Method and apparatus for emphasizing sharpness of image by detecting the edge portions of the image
JP3003799B2 (ja) * 1990-03-28 2000-01-31 富士写真フイルム株式会社 画像の鮮鋭度強調方法及びその装置
JPH04152788A (ja) 1990-10-17 1992-05-26 Olympus Optical Co Ltd コントラスト回路
JPH04157592A (ja) 1990-10-22 1992-05-29 Nec Corp 自動販売機の状態検知・通知方式
JPH0646295A (ja) 1992-07-27 1994-02-18 Matsushita Electric Ind Co Ltd 輪郭補正装置
BE1007590A3 (nl) 1993-10-01 1995-08-16 Philips Electronics Nv Videosignaalverwerkingsschakeling.
JPH07135667A (ja) 1993-11-12 1995-05-23 Matsushita Electric Ind Co Ltd 輪郭強調回路
EP1045340A3 (en) * 1995-03-29 2000-10-25 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US5880767A (en) * 1996-09-11 1999-03-09 Hewlett-Packard Company Perceptual image resolution enhancement system
US6731400B1 (en) 1996-11-01 2004-05-04 Hitachi, Ltd. Color image processing apparatus which performs different image processings depending on region of color image
JP3639397B2 (ja) * 1996-12-24 2005-04-20 株式会社日立製作所 像域別カラー画像処理装置、画像出力装置、画像処理方法および記憶媒体
JPH10208034A (ja) 1997-01-17 1998-08-07 Seiko Epson Corp 画像処理装置および画像処理方法
US6055340A (en) * 1997-02-28 2000-04-25 Fuji Photo Film Co., Ltd. Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
JPH11250246A (ja) * 1998-02-27 1999-09-17 Fuji Photo Film Co Ltd 画像処理方法および装置
US6285798B1 (en) * 1998-07-06 2001-09-04 Eastman Kodak Company Automatic tone adjustment by contrast gain-control on edges
US7440612B2 (en) 1998-11-13 2008-10-21 Sony Corporation Image processing apparatus and method capable of correcting gradation of image data
JP3233114B2 (ja) 1998-11-13 2001-11-26 ソニー株式会社 画像処理装置及び画像処理方法
US6323855B1 (en) 1998-12-10 2001-11-27 Eastman Kodak Company Sharpening edge features in digital image providing high frequency edge enhancement
US6353855B1 (en) * 1999-03-01 2002-03-05 America Online Providing a network communication status description based on user characteristics
JP4053185B2 (ja) * 1999-06-22 2008-02-27 富士フイルム株式会社 画像処理方法および装置
US6611627B1 (en) * 2000-04-24 2003-08-26 Eastman Kodak Company Digital image processing method for edge shaping
US6633683B1 (en) * 2000-06-26 2003-10-14 Miranda Technologies Inc. Apparatus and method for adaptively reducing noise in a noisy input image signal
JP4099936B2 (ja) * 2000-09-07 2008-06-11 富士ゼロックス株式会社 画像処理装置、画像処理方法および画像処理プログラムが格納された記録媒体
US6735330B1 (en) * 2000-10-17 2004-05-11 Eastman Kodak Company Automatic digital radiographic bright light
US7136538B2 (en) * 2000-12-21 2006-11-14 Matsushita Electric Industrial Co., Ltd. Noise reducing apparatus and noise reducing method
US6847377B2 (en) * 2001-01-05 2005-01-25 Seiko Epson Corporation System, method and computer program converting pixels to luminance levels and assigning colors associated with luminance levels in printer or display output devices
JP2002281313A (ja) * 2001-03-15 2002-09-27 Minolta Co Ltd 画像処理装置及び当該装置を備える画像形成装置
JP4509415B2 (ja) 2001-04-12 2010-07-21 株式会社リコー 画像処理装置
JP4649781B2 (ja) * 2001-06-20 2011-03-16 ソニー株式会社 画像処理方法および装置
JP2003060913A (ja) 2001-08-13 2003-02-28 Toyota Central Res & Dev Lab Inc 画像処理方法及び画像処理装置
JP2003110956A (ja) * 2001-09-27 2003-04-11 Toshiba Corp デジタルテレビジョン受信装置、プリンタ装置、及び画像プリント出力機能付きデジタルテレビジョン受信装置
US7130483B2 (en) * 2001-12-12 2006-10-31 Samsung Electronics Co., Ltd. Method for enhancing a digital image while suppressing undershoots and overshoots
US7386185B2 (en) 2002-02-12 2008-06-10 Matsushita Electric Industrial Co., Ltd. Image processing device and image processing method
JP4013699B2 (ja) * 2002-08-20 2007-11-28 松下電器産業株式会社 画像処理装置および画像処理方法
JP4021261B2 (ja) 2002-07-08 2007-12-12 松下電器産業株式会社 画像処理装置
JP4147456B2 (ja) 2002-03-29 2008-09-10 富士通株式会社 赤外線画像信号処理装置
JP4050547B2 (ja) 2002-04-16 2008-02-20 オリンパス株式会社 動画撮像システム
JP4096613B2 (ja) 2002-05-10 2008-06-04 松下電器産業株式会社 画像処理方法及び画像処理装置
JP2003337942A (ja) 2002-05-17 2003-11-28 Canon Inc 画像処理装置
JP4152788B2 (ja) 2003-03-25 2008-09-17 旭化成ケミカルズ株式会社 ゲル状組成物
US7274827B2 (en) 2002-09-12 2007-09-25 Pentax Corporation Filter process
JP4217041B2 (ja) 2002-09-12 2009-01-28 Ｈｏｙａ株式会社 フィルタ処理
US7130485B2 (en) * 2002-10-02 2006-10-31 Eastman Kodak Company Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions
US7280703B2 (en) * 2002-11-14 2007-10-09 Eastman Kodak Company Method of spatially filtering a digital image using chrominance information
JP4079814B2 (ja) 2003-04-07 2008-04-23 シャープ株式会社 画像処理方法、画像処理装置、画像形成装置、撮像装置、及びコンピュータプログラム
JP2004310475A (ja) 2003-04-08 2004-11-04 Hitachi Ltd 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム
JP2004318423A (ja) * 2003-04-15 2004-11-11 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP4271978B2 (ja) 2003-04-18 2009-06-03 株式会社日立製作所 映像表示装置
SG115540A1 (en) 2003-05-17 2005-10-28 St Microelectronics Asia An edge enhancement process and system
WO2005004040A1 (en) 2003-07-02 2005-01-13 Celartem Technology Inc. Image sharpening with region edge sharpness correction
CN100525380C (zh) * 2003-07-07 2009-08-05 致伸科技股份有限公司 使用模糊屏蔽法进行影像处理的方法
JP4172346B2 (ja) 2003-07-15 2008-10-29 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置及びプログラム
US7876974B2 (en) 2003-08-29 2011-01-25 Vladimir Brajovic Method for improving digital images and an image sensor for sensing the same
EP1667066B1 (en) 2003-09-11 2020-01-08 Panasonic Intellectual Property Corporation of America Visual processing device, visual processing method, visual processing program, integrated circuit, display device, imaging device, and mobile information terminal
TWI245557B (en) 2003-09-11 2005-12-11 Matsushita Electric Ind Co Ltd Image compensation apparatus and method for the same
JP4126297B2 (ja) 2003-09-11 2008-07-30 松下電器産業株式会社 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末
JP3953994B2 (ja) 2003-09-11 2007-08-08 大日本スクリーン製造株式会社 画像処理情報関連付け処理装置、印刷システム、レイアウトデータの出力可能化方法、およびプログラム
US7274828B2 (en) * 2003-09-11 2007-09-25 Samsung Electronics Co., Ltd. Method and apparatus for detecting and processing noisy edges in image detail enhancement
JP2005130484A (ja) 2003-10-02 2005-05-19 Nikon Corp 階調補正装置、および階調補正プログラム
US7466868B2 (en) 2003-10-03 2008-12-16 Adobe Systems Incorporated Determining parameters for adjusting images
US7333673B2 (en) * 2003-10-30 2008-02-19 Samsung Electronics Co., Ltd. Method and apparatus for image detail enhancement without zigzagged edge artifact
JP4402488B2 (ja) 2004-03-18 2010-01-20 オリンパス株式会社 画像処理装置
US7880771B2 (en) 2004-03-16 2011-02-01 Olympus Corporation Imaging apparatus, image processing apparatus, image processing system and image processing method
JP2005295131A (ja) 2004-03-31 2005-10-20 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
CN100405400C (zh) * 2005-06-27 2008-07-23 同方威视技术股份有限公司 一种辐射成像中图像信息增强的方法
JP4437150B2 (ja) 2005-10-12 2010-03-24 パナソニック株式会社 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
US7881549B2 (en) * 2005-10-12 2011-02-01 Panasonic Corporaiton Visual processing device, display device, visual processing method, program, and integrated circuit
US7602447B2 (en) * 2006-01-26 2009-10-13 Vestel Elecktronik Sanayi Ve Method and apparatus for adjusting the contrast of an image
EP2012527B1 (en) * 2006-04-19 2017-10-25 Panasonic Intellectual Property Corporation of America Visual processing device, visual processing method, program, display device, and integrated circuit
CN101438575B (zh) * 2006-04-28 2011-09-28 松下电器产业株式会社 视觉处理装置、视觉处理方法以及显示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020047911A1 (en) 2000-03-23 2002-04-25 Takashi Tsuchiya Image processing circuit and method for processing image

Also Published As

Publication number Publication date
CN101438575B (zh) 2011-09-28
CN102238314A (zh) 2011-11-09
CN101438575A (zh) 2009-05-20
KR20090009232A (ko) 2009-01-22
US20100188523A1 (en) 2010-07-29
US7881550B2 (en) 2011-02-01
WO2007125732A1 (ja) 2007-11-08
CN102238314B (zh) 2013-06-12
US8401324B2 (en) 2013-03-19
US7903898B2 (en) 2011-03-08
US20110122148A1 (en) 2011-05-26
US20100014773A1 (en) 2010-01-21

Similar Documents

Publication Publication Date Title
KR101314390B1 (ko) 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로
JP4157592B2 (ja) 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
JP4437150B2 (ja) 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
KR101089394B1 (ko) 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램 및 반도체 장치
JP5259785B2 (ja) 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP4745458B2 (ja) 視覚処理装置
JP4440245B2 (ja) 視覚処理装置、表示装置および集積回路
JP4641784B2 (ja) 階調変換処理装置、階調変換処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラ、集積回路および画像処理プログラム
JP4414307B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4094652B2 (ja) 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路
JP4437149B2 (ja) 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路
JP4414464B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4126298B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP2005322205A5 (ko)

Legal Events

Date Code Title Description
G170 Re-publication after modification of scope of protection [patent]
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160818

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170823

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190820

Year of fee payment: 7