KR20060052484A - 화상처리장치 및 화상처리방법과 컴퓨터·프로그램 - Google Patents

화상처리장치 및 화상처리방법과 컴퓨터·프로그램 Download PDF

Info

Publication number
KR20060052484A
KR20060052484A KR1020050105620A KR20050105620A KR20060052484A KR 20060052484 A KR20060052484 A KR 20060052484A KR 1020050105620 A KR1020050105620 A KR 1020050105620A KR 20050105620 A KR20050105620 A KR 20050105620A KR 20060052484 A KR20060052484 A KR 20060052484A
Authority
KR
South Korea
Prior art keywords
pixel
chroma
saturation
reduction
interest
Prior art date
Application number
KR1020050105620A
Other languages
English (en)
Other versions
KR101263888B1 (ko
Inventor
도모노리 마스노
미츠하루 오키
루이 야마다
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20060052484A publication Critical patent/KR20060052484A/ko
Application granted granted Critical
Publication of KR101263888B1 publication Critical patent/KR101263888B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Abstract

퍼플 프린지등의 위색(僞色)의 채도 삭감 처리를 효율적으로 실행하고 과도한 채도저하를 방지한 고품질인 화상데이터를 생성, 출력하는 장치 및 방법을 제공한다.
화소에 대응하는 채도 삭감율을 산출하고, 채도 삭감율에 근거하여 화소의 채도삭감을 실행하고, 채도삭감화소의 채도와 주위참조화소의 채도와의 차분을 축소하도록, 채도보정을 실행한다. 본 구성에 의해, 예를 들면 퍼플 프린지등의 위색화소의 보정에 있어서, 과도한 채도저하에 의한 주위화소의 채도와의 괴리(乖離)에 의한 화소의 두드러짐을 방지 가능하게 된다. 또, 채도 보정처리에 있어서 참조하는 주위화소를 스캔 라인에 따라서 선택되는 화소로 했으므로, 비디오 카메라등으로 촬영되며, 스캔 라인에 따라 입력하는 화소정보만을 이용한 화상처리가 가능하게 되며, 리얼타임으로 효율적인 화상처리가 가능하게 된다.

Description

화상처리장치 및 화상처리방법과 컴퓨터·프로그램{Image processing apparatus and image processing method as well as computer program}
도 1은, 본 발명의 화상처리장치의 구성을 나타내는 도면이다.
도 2는, 위색(PF) 화소의 채도 보정처리에 있어서의 문제점에 대하여 설명하는 도면이다.
도 3은, 본 발명의 화상처리장치의 디지털 신호 처리부(DSP)의 처리 구성에 대하여 설명하는 도면이다.
도 4는, 본 발명의 화상처리장치의 디지털 신호 처리부(DSP)의 위색(PF) 보정처리 수단의 처리 구성에 대하여 설명하는 도면이다.
도 5는, 본 발명의 화상처리장치의 디지털 신호 처리부(DSP)의 위색(PF) 보정처리 수단의 처리 순서에 대하여 설명하는 플로우도이다.
도 6은, 위색(PF) 보정처리 수단의 실행하는 과노출 하이라이트 검출처리의 처리 순서에 대하여 설명하는 플로우도이다.
도 7은, 위색(PF) 보정처리 수단의 실행하는 과노출 하이라이트로부터의 거리·방향 계산처리의 처리순서에 대하여 설명하는 플로우도이다.
도 8은, 과노출 하이라이트로부터의 거리·방향 벡터 계산부에 있어서의 과노출 하이라이트 탐색범위(x0, y0, x1, y1)의 산출처리의 상세에 대하여 설명하는 도면이다.
도 9는, 과노출 하이라이트로부터의 거리·방향 벡터 계산부에 있어서의 과노출 하이라이트 거리(D) 계산처리의 상세에 대하여 설명하는 도면이다.
도 10은, 과노출 하이라이트도(度) 계산부의 적용하는 룩업테이블(LUT)에 대하여 설명하는 도면이다.
도 11은, 방향별 게인 계산부에 있어서 실행하는 처리순서에 대하여 설명하는 플로우도이다.
도 12는, 각 화소위치(x, y) 마다 대응하는 최단 과노출 하이라이트 화소위치의 방향 벡터［WDirect(x, y)］를, 방향(angle)별로 0, 1, 2, 3, 4의 5개로 분류하는 예를 설명하는 도면이다.
도 13은, 스캔 라인에 따라서 화소정보를 판독하면서 화소값의 보정을 실행하는 처리에 대하여 설명하는 도면이다.
도 14는, CbCr색차 평면에 있어서의 위색(PF)색상과 자도［Pr］의 설정예에 대하여 설명하는 도면이다.
도 15는, 화소 채도 보정처리부의 처리의 상세에 대하여 설명하는 플로우도이다.
도 16은, 화소색차 성분 흐리게 하는 처리부의 처리의 상세에 대하여 설명하는 플로우도이다.
*부호의 설명
101. 렌즈 102. 조리개
103. 고체촬상소자 104. 상관 2중 샘플링회로
105. A／D컨버터 106. DSP 블록
107. 타이밍 제너레이터 108. D／A컨버터
109　비디오 인코더 　110. 비디오 모니터
111. 코덱(CODEC) 112.메모리
113. CPU 　114. 입력 디바이스
150. 과노출 하이라이트 화소 151. 위색(PF)화소
152. 통상화소 155. 물체윤곽
160. 과노출 하이라이트 화소 161. 위색(PF)화소
162. 통상화소 　165. 물체윤곽
201. 화이트 밸런스 조정수단 202. 감마 보정처리 수단
203. 디모자이크 처리수단 204.　YcbCr 변환수단
205. 에지강조 처리수단
206. 위색(PF) 보정처리 수단
251. 모자이크 화상데이터 　252. YCbCr 화상
300. 보정 파라미터(채도 삭감율) 산출부
301. 과노출 하이라이트 검출부
302. 과노출 하이라이트로부터의 거리·방향 벡터 계산부
303. 과노출 하이라이트도 계산부 　
304. 방향별 게인 계산부 　
305. 자도(紫度) 계산부 306. 위색도 계산부
307. 채도 삭감율 계산부 310. 보정처리부
311. 화소 채도 삭감처리부
312. 화소 채도 보정처리부
313. 화소색차 성분 흐리게 하는 처리부
351. YCbCr 입력화상 　 371. YCbCr 출력화상
400. 화상중심화소 401. 화상단 화소
402. 주목화소(x, y) 　410. 주목화소(x, y)
420. 과노출 하이라이트 탐색범위 　421~424. 화소
500. 화상 프레임 511. 주목화소
512. 참조 가능 화소 영역
513. 과노출 하이라이트 화소 514. 통상화소
521. 주목화소
522. 참조 가능 화소 영역
523. 과노출 하이라이트 화소
524. 통상화소
601. 위색(PF) 색상라인
602. 주목화소 색상라인
611, 612. 자도［Pr］0 라인
본 발명은, 화상처리장치 및 화상처리방법과 컴퓨터·프로그램에 관한 것이다. 한층 더 상세하게는, 예를 들면 렌즈의 수차에 의한 위색이 발생한 화상데이터를 보정하고, 고품질인 화상데이터를 생성하는 화상처리장치 및 화상처리방법과 컴퓨터·프로그램에 관한 것이다.
카메라로 화상촬영을 행할 때에는, 렌즈 수차에 의해 다양한 문제가 일어나게 된다. 특히, 배율이 높은 렌즈나, 제조 코스트가 싼 렌즈를 사용하여 카메라 촬영을 행할 때에, 그 촬영한 화상에, 렌즈 수차를 기인으로 한 위색이 생기는 경우가 있다. 이 위색중에서도, 휘도차가 현저하게 크도록 장면(예를 들면 나뭇잎 사이로 비치는 햇빛)을 촬영했을 때에, 저휘도부분의 에지 부근에, 보라색의 매우 채도가 강한 위색이 생기는 일이 있다. 이것은 퍼플 프린지(PF)로 불리고 있고, 화질에 악영향을 미치고 있다.
이것은, 빛의 파장에 의해 점상분포가 다르기 때문에, 화상중의 에지부분에 위색이 발생하는 현상이다. 통상의 화소에서는 그만큼 눈에 띄지 않는 경우라도, 휘도레벨에 있어서의 포화 상태로서의 과노출 하이라이트가 일어나고 있는 하이콘트라스트의 에지부분이 있으면, 그 주변에 보라색의 위색이 발생하고, 부자연스러운 상이 결상 되어 버린다. 일반적으로, 과노출 하이라이트의 근방에 발생하는 위색은 보라색계의 색이 많이 발생하기 때문에 퍼플 프린지로 불린다. 다만, 렌즈, 촬영조건등에 따라서, 위색의 색은 초록색을 띠게 되는 경우 등 여러가지이다. 이하, 퍼플 프린지란, 발생하는 색에 관련되지 않고 과노출 하이라이트가 일어나고 있는 하이콘트라스트의 에지부분에 있어서의 위색발생 현상을 가리키는 것으로 한다.
색수차를 경감하기 위한 기술로서는, 형석등 특수한 소재로 만든 유리를 이용한 렌즈를 적용하는 구성이 있다. 그러나, 이와 같은 렌즈를 제조하는 것에는 코스트가 들기 때문에 가격도 비싸고, 렌즈 교환식의 카메라용등 일부의 고급 카메라로 이용되고 있지만, 일반적으로 넓게 보급되고 있다고는 말할 수 없다.
또, 특허 문헌 1에는, 색수차에 의하여 발생하는 위색을 화상처리에 의해 경감하는 방법이 나타내어지고 있다. 이것은, 초록 채널의 고주파 성분이 높은 부분에 관하여, 색을 억제, 즉 채도를 저하시키는 처리를 행하는 것이다. 또, 과노출 하이라이트가 일어나고 있는 경우의 대책의 대책으로서, 노출을 바꾸고 2매의 화상을 촬상하고 과노출 하이라이트 부분의 본래의 휘도를 추정하고, 채도를 저하시키는 처리를 행하는 구성을 개시하고 있다.
그러나, 특허 문헌 1에 기재의 처리에서는, 과노출 하이라이트 부분의 휘도의 추정결과로부터 어느 정도 채도를 떨어뜨릴까를 판정하고 있기 때문에, 만일 추정이 잘못되어 버리는 경우, 본래의 피사체의 색이 과도하게 떨어져 버릴 가능성이 있고, 그 결과, 부자연스러운 결과 화상을 일으키는 경우가 있다. 또, 과노출 하이라이트 부분의 휘도추정을 위해서 노출을 바꾸어 2회 촬영을 행할 필요가 있고, 손 떨림이나 피사체 흔들림등이 일어났을 경우, 올바른 결과를 얻는 것은 곤란하게 된다고 하는 문제가 있다. 또한, 노출을 바꾸어 촬영해야 하기 때문에, 비 디오 카메라등으로 동영상 촬영을 행하는 경우, 이 방법은 적용할 수 없다고 하는 문제가 있다.
[특허 문헌 1] 특개 2003－60983호 공보
본 발명은, 상술의 문제점에 감안하여 이루어진 것이며, 비디오 카메라등으로 촬영된 동화상에 대한 효율적인 화상 보정처리를 가능하게 한 것이며, 촬상수단으로부터 입력되는 일정 프레임 레이트의 화상데이터에 대하여 리얼타임의 화상처리를 설치하고 메모리에 격납, 혹은 출력하는 처리를 실행하는 화상처리장치 및 화상처리방법과 컴퓨터·프로그램을 제공하는 것을 목적으로 한다.
본 발명은, 구체적으로는, 과노출 하이라이트 주변에 발생하는 퍼플 프린지등의 위색에 주목하고, 이 위색영역을 효율적으로 검출하고, 위색에 대한 보정을 중심으로 한 화상처리를 실행함으로써, 고품질인 화상데이터를 생성하는 것을 가능하게 한 화상처리장치 및 화상처리방법과 컴퓨터·프로그램을 제공하는 것을 목적으로 한다.
본 발명은, 특히, 화상데이터의 구성화소로부터 선택된 주목화소에 대하여, 위색인 가능성을 나타내는 파라미터로서의 위색정도를 산출하고, 위색정도에 근거하여 채도 삭감율을 산출하고, 산출한 채도 삭감율에 근거하여 채도 삭감 처리 및 그 후의 채도 보정처리에 의해, 과대한 채도저하화소를 발생시키지 않는 고품질인 화상데이터를 생성하는 것을 가능하게 한 화상처리장치 및 화상처리방법과 컴퓨터·프로그램을 제공하는 것을 목적으로 한다.
본 발명의 제 1의 측면은,
화상처리장치이며,
처리화상의 구성화소의 보정 파라미터로서, 각 화소에 대응하는 채도 삭감율을 산출하는 보정 파라미터 산출부와,
상기 채도 삭감율을 적용하고, 처리화상의 구성화소의 채도 삭감처리를 포함하는 화소값 보정처리를 실행하는 보정처리부를 가지고,
상기 보정처리부는,
상기 보정 파라미터 산출부의 산출하는 채도 삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하는 화소 채도 삭감 처리부와,
상기 화소 채도 삭감 처리부에 있어서 채도의 삭감된 채도삭감화소의 채도와 주위참조화소의 채도와의 차분을 축소하도록, 상기 채도삭감화소의 채도를 보정하는 화소 채도 보정처리부를 가지는 구성인 것을 특징으로 하는 화상처리장치에 있다.
또한, 본 발명의 화상처리장치의 일실시상태에 있어서, 상기 보정처리부는, 또한, 화소채도 보정처리부의 출력데이터에 대하여, 채도삭감처리를 설치한 화소와 주위화소의 색상 차분을 감소시키는 흐리게 하는 처리를 실행하는 흐리게 하는 처리부를 가지는 구성인 것을 특징으로 한다.
또한, 본 발명의 화상처리장치의 일실시형태에 있어서, 상기 화소 채도 보정처리부는, 상기 채도삭감화소의 근방에 있고, 또한 채도삭감화소와 동일 스캔 라인 에 따른 화소를 참조화소로서 선택하고, 이 선택된 참조화소와, 상기 채도삭감화소의 채도와의 차분을 축소하도록, 상기 채도삭감화소의 채도 보정처리를 실행하는 구성인 것을 특징으로 한다.
또한, 본 발명의 화상처리장치의 일실시형태에 있어서, 상기 화소 채도 보정처리부는, 상기 채도삭감화소의 근방에 있고, 또한 채도삭감화소와 동일 스캔 라인에 따른 화소를 참조화소로서 선택하고, 참조화소중, 가장 채도가 높은 화소의 채도에 상기 채도삭감화소의 채도를 가까이 하는 처리를 실행하는 구성인 것을 특징으로 한다.
또한, 본 발명의 화상처리장치의 일실시형태에 있어서, 상기 화소 채도 보정처리부는, 상기 채도삭감화소의 근방에 있고, 또한 채도삭감화소와 동일 스캔 라인에 따른 화소를 참조화소중, 가장 채도가 높은 화소의 채도가, 상기 채도삭감화소의 채도 삭감전의 채도 이하인 경우, 상기 채도삭감화소의 채도를 상기 채도삭감화소의 채도 삭감전의 채도에 접근하는 처리를 실행하는 구성인 것을 특징으로 한다.
또한, 본 발명의 화상처리장치의 일실시형태에 있어서, 상기 보정 파라미터 산출부는, 처리화상으로부터 선택된 주목화소에 대해서의,
(a) 주목화소의 색상과 위색의 색상과의 유사성 정보로서의 자도(紫度)와,
(b) 주목화소의 과노출 하이라이트 화소로부터의 거리정보를 산출하고,
(c) 상기 자도 및 거리정보에 근거하여 산출되는 위색도와,
(d) 주목화소의 과노출 하이라이트 화소로부터의 방향정보에 근거하여 산출되는 방향별 게인을 산출하고, 상기 위색도와 상기 방향별 게인에 근거하여, 주목 화소에 대응하는 채도 삭감율을 산출하는 구성인 것을 특징으로 한다.
또한, 본 발명의 화소처리장치의 일실시형태에 있어서, 상기 보정 파라미터 산출부는, 주목화소의 색상이 위색 색상과 유사하고, 과노출 하이라이트 화소로부터의 거리가 가까운 만큼, 큰 값의 위색도를 산출하고, 주목화소와 과노출 하이라이트 화소가, 스캔 라인에 따른 평행한 위치에 있는 만큼 큰 값의 방향별 게인을 산출하고, 주목화소의 위색도가 높고, 방향별 게인이 높은 만큼, 큰 값의 채도 삭감율을 산출하는 구성이며, 상기 화소 채도 삭감 처리부는, 상기 보정 파라미터 산출부의 산출한 채도 삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하는 구성인 것을 특징으로 한다.
또한, 본 발명의 화상처리장치의 일실시형태에 있어서, 상기 위색은 퍼플 프린지이며, 상기 자도는, 주목화소의 색상과 퍼플 프린지의 색상과의 유사성 정보로서의 자도인 것을 특징으로 한다.
또한, 본 발명의 제 2의 측면은,
화상처리방법이며,
처리화상의 구성화소의 보정 파라미터로서, 각 화소에 대응하는 채도 삭감율을 산출하는 보정 파라미터 산출 스텝과,
상기 채도 삭감율을 적용하고, 처리화상의 구성화소의 채도 삭감 처리를 포함하는 화소값 보정처리를 실행하는 보정처리 스텝을 가지고,
상기 보정처리 스텝은,
상기 보정 파라미터 산출 스텝에 있어서 산출하는 채도 삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하는 화소 채도 삭감 처리 스텝과,
상기 화소 채도 삭감 처리 스텝에 있어서 채도의 삭감된 채도삭감화소의 채도와 주위참조화소의 채도와의 차분을 축소하도록, 상기 채도삭감화소의 채도를 보정하는 화소 채도 보정처리 스텝을 가지는 것을 특징으로 한다.
또한, 본 발명의 화상처리방법의 일실시형태에 있어서, 상기 보정처리 스텝은, 또한, 화소 채도 보정처리 스텝의 출력 데이터에 대하여, 채도 삭감 처리를 실시한 화소와 주위화소의 색상의 차분을 감소시키는 흐리게 하는 처리를 실행하는 흐리게 하는 처리 스텝을 가지는 것을 특징으로 한다.
또한, 본 발명의 화상처리방법의 일실시형태에 있어서, 상기 화소채도 보정스텝은, 상기 채도삭감화소의 근방에 있고, 또한 채도삭감화소와 동일한 스캔 라인에 따른 화소를 참조화소로서 선택하고, 이 선택된 참조화소의 채도와, 상기 채도삭감화소의 채도의 차분을 축소하도록, 상기 채도삭감화소의 채도 보정처리를 실행하는 것을 특징으로 한다.
또한, 본 발명의 화상처리방법의 일실시형태에 있어서, 상기 화소 채도 보정처리 스텝은, 상기 채도삭감화소의 근방에 있고, 또한 채도삭감화소와 동일의 스캔 라인에 따른 화소를 참조화소로서 선택하고, 참조화소중, 가장 채도의 높은 화소의 채도에 상기 채도삭감화소의 채도를 접근하는 처리를 실행하는 것을 특징으로 한다.
또한, 본 발명의 화상처리방법의 일실시형태에 있어서, 상기 화소 채도 보정처리 스텝은, 상기 채도삭감화소의 근방에 있고, 또한 채도삭감화소와 동일의 스캔 라인에 따른 화소를 참조화소중, 가장 채도가 높은 화소의 채도가, 상기 채도삭감화소의 채도 삭감전의 채도이하인 경우, 상기 채도삭감화소의 채도를 상기 채도삭감화소의 채도 삭감전의 채도에 접근하는 처리를 실행하는 것을 특징으로 한다.
또한, 본 발명의 화상처리방법의 일실시형태에 있어서, 상기 보정 파라미터 산출 스텝은, 처리화상으로부터 선택된 주목화소에 대해서의,
(a) 주목화소의 색상과 위색의 색상과의 유사성 정보로서의 자도와,
(b) 주목화소의 과노출 하이라이트 화소로부터의 거리정보를 산출하고,
(c) 상기 자도 및 거리정보에 근거하여 산출되는 위색도와,
(d) 주목화소의 과노출 하이라이트 화소로부터의 방향정보에 근거하여 산출되는 방향별 게인을 산출하고, 상기 위색도와 상기 방향별 게인에 근거하여, 주목화소에 대응하는 채도 삭감율을 산출하는 스텝인 것을 특징으로 한다.
또한, 본 발명의 화상처리방법의 일실시형태에 있어서, 상기 보정 파라미터 산출 스텝은, 주목화소의 색상이 위색 색상과 유사하고, 과노출 하이라이트 화소로부터의 거리가 가까운 만큼, 큰 값의 위색도를 산출하고, 주목화소와 과노출 하이라이트 화소가, 스캔 라인에 따른 평행한 위치에 있는 만큼 큰 값의 방향별 게인을 산출하고, 주목화소의 위색도가 높고, 방향별 게인이 높은 만큼, 큰 값의 채도 삭감율을 산출하는 구성이며, 상기 화소 채도 삭감 처리 스텝은, 상기 보정 파라미터 산출 스텝에 있어서 산출한 채도 삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하는 것을 특징으로 한다.
또한, 본 발명의 화상처리방법의 일실시형태에 있어서, 상기 위색은 퍼플 프 린지이며, 상기 자도는, 주목화소의 색상과 퍼플 프린지의 색상과의 유사성 정보로서의 자도인 것을 특징으로 한다.
또한, 본 발명의 제 3의 측면은,
화상처리를 컴퓨터상에서 실행시키는 컴퓨터·프로그램이며,
처리화상의 구성화소의 보정 파라미터로서 각 화소에 대응하는 채도 삭감율을 산출하는 보정 파라미터 산출 스텝과,
상기 채도 삭감율을 적용하고, 처리화상의 구성화소의 채도 삭감 처리를 포함하는 화소값 보정처리를 실행하는 보정처리 스텝을 가지고,
상기 보정처리 스텝은,
상기 보정 파라미터 산출 스텝에 있어서 산출하는 채도 삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하는 화소 채도 삭감 처리 스텝과,
상기 화소 채도 삭감 처리 스텝에 있어서 채도의 삭감된 채도삭감화소의 채도와 주위참조화소의 채도와의 차분을 축소하도록, 상기 채도삭감화소의 채도를 보정하는 화소 채도 보정처리 스텝을 가지는 것을 특징으로 하는 컴퓨터·프로그램에 있다.
또한, 본 발명의 컴퓨터·프로그램은, 예를 들면, 여러가지 프로그램·코드를 실행 가능한 범용 컴퓨터·시스템에 대하여, 컴퓨터 가독인 형식으로 제공하는 기억매체, 통신매체, 예를 들면, CD나 FD, MO등의 기억매체, 혹은, 네트워크등의 통신매체에 의하여 제공 가능한 컴퓨터·프로그램이다. 이와 같은 프로그램을 컴퓨터가독인 형식으로 제공함으로써, 컴퓨터·시스템상에서 프로그램에 따른 처리가 실현된다.
본 발명의 또한, 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 의거하여, 보다 상세한 설명에 의하여 밝혀질 것이다. 또한, 본 명세서에 있어서 시스템은, 복수 장치의 논리적 집합구성이며, 각 구성의 장치가 동일 케이스내에 있는 것으로 한정되지 않는다.
이하, 도면을 참조하면서, 본 발명의 화상처리장치 및 화상처리방법과 컴퓨터·프로그램의 상세한 것에 대하여 설명한다.
우선, 화상처리장치의 구성예에 대하여 도 1을 참조하여 설명한다. 또한, 도 1에 나타내는 화상처리장치는, 촬상부를 갖추고, 촬상부에 있어서 촬영한 화상데이터의 보정처리를 실행하는 장치예로서 나타내고 있지만, 본 발명의 화상처리장치는, 예를 들면 하드 디스크등의 기억부에 격납된 화상데이터를 입력하고 입력화상의 보정을 실행하는 것도 가능하며, 보정처리대상의 화상데이터는, 촬상부를 거쳐서 입력되는 데이터뿐만 아니라, 기억수단, 혹은 네트워크를 거쳐서 입력하는 화상데이터등 모든 입력 화상데이터에 대응 가능하다. 도 1은 본 발명의 화상처리장치의 일구성예를 나타내는 것이다.
도 1에 나타내는 화상처리장치의 상세 구성에 대하여 설명한다. 도 1에 나타내는 바와 같이, 화상처리장치는, 렌즈(101), 조리개(102), 고체촬상소자(CCD)(103), 상관 2중 샘플링회로(104), A／D컨버터(105), DSP 블록(106), 타이밍제너레이터(107), D／A컨버터(108), 비디오 인코더(109), 비디오 모니터(110), 코덱(CODEC)(111), 메모리(112), CPU(113), 입력 디바이스(114)로 구성된다.
입력 디바이스(114)는 카메라 본체에 있는 녹화 버튼등의 조작버튼류를 포함한다. 또, DSP블록(106)은 신호처리용 프로세서와 화상용 RAM를 가지는 블록으로, 신호처리용 프로세서가 화상용 RAM에 격납된 화상데이터에 대하여 미리 프로그램된 화상처리를 행할 수 있게 되어 있다. 이하 DSP블록을 간단히 DSP라고 부른다.
본 실시예의 전체적인 동작을 이하에 설명한다.
광학계를 통과하고 고체촬상소자(CCD)(103)에 도달한 입사광은, 우선 촬상 면상의 각 수광소자에 도달하고, 수광소자로의 광전변환에 의하여 전기신호로 변환되며, 상관 2중 샘플링회로(104)에 의하여 노이즈 제거되며, A／D컨버터(105)에 의하여 디지털신호로 변환된 후, 디지털 신호처리부(DSP)(106)중의 화상메모리에 일시 격납된다.
촬상중 상태에 있어서는, 일정의 프레임 레이트에 의한 화상 받아들이는 것을 유지하도록 타이밍 제너레이터(107)가 신호처리계를 제어한다. 디지털 신호 처리부(DSP)(106)로도 일정한 레이트로 화소의 스트림이 보내지며, 거기서 적절한 화상처리가 행해진 후, 화상데이터는 D／A컨버터(108) 혹은 코덱(CODEC)(111) 혹은 그 양쪽에 보내진다. D／A컨버터(108)는 디지털 신호 처리부(DSP)(106)로부터 보내지는 화상데이터를 아날로그 신호로 변환하고, 그것을 비디오 인코더(109)가 비디오 신호로 변환하고, 그 비디오 신호를 비디오 모니터(110)로 모니터 할 수 있도록 되어 있고, 이 비디오 모니터(110)는 본 실시예에 있어서 카메라의 파인더의 역할을 담당하고 있다. 또, 코덱(CODEC)(111)은 디지털 신호 처리부(DSP)(106)로 부터 보내지는 화상데이터에 대한 부호화를 행하고, 부호화된 화상데이터는 메모리(112)에 기록된다. 여기서, 메모리(112)는 반도체, 자기기록매체, 광자기 기록매체, 광기록매체등을 이용한 기록장치등이여도 좋다.
이상이 본 실시예의 화상처리장치의 일례로서의 디지털 비디오 카메라의 시스템 전체의 설명이지만, 본 발명에 관계되는 화상처리, 즉 화상데이터의 보정처리는 디지털 신호처리부(DSP)(106)에 있어서 실행된다.
이하, 본 발명의 화상처리장치의 디지털 신호 처리부(DSP)(106)에 있어서 실행하는 화상데이터 보정처리의 상세에 대하여 설명한다. 본 발명의 화상처리장치에 있어서 실행하는 화상처리는, 주로 과노출 하이라이트 주변에 발생하는 퍼플 프린지등의 위색을 검출하고 각 화소의 위색정도를 산출하고, 산출한 위색정도에 대응하는 적절한 보정을 실행하는 것이며, 이 보정처리에 의해 고품질인 화상데이터를 생성한다.
우선, 위색(퍼플 프린지)의 발생상태와, 본 발명의 처리의 개요에 대하여 설명한다. 위색(퍼플 프린지)은, 색수차에 의한 색차이가, 과노출 하이라이트 화소부분 주변에서 눈에 띄게 나타나는 현상이다. 과노출 하이라이트 화소란, 휘도 레벨이 포화레벨에 가까운 고휘도의 화소이다. 이와 같은 고휘도 화소인 과노출 하이라이트 화소 주변의 화소에, 본래의 피사체의 색상과는 다른 예를 들면 보라색의 위색을 일으킨다. 이 위색화소가 퍼플 프린지(PF)로 불린다.
위색(PF：퍼플 프린지)이 발생하는 과노출 하이라이트의 주위 범위 크기는, 광학계의 조리개, 촛점거리에 연동하고 있고, 또, 광학중심에서의 거리에도 의존하 고, 크기가 바뀐다. 또, 위색이 나오는 방향도, 광학 중심으로부터 과노출 하이라이트 화소의 외측으로 향하는 방향, 과노출 하이라이트 화소로부터 광학중심으로 향하는 방향 각각 발생하고, 그 경향은, 촬상하는 광학계에 의해 다르다.
본 발명의 화상처리에 있어서는, 촬영화상으로서 입력되는 화상 프레임의 구성화소를 순차, 주목화소로서 선택하고, 주목화소의 근방에 과노출 하이라이트 화소가 존재하는지를 판정하고, 또한, 그 주목화소가 보라색으로 또한, 채도가 상당히 강한지를 판정한다. 즉,
(a) 주목화소 근방에 과노출 하이라이트 화소가 존재한다.
(b) 주목화소가 보라색
(c) 주목화소의 채도가 매우 강하다.
이들 조건을 만족하는 화소는, 위색(PF：퍼플 프린지)화소라고 판정하고, 보정처리를 실행한다.
보정처리의 모양으로서는, 예를 들면, 검출된 위색화소의 주변에 있는 위색(PF)이 아닌 화소의 화소값을 취득하고, 취득한 화소값의 평균값을 위색화소의 화소값으로 하는 등, 이른바 주변화소에 근거하여 보간처리를 실행하는 것으로 위색(PF)화소의 보정처리를 행하는 것도 하나의 방법이지만, 이와 같은 주변화소의 화소값을 취득하고, 취득한 화소값에 의거하여 위색화소로 설정하는 화소값을 산출하고, 산출 화소값을 위색화소의 화소값에 재설정하는 보정처리는 처리부하로서 크게 된다고 하는 문제가 있다.
예를 들면 비디오 카메라에 의한 촬영 화상으로 일정한 프레임 레이트로 입 력되는 화상에 대하여 상술의 보간처리를 실행했을 경우, 보정처리가 비디오 프레임 레이트에 미치지 못할 가능성이 높고, 비디오 카메라에 의한 촬영화상에 대한 처리로 하는 것은 현실적이지 않다.
본 발명의 화상처리에서는, 상술의 주위화소의 화소값을 적용한 보간처리가 아니고, 화소의 채도의 저하처리를 행하는 구성으로 하고 있다. 그렇지만, 상기의 판정조건(a)~(c)을 만족하는 화소를 위색(PF)화소로서 선택하고, 선택한 위색(PF) 화소에만 대하여 채도저하처리를 실행했을 경우, 채도저하 처리를 행한 위색(PF)화소의 주위화소의 채도에 의해서는, 위색(PF) 화소부분만 탈색이 눈에 띄게 되며, 부자연스러운 화상으로 보여 버리는 경우가 있다.
이 현상에 대하여, 도 2를 참조하여 설명한다. 도 2는, 고휘도 화소인 과노출 하이라이트 화소에 접하는 영역에, 위색(PF)화소가 존재하는 경우의 처리예에 대하여 설명하는 도면이다. 도 2a와 도 2b로 각각 구성화소의 채도가 다른 경우의 처리에 대하여 나타내고 있다. 도 2a, 도 2b에 있어서 (A0) 및 (B0)가 처리전의 화소구성을 나타내고, 거의 포화휘도 레벨을 가지는 과노출 하이라이트 화소(150, 160)에 인접하고 퍼플 프린지 화소로서의 위색(PF)화소(151, 161)가 있다. 또한, 도면에 나타내는 과노출 하이라이트 화소(150, 160), 위색(PF)화소(151, 161) 통상화소(152, 162)는, 하나의 화소는 아니고 복수화소로 이루어지는 화소군을 나타내고 있다.
위색(PF)화소(151, 161)의 근처에는, 위색화소가 아닌 피사체로서의 물체의 색상, 채도를 가지는 통상화소(152, 162)가 인접하고 있다. 여기서, 도면에 나타 내는 점선은 피사체로서의 물체의 윤곽인 물체윤곽(155, 165)이다. 도 2a와 도 2b와의 차이는, 위색(PF)화소(151, 161)에 인접하는 통상화소(152, 162)의 채도이다.
도 2a의 경우, 위색(PF)화소(151)에 인접하는 통상화소(152)의 채도는 높고 고채도 화소이다. 도면중에 나타내는 검은 동그라미는, 각 화소 채도의 레벨을 모식적으로 나타내고 있다. 상방향이 고채도이며, 하방향이 저채도를 나타내는 것으로 한다. 도 2b의 경우, 위색(PF)화소(161)에 인접하는 통상화소(162)의 채도는 낮고 저채도 화소이다. 도면중에 나타내는 검은 동그라미는 각 화소의 채도의 레벨을 모식적으로 나타내고 있다. 상방향이 고채도이며, 하방향이 저채도 이다. 또한, 위색(PF)화소(151, 161)는 채도가 높고, 색상으로서는 보라색의 화소로 되며, 본래의 피사체로서의 물체의 색이나 채도를 반영하고 있지 않다. 이와 같은 경우, 위색(PF)화소(151, 161)의 채도저하처리를 행하면, 많은 경우, 위색(PF)화소(151, 161)가 눈에 띄지 않게 되며, 개선된 화상이 얻어진다.
그러나, 상술한 바와 같이, 경우에 따라서, 즉 위색(PF)화소의 주위화소가 가지는 채도에 의하여, 위색(PF)화소 부분만 탈색이 눈에 띄게 되며, 부자연스러운 화상으로 보이는 경우가 있다.
도 2a에 있어서의 위색(PF)화소(151)도, 도 2b에 있어서의 위색(PF)화소(161)도, 상술의 조건, 즉,
(a) 주목화소 근방에 과노출 하이라이트 화소가 존재한다.
(b) 주목화소가 보라색(자색)
(c) 주목화소의 채도가 매우 강하다.
이들 조건을 만족하는 화소이며, 위색(PF：퍼플 프린지)화소이다고 판정하고, 채도저하 처리를 가한다고 한다.
위색화소의 채도저하 처리의 결과가, 도 2a에서는 (A1), (A2)이며, (A1)은, 위색(PF)화소(151)의 채도를 조금 저하시킨 처리 결과이며, (A2)는, 위색(PF)화소(151)의 채도를 크게 저하시킨 처리 결과를 나타낸다. 도 2b도 동일하게, (B1)는, 위색(PF)화소(161)의 채도를 조금 저하시킨 처리결과이며, (B2)는, 위색(PF) 화소(161)의 채도를 크게 저하시킨 처리 결과를 나타낸다. 도면중에 나타내는 검은 동그라미표시의 아래방향으로의 이동량이 채도의 저하량에 상당한다.
도 2(A2)에 나타내는 바와 같이, 위색(PF)화소(151)의 채도를 크게 저하시킨 경우, 인접하는 통상화소(152)가 고채도인 것에도 불구하고, 위색(PF)화소(151)의 채도만이 크게 떨어지게 되며, 2개의 화소간에 분명한 채도의 단차가 발생해 버린다. 본래, 위색(PF)화소(151)도 통상화소(152)도 물체윤곽(155)에 의하여 구획되는 2개의 물체를 나타내는 화소이며, 큰 채도의 차이는 발생하지 않을 것이다. 그러나, 도 2(A2)에 나타내는 보정처리화상에 있어서는, 시각적으로 채도저하 처리를 가한 위색(PF)화소(151)의 채도가, 통상화소(152)와 동떨어진 채도로 저하하고 있고, 이 채도저하 화소는, 시각적으로 눈에 띄는 화소로 되며, 매우 부자연스러운 외형으로 되어 버린다. 이와 같은 경우는, 채도저하의 보정처리가 화상품질의 향상에 결합되지 않다고 하는 것을 말할 수 있다.
본 발명의 화상처리에 있어서는, 이와 같은 화소구성의 경우에는, 위색(PF) 화소(151)의 채도를 인접하는 통상화소(152)의 채도에 비해 크게 떨어지지 않도록 보정을 행하는 것으로, 부자연스러움을 해소한다. 예를 들면, (A1)에 나타내는 정도의 위색(PF)화소(151)의 채도저하처리를 행하고, 통상화소(152)와의 채도의 차이가 과도하게 커지지 않게 한다.
한편, 도 2b에 나타내는 바와 같이, 위색(PF)화소(161)에 인접하는 통상화소(162)의 채도가 낮고 저채도화소인 경우는, 도 2(B2)에 나타내는 바와 같이, 위색(PF)화소(161)의 채도를 크게 저하시키는 처리를 행해도, 인접하는 통상화소(162)와의 채도의 차이가 커지지 않고, 채도저하처리를 행한 위색(PF)화소(161)가 눈에 띄게 되는 일은 없다. 즉, 이 경우는, 인접하는 통상화소(162)의 채도도 낮고, 2개의 화소간에서의 채도의 차이가 적기 때문에, 시각적인 부자연스러움을 느끼지 않는다.
반대로, 이와 같이 인접하는 통상화소(162)의 채도가 낮은 경우, (B1)에 나타내는 바와 같이, 위색(PF)화소(161)에 대하여 저하량을 작게 설정한 채도저하 처리를 가했을 경우는, 위색(PF)화소(161)의 채도와 통상화소(162)의 채도에 차분이 잔존함으로써, 위색(PF)화소(161)가 눈에 띄고, 퍼플 프린지인 것이 시각적으로 인식되는 부자연스러운 화상으로 되어 버린다. 따라서, (B)와 같은 화소구성의 경우는, 위색(PF)화소(161)에 대하여 저하량을 크게 설정한 채도저하처리를 가하는 것이 바람직하다.
본 발명의 화상처리에 있어서는, 위색(PF)화소의 채도저하처리할 때, 위색(PF)화소의 주변영역에 있는 화소와의 채도의 차이를 크게 하지 않도록 채도조정처 리를 행하고, 고품질인 보정화상을 생성한다. 이하, 본 발명의 화상처리의 상세에 대하여 설명한다.
본 발명의 화상처리에서는, 예를 들면 도 1에 나타내는 화상처리장치의 촬상부에 있어서 촬영되며, 디지털 신호처리부(DSP)(106)에 입력되는 각 화상 프레임의 구성화소에 대하여, 후술하는 위색정도(PF정도)를 산출하고, 산출한 각 화소 대응의 위색정도(PF정도)에 근거하여 보정처리를 행한다. PF는 퍼플 프린지(Purple　Fringe)를 의미한다.
또한, 상술한 바와 같이, 휘도레벨에 있어서의 포화상태로서의 과노출 하이라이트가 일어나고 있는 하이콘트라스트의 에지부분에 발생하는 렌즈수차에 의한 위색의 대표적인 현상을 퍼플 프린지라고 부르지만, 위색의 색은 보라색으로 한정되는 것이 아니고, 예를 들면 초록을 띤 색으로 되는 경우등도 있다. 이하의 실시예에서는, 보라색의 위색을 일으킨 예로서 설명하지만, 본 발명은 보라색에 한정하지 않고, 과노출 하이라이트 근방에 발생하는 임의의 색을 가지는 위색 보정처리에 적용 가능하다.
도 3을 참조하고, 본 발명의 화상처리장치에 있어서의 디지털 신호 처리부(DSP)(106)에 있어서 실행하는 화상처리의 전체 시퀀스에 대하여 설명한다. 디지털 신호처리부(DSP)(106)에서는 예를 들면 컴퓨터·프로그램에 따른 데이터 처리가 실행된다. 도 3은, 디지털 신호 처리부(DSP)(106)에 있어서 실행되는 처리를 설명하기 위해, 기능별 블록으로서 나타낸 블럭도이다.
디지털 신호 처리부(DSP)(106)는, 도 3에 나타내는 바와 같이, 화이트 밸런 스 조정수단(201), 감마 보정처리수단(202), 디모자이크 처리수단(203), YcbCr변환수단(204), 에지강조처리수단(205), 위색(PF) 보정처리수단(206)으로 구성되어 있다.
도 1에 나타낸 화상처리장치의 고체촬상소자(CCD)(103)에서 취득된 화상신호는 색의 모자이크화상(251)이다. 예를 들면 원색계의 색배열(예를 들면 베이어 배열)등의 색배열을 가지는 컬러필터를 거친 촬상을 행하면, 각 화소에 대하여 특정 파장의 신호, 즉, 특정 파장의 색성분 데이터만을 취득한다. 예를 들면 베이어 배열의 단판(單板) 컬러방식의 고체촬상소자를 이용했을 경우, 고체촬상소자의 출력 화상은, 각 화소에 R, G, B의 어느 것의 정보만을 가지는 색모자이크 화상데이터(251)로 된다.
디지털 신호 처리부(DSP)(106)는, 이 색모자이크 화상데이터(251)를 입력하고, 우선 화이트 밸런스 조정수단(201)에서 화이트 밸런스를 조정을 실행하고, 그 다음에 감마보정처리수단(202)에서 감마보정처리를 행하고, 디모자이크수단(203)에 있어서 색모자이크화상으로부터 RGB데이터가 모든 화소로 설정된 데이터 생성처리로서의 디모자이크처리를 실행한다.
그 후, RGB 데이터가 모든 화소에 설정된 디모자이크 화상데이터를 YCbCr변환수단(204)에 입력하고, YCbCr 변환수단(204)에 있어서, RGB 신호의 YcbCr색공간(color space)으로의 변환처리를 실행하고, 휘도신호(Y)와 색신호(Cb, Cr)로 분리하고, 휘도신호(Y)를 에지강조처리수단(205)에 입력하고, 휘도신호(Y)에 근거하여 에지강조처리를 실행한다.
다음에, 위색(PF) 보정처리수단(206)에 있어서, 에지강조처리후의 휘도신호(Y)와 색신호(Cb, Cr)를 입력하고, 위색(PF) 보정처리를 실행하고, 보정된 휘도신호(Y)와 색신호(Cb, Cr)로 이루어지는 YCbCr 화상데이터(252)를 출력한다. YCbCr 화상데이터(252)에 근거하여 화상데이터가 화상처리장치내의 메모리에 격납되며, 또 모니터 수단등의 출력부에 출력된다.
도 3에 나타내는 처리 구성중, 화이트 밸런스 조정수단(201)∼에지강조처리수단(205)에 있어서의 처리는, 종래의 디지털 비디오 카메라등의 화상처리장치에 있어서 실행되는 처리와 동일 처리이며, 상세한 설명은 생략한다. 위색(PF) 보정처리수단(206)에 있어서의 처리는, 본 발명에 특유의 처리이며, 이하, 위색(PF) 보정처리수단(206)에 있어서 실행하는 처리의 상세에 대하여 설명한다.
도 4에, 위색(PF) 보정처리수단(206)의 처리를 설명하는 블럭도를 나타낸다. 상술한 바와 같이, 디지털 신호처리부(DSP)(106)에서는 예를 들면 컴퓨터·프로그램에 따른 데이터 처리가 실행된다. 도 4는, 도 3과 동일, 디지털신호처리부(DSP)(106)에 있어서 실행되는 처리를 설명하기 위해, 기능별 블록으로서 나타낸 블럭도이다. 도 4에 나타내는 각 블록은, 위색(PF) 보정처리수단(206)으로 실행하는 개개 처리기능에 대응하고, 각 처리 기능사이에서 주고 받는 데이터를, 상하 선에 의하여 사이에 끼여진 데이터로서 나타내고 있다.
위색(PF) 보정처리수단(206)은, 도 4에 나타내는 바와 같이, 크게 2개의 처리부에 분할된다. 하나는, 보정 파라미터(채도 삭감율)산출부(300)이며, 다른 하나는 보정처리부(310)이다. 보정 파라미터(채도 삭감율)산출부(300)에서는, 입 력 화상데이터인 YCbCr 입력화상(351)에 근거하여, 입력화상의 구성화소 각각에 대하여, 얼마나 위색(PF)에 가까운가라고 하는 지표값인 위색도를 산출하고, 산출한 위색도에 근거하여, 또한, 보정 파라미터인 채도 삭감율을 계산한다. 위색도 및 채도 삭감율은, 화상데이터의 구성화소 각각에 대한 화소 대응값으로서 차례차례, 산출된다.
보정처리부(310)는, 보정 파라미터(채도 삭감율)산출부(300)의 산출한 화소 대응의 채도 삭감율을 입력하고, 입력한 채도 삭감율에 근거하여, 입력 화상데이터인 YCbCr 입력화상(351)의 구성화소의 화소값 보정, 구체적으로는, 채도 삭감 처리, 채도 보정처리 흐르게 하는 처리의 각 처리를 실행한다. 보정처리부(310)에 있어서의 보정처리의 결과가, 보정결과화상, 즉 YCbCr 출력화상(371)으로서 출력되며, YCbCr 출력화상(371)에 의거하여 화상데이터가 메모리에 격납 혹은 모니터에 출력된다.
우선, 도 4에 나타내는 위색(PF) 보정처리수단(206)에 있어서 실행하는 일련의 처리의 개요에 대하여 설명한다. 각 구성부의 처리의 상세에 대해서는 후단에서 설명한다. 도 3의 YCbCr 변환수단(204)과 에지강조처리수단(205)으로부터 에지강조처리가 실시된 YCbCr화상(351)이, 휘도성분［Y］(352)과 색차성분［C］(353)으로 나누어 위색(PF) 보정처리수단(206)에 입력된다. 입력은, 예를 들면 스캔 라인에 따른 각 화소마다, 휘도성분［Y］(352)과 색차성분［C］(353)이 차례차례 입력된다.
우선, 보정 파라미터(채도 삭감율)산출부(300)의 과노출 하이라이트 검출부 (301)는, 휘도성분［Y］(352)을 사용하고 과노출 하이라이트 검출처리를 행하고, 과노출 하이라이트 검출 맵［W］(354)을 출력한다. 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)에서는, 이 과노출 하이라이트 출력 맵［W］(354)을 입력으로 하고, 주목화소의 과노출 하이라이트 화소로부터의 거리 및 방향 벡터의 계산처리를 행하고, 가장 가까운 과노출 하이라이트까지의 거리［Wi］(355)와, 가장 가까운 과노출 하이라이트가 있는 방향 벡터［WDirect］(356)를 출력한다.
과노출 하이라이트도 계산부(303)는, 가장 가까운 과노출 하이라이트까지의 거리［Wi］(355)를 입력으로서 과노출 하이라이트도 계산처리를 행하고, 과노출 하이라이트도［Wr］를 위색도 계산부(306)에 출력한다. 한편, 가장 가까운 과노출 하이라이트가 있는 방향벡터［WDirect］(356)는 방향별 게인계산부(304)에 입력되며, 방향 벡터［WDirect］(356)에 근거하여, 방향별 게인［Dr］을 산출하고, 채도 삭감율 계산부(307)에 출력한다.
한편, 입력화상(351)의 색차성분［C］(353)은, 자도 계산부(305)에 입력되고, 색차성분［C］(353)에 근거하여 자도［Pr］(357)를 산출하고, 산출한 자도［Pr］(357)를 위색도 계산부(306)에 출력한다.
위색도 계산부(306)는, 자도［Pr］(357)와 과노출 하이라이트도［Wr］(356)를 입력으로 하고, 위색도［PFr］(358)를 산출하고, 산출한 위색도［PFr］(358)를 채도 삭감율 계산부(307)에 출력한다.
채도 삭감율 계산부(307)는, 위색도［PFr］(358)와 방향별 게인［Dr］(359)을 입력으로 하고, 이들 입력값에 근거하여 채도 삭감율［R］(360)을 산출하고, 보 정처리부(310)의 각 구성부, 즉, 화소 채도 삭감 처리부(311), 화소 채도 보정처리부(312), 화소색차성분 흐리게 하는 처리부(313)에 출력한다.
화소 채도 삭감 처리부(311)는, 입력화상(351)의 색차성분［C］(353)을 입력하고, 보정 파라미터(채도 삭감율) 산출부(300)로부터 입력하는 채도 삭감율［R］(360)에 근거하여 위색(PF) 화소부분의 채도삭감처리를 행하고, 위색(PF)부분 채도 삭감결과화상［Cs］(361)을 화소채도 보정처리부(312)에 출력한다.
화소 채도 보정처리부(312)는, 화소 채도 삭감 처리부(311)로부터 위색(PF)부분 채도삭감 결과화상［Cs］(361)을 입력하고, 채도의 저하량의 보정을 실행한다. 즉, 화소채도 삭감처리부(311)에 있어서 채도를 너무 저하시킨 부분등을 검출하고, 주변 화소의 채도를 참고로 한 채도 보정처리를 행한다.
화소 채도 보정처리부(312)는, 화소 채도 삭감 처리부(311)에 있어서, 채도저하처리를 실행한 화소, 즉 주로 위색(PF)으로서 판정된 화소를 보정대상으로서 선택하고 보정처리를 행한다. 즉, 채도보정의 대상범위는 채도를 떨어뜨린 부분이기 때문에, 채도 삭감율［R］(360)이 0이 아닌 화소를 선택하는 것이 필요하게 되기 때문에, 화소채도 보정처리부(312)는, 채도 삭감율［R］(360)을 입력하고, 채도 삭감율［R］(360)≠0의 화소를 선택하고, 채도 보정을 행한다.
화소 채도 보정처리부(312)는, 채도 보정이 행해진 결과 화상인 채도 보정 화상［Cc］(362)을 화소색차성분 흐리게 하는 처리부(313)에 출력한다. 화소색차성분 흐리게 하는 처리부(313)는, 채도 보정 화상［Cc］(362)에 있어서의 색차성분에 대하여 Blur를 거는 처리, 즉, 흐리게 하는 처리를 실행한다. 흐리게 하는 처 리에 대해서도 모든 화소에 대하여 실행하지 않으므로, 채도삭감, 보정처리의 실행된 화소를 포함하는 영역이 처리 대상으로서 선택되어 흐리게 하는 처리가 실행된다. 화소색차성분 흐리게 하는 처리부(313)는, 이 처리대상영역의 선택을 위해 채도삭감율［R］(360)을 입력하고, 채도 삭감율［R］(360)≠0의 화소를 선택하고, 흐리게 하는 처리의 처리대상영역을 결정하고 흐리게 하는 처리를 행한다.
화소색차성분 흐리게 하는 처리부(313)는, 흐리게 하는 처리를 실행하고, 보정 결과로서의 보정색차성분 화상［Ctemp］(363)을 생성하여 출력한다. 보정색차성분 화상［Ctemp］(363)은, 휘도성분［Y］(365)과 합성되고, 최종적인 YCbCr 출력 화상(371)으로서 출력된다. 이 보정처리의 결과로서의 출력 YCbCr 출력화상(371)이 화상처리장치내의 메모리에 격납되며, 또 모니터 수단등의 출력부에 출력된다.
도 5에, 상술한 위색(PF) 보정처리수단(206)의 실행하는 일련의 처리의 처리 순서를 설명하는 플로차트를 나타낸다. 스텝(S101~S106)의 처리는, 보정 파라미터(채도 삭감율) 산출부(300)의 처리에 상당하고, 스텝(S107~S109) 처리는, 보정처리부(310)의 처리에 상당한다.
스텝(S101)은, 보정 파라미터(채도 삭감율) 산출부(300)의 과노출 하이라이트 검출부(301)에 있어서의 과노출 하이라이트 검출처리, 스텝(S102)은, 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)에 있어서의 과노출 하이라이트로부터의 거리·방향 벡터 계산처리, 스텝(S103)은, 과노출 하이라이트도 계산부(303)에 있어서의 과노출 하이라이트도 계산처리와 방향별 게인 계산부에 있어서의 방향별 게인계산처리, 스텝(S104)은, 자도 계산부(305)에 있어서의 자도계산처리, 스텝 (S105)은, 위색도 계산부(306)에 있어서의 위색도 계산처리, 스텝(S106)은, 채도삭감율 계산부(307)에 있어서의 채도 삭감율 계산 처리이다.
스텝(S107)은, 보정처리부(310)의 화소 채도 삭감 처리부(311)에 있어서의 위색(PF) 화소채도 삭감처리, 스텝(S108)은, 화소 채도 보정처리부(312)에 있어서의 위색(PF) 화소채도 보정처리, 스텝(S109)은, 화소색차성분 흐리게 하는 처리부(313)에 있어서의 위색(PF) 화소색차성분 흐리게 하는 처리이다. 이상의 처리스텝이 실행되고, 최종적인 보정 화상데이터인 YCbCr 출력화상(371)이 생성, 출력된다.
이하, 위색(PF) 보정처리수단(206)의 각 구성부 처리의 상세에 대하여 설명한다. 또한, 본 실시예에 있어서, 처리대상으로 하는 화상데이터는, 화상의 가로폭=width, 화상의 세로폭=height의 화상 프레임 데이터이며, 화상 프레임 데이터의 스캔 라인에 따라서 각 구성화소 대응 데이터를 차례차례 입력하고 보정처리를 행한다.
우선, 보정 파라미터(채도 삭감율) 산출부(300)의 처리에 대하여 설명한다. 상술한 바와 같이, 보정 파라미터(채도 삭감율) 산출부(300)에서는, 위색(PF)도를 산출하고, 산출한 위색도에 근거하여, 또한 보정 파라미터인 채도 삭감율을 계산한다. 위색(PF)도는, 화상데이터의 구성화소 각각에 대하여 산출되는 것이며, 각 화소의 과노출 하이라이트 화소로부터의 거리와 각 화소의 색상의 위색(퍼플 프린지)색상에 대한 유사성에 의거하여 산출된다. 본 실시예에서는, 과노출 하이라이트 화소로부터 가까운 위치에 있고, 보라색인 화소를 위색(PF：퍼플 프린지) 화소 이다고 추정한다. 따라서 위색(PF)도는, 과노출 하이라이트 화소로부터의 거리가 가깝고, 보라색에 가까운 만큼 높아진다.
과노출 하이라이트 검출부(301)
보정 파라미터(채도 삭감율) 산출부(300)의 과노출 하이라이트 검출부(301)는, 휘도성분［Y］(352)을 사용하고, 과노출 하이라이트 검출처리를 행하고, 과노출 하이라이트 검출 맵［W］(354)을 출력한다. 도 6에 나타내는 과노출 하이라이트 검출부(301)의 실행하는 처리순서를 설명하는 플로차트(flow chart)를 나타낸다. 플로차트에 따라서 과노출 하이라이트 검출부(301)의 실행하는 처리에 대하여 설명한다. 도 6에 나타내는 플로우는, 도 5의 플로차트(flow chart)의 스텝(S101) 처리에 대응하는 처리이다.
도 6에 나타내는 처리 플로우는, 2개의 틀을 나타내고,
외부 케이스에, For(y=0；y＜height；y=y＋1)로 나타내고,
내부 케이스에, For(x=0；x＜width；x=x＋1)로서 나타내고 있지만,
스텝(S201~S205)을 나타내는 내부케이스는,
For(x=0；x＜width；x=x＋1)
에 대한 처리, 즉 화상데이터의 하나의 스캔 라인인 x축에 따른 처리로서 실행되며, x축에 따라 0~width의 각 화소마다 스텝(S201~S205)처리를 실행하는 것을 의미하고 있다. 하나의 스캔 라인이 종료하면, 다음의 스캔 라인처리가 동일하게 실행된다. 이것은, 도 6의 외측선에 나타내는 바와 같이,
For(y=0；y＜height；y=y＋1)
에 대한 처리로서 실행되며, 스캔 라인에 수직인 y축에 따라, 1개씩 스캔라인을 이동시키고, For(x=0；x＜width；x=x＋1)의 처리, 즉, x축에 따라 0~width의 각 화소마다 스텝(S201~S205) 처리를 실행하는 것을 의미하고 있다. 결과로서, 화상프레임에 있어서의(x=0~width, y=0~height)의 전구성화소에 대하여, 차례차례 스텝(S201~S205) 처리가 실행되게 된다.
각 스텝 처리에 대하여 설명한다. 스텝(S201)에 있어서, 과노출 하이라이트 검출부(301)는, 입력된 휘도성분화상［Y］(352)으로부터 각 화소의 휘도값을 취득한다. 주목화소는 화소(x, y)이며, 주목화소(x, y)의 휘도값을 Y(x, y)로 한다. 스텝(S202)에 있어서, 주목화소의 휘도값 Y(x, y)과 미리 설정한 임계치와 비교한다.
스텝(S203~S205)에서는, 주목화소(x, y)의 휘도값 Y(x, y)=ｖalue이 임계치 보다도 크면, 주목화소(x, y)의 플래그(flag)=［true］, 그렇지 않으면 플래그(flag)=［false］로 하여, 과노출 하이라이트 검출 맵［W(x, y)］(354)을 설정한다. 이것을 가로폭=width, 세로폭=height의 화상을 구성하는 모든 화소(x=0~width, y=0~height)에 대하여 판정하고, 각 화소대응의 플래그(true 또는 false)를 설정한 과노출 하이라이트 검출 맵［W(x, y)］(354)을 완성시키고, 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)에 출력한다.
과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)
과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)에서는, 과노출 하이라이트 출력 맵［W］(354)을 입력으로 하고, 주목화소(x, y)의 과노출 하이라이 트 화소로부터의 거리 및 방향 벡터의 계산처리를 행하고, 주목화소(x, y)에 가장 근접한 과노출 하이라이트 화소, 즉 가장 가까운 과노출 하이라이트까지의 거리［Wi］(355)와, 주목화소(x, y)로부터 가장 가까운 과노출 하이라이트가 있는 방향을 나타내는 방향 벡터［WDirect］(356)를 출력한다. 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)의 처리에 대하여, 도 7의 플로차트(flow chart)를 참조하여 설명한다. 도 7에 나타내는 플로우는, 도 5의 플로차트의 스텝(S102) 처리에 대응하는 처리이다.
또한, 도 7에 나타내는 처리 플로우도, 도 6의 플로우와 동일하게, 2개의 틀, 즉, For(y=0；y＜height；y=y＋1)로 나타내는 외부케이스와, For(x=0；x＜width；x=x＋1)으로서 나타내는 내부케이스를 가지고, 처리대상 화상프레임에 있어서의(x=0~width, y=0~height)의 구성화소에 대하여, 차례차례 각 스텝의 처리가 실행된다.
우선, 스텝(S301)에 있어서, 주목화소(x, y)에 대응하는 과노출 하이라이트 탐색범위(x0, y0, x1, y1)의 산출을 행한다. 주목화소(x, y)에 대응하는 과노출 하이라이트 탐색범위(x0, y0, x1, y1)의 설정처리는, 주목화소(x, y)의 근방영역에 존재하는 가능성 있는 과노출 하이라이트 화소의 탐색영역을 설정하는 처리이다. 이 처리의 상세에 대해서는, 후술한다.
스텝(S302)에 있어서, 주목화소(x, y)와 과노출 하이라이트 화소와의 최단 거리를 나타내는 변수［Dmin］를 초기화한다. 다음으로, 스텝(S303)으로 진행되고, 스텝(S304~S308) 처리를 주목화소(x, y)에 대하여 설정된 과노출 하이라이트 탐색범위(x0, y0, x1, y1)내에 있어서 과노출 하이라이트 화소의 검출을 실행하고, 주목화소(x, y)와 과노출 하이라이트 화소와의 최단거리［Dmin］와, 주목화소(x, y)로부터 과노출 하이라이트 화소로의 방향(sx, sy)=(｜s｜,｜t｜)을 구한다. 또한, 스텝(S303)에 있어서의 처리, 즉, 스텝(S304~S308) 처리는, 과노출 하이라이트 탐색범위(x0, y0, x1, y1)내의 구성화소(s=x0~x1, y=y0~y1)에 대하여 차례차례 실행하는 처리이다.
스텝(S304~S308) 처리에 대하여 설명한다. 스텝(S304)에서는, 스텝(S301)에서 설정한 과노출 하이라이트 탐색범위(x0, y0, x1, y1)내에 있어서 과노출 하이라이트 탐색을 행한다. 과노출 하이라이트 탐색은, 과노출 하이라이트 검출부(301)에 있어서 생성한 과노출 하이라이트 맵［W］(351)에 근거하여 실행된다. 스텝(S304)에서, 과노출 하이라이트 탐색범위(x0, y0, x1, y1)내로부터 차례차례 선택되는 선택화소(s, t)에 대한 과노출 하이라이트 맵［W］(351)에 있어서의 플래그 W(s, t)를 판정한다.
플래그 W(s, t)=true인 경우, 화소(s, t)는 과노출 하이라이트 화소이며, 플래그 W(s, t)=false인 경우, 화소(s, t)는 과노출 하이라이트 화소는 아니다. 플래그 W(s, t)=true이며, 화소(s, t)가 과노출 하이라이트 화소인 경우는, 스텝(S305)으로 진행되며, 주목화소(x, y)와 과노출 하이라이트 화소(s, t)와의 거리［D］를 산출하고, 스텝(S306)에 있어서, 최단 거리［Dmin］와의 비교를 실행하고, 산출거리［D］가 최단거리［Dmin］보다 작은 경우는, 스텝(S307)에 있어서 최단 거리［Dmin］의 갱신처리를 실행한다. 또한, 스텝(S308)에 있어서, 주목화소(x, y) 로부터 최단거리의 과노출 하이라이트 화소로의 방향 벡터(sx, sy)=(｜s｜,｜t｜)를 구한다.
이와 같은 처리를 가로폭=width, 세로폭=height의 화상을 구성하는 모든 화소(x=0~width, y=0~height)에 대하여 실행하고, 스텝(S309)에 있어서, 가장 가까운 과노출 하이라이트까지의 거리［Wi(x, y)=Dmin］(355)를 생성하고, 스텝(S310)에 있어서, 가장 가까운 과노출 하이라이트가 있는 방향 벡터［WDirect(x, y)=(sx, sy)］(356)를 생성한다.
가장 가까운 과노출 하이라이트까지의 거리［Wi(x, y)=Dmin］(355)는, 과노출 하이라이트도 계산부(303)에 출력되며, 가장 가까운 과노출 하이라이트가 있는 방향 벡터［WDirect(x, y)=(sx, sy)］(356)는, 방향별 게인 계산부(304)에 출력된다.
다음에, 도 7의 플로차트에 나타내는 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)에 있어서의 처리 스텝 각각의 상세 처리에 대하여 설명한다. 우선, 스텝(S301) 처리, 즉, 주목화소(x, y)에 대응하는 과노출 하이라이트 탐색범위(x0, y0, x1, y1)의 산출처리의 상세에 대하여 도 8을 참조하여 설명한다. 상술한 바와 같이, 주목화소(x, y)에 대응하는 과노출 하이라이트 탐색범위(x0, y0, x1, y1)의 설정처리는, 주목화소(x, y)의 근방영역에 존재할 가능성이 있는 과노출 하이라이트 화소의 탐색영역을 설정하는 처리이다. 위색(PF)화소는 과노출 하이라이트가 발생하고 있는 부분을 중심으로서, 그 근방에 발생하지만, 과노출 하이라이트의 화상상에서의 위치에 의해 위색(PF)화소가 발생하는 범위는 다르다.
예를 들면, 광학중심에 맞는 화상 중심부로부터 화상단으로 향하는 방향을 향하는 만큼, 위색(PF)이 발생하기 쉽고, 또 위색(PF)이 크게 나타나는 경우가 있다. 이것은, 광학계의 종류나, 조리개·촛점거리등의 설정, 주목화소의 위치에 의해서도, 위색(PF)이 발생하는 범위의 특징은 다르다.
본 실시예에서는, 주목화소(x, y)가 위색(PF) 화소인 경우에, 도 7에 나타내는 플로의 스텝(S301)에 있어서, 주목화소(x, y)에 대응하는 과노출 하이라이트 탐색범위(x0, y0, x1, y1)의 산출을 실행한다. 과노출 하이라이트 탐색범위의 설정에 대해서는 여러가지 방법이 생각되지만, 본 실시예에서는 도 8에 나타내는 바와 같이, 미리 처리대상화상(폭=width, 높이=height)의 중심부에 있는 화상 중심 화소(400)에 대응하는 과노출 하이라이트 탐색범위(Scox, Scoy, Scix, Sciy)와, 화상 단부에 있는 화상단 화소(401)에 대응하는 과노출 하이라이트 탐색범위(Seox, Seoy, Seix, Seiy)를 설정해 두고 이들을 테이블 데이터로서 보관 유지하고, 주목화소(x, y)(402)에 대응하는 과노출 하이라이트 탐색범위(x0, y0, x1, y1)=(Sox, Soy, Six, Siy)는, 주목화소(x, y)의 화소위치에 따라, 테이블 데이터로서 설정이 끝난 화상 중심 화소와 단부 화소에 대응하는 과노출 하이라이트 탐색범위 데이터에 근거하여 산출한다.
구체적인, 주목화소(x, y)에 대응하는 과노출 하이라이트 탐색범위(x0, y0, x1, y1)=(Sox, Soy, Six, Siy)의 산출처리에 대하여 설명한다. 주목화소(x, y)에 대응하는 과노출 하이라이트 탐색범위(x0, y0, x1, y1)=(Sox, Soy, Six, Siy)는, 이하의 산출식에 의하여 구한다. 즉,
Figure 112005063719667-PAT00001
…(식 1)
또한, 상기 식에 있어서, Scox, Scoy, Scix, Sciy는, 처리대상화상(폭=width, 높이=height)의 중심부에서의 과노출 하이라이트 탐색범위(Scox, Scoy, Scix, Sciy)이며, Seox, Seoy, Seix, Seiy는, 화상단부에서의 과노출 하이라이트 탐색범위(Seox, Seoy, Seix, Seiy)이다.
또, dx, dy：화상 중심에서 화상단까지의 거리이며,
dx=width／2, dy=height／2이다.
또, dx', dy'：화상 중심에서 주목화소(x, y)까지의 거리이며,
dx'=｜x－width／2｜, dy'=｜y－height／2｜
이다.
다만, 이 과노출 하이라이트 탐색범위의 계산처리는, 주목화소의 변경시에 상기 식(식 1)에 의거하여 계산을 순서대로 행하는 구성이라고 해도 좋지만, 주목화소의 변경시에 상기 식(식 1)에 의거하여 합산을 실행하지 않고, 앞의 주목화소 에 대응하는 과노출 하이라이트 탐색범위 데이터를 이용하고, 다음의 주목화소에 대응하는 과노출 하이라이트 탐색범위를 구하는 구성으로 해도 좋다. 즉, 앞의 주목화소에 대응하는 과노출 하이라이트 탐색범위 데이터에 대한 변동분만큼을 가산하는 것으로, 다음의 주목화소에 대응하는 과노출 하이라이트 탐색범위 데이터를 산출하는 구성으로 하는 것으로, 계산량을 삭감할 수 있다.
예를 들면 주목화소(x, y)에 대응하는 과노출 하이라이트 탐색범위(x0, y0, x1, y1)=(Sox, Soy, Six, Siy)의 구성 데이터의 하나인［Sox］에 대해서는, 상기 식(식 1)에 의하면, (dx／(Scox－Seox))화소마다 1 증가 혹은 감소한다. 따라서, 미리 (dx／(Scox－Seox))를 계산해 두고, 주목화소가 (dx／(Scox－Seox)) 이동했을 때에, 산출이 끝난 과노출 하이라이트 탐색범위에 설정된［Sox］의 값을 1개 변동시키면 좋다. 그 외의 값：Soy, Six, Siy에 대해서도 동일 처리에 의하여 산출할 수 있다. 이와 같이, 앞의 주목화소에 대응하는 과노출 하이라이트 탐색범위 데이터를 이용하고, 다음의 주목화소에 대응하는 과노출 하이라이트 탐색범위를 구하는 공정으로써, 계산 부하를 감소시킨 효율적인 처리가 가능해진다.
다음에, 도 7의 플로차트에 있어서의 스텝(S305)의 과노출 하이라이트 거리(D) 계산처리의 상세에 대하여, 도 9를 참조하여 설명한다. 주목화소로부터 과노출 하이라이트 화소로의 거리를 산출할 때에는, 과노출 하이라이트 화소의 탐색범위 설정처리와 동일하게, 위색(PF)이 발생하는 방향을 고려할 필요가 있다. 도 9는, 주목화소(x, y)(410)에 대한 과노출 하이라이트 탐색범위(420)를 나타낸 도면이다.
도 9에 나타내는 주목화소(x, y)(410)에 대응하는 과노출 하이라이트 탐색범위(420), 즉, (x0, y0, x1, y1)=(Sox, Soy, Six, Siy)의 단부에 있는 화소(421~424)의 4점에서의 과노출 하이라이트 존재 가능성은 동일한 정도로 된다. 상술한 바와 같이, 위색(PF)화소는 과노출 하이라이트가 발생하고 있는 부분을 중심으로서, 그 근방에 발생하지만, 과노출 하이라이트의 화상상에서의 위치에 의해 위색(PF)화소가 발생하는 범위는 다르고, 광학 중심에 맞는 화상 중심부로부터 화상단으로 향하는 방향으로 향하는 만큼, 위색(PF)이 발생하기 쉽고, 또 위색(PF)이 크게 나타나는 경향이 있다. 도 9의 과노출 하이라이트 탐색범위(420)는, 위색(PF)화소인 주목화소(x, y)(410)에 대응하여 설정되는 과노출 하이라이트 탐색범위(420)이며, 상술의 경향을 고려하여 설정된 영역이다. 따라서, 과노출 하이라이트 탐색범위(420)는, 주목화소(x, y)(410)를 중심으로 한 영역에는 설정되지 않는다.
설정된 과노출 하이라이트 탐색범위(420)의 단부에 있는 화소(421~424)의 4점에서의 과노출 하이라이트 존재 가능성은 같은 정도로 되는 영역으로서 설정된다.
도 7의 플로차트에 있어서의 스텝(S305)의 과노출 하이라이트 거리 계산처리에서는, 주목화소(x, y)(410)와 과노출 하이라이트 화소(a, b)(431)와의 거리(D)의 산출에 있어서, 실제 거리가 아니고, 과노출 하이라이트 위치와 주목화소 각각의 x좌표의 차이의 절대치를 Sox 또는 Six, 과노출 하이라이트 위치와 주목화소 각각의 y좌표의 차이의 절대값을 Soy 또는 Siy를 이용하여 정규화 하고 거리(D)를 산출한 다.
이 정규화에 근거하여 거리 산출처리는, 도 9에 있어서의 주목화소(x, y) (410)로부터 과노출 하이라이트 탐색범위(420)의 단부에 있는 화소(421~424)까지의 거리가 등거리：Sox=Soy=Six=Siy라는 상정에 근거하여, 거리(D)를 산출하는 것에 상당한다.
도 9에 나타내는 주목화소(x, y)(410)와 과노출 하이라이트 화소(a, b)(431)와의 거리(d)는, 이하 산출식(식 2)에 따라 구한다.
d=dx＋dy …(식 2)
여기서, dx, dy는 이하의 식에 의하여 산출되는 값이다.
Figure 112005063719667-PAT00002
상기 식에 있어서 x, y, a, b는, 주목화소(x, y)와 과노출 하이라이트 화소(a, b)의 좌표값이며, W1, W2, H1, H2는, 주목화소(x, y)에 대응하여 설정된 과노출 하이라이트 탐색범위의 주목화소(x, y)로부터 과노출 하이라이트 탐색범위 경계까지의 거리이다. 즉, 도 9에 나타내는 각 거리, 즉, W1, W2는 x방향의 2개의 거 리, H1, H2는 y방향의 2개의 거리에 대응하는 값이다.
도 7의 플로차트에 있어서의 스텝(S305)의 과노출 하이라이트 거리계산처리에서는, 상기 식(식 2)에 따라서, 주목화소(x, y)와 과노출 하이라이트 화소(a, b)와의 거리를 산출한다. 또한, 상기 식(식 2)에서 산출하고 있는 거리는 맨하탄 거리라고 불리는 것이며, 여기서는 계산의 간략화를 위해서 이 맨하탄 거리를 구하고 있다. 맨하탄 거리가 아닌, 주목화소(x, y)와 과노출 하이라이트 화소(a, b)와의 거리：√(dx 2＋dy 2)를 구하는 구성으로 해도 좋다.
상기 식(식 2)에 의하여 산출되는 거리(d)는, d=0.0~1.0의 값을 취하고, d=0.0이면 주목화소에 대하여 과노출 하이라이트가 가장 근처, d=1.0이면 거리가 먼 것을 의미한다.
다음에, 도 7의 플로우에 있어서의 스텝(S308)의 과노출 하이라이트 방향 벡터 산출처리에 대하여 설명한다. 스텝(S308)은, 주목화소(x, y)로부터 최단 거리의 과노출 하이라이트 화소로의 방향벡터(sx, sy)=(｜s｜,｜t｜)를 구하는 처리이다. 이 스텝에서는, 주목화소의 위치(x, y)로부터, 과노출 하이라이트 화소의 위치(a, b)까지의 상대 좌표값의 절대값을 요구하는 것으로, 주목화소에 대하여, 과노출 하이라이트가 어느 방향(세로, 가로, 경사방향)으로 존재하고 있는지를 특정할 수 있다. 예를 들면, 가로의 절대값에 비해 세로의 절대값이 크면, 적어도 기울기~상방향으로 과노출 하이라이트가 존재하고 있다고 말할 수 있다.
예를 들면, 최단의 과노출 하이라이트 위치가 주목화소(x, y)로부터의 상대 위치에서 (a, b)이라고 하면, 과노출 하이라이트 방향의 벡터는 (｜a｜,｜b｜)로 된다. 여기서,｜a｜,｜b｜는 각각, a, b의 절대값인 것을 나타내고 있다.
상술한 바와 같이, 도 4에 나타내는 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)에서는, 과노출 하이라이트 출력 맵［W］(354)을 입력하고, 도 7의 플로우에 따른 처리를 실행하고, 주목화소(x, y)의 과노출 하이라이트 화소로부터의 거리 및 방향 벡터의 계산처리를 행하고, 주목화소(x, y)에 가장 근접한 과노출 하이라이트 화소, 즉 가까운 과노출 하이라이트까지의 거리［Wi］(355)를 과노출 하이라이트도 계산부(303)에 출력하고, 주목화소(x, y)로부터 가장 가까운 과노출 하이라이트가 있는 방향을 나타내는 방향벡터［WDirect］(356)를 방향별 게인 계산부(304)에 대하여 출력한다.
과노출 하이라이트도 계산부(303)
다음에, 과노출 하이라이트도 계산부(303) 처리의 상세에 대하여 설명한다. 과노출 하이라이트도 계산부(303)는, 주목화소와 주목화소에 가장 근접한 가장 가까운 과노출 하이라이트 화소와의 거리［Wi］(355)를 입력으로 하고 과노출 하이라이트도 계산처리를 행하고, 과노출 하이라이트도［Wr］를 산출하여 위색도 계산부(306)에 출력한다.
과노출 하이라이트도 계산부(303)는, 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)의 생성한 가장 가까운 과노출 하이라이트 화소와의 거리［Wi］(355)를 입력하고, 입력 거리［Wi］데이터값에 근거하여 룩업테이블(LUT)을 적용한 데이터 변환을 행하고, 과노출 하이라이트도［Wr］를 산출하여 위색도 계산부(306) 에 출력한다. 도 5의 플로차트의 스텝(S103)에 포함되는 과노출 하이라이트도 계산부(303) 처리에 대응하는 처리이다. 과노출 하이라이트도 계산부(303)의 적용하는 룩업테이블(LUT)을 그래프화한 예를 도 10에 나타낸다.
도 10은, 가로축이, 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)에서 입력하는 가장 가까운 과노출 하이라이트 화소와의 거리［Wi］데이터이며, 세로축이, 위색도 계산부(306)에 출력하는 과노출 하이라이트도［Wr］를 나타낸다. 거리［Wi］데이터와 과노출 하이라이트도［Wr］는 1대1에 대응하고 있고, 과노출 하이라이트도 계산부(303)는 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)에서 입력하는 가장 가까운 과노출 하이라이트 화소와의 거리［Wi］데이터에 근거하여, 대응하는 과노출 하이라이트도［Wr］의 값을 취득하고 위색도 계산부(306)에 출력한다. 예를 들면, 도 10에 나타내는 룩업테이블(LUT)을 적용했을 경우,
과노출 하이라이트 화소와의 거리［Wi］=0의 경우, 과노출 하이라이트도 ［Wr］=0
과노출 하이라이트 화소와의 거리［Wi］=025의 경우, 과노출 하이라이트도［Wr］=0.5
과노출 하이라이트 화소와의 거리［Wi］=0.5의 경우, 과노출 하이라이트도 ［Wr］=0.65
과노출 하이라이트 화소와의 거리［Wi］=1.0의 경우, 과노출 하이라이트도［Wr］=1.0
의 과노출 하이라이트도［Wr］의 각 값을 취득하고, 위색도 계산부(306)에 출력한다.
이 처리는, 각 화소마다 실행되며, 각 화소 대응의 과노출 하이라이트도［Wr］가 산출되어 위색도 계산부(306)에 출력된다. 또한, 도 10에 나타내는 룩업테이블(LUT)은 일례이며, 이것은 위색(PF) 발생 모양을 고려하여 설정된 것으로, 특히 이 형태에 한정되는 것은 아니다.
방향별 게인 계산부(304)
다음에, 방향별 게인 계산부(304) 처리의 상세에 대하여 설명한다. 방향별 게인 계산부(304)는, 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)로부터 출력되는 방향 벡터［WDirect］(356), 즉 주목화소로부터 가장 가까운 과노출 하이라이트 화소로 향하는 방향 벡터［WDirect］(356)에 근거하여 방향별 게인［Dr］을 산출하고, 산출한 방향별 게인［Dr］을 채도 삭감율 계산부(307)에 출력한다. 방향별 게인 계산부(304) 처리에 대하여, 도 11에 나타내는 플로차트를 참조하여 설명한다. 도 11에 나타내는 플로우는, 도 5의 플로차트의 스텝(S103) 처리에 포함되는 방향별 게인 계산부 처리에 대응한다.
방향별 게인 계산부(304)는, 처리 대상 화상의 각 화소위치(x, y) 마다 대응하는 최단 과노출 하이라이트 화소위치의 방향 벡터［WDirect(x, y)］를 입력으로 하고, 각 화소에 대응하는 방향별 게인［Dr(x, y)］을 출력한다.
본 실시예에서는, 입력값으로서의 화소대응의 방향 벡터［WDirect(x, y)］를 도 12에 나타내는 바와 같이 분류한다. 도 12는, 각 화소위치(x, y) 마다 대응하 는 최단 과노출 하이라이트 화소위치의 방향 벡터［WDirect(x, y)］를, 방향(angle)별로 0, 1, 2, 3, 4의 5개로 분류하는 예를 나타내고 있다.
도 12에 나타내는 바와 같이, 방향별 게인 계산부(304)는, 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)에서 입력하는 처리 대상 화상의 각 화소위치(x, y) 마다 대응하는 최단 과노출 하이라이트 화소위치의 방향 벡터［WDirect(x, y)］를, 5방향으로 나눈다. 이 5방향으로 나누는 처리순서를 설명하고 있는 것이, 도 11의 플로우에 있어서의 스텝(S401~S410) 처리이다.
또한, 도 11에 나타내는 처리 플로우도, 상술의 다른 플로우와 같이, 2개의 틀, 즉, For(y=0；y＜height；y=y＋1)로 나타내는 외부케이스와, For(x=0；x＜width；x=x＋1)로서 나타내는 내부케이스를 가지고, 처리 대상 화상 프레임에 있어서의 (x=0~width, y=0~height)의 구성화소에 대하여, 차례차례 각 스텝 처리가 실행된다.
스텝(S401)에서는, 각 화소위치(x, y) 마다 대응하는 최단 과노출 하이라이트 화소위치의 방향 벡터［WDirect(x, y)］의 방향 데이터를 (sx, sy)로 설정하고, 스텝(S402)에서는, 4×sy＜1×sx가 성립하는지 아닌지를 판정하고, 성립하는 경우는, 스텝(S403)으로 진행되며, angle=0으로 판정한다. 이것은, 화소위치(x, y)에 대응하는 방향 벡터［WDirect(x, y)］가, 도 12에 있어서 angle=0의 영역에 있다고 판정하는 처리이다.
스텝(S402)에 있어서, 주목화소의 방향 데이터(sx, sy)가, 4×sy＜1×sx를 만족하지 않는 경우는, 스텝(S404)으로 진행되며, 3×sy＜2×sx가 성립하는지 아닌 지를 판정하고, 성립하는 경우는, 스텝(S405)으로 진행되며, angle=1로 판정한다. 이것은, 화소위치(x, y)에 대응하는 방향 벡터［WDirect(x, y)］가, 도 12에 있어서 angle=1의 영역에 있다고 판정하는 처리이다.
스텝(S404)에 있어서, 주목화소의 방향 데이터(sx, sy)가, 3×sy＜2×sx를 만족하지 않는 경우는, 스텝(S406)으로 진행되며, 2×sy＜3×sx가 성립하는지 아닌지를 판정하고, 성립하는 경우는, 스텝(S407)으로 진행되며, angle=2로 판정한다. 이것은, 화소위치(x, y)에 대응하는 방향 벡터［WDirect(x, y)］가, 도 12에 있어서 angle=2의 영역에 있다고 판정하는 처리이다.
스텝(S406)에 있어서, 주목화소의 방향 데이터(sx, sy)가, 2×sy＜3×sx를 만족하지 않는 경우는, 스텝(S408)으로 진행되며, 1×sy＜4×sx가 성립하는지 아닌지를 판정하고, 성립하는 경우는, 스텝(S409)으로 진행되며, angle=3으로 판정한다. 이것은, 화소위치(x, y)에 대응하는 방향 벡터［WDirect(x, y)］가, 도 12에 있어서 angle=3의 영역에 있다고 판정하는 처리이다.
스텝(S408)에 있어서, 주목화소의 방향 데이터(sx, sy)가, 1×sy＜4×sx를 만족하지 않는 경우는, 스텝(S410)으로 진행되며, angle=4로 판정한다. 이것은, 화소위치(x, y)에 대응하는 방향 벡터［WDirect(x, y)］가, 도 12에 있어서 angle=4의 영역에 있다고 판정하는 처리이다.
이와 같이, 방향별 게인 계산부(304)는, 스텝(S401~S410)에 있어서, 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)에서 입력하는 처리 대상 화상의 각 화소위치(x, y) 마다 대응하는 최단 과노출 하이라이트 화소위치의 방향 벡터［ WDirect(x, y)］를, 5방향(angle=0, 1, 2, 3, 4)으로 분류하는 처리를 실행한다.
다음에, 스텝(S411)으로 진행되어, 각 화소(x, y)에 대응하는 방향별 게인［Dr(x, y)］ 산출한다. 방향별 게인산출은, 이하의 식에 따라서 실행된다.
gain=a×(4－angle)／4＋b×angle／4
상기 식에 있어서,
a：주목화소의 가로방향으로 과노출 하이라이트가 있는 경우의 채도 삭감율,
b：주목화소의 세로방향으로 과노출 하이라이트가 있는 경우의 채도 삭감율,
이며, a, b의 값은, 미리 설정된다. 예를 들면, a=1.0, b=0.7과 같이, 주목화소의 가로방향으로 과노출 하이라이트가 있는 경우의 채도 삭감율이, 주목화소의 세로방향으로 과노출 하이라이트가 있는 경우의 채도 삭감율보다 크게 되도록 설정된다. 즉,
a＞b
로 하고 a, b의 값이 미리 설정된다. 다만,
0≤a≤1, 또한, 0≤b≤1
이다.
상기 식에 있어서의 angle은, 스텝(S401~S410)의 처리에 있어서 결정된 0~4 어느 것의 값, 즉, 각 화소위치(x, y) 마다 대응하는 최단 과노출 하이라이트 화소위치의 방향 벡터［WDirect(x, y)］의 방향 데이터(sx, sy)에 근거하여 결정된 0, 1, 2, 3, 4의 어느 것의 값이다.
스텝(S411)에 있어서의 산출식의 설정은, 어느 주목화소(x, y)에 대응하여 검출된 최단 거리의 과노출 하이라이트 화소가 주목화소의 가로방향으로 존재하는 경우는, 주목화소(x, y)의 채도 삭감율을 높게 설정하고, 또한, 세로방향으로 존재하는 경우는, 주목화소(x, y)의 채도삭감율을 낮게 설정하는 처리를 행하는 것을 의미하고 있다.
스텝(S412)에서는, 스텝(S411)에 있어서 산출한 게인［gain］을, 주목화소(x, y)에 대응하는 방향별 게인［Dr(x, y)］으로서 설정한다.
방향별 게인 계산부(304)는, 이와 같이, 과노출 하이라이트로부터의 거리·방향 벡터 계산부(302)로부터 출력되는 방향 벡터［WDirect］(356), 즉 주목화소로부터 가장 가까운 과노출 하이라이트 화소로 향하는 방향 벡터［WDirect］(356)에 근거하여, 방향별 게인［Dr］을 산출하고, 산출한 방향별 게인［Dr］을 채도 삭감율 계산부(307)에 출력한다.
방향별 게인 계산부(304)는, 상술한 바와 같이, 방향별 게인 산출을 아래 식에 따라 실행한다.
gain=a×(4－angle)／4＋b×angle／4
여기서, a=1.0, b=0.7의 설정으로 한다. 이 설정에 있어서, 화소위치(x, y)로부터 최근접 과노출 하이라이트 화소로 향하는 방향 벡터［WDirect(x, y)］의 앵글(angle)의 값：0~4에 따라 산출되는 gain, 즉, 방향별 게인［Dr(x, y)］은 이하와 같은 값으로 된다.
angle=0：Dr(x, y)=gain=1.0
angle=1：Dr(x, y)=gain=0, 925
angle=2：Dr(x, y)=gain=0, 85
angle=3：Dr(x, y)=gain=0.755
angle=4：Dr(x, y)=gain=0.7
로 된다.
방향별 게인［Dr(x, y)］은, 도 4에 나타내는 구성에 있어서의 채도 삭감율 계산부(307)에 출력되며, 주목화소(x, y)의 채도 삭감율［R］을 산출할 때의 지표값으로서 적용되게 된다. 방향별 게인［Dr(x, y)］이 1에 가까운 만큼 채도 삭감율［R］은 큰 값으로 설정되며 방향별 게인［Dr(x, y)］이 0에 가까운 만큼 채도 삭감율［R］은 작은 값으로 설정된다.
따라서, angle=0의 경우에는, 채도 삭감율［R］은 큰 값으로 설정되며, 주목화소(x, y)의 채도는 크게 삭감되며, angle=4의 경우에는, 채도 삭감율［R］은 작은 값으로 설정되며, 주목화소(x, y)의 채도의 삭감량은 작게 설정되게 된다.
이와 같은 채도 삭감 처리를 실행하는 이유에 대하여, 도 13을 참조하여 설명한다. 먼저 설명한 바와 같이, 본 발명의 화상처리장치는, 예를 들면 일정한 프레임 레이트로 입력하는 동화상 데이터의 처리를 리얼타임으로 실행한다. 즉, 촬영된 화상 프레임 데이터를 화상처리장치의 DSP(106)(도 1 참조)에 입력하고, 스캔 라인에 따라서 화소정보를 판독하면서 화소값의 보정을 실행하는 처리를 행한다.
본 발명의 화상처리장치에서는, 일단 메모리에 격납된 촬영이 끝난 화상데이터를 읽어내고 보정처리를 실행하는 것이 아니라, 스캔 라인에 따라서 입력하는 화 소정보에 근거하여 리얼타임으로 보정처리를 행하는 것이 필요하게 된다. 일단 메모리에 격납된 화상데이터를 읽어내는 처리를 실행하는 경우에는, 임의의 화소위치의 화소정보를 자재로 선택하고, 여러 가지 선택화소에 대응하는 화소정보를 적용한 처리가 가능하지만, 스캔라인에 따라 입력하는 화소정보에 근거하여 보정처리를 실행하는 구성으로 했을 경우, DSP(106)(도 1참조)내의 메모리에 일시적으로 축적되는 화소정보만을 적용한 처리를 행하는 것이 필요하게 된다.
DSP(106)내의 메모리에 일시적으로 축적되는 화소정보는, 스캔 라인에 따른 일정량의 화소에 대응하는 화소정보만으로 된다. 따라서, 주목화소(x, y)의 화소값을 주위화소의 화소값 정보에 근거하여 보정하는 경우, 주목화소(x, y)의 화소위치 근방에 있고, 또한, 스캔 라인에 따른 화소에 대응하는 화소정보만이 적용 가능한 정보로 된다.
도 13에 나타내는 바와 같이, 화상 프레임(500)의 스캔 라인(화상 프레임중의 화살표)에 따라서 화소값 데이터가 판독되고 DSP(106)에 있어서 처리를 행하는 것이 필요하게 된다. 도 13a는, 주목화소(511)의 가로방향, 즉 스캔 라인 방향으로 위색(PF) 화소가 연속하고 있는 경우를 나타내고, 도 13b는, 주목화소(521)의 세로방향, 즉 스캔 라인의 수직인 방향으로 위색(PF) 화소가 연속하고 있는 경우를 나타내고 있다.
도 13a와 같이, 주목화소(511)의 가로방향, 즉 스캔 라인 방향으로 위색(PF) 화소가 연속하고 있는 경우에 있어서, 주목화소(511)의 화소값 보정을 주위화소의 화소정보에 근거하여 실행하려고 했을 경우, DSP내의 메모리에 일시적으로 축적 가 능한 화소정보는, 스캔 라인에 따른 화소, 즉 거의 위색(PF) 화소의 화소정보만으로 된다. 도 13a에 나타내는 화살표가 DSP내의 메모리에 일시적으로 축적 가능한 화소정보의 영역으로서 참조가능 화소영역(512)을 나타내고 있다.
도 13a의 구성에서는, 과노출 하이라이트 화소(513)는, 주목화소(511)의 세로(상) 방향, 즉 스캔 라인에 수직인 방향에 있고, 상술의 앵글(angle)값은, angle=4로 되며, 그 게인은, 상술의 a, =1.0, b=0.7의 설정으로 했을 경우, 하기 식
gain=a×(4－angle)／4＋b×angle／4
에 따라 산출되며,
Dr(x, y)=gain=0.7
로 된다.
즉, 주목화소(x, y)의 채도 삭감율은 억제되며, 큰 채도 삭감은 실행되지 않게 된다. 이것은, 주목화소(x, y)가 위색(PF) 화소이며, 채도 삭감이 필요하게 되는 화소이지만, 참조 가능한 화소도 위색(PF) 화소이기 때문에, 정상적인 채도정보를 가지는 화소를 참조할 수 없는 상태이며, 큰 채도 삭감을 실행했을 경우, 세로방향, 즉, 도 13a에 나타내는 화상구성의 경우, 세로(하)방향에 있는 통상화소, 즉, 위색(PF)도 아닌 과노출 하이라이트도 아닌 통상화소(514)를 참조한 채도 보정처리는 불가능하며, 채도 삭감을 실행한 주목화소(511)와 통상화소(514)와의 채도의 차가 크게 되어 버릴 우려가 있기 때문이다.
채도 삭감을 실행한 주목화소(511)와 통상화소(514)와의 채도의 차이가 커지 면, 화상의 부자연차이가 증대하고, 화상의 품질저하를 초래하게 된다. 이와 같은 사태를 방지하기 위해, 도 13a와 같은 구성의 경우에는, 주목화소(x, y)(511)가 위색(PF)화소인 경우에 있어서도, 채도 삭감율을 저하시켜 과도한 채도저하를 실행하지 않는 구성으로 하고 있다. 또한, 채도 삭감 처리, 보정처리의 상세에 대하여는 후단에서 설명한다.
한편, 도 13b와 같이, 주목화소(521)의 세로방향, 즉 스캔 라인 방향과 수직인 방향으로 위색(PF)화소가 연속하고, 스캔 라인 방향으로 과노출 하이라이트 화소(523), 통상화소(524)가 존재하는 경우, 주목화소(521)의 화소값 보정을 주위화소의 화소정보에 의거하여 실행하려고 했을 경우, DSP내의 메모리에 일시적으로 축적 가능한 화소정보는, 스캔라인에 따른 화소이며, 참조가능 화소영역(522)에 포함되는 화소의 화소정보로 된다. 이 경우, 과노출 하이라이트도 아닌 위색(PF)도 아닌 통상화소(524)의 화소정보가 적용 가능하게 된다.
도 13b의 구성에서는, 과노출 하이라이트 화소(523)는, 주목화소(521)의 가로방향, 즉 스캔 라인 방향에 있고, 상술의 앵글(angle)값은, angle=0으로 되며, 그 게인은, 상술의 a, =1.0, b=0.7의 설정으로 했을 경우, 하기식,
gain=a×(4－angle)／4＋b×angle／4
에 따라서 산출되며,
Dr(x, y)=gain=1.0
로 된다.
즉, 주목화소(x, y)의 채도 삭감율은 크게 설정되게 된다.
도 13b의 구성에서는, 주목화소(x, y)(521)가 위색(PF) 화소이며, 큰 채도 삭감 처리를 실행했을 경우라도, 주목화소(x, y)(521)와 같은 스캔 라인상에 있는 통상화소(524)의 화소정보가 DSP내의 메모리로부터 읽어내는 것이 가능하게 되며, 통상화소(524)의 채도를 참조한 적절한 채도 보정이 가능해진다. 즉, 주목화소(521)의 큰 채도 삭감을 실행해도, 그 후의 채도 보정에 있어서, 통상화소(524)의 채도에 적응시킨 보정이 가능해진다.
이 채도 보정처리에 의해, 주목화소(521)와 통상화소(524)와의 채도의 차이가 크게 되어 버린다고 하는 사태를 방지하는 것이 가능해진다. 이와 같은 이유에 근거하여, 도 13b와 같은 화소구성을 가지는 경우, 주목화소(521)의 채도 삭감율을 크게 설정한다.
자도(紫度) 계산부(305)
다음에, 도 4에 나타내는 위색(PF) 보정처리수단(206)의 자도 계산부(305)의 처리의 상세에 대해 설명한다. 자도 계산부(305)는, 도 4에 나타내는 바와 같이, 입력화상(351)의 색차성분［C］(353)을 입력하고, 색차성분［C］(353)에 근거하여 자도［Pr］(357)를 산출하고, 산출한 자도［Pr］(357)를 위색도 계산부(306)에 출력하는 처리를 실행한다. 자도 계산부(305)의 처리에 대해 설명한다.
자도 계산부(305)에 있어서 처리를 실행하는 주목화소(x, y)의 색차성분［C］데이터를 (Cr, Cb)로 한다. 본 실시예에서는, YCbCr 색공간(color space)에 전개한 데이터에 대하여 처리를 실행하는 예이며, 색정보로서는 CbCr색차평면에 있어서, 각 화소의 색정보가 정의된다. 자도 계산부(305)는, 주목화소(x, y)의 색차데 이터(Cb, Cr)를 입력으로 하고, 위색(PF)의 색상으로 가까운 정보로서의 자도［Pr(x, y)］를 각 주목화소마다 산출하고 위색도 계산부(306)에 출력한다.
자도［Pr(x, y)］는, 0.0~1.0의 값으로 나타내어지며, Pr=0.0은, 위색(PF) 색상으로부터 먼 색인 것을 나타내고, Pr=1.0은, 가장 위색(PF) 색상에 가까운 색인 것을 나타낸다.
도 14를 이용하고, CbCr색차평면에 있어서의 위색(PF) 색상과, 자도［Pr］의 설정예에 대하여 설명한다. 도 14에 나타내는 그래프는, CbCr색차평면을 나타내고, 도면중의 라인(601)(Fθ)은, CbCr색차평면에 있어서의 위색(PF)의 색상에 대응하는 위색(PF) 색상라인(601)이다. 전형적인 퍼플 프린지는, 이 위색(PF) 색상라인(601)상의 색상을 가진다.
도면중의 라인(602)은, 일례로서 나타내는 주목화소(x, y)의 색상에 대응하는 주목화소 색상라인(602)이다. 주목화소 색상라인(602)이, 위색(PF) 색상라인(601)에 가까운 만큼, 주목화소(x, y)의 색상은 위색(PF) 색상에 가까운 색상이며, 주목화소 색상라인(602)이, 위색(PF) 색상라인(601)에서 먼 만큼, 주목화소(x, y)의 색상은 위색(PF) 색상으로부터 먼 색상이다.
도면중의 라인(611, 612)은, 위색(PF) 색상라인(601)으로부터 각도：θmax회전시킨 색상라인이며, 자도［Pr］0 라인(611, 612)이다. θmax은 예설정되는 각도이며, 예를 들면 30°로 설정된다. 자도［Pr］0 라인(611, 612)으로부터, 위색(PF) 색상라인(601)에 가까워지는 만큼, 자도［Pr］의 값은 커지고, 위색(PF) 색상 라인(601)상에서, 자도［Pr］는 1로 된다. 즉, 주목화소 색상라인(602)이, 자도［Pr］0 라인(611, 612)의 사이에 있는 경우, 주목화소(x, y)의 자도［Pr］는 0~1의 사이에 설정된다. 주목화소 색상라인(602)이, 자도［Pr］0 라인(611, 612) 사이에 없는 경우, 주목화소(x, y)의 자도［Pr］는 0으로 설정된다.
주목화소(x, y) 자도［Pr(x, y)］는, 이하 산출식에 의하여 구할 수 있다.
Figure 112005063719667-PAT00003
　···(식 3)
상기 식에 있어서,
Fθ：CbCr 평면에 있어서, 축(Cb)과 위색(PF) 색상라인으로 이루는 각　θ(x, y)：CbCr 평면에 있어서, 축(Cb)과 주목화소 색상라인으로 이루는 각 θmax：CbCr 평면에 있어서, 위색(PF) 색상라인과 자도［Pr］0 라인으로 이루는 각, 예설정되는 각도이며, 예를 들면 30°로 설정된다.
이와 같이, 자도 계산부(305)는, 입력화상(351)의 색차성분［C］(353)을 입력하고, 색차성분［C］(353)에 근거하여 자도［Pr］(357)를, 상기 산출식(식 3)에 따라서 산출하고, 산출한 자도［Pr］(357)를 위색도 계산부(306)에 출력하는 처리를 실행한다.
위색도 계산부(306)
다음에, 위색도 계산부(306) 처리의 상세에 대하여 설명한다. 위색도 계산부(306)는, 도 4에 나타내는 바와 같이, 자도 계산부(305)에서 입력하는 자도［Pr］(357)와 과노출 하이라이트도 계산부(303)에서 입력하는 과노출 하이라이트도 ［Wr］(356)에 근거하여, 위색도［PFr］(358)를 산출하고, 산출한 위색도［PFr］(358)를 채도 삭감율 계산부(307)에 출력한다.
위색도 계산부(306)는, 이하의 산출식에 따라서, 주목화소(x, y)의 위색도［PFr(x, y)］를, 주목화소(x, y)의 자도［Pr(x, y)］와, 주목화소(x, y)의 과노출 하이라이트도［Wr(x, y)］에 근거하여 산출한다.
　PFr(x, y)=Pr(x, y)×Wr(x, y)···(식 4)
상기 식(식 4)은, 주목화소(x, y)의 위색도［PFr(x, y)］를, 주목화소(x, y)의 자도［Pr(x, y)］와 주목화소(x, y)의 과노출 하이라이트도［Wr(x, y)］와의 곱셈에 의하여 산출하는 것을 나타내고 있다.
상기 식(식 4)에 있어서, 자도［Pr(x, y)］는 0~1의 값이며, 과노출 하이라이트도［Wr(x, y)］도 0~1의 값이므로, 위색도［PFr(x, y)］도 0~1의 범위에서 설정되게 된다. 위색도［PFr］=1.0이 위색도가 가장 높고, 즉 주목화소가 위색(PF)일 가능성이 가장 높은 것을 나타내고, 위색도［PFr］=0.0이 위색도가 가장 낮고, 즉 주목화소가 위색(PF)일 가능성이 가장 낮은 것을 나타낸다.
채도 삭감율 계산부(307)
다음에, 채도 삭감율 계산부(307) 처리의 상세에 대하여 설명한다. 채도 삭감율 계산부(307)는, 도 4에 나타내는 바와 같이, 위색도 계산부(306)로부터 입력 하는 위색도［PFr］(358)와, 방향별 게인 계산분(304)에서 입력하는 방향별 게인［Dr］(359)에 근거하여, 채도 삭감율［R］(360)을 산출하고, 산출한 채도 삭감율［R］(360)을 보정처리부(310)의 각 처리부, 즉, 화소 채도 삭감 처리부(311), 화소 채도 보정처리부(312), 화소색차성분 흐리게 하는 처리부(313)에 출력한다.
채도 삭감율 계산부(307) 이하의 산출식에 따라서, 주목화소(x, y)의 채도 삭감율［R(x, y)］을, 주목화소(x, y)의 위색도［PFr(x, y)］와, 주목화소(x,y)의 방향별 게인［Dr(x, y)］에 근거하여 산출한다.
R(x, y)=PFr(x, y)×Dr(x, y)···(식 5)
상기 식(식 5)은, 주목화소(x, y)의 채도 삭감율［R(x, y)］을, 주목화소(x, y)의 위색도［PFr(x, y)］와 주목화소(x, y)의 방향별 게인［Dr(x, y)］과의 곱셈에 의하여 산출하는 것을 나타내고 있다.
상기 식(식 5)에 있어서, 위색도［PFr(x, y)］는 0~1의 값이며, 방향별 게인［Dr(x, y)］도 0~1의 값이므로, 채도 삭감율［R(x, y)］도 0~1의 범위로 설정되게 된다. 채도 삭감율［R(x, y)］=1.0이 가장 큰 레벨에서의 채도삭감처리를 실행하고, 채도 삭감율［R(x, y)］=0.0이 가장 작은 레벨에서의 채도삭감처리를 실행하는 것을 의미한다.
채도 삭감율 계산부(307)는, 상술의 식(식 5)에 따라서, 위색도 계산부(306)에서 입력하는 위색도［PFr］(358)와, 방향별 게인 계산분(304)에서 입력하는 방향별 게인［Dr］(359)에 근거하여, 채도 삭감율［R］(360)을 산출하고, 산출한 채도 삭감율［R］(360)을 보정처리부(310)의 각 처리부, 즉, 화소 채도 삭감 처리부 (311), 화소채도 보정처리부(312), 화소색차성분 흐리게 하는 처리부(313)에 출력한다.
이상의 처리가, 도 4에 나타내는 보정 파라미터(채도 삭감율) 산출부(300) 처리의 상세이며, 이 처리에 의하여, 주목화소(x, y)에 대응하는 채도 삭감율 R(x, y)이 설정되고, 보정처리부(310)의, 화소 채도 삭감 처리부(311), 화소채도 보정처리부(312), 화소색차성분 흐리게 하는 처리부(313)에 있어서, 채도 삭감율 R(x, y)를 적용한 화소값 보정처리가 실행된다.
이하, 보정처리부(310)의 화소 채도 삭감 처리부(311), 화소 채도 보정처리부(312), 화소색차성분 흐리게 하는 처리부(313)에 대하여 실행하는 처리의 상세에 대하여, 차례차례 설명한다.
화소 채도 삭감 처리부(311)
화소 채도 삭감 처리부(311)는, 도 4에 나타내는 바와 같이, 입력화상(351)의 색차성분［C］(353)을 입력하고, 보정 파라미터(채도 삭감율) 산출부(300)에서 입력하는 채도 삭감율［R］(360)에 근거하여 위색(PF) 화소부분의 채도 삭감 처리를 행하고, 위색(PF)부분 채도삭감 결과화상［Cs］(361)을 화소 채도 보정처리부(312)에 출력한다.
화소 채도 삭감 처리부(311)의 구체적인 처리에 대하여 설명한다. 화소 채도 삭감처리부(311)는, 입력화상(351)의 색차성분［C］(353)에 근거하여 취득되는 주목화소(x, y)의 CrCb 각 성분의 오리지널 채도 C(x, y) Cr와 C(x, y) Cb와, 보정 파라미터(채도 삭감율) 산출부(300)에서 입력하는 주목화소(x, y) 채도 삭감율［ R(x,y)］에 근거하여, 아래 식(식 6)에 따라서, 채도 삭감후의 주목화소(x, y)의 CrCb 각 성분의 삭감채도 Cs(x, y) Cr와 Cs(x, y) Cb를 산출한다.
Cs(x, y) Cr=C(x, y) Cr×｛1.0－R(x, y)｝
Cs(x, y) Cb=C(x, y) Cb×｛1.0－R(x, y)｝
　···(식 6)
상기 식(식 6)에 있어서, 주목화소(x, y)의 채도 삭감율［R(x, y)］은 0~1의 범위의 값이며, 주목화소(x, y)의 위색도［PFr(x, y)］가 높은 만큼 1에 가까운 값으로 된다. 상기 식에 있어서,
｛1.0－R(x, y)｝
는, 주목화소(x, y)의 위색도［PFr(x, y)］가 높은 만큼 값이 작게 0에 가깝게 되며, 상기 식(식 6)은, 오리지널 채도 C(x, y)에 대하여,｛1.0－R(x, y)｝의 값을 곱셈하는 처리이므로, 주목화소(x, y)의 위색도［PFr(x, y)］가 높은 만큼 채도가 삭감되는 정도가 높아진다.
즉, 상기 식(식 6)은, 주목화소(x, y)의 위색도［PFr(x, y)］가 높은 (1에 가깝다)만큼, 채도를 떨어뜨리고, 주목화소(x, y)의 위색도［PFr(x, y)］가 낮은(0에 가깝다)만큼, 채도를 떨어뜨리는 방법을 약하게 하는 처리를 실행하는 것을 의미하고 있다.
화소채도 보정처리부(312)
화소채도 보정처리부(312)는, 도 4에 나타내는 바와 같이, 화소채도 삭감처리부(311)로부터 위색(PF)부분 채도삭감 결과 화상［Cs］(361)을 입력하고, 채도의 저하량의 보정을 실행한다. 즉, 화소 채도 삭감 처리부(311)에 있어서 채도를 너무 저하시킨 부분등을 검출하고, 주변 화소의 채도를 참고로 한 채도 보정처리를 행한다. 화소채도 보정처리부(312)는, 화소채도 삭감처리부(311)에 있어서, 채도저하처리를 실행한 화소, 즉 주로 위색(PF)과 판정된 화소를 보정대상으로서 선택하고 보정처리를 행한다. 즉, 채도보정의 대상범위는 채도를 떨어뜨린 부분이기 때문에, 채도 삭감율［R］(360)이 0이 아닌 화소를 선택하는 것이 필요로 되기 때문에, 화소채도 보정처리부(312)는, 채도 삭감율［R］(360)을 입력하고, 채도 삭감율［R］(360)≠0의 화소를 선택하고, 채도 보정을 행한다. 채도 보정이 행해진 결과화상인 채도 보정 화상［Cc］(362)은, 화소색차성분 흐리게 하는 처리부(313)에 출력된다. 화소 채도 보정처리부(312) 처리의 상세에 대하여, 도 15에 나타내는 처리 플로우를 참조하여 설명한다. 또한, 도 15에 나타내는 처리 플로우는, 도 5의 플로차트 스텝(S108)의 채도 보정처리의 상세 처리에 대응한다.
또한, 도 15에 나타내는 처리 플로우도, 상술의 다른 플로우와 같이, 2개의 틀, 즉, For(y=0；y＜height；y=y＋1)로 나타내는 외부케이스와, For(x=0；x＜width；x=x＋1)로서 나타내는 내부케이스를 가지고, 처리대상 화상프레임에 있어서의 (x=0~width, y=0~height)의 구성화소에 대하여, 차례차례 각 스텝의 처리가 실행된다. 다만, 화소채도 보정처리부(312)는, 채도 삭감율［R］이 0보다 큰 값을 가지는 화소를 주목화소로서 선택하고, 선택화소에 대하여, 도 15에 나타내는 플로우에 따른 처리를 행한다. 즉, 스텝(S501)의 전단층으로서, 스캔 라인에 따라서 입력하는 화소가, 채도 삭감율［R］이 0보다 큰 값을 가지는 화소인지 아닌지를 판 정한 후, 채도삭감율［R］이 0보다 큰 값을 가지는 화소인 경우에만, 이것을 주목화소(x, y)로서 선택하고, 스텝(S501) 이하의 처리를 실행하게 된다.
스텝(S501, S502)에서는, 초기설정으로서 주목화소(x, y)의 채도삭감후의 색성분 Cs(x, y) Cr, Cs(x, y) Cb를 적용하고,
cr=Cs(x, y) Cr
cb=Cs(x, y) Cb
로서 주목화소(x, y)의 채도 파라미터로서의 cr, cb, 각 값의 초기설정처리를 실행한다.
다음에, 스텝(S503, S504)에 있어서, 화소 채도 삭감 처리부(311)에 있어서 채도삭감처리가 이루어진 주목화소(x, y)의 색상(Cs)(x, y)에 근거하여 채도［ccLｖ］와, 화소 채도 삭감 처리부(311)에 있어서 채도 삭감 처리가 이루어지기 전의 주목화소(x, y)의 색상 C(x, y)에 근거하여 채도［ocLｖ］를 산출한다. 채도산출은, 이하의 식(식 7)에 따라서 실행된다.
ccLｖ=｜Cs(x, y) Cr｜＋｜Cs(x, y) Cb｜
ocLｖ=｜C(x, y) Cr｜＋｜C(x, y) Cb｜
　···(식 7)
다음에, 스텝(S505, S506)에 있어서 주목화소 근방의 참조화소의 초기설정을 실행한다. 스텝(S505)에서는, 주목화소 근방의 참조화소의 유무정보를 나타내는 파라미터［refExist］=false로서 참조화소 없는 설정으로 하고, 스텝(S506)에서는, 참조화소의 참조채도의 값을 나타내는 파라미터［rfLｖ］를 0으로 하는 초기설정을 행한다.
다음의 스텝(S507)은, 주목화소의 근방 영역으로부터 취득 가능한 참조화소의 화소정보로서의 채도정보를 취득하는 처리이다. 또한, 상술한 바와 같이, 주목화소의 근방영역으로부터 취득 가능한 참조화소정보는, 먼저, 도 13을 참조하여 설명한 바와 같이 스캔 라인에 따라 주목화소에 근접하는 화소의 화소정보이다. 예를 들면, 주목화소를 중심으로서 좌우(k)(예를 들면 k=10) 화소를 탐색범위로서 참조채도를 취득한다.
스텝(S507)의 상세는, 스텝(S508~S512)에 나타내는 처리이다. 또한, 스텝(S507)에서는, 주목화소(x, y)를 중심으로서 좌우화소를 탐색범위로 하고, 참조화소를 참조화소(s, y), 참조화소(s, y)의 채도 삭감후의 색상(Cs)을 Cs(s, y)로 한다.
스텝(S508)에서는, 선택된 1개의 참조화소(s, y)의 채도 삭감후의 색상(Cs)을 Cs(s, y)에 근거하여, 참조화소(s, y)가 과노출 하이라이트 화소인지 아닌지를 판정한다. 참조화소(s, y)가 과노출 하이라이트 화소이라고 판정되었을 경우는, 다음의 참조화소에 대하여 처리를 행한다.
참조화소(s, y)가 과노출 하이라이트 화소가 아니라고 판정되면, 스텝(S509)으로 진행되며, 참조화소의 유무정보를 나타내는 파라미터［refExist］=true로서 참조화소 있음으로 설정하고, 참조화소의 템퍼러리 채도값［rfLｖ＿temp］을 참조화소(s, y)의 Cs(s, y)에 근거하여 산출한다. 색상산출은, 상술의 식(식 7)과 같이,
rfLｖ＿temp=｜Cs(s, y) Cr｜＋｜Cs(s, y) Cb｜
에 따라 산출된다.
다음에, 참조화소의 템퍼러리 채도값［rfLｖ＿temp］이 지금까지 산출된 참조화소의 채도값［rfLｖ］보다 큰 값을 가지는지 아닌지 판정, 즉,
rfLｖ＜rfLｖ＿temp
가 성립하는지 아닌지를 판정하고, 성립하지 않는 경우는, 다음의 참조화소의 처리로 이행하고, 성립하는 경우는, 스텝(S512)에 있어서, 참조화소의 채도값［rfLｖ］을 참조화소의 템퍼러리 채도값［rfLｖ＿temp］으로서 갱신하는 처리를 실행한다.
이상의 처리를, 주목화소를 중심으로서 좌우(k)(예를 들면 k=10) 화소를 탐색범위로서 실행하고, 결과로서 탐색범위에 포함되는 과노출 하이라이트 이외의 화소의 최대 채도를 가지는 참조화소의 채도값을, 참조화소의 채도값［rfLｖ］로서 결정한다. 또한, 주목화소를 중심으로서, 좌우(k)(예를 들면 k=10)화소에 과노출 하이라이트 화소밖에 포함되지 않는 경우는, 참조화소의 유무정보를 나타내는 파라미터［refExist］=false로서 참조화소 없음으로 설정한 채로 유지되게 된다.
스텝(S513)에서는, 참조화소의 유무정보를 나타내는 파라미터［refExist］=true, 즉 참조화소 있음인지 아닌지가 판정된다. ［refExist］=false, 즉 참조화소 없음의 경우는, 스텝(S514)으로 진행되며, 참조화소의 채도값［rfLｖ］을, 화소 채도 삭감 처리부(311)에 있어서 채도 삭감 처리가 이루어진 주목화소(x, y)의 색상(Cs)(x, y)에 근거하여 채도［ccLｖ］로 설정하고, 그 후 스텝(S515)으로 진행 된다.
스텝(S514)처리 후 및 스텝(S513)에 있어서, 참조화소의 유무정보를 나타내는 파라미터［refExist］=true, 즉 참조화소 있음이라고 판정한 경우는, 스텝(S515)으로 진행되며, 참조화소의 채도값［rfLｖ］과 주목화소의 채도 삭감전의 오리지널의 채도［ocLｖ］와의 비교를 실행한다.
rfLV＜ocLV
가 성립하는 경우, 즉, 참조화소의 채도값［rfLｖ］보다, 주목화소의 채도 삭감전의 오리지널 채도［ocLｖ］의 값이 큰 경우는, 스텝(S516)으로 진행되며, 참조화소의 채도값［rfLｖ］을 주목화소의 채도 삭감전의 오리지널의 채도［ocLｖ］의 값으로 설정하는 처리를 실행한다.
스텝(S516)처리 후 및 스텝(S515)에 있어서, rfLV＜ocLV가 성립하지 않는다고 판정했을 경우, 즉, 참조화소의 채도값［rfLｖ］보다, 주목화소의 채도 삭감전의 오리지널의 채도［ocLｖ］의 값이 크지 않은 경우는, 스텝(S517, S518)에 있어서, 주목화소(x, y)의 색차성분값［cr］［cb］을 이하 식에 의하여 갱신한다.
cr=cr×(rfLｖ／ccLｖ)
cb=cb×(rfLｖ／ccLｖ)
상기 식은, 주목화소(x, y)에 대해서의 화소 채도 삭감 처리부(311)에 있어서 채도의 삭감된 결과로서의 색차성분(cr, cb)에 대하여, 주목화소의 채도 삭감 처리후의 채도［xxLｖ］와 참조화소의 채도값［rfLｖ］과의 비율, 즉(rfLｖ／ccLｖ)에 의하여 조정하는 처리로서 실행된다.
참조화소 취득영역에 있어서 선택되는 과노출 하이라이트 화소 이외의 화소중, 최대의 채도를 가지는 참조화소의 채도값［rfLｖ］이, 주목화소의 채도 삭감전의 오리지널의 채도［ocLｖ］이하인 경우(스텝 S515：No)에는, 최대의 채도를 가지는 참조화소의 채도값［rfLｖ］을 적용하고, (rfLｖ／ccLｖ)의 값을 설정하고,
참조화소 취득영역에 있어서 선택되는 과노출 하이라이트 화소 이외의 화소중, 최대의 채도를 가지는 참조화소의 채도값［rfLｖ］이, 주목화소의 채도 삭감전의 오리지널의 채도［ocLｖ］보다 큰 경우(스텝 S515：Yes)에는, 최대의 채도를 가지는 참조화소의 채도값［rfLｖ］을 주목화소의 채도 삭감전의 오리지널의 채도［ocLｖ］로 변경하고 (rfLｖ／ccLｖ)의 값을 설정하고,
이들 설정치(rfLｖ／ccLｖ)에 근거하여,
cr=cr×(rfLｖ／ccLｖ)
cb=cb×(rfLｖ／ccLｖ)
를 산출하고, 주목화소(x, y)의 색차성분값［cr］［cb］을 갱신한다.
참조채도의 기준은, 탐색범위내에서 가장 채도가 높고, 또한 과노출 하이라이트 화소가 아닌 것이 조건이다. 참조채도［rfLｖ］가 탐색범위내에 있었을 경우(refExist=true)는, 원래의 화상의 채도［ocLｖ］와 비교하여 커지지 않으면, 채도 삭감후의 색성분에 대하여 (rfLｖ／ccLｖ) 배가 된다, 즉 채도삭감에 의하여［ccLｖ］에 삭감된 채도를 참조채도［rfLｖ］로 올리는 처리를 행한다. 참조채도［rfLｖ］가, 원래의 화상의 채도［ocLｖ］보다 큰 경우는, 스텝(S516)에 있어서 rfLｖ=ocLｖ로 하여, 채도보정을 (ocLｖ／ccLｖ)배로 하고, 최대로 보정해도 원화상의 채도보다 올라가지 않도록 하고 있다. 참조채도［rfLｖ］가 없는 경우는 특히 채도의 보정을 행하지 않는다.
채도보정으로, 참조화소중, 채도의 가장 높은 것을 적용하는 이유는, 주목화소(x, y)의 채도가, 주변 화소의 채도보다 높은 경우에, 주목화소(x, y)의 채도를 주변 화소의 채도에 접근하는 것으로, 화소간의 채도의 차분이 과대하게 되지 않도록 하는 것으로, 채도저하를 실행한 위색(PF) 화소가 눈에 띄는 것을 방지하기 위해서 이다.
스텝(S519, S520)에서는, 스텝(S517, S518)으로 산출한 주목화소의 색상 데이터인, 이하의 값：cb, cr, 즉,
cr=cr×(rfLｖ／ccLｖ)
cb=cb×(rfLｖ／ccLｖ)
를 적용하고, 주목화소(x, y)의 채도 보정 후의 색성분［Cc］을,
Cc(x, y) Cr=cr
Cc(x, y) Cb=cb
로서 설정한다.
상술한 바와 같이, 화소 채도 보정처리부(312)는, 주목화소(x, y)의 채도 보정후의 색성분［Cc］을 하기의 처리형태로 보정한다. 즉,
(a) 주목화소(x, y)인 채도삭감화소의 근방에 있고, 또한, 채도삭감화소와 동일 스캔 라인에 따른 화소를 참조화소로서 선택하고, 참조화소중, 가장 채도가 높은 화소의 채도［rfLｖ］에 상기 채도삭감화소의 채도를 접근한다.
(b) 채도삭감화소와 동일한 스캔 라인에 따른 화소를 참조화소중, 가장 채도가 높은 화소의 채도가, 채도삭감화소의 채도 삭감전의 채도 이하인 경우에는, 주목화소(x,y)인 채도삭감화소의 채도를 채도 삭감전의 채도［ocLｖ］에 접근한다.
이들 처리를 실행한다.
화소 채도 보정처리부(312)는, 이와 같이, 화소 채도 삭감 처리부(311)로부터 위색(PF) 부분 채도 삭감 결과 화상［Cs］(361)을 입력하고, 채도의 저하량의 보정을 실행하고, 채도보정화상［Cc］(362)을 생성하고, 화소색차성분 흐리게 하는 처리부(313)에 출력한다.
화소색차성분 흐리게 하는 처리부(313)
다음에, 화소색차성분 흐리게 하는 처리부(313)의 처리에 대하여 설명한다. 화소색차성분 흐리게 하는 처리부(313)는, 채도 보정 화상［Cc］(362)에 있어서의 색차성분에 대하여 Blur를 거는 처리, 즉, 흐리게 하는 처리를 실행한다. 화소색 차성분 흐리게 하는 처리부(313)는, 채도삭감소처리를 가한 화소와 주위화소의 색상의 차분을 감소시키는 처리를 실행한다.
또한, 화소색차성분 흐리게 하는 처리부(313)에 있어서 실행하는 흐리게 하는 처리에 대해서도 모든 화소에 대하여 행하는 것이 아니라, 채도삭감, 보정처리가 실행된 화소를 포함하는 화소영역이 처리대상으로서 선택되어 흐리게 하는 처리가 실행된다. 화소색 차이 성분 흐리게 하는 처리부(313)는, 이 처리 대상 영역의 선택을 위해서 채도 삭감율［R］(360)을 입력하고, 채도 삭감율［R］(360)≠0의 화소를 선택하고, 흐리게 하는 처리의 처리 대상 영역을 결정하여 흐리게 하는 처 리를 행한다. 화소색차성분 흐리게 하는 처리부(313)의 처리의 상세에 대하여, 도 16에 나타내는 처리 플로우를 참조하여 설명한다. 또한, 도 16에 나타내는 처리 플로우는, 도 5의 플로차트(flow chart)의 스텝(S109)의 위색(PF) 화소색차성분 흐리게 하는 처리의 상세 처리에 대응한다.
화소색차성분 흐리게 하는 처리부(313)에 있어서의 처리는, 채도 보정을 행한 부분의 채도변화를 평활하게 하는 동시에, 채도를 떨어뜨린 부분과 그렇지 않은 통상화소부분의 경계부를 융합시키기 위해 Blur(흐리게 하는)를 거는 처리이다. 이 Blur처리에 관해서도, 처리의 경량화 및 회로규모의 삭감의 관점에서, 주목화소의 좌우에 존재하는 스캔 라인에 따른 화소의 화소정보만을 이용하여 처리를 행한다.
또한, 도 16에 나타내는 처리 플로우도, 상술의 다른 플로우와 같이, 2개의 틀, 즉, For(y=0；y＜height；y=y＋1)로 나타내는 외부케이스와, For(x=0；x＜width；x=x＋1)로 하여 나타내는 내부케이스를 가지고, 처리 대상 화상 프레임에 있어서의 (x=0~width, y=0~height)의 구성화소에 대하여, 차례차례 각 스텝 처리가 실행된다. 다만, 화소색차성분 흐리게 하는 처리부(313)는, 채도 삭감율［R］≠0의 화소를 선택하고, 흐리게 하는 처리의 처리 대상 영역을 결정하여 흐리게 하는 처리를 행한다. 따라서, 스텝(S601)의 전단층으로서 스캔 라인에 따라서 입력하는 화소가, 채도 삭감율［R］≠0의 화소인지 아닌지를 판정한 후, 채도 삭감율［R］≠0의 화소인 경우에만, 이것을 주목화소(x, y)로서 선택하고, 스텝(S601) 이하의 처리를 실행하게 된다.
도 16에 나타내는 플로차트의 각 스텝처리에 대하여 설명한다. 스텝(S601)은 초기설정이며, 주목화소(x, y)에 대하여, 흐리게 하는 처리를 실행하는지 아닌지를 나타내는 플래그［flag］인［execBlur］=false로 하여, 흐리게 함을 걸지 않는 설정의 플래그에 초기설정한다.
그 후, 스텝(S602)에서는, 주목화소(x, y) 주변의 취득가능한 참조화소의 화소정보로서 주변 화소(s, y)의 채도 삭감율 R(s, y)을 취득하고, 주변화소(s, y)의 채도 삭감율 R(s, y)이 0보다 큰 화소가 검출되었을 경우(스텝 S603：Yes)에, 스텝(S604)에 있어서, 흐리게 하는 처리를 실행하는지 아닌지를 나타내는 플래그［flag］인［execBlur］=true로서, 흐리게 함을 실행하는 설정의 플래그로 갱신한다. 또한, 상술한 바와 같이, 주목화소의 근방 영역으로부터 취득 가능한 참조화소정보는, 먼저, 도 13을 참조하여 설명한 바와 같이 스캔 라인에 따라 주목화소에 근접하는 화소의 화소정보이다. 예를 들면, 주목화소를 중심으로서 좌우(j)(예를 들면 j=7)화소를 탐색범위로서 화소정보［채도 삭감율 R(s, y)］를 취득하고, 스텝(S602)(S603~S604) 처리를 실행한다.
다음에, 스텝(S605)에 있어서, 플래그［execBlur］가 ［true］로 설정되어 있다고 판정했을 경우는, 스텝(S607)으로 진행되며, 주목화소(x, y)를 중심으로 흐리게 하는(Blur) 필터를 거는 처리를 실행한다. 흐리게 하는 (Blur) 필터에 의한 주목화소(x, y)의 흐리게 하는 처리 후의 색성분［Blur(Cc(x, y))］은, 이하 식(식 8)으로 산출된다.
Figure 112005063719667-PAT00004
　···(식 8)
상기 식에 따라서, 주목화소(x, y)의 Cr, Cb에 대해서 행하고, 각각의 흐리게 하는 처리후의 색성분［Blur(Cc(x, y))］을 산출한다. 또한, 상기 식에 있어서,
Cc(x, y)는, 주목화소(x, y)의 채도 보정 후의 색성분［Cc(x, y)］
Cc(x＋i, y), Cc(x－i, y)는, 주목화소(x, y)의 스캔 라인상의 ±i화소 이동한 화소에 있어서의 채도 보정 후의 색성분［Cc］을 나타내고 있다.
상기 식에서는, 주목화소의 ±7 화소의 색성분을 적용한 흐리게 하는 처리를 실행한 예이다. 또한, 흐리게 하는 처리의 모양은, 상기 식(식 8)을 적용한 것에 한정되는 것이 아니고, 채도를 떨어뜨린 부분과 그렇지 않은 통상 화소 부분의 경계부를 융합시키는 효과가 있는 처리이면, 그 외의 모양에 의해 흐리게 하는 처리라도 좋다.
화소색차성분 흐리게 하는 처리부(313)에서는, 상술의 처리를 실행하고, 도 4에 나타내는 바와 같이, 보정 결과로서의 보정색차성분 화상［Ctemp］(363)을 생성하여 출력한다. 보정색차성분 화상［Ctemp］(363)은, 휘도성분［Y］(365)과 합성되어, 최종적인 YCbCr 출력화상(371)으로서 출력된다. 이 보정처리의 결과로서의 출력 YCbCr 출력화상(371)이 화상처리장치내의 메모리에 격납되며, 또 모니터 수단등의 출력부에 출력된다.
또한, 상술한 실시 예의 처리는 YcbCr 색공간(color space)을 적용한 처리로서 설명했지만, 그외 색공간(color space), 예를 들면 CIEL*a*b*공간 등, 휘도정보와 색상정보로 나누어져 있는 정보이면, 상술한 본 발명에 따른 처리가 적용 가능하다.
상술한 본 발명의 처리에 의해, 스캔 라인에 따라서 차례차례 화소정보를 받아 들이면서, 한정된 참조화소정보, 즉, 주목화소(x, y)의 근방이며, 또한, 스캔라인에 따른 화소의 화소정보만을 이용한 화소값 보정이 가능하게 되며, 비디오 카메라로 촬영한 화상데이터를 리얼타임으로 처리하는 것이 가능하게 되며, 위색(PF) 화소의 화소값 보정을, 주위화소와의 채도차이를 과대하게 되지 않고 실행하는 것이 가능하게 되며, 고품질인 화상데이터를 생성하는 것이 가능하게 된다.
이상, 특정의 실시예를 참조하면서, 본 발명에 대하여 상세히 풀이해 왔다. 그렇지만, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 이 실시예의 수정이나 대용을 이룰수 있는 것은 명백하다. 즉, 예시라고 하는 형태로 본 발명을 개시해 왔으며, 한정적으로 해석되어서는 안된다. 본 발명의 요지를 판단하기 위해서는, 특허 청구의 범위의 란을 참작해야 한다.
또, 명세서중에 있어서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의하여 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우는, 처리 순서를 기록한 프로그램을, 전용의 하드웨어에 짜넣어진 컴퓨터내의 메모리에 인스톨하여 실행시키든지, 혹은, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다.
예를 들면, 프로그램은 기록매체로서의 하드 디스크나 ROM(Read Only Memory)에 미리 기록해 둘 수 있다. 혹은, 프로그램은 플렉시블 디스크(flexible disk), CD－ROM(Compact Disc Read Only Memory), MO(Magneto optical)디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리등의 리무버블 기록매체에, 일시적 혹은 영속적으로 격납(기록)해 둘 수 있다. 이와 같은 리무버블 기록매체는, 이른바 팩키지 소프트웨어로서 제공할 수 있다.
또한 프로그램은, 상술한 바와 같이 리무버블 기록 매체로부터 컴퓨터에 인스톨하는 것 외, 다운로드 사이트로부터, 컴퓨터에 무선 전송 하거나, LAN(Local Area Network), 인터넷이라고 하는 네트워크를 거쳐서, 컴퓨터에 유선으로 전송하고, 컴퓨터에서는, 그와 같이 하여 전송되어 오는 프로그램을 수신하고, 내장하는 하드 디스크등의 기록매체에 인스톨 할 수 있다.
또한, 명세서에 기재된 각종의 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라서 병렬적으로 혹은 개별적으로 실행되어도 좋다. 또, 본 명세서에 있어서 시스템이란, 복수장치의 논리적 집합구성이며, 각 구성 장치가 동일 케이스내에 있는 것에는 한정되지 않는다.
본 발명의 구성에 의하면, 처리화상의 구성화소의 보정 파라미터로서, 각 화소에 대응하는 채도 삭감율을 산출하고, 산출한 채도 삭감율에 근거하여 각 화소의 채도 삭감처리를 실행하고, 또한, 채도가 삭감된 채도삭감화소의 채도와 주위참조화소의 채도와의 차분을 축소하도록, 채도삭감화소의 채도를 보정하는 구성으로 했으므로, 예를 들면 퍼플 프린지등의 위색화소의 보정처리에 있어서, 채도의 과도한 저하에 의한 주위화소의 채도와의 괴리에 의한 화소가 눈에 띄는 것을 방지하는 것이 가능하게 되며, 고품질인 보정 화상데이터를 생성할 수 있다.
또한, 본 발명의 구성에 의하면, 각 화소에 대응하는 채도 삭감율을 산출하고, 산출한 채도삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하고, 또한, 채도의 삭감된 채도 삭감화소의 채도와 주위참조화소의 채도와의 차분을 축소하도록, 채도삭감화소의 채도를 보정하는 구성으로 하고, 채도 보정처리에 있어서 참조하는 주위화소를 스캔 라인에 따라서 선택되는 화소로 했으므로, 비디오 카메라등으로 촬영되며, 스캔 라인에 따라 입력하는 화소정보만을 이용한 화상처리가 가능하게 되며, 리얼타임으로 효율적인 화상처리가 가능하게 된다.
또한, 본 발명의 구성에 의하면, 보정 파라미터로서의 채도 삭감율의 산출에 있어서, 주목화소의 색상이 위색 색상과 유사하고, 과노출 하이라이트 화소로부터의 거리가 가까운 만큼, 큰 값의 위색도를 산출하고, 주목화소와 과노출 하이라이트 화소가, 스캔 라인에 따른 평행한 위치에 있는 만큼 큰 값의 방향별 게인을 산출하고, 주목화소의 위색도가 높고, 방향별 게인이 높은 만큼, 큰 값의 채도 삭감율을 산출하는 구성으로 하고, 화소채도 삭감처리에 있어서는, 이 성질을 지니는 채도 삭감율에 근거하여 각 화소의 채도 삭감처리를 실행하는 구성으로 했으므로, 주목화소와 동일 스캔 라인상에 위색이 아닌 통상화소가 존재하는 경우에는, 높은 채도 삭감율에 의한 채도저하 처리를 실행하고, 그 후, 통상화소의 채도정보에 근거하여 채도보정을 행하는 것이 가능하게 된다. 또, 주목화소와 동일 스캔 라인상에 위색이 아닌 통상화소가 존재하지 않는 경우에는 채도 삭감율을 낮게 하고 채도 삭감 처리를 행하는 설정으로 했으므로, 그 후의 채도 보정처리에 있어서 통상 화소의 채도정보를 취득할 수 없는 경우에서도 주위화소와의 채도차분을 과대하게 되지 않고, 고품질인 보정 화상데이터를 생성하는 것이 가능하게 된다.
이상, 설명한 바와 같이, 본 발명의 구성에 의하면, 처리화상의 구성화소의 보정 파라미터로서 각 화소에 대응하는 채도 삭감율을 산출하고, 산출한 채도 삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하고, 또한, 채도의 삭감된 채도삭감화소의 채도와 주위참조화소의 채도와의 차분을 축소하도록, 채도삭감화소의 채도를 보정하는 구성으로 했으므로, 예를 들면 퍼플 프린지등의 위색화소의 보정처리에 있어서, 채도의 과도한 저하에 의한 주위화소의 채도와의 괴리에 의한 화소의 눈에 띄는 것을 방지하는 것이 가능하게 되며, 고품질인 보정 화상데이터를 생성할 수 있다.
또한, 본 발명의 구성에 의하면, 각 화소에 대응하는 채도 삭감율을 산출하고, 산출한 채도 삭감율에 근거하여 각 화소의 채도 삭감처리를 실행하고, 또한, 채도가 삭감된 채도 삭감화소의 채도와 주위참조화소의 채도와의 차분을 축소하도록, 채도삭감화소의 채도를 보정하는 구성으로 하고, 채도 보정처리에 있어서 참조하는 주위화소를 스캔 라인에 따라 선택되는 화소로 했으므로, 비디오 카메라등으로 촬영되며, 스캔 라인에 따라서 입력하는 화소정보만을 이용한 화상처리가 가능 하게 되며, 리얼타임으로 효율적인 화상처리가 가능하게 된다.
또한, 본 발명의 구성에 의하면, 보정 파라미터로서의 채도 삭감율의 산출에 있어서, 주목화소의 색상이 위색색상과 유사하고, 과노출 하이라이트 화소로부터의 거리가 가까운 만큼, 큰 값의 위색도를 산출하고, 주목화소와 과노출 하이라이트 화소가, 스캔 라인에 따른 평행한 위치에 있는 만큼 큰 값의 방향별 게인을 산출하고, 주목화소의 위색도가 높고, 방향별 게인이 높은 만큼, 큰 값의 채도 삭감율을 산출하는 구성으로 하고, 화소채도 삭감처리에 있어서는, 이 성질을 지니는 채도 삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하는 구성으로 했으므로, 주목화소와 동일 스캔 라인상에 위색이 아닌 통상화소가 존재하는 경우에는, 높은 채도 삭감율에 의해 채도저하 처리를 실행하고, 그 후, 통상화소의 채도정보에 근거하여 채도보정을 행하는 것이 가능하게 된다. 또, 주목화소와 동일한 스캔 라인상에 위색이 아닌 통상화소가 존재하지 않는 경우에는 채도 삭감율을 낮게 하고 채도삭감처리를 행하는 설정으로 했으므로, 그 후의 채도 보정처리에 있어서 통상화소의 채도정보를 취득할 수 없는 경우라도 주위화소와의 채도 차분을 과대하게 되지 않고, 고품질인 보정 화상데이터를 생성하는 것이 가능하게 된다.

Claims (17)

  1. 화상처리장치이며,
    처리화상의 구성화소의 보정 파라미터로서 각 화소에 대응하는 채도 삭감율을 산출하는 보정 파라미터 산출부와,
    상기 채도 삭감율을 적용하고, 처리화상의 구성화소의 채도 삭감 처리를 포함하는 화소값 보정처리를 실행하는 보정처리부를 가지고,
    상기 보정처리부는,
    상기 보정 파라미터 산출부의 산출하는 채도 삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하는 화소 채도 삭감 처리부와,
    상기 화소 채도 삭감 처리부에 있어서 채도의 삭감된 채도삭감화소의 채도와 주위참조화소의 채도와의 차분을 축소하도록, 상기 채도삭감화소의 채도를 보정하는 화소 채도 보정처리부를 가지는 구성인 것을 특징으로 하는 화상처리장치.
  2. 제 1항에 있어서,
    상기 보정처리부는, 또한,
    화소 채도 보정처리부의 출력 데이터에 대하여, 채도 삭감 처리를 설치한 화소와 주위화소의 색상의 차분을 감소시키는 흐리게 하는 처리를 실행하는 흐리게 하는 처리부를 가지는 구성인 것을 특징으로 하는 화상처리장치.
  3. 제 1항에 있어서,
    상기 화소 채도 보정처리부는,
    상기 채도삭감화소의 근방에 있고, 또한 채도삭감화소와 동일 스캔 라인에 따른 화소를 참조화소로서 선택하고, 이 선택된 참조화소와, 상기 채도삭감화소의 채도와의 차분을 축소하도록, 상기 채도삭감화소의 채도 보정처리를 실행하는 구성인 것을 특징으로 하는 화상처리장치.
  4. 제 1항에 있어서,
    상기 화소 채도 보정처리부는,
    상기 채도삭감화소의 근방에 있고, 또한 채도삭감화소와 동일 스캔 라인에 따른 화소를 참조화소로서 선택하고, 참조화소중, 가장 채도가 높은 화소의 채도에 상기 채도삭감화소의 채도를 가까이 하는 처리를 실행하는 구성인 것을 특징으로 하는 화상처리장치.
  5. 제 1항에 있어서,
    상기 화소 채도 보정처리부는,
    상기 채도삭감화소의 근방에 있고, 또한 채도삭감화소와 동일 스캔 라인에 따른 화소를 참조화소중, 가장 채도가 높은 화소의 채도가, 상기 채도삭감화소의 채도 삭감전의 채도 이하인 경우, 상기 채도삭감화소의 채도를 상기 채도삭감화소의 채도 삭감전의 채도에 접근하는 처리를 실행하는 구성인 것을 특징으로 하는 화 상처리장치.
  6. 제 1항 내지 제 5항의 어느 한항에 있어서,
    상기 보정 파라미터 산출부는,
    처리화상으로부터 선택된 주목화소에 대해서의,
    (a) 주목화소의 색상과 위색의 색상과의 유사성 정보로서의 자도(紫度)와,
    (b) 주목화소의 과노출 하이라이트 화소로부터의 거리정보를 산출하고,
    (c) 상기 자도 및 거리정보에 근거하여 산출되는 위색도와,
    (d) 주목화소의 과노출 하이라이트 화소로부터의 방향정보에 근거하여 산출되는 방향별 게인을 산출하고, 상기 위색도와 상기 방향별 게인에 근거하여, 주목화소에 대응하는 채도 삭감율을 산출하는 구성인 것을 특징으로 하는 화상처리장치.
  7. 제 6항에 있어서,
    상기 보정 파라미터 산출부는,
    주목화소의 색상이 위색 색상과 유사하고, 과노출 하이라이트 화소로부터의 거리가 가까운 만큼, 큰 값의 위색도를 산출하고,
    주목화소와 과노출 하이라이트 화소가, 스캔 라인에 따른 평행한 위치에 있는 만큼 큰 값의 방향별 게인을 산출하고,
    주목화소의 위색도가 높고, 방향별 게인이 높은 만큼, 큰 값의 채도 삭감율 을 산출하는 구성이며,
    상기 화소 채도 삭감 처리부는,
    상기 보정 파라미터 산출부의 산출한 채도 삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하는 구성인 것을 특징으로 하는 화상처리장치.
  8. 제 6항에 있어서,
    상기 위색은 퍼플 프린지이며,
    상기 자도는, 주목화소의 색상과 퍼플 프린지의 색상과의 유사성 정보로서의 자도인 것을 특징으로 하는 화상처리장치.
  9. 화상처리방법이며,
    처리화상의 구성화소의 보정 파라미터로서, 각 화소에 대응하는 채도 삭감율을 산출하는 보정 파라미터 산출 스텝과,
    상기 채도 삭감율을 적용하고, 처리화상의 구성화소의 채도 삭감 처리를 포함하는 화소값 보정처리를 실행하는 보정처리 스텝을 가지고,
    상기 보정처리 스텝은,
    상기 보정 파라미터 산출 스텝에 있어서 산출하는 채도 삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하는 화소 채도 삭감 처리 스텝과,
    상기 화소 채도 삭감 처리 스텝에 있어서 채도의 삭감된 채도삭감화소의 채도와 주위참조화소의 채도와의 차분을 축소하도록, 상기 채도삭감화소의 채도를 보 정하는 화소 채도 보정처리 스텝을 가지는 것을 특징으로 하는 화상처리방법.
  10. 제 9항에 있어서,
    상기 보정처리 스텝은, 또한,
    화소 채도 보정처리 스텝의 출력 데이터에 대하여, 채도 삭감 처리를 실시한화소와 주위화소 색상의 차분을 감소시키는 흐리게 하는 처리를 실행하는 흐리게 하는 처리 스텝을 가지는 것을 특징으로 하는 화상처리방법.
  11. 제 9항에 있어서,
    상기 화소 채도 보정처리 스텝은,
    상기 채도삭감화소의 근방에 있고, 또한 채도삭감화소와 동일한 스캔 라인에 따른 화소를 참조화소로서 선택하고, 이 선택된 참조화소의 채도와 상기 채도삭감화소의 채도의 차분을 축소하도록, 상기 채도삭감화소의 채도 보정처리를 실행하는 것을 특징으로 하는 화상처리방법.
  12. 제 9항에 있어서,
    상기 화소 채도 보정처리 스텝은,
    상기 채도삭감화소의 근방에 있고, 또한 채도삭감화소와 동일의 스캔 라인에 따른 화소를 참조화소로서 선택하고, 참조화소중, 가장 채도가 높은 화소의 채도에 상기 채도삭감화소의 채도를 접근하는 처리를 실행하는 것을 특징으로 하는 화상처 리방법.
  13. 제 9항에 있어서,
    상기 화소 채도 보정처리 스텝은,
    상기 채도삭감화소의 근방에 있고, 또한 채도삭감화소와 동일 스캔 라인에 따른 화소를 참조화소중, 가장 채도의 높은 화소의 채도가, 상기 채도삭감화소의 채도 삭감전의 채도이하인 경우, 상기 채도삭감화소의 채도를 상기 채도삭감화소의 채도 삭감전의 채도에 접근하는 처리를 실행하는 것을 특징으로 하는 화상처리방법.
  14. 제 9항 내지 제 13의 어느 한 항에 있어서,
    상기 보정 파라미터 산출 스텝은,
    처리화상으로부터 선택된 주목화소에 대해서의,
    (a) 주목화소의 색상과 위색의 색상과의 유사성 정보로서의 자도와,
    (b) 주목화소의 과노출 하이라이트 화소로부터의 거리정보를 산출하고,
    (c) 상기 자도 및 거리정보에 근거하여 산출되는 위색도와,
    (d) 주목화소의 과노출 하이라이트 화소로부터의 방향정보에 근거하여 산출되는 방향별 게인을 산출하고, 상기 위색도와 상기 방향별 게인에 근거하여, 주목화소에 대응하는 채도 삭감율을 산출하는 스텝인 것을 특징으로 하는 화상처리방법.
  15. 제 14항에 있어서,
    상기 보정 파라미터 산출 스텝은,
    주목화소의 색상이 위색 색상과 유사하고, 과노출 하이라이트 화소로부터의 거리가 가까운 만큼, 큰 값의 위색도를 산출하고,
    주목화소와 과노출 하이라이트 화소가, 스캔 라인에 따른 평행한 위치에 있는 만큼 큰 값의 방향별 게인을 산출하고,
    주목화소의 위색도가 높고, 방향별 게인이 높은 만큼, 큰 값의 채도 삭감율을 산출하는 구성이며,
    상기 화소 채도 삭감 처리 스텝은,
    상기 보정 파라미터 산출 스텝에 있어서 산출한 채도 삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하는 것을 특징으로 하는 화상처리방법.
  16. 제 14항에 있어서,
    상기 위색은 퍼플 프린지이며,
    상기 자도는, 주목화소의 색상과 퍼플 프린지의 색상과의 유사성 정보로서의 자도인 것을 특징으로 하는 화상처리방법.
  17. 화상처리를 컴퓨터상에서 실행시키는 컴퓨터·프로그램이며,
    처리화상의 구성화소의 보정 파라미터로서 각 화소에 대응하는 채도 삭감율 을 산출하는 보정 파라미터 산출 스텝과,
    상기 채도 삭감율을 적용하고, 처리화상의 구성화소의 채도 삭감 처리를 포함하는 화소값 보정처리를 실행하는 보정처리 스텝을 가지고,
    상기 보정처리 스텝은,
    상기 보정 파라미터 산출 스텝에 있어서 산출하는 채도 삭감율에 근거하여 각 화소의 채도 삭감 처리를 실행하는 화소 채도 삭감 처리 스텝과,
    상기 화소 채도 삭감 처리 스텝에 있어서 채도의 삭감된 채도삭감화소의 채도와 주위참조화소의 채도와의 차분을 축소하도록, 상기 채도삭감화소의 채도를 보정하는 화소 채도 보정처리 스텝을 가지는 것을 특징으로 하는 컴퓨터·프로그램.
KR1020050105620A 2004-11-08 2005-11-04 화상처리장치 및 화상처리방법과 컴퓨터·프로그램 KR101263888B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004323592A JP4770154B2 (ja) 2004-11-08 2004-11-08 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JPJP-P-2004-00323592 2004-11-08

Publications (2)

Publication Number Publication Date
KR20060052484A true KR20060052484A (ko) 2006-05-19
KR101263888B1 KR101263888B1 (ko) 2013-05-13

Family

ID=36315993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050105620A KR101263888B1 (ko) 2004-11-08 2005-11-04 화상처리장치 및 화상처리방법과 컴퓨터·프로그램

Country Status (4)

Country Link
US (1) US7529405B2 (ko)
JP (1) JP4770154B2 (ko)
KR (1) KR101263888B1 (ko)
CN (1) CN100380915C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014163462A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 필터링과 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3631169B2 (ja) * 2001-06-19 2005-03-23 三洋電機株式会社 ディジタルカメラ
US7609882B2 (en) * 2005-05-25 2009-10-27 Himax Technologies Limited Image compression and decompression method capable of encoding and decoding pixel data based on a color conversion method
JP4487902B2 (ja) * 2005-11-09 2010-06-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20070126892A1 (en) * 2005-11-30 2007-06-07 Haike Guan Correcting an image captured through a lens
JP4529888B2 (ja) * 2005-12-07 2010-08-25 ブラザー工業株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US7577292B2 (en) * 2005-12-30 2009-08-18 Microsoft Corporation Automatic removal of purple fringing from images
US20070285434A1 (en) * 2006-06-12 2007-12-13 Hung-Shih Lin Hue adjustor and method for adjusting hues for specific colors in an image
JP4923987B2 (ja) 2006-11-30 2012-04-25 株式会社ニコン 画像の色を補正する画像処理装置、および画像処理プログラム
JP4963598B2 (ja) * 2006-12-08 2012-06-27 キヤノン株式会社 画像処理装置及び撮像装置及び画像処理方法及びプログラム
JP5020615B2 (ja) * 2006-12-08 2012-09-05 キヤノン株式会社 画像処理装置及び撮像装置及び画像処理方法及びプログラム
JP5018052B2 (ja) * 2006-12-08 2012-09-05 株式会社ニコン 画像の色を補正する画像処理装置、および画像処理プログラム
US8144984B2 (en) 2006-12-08 2012-03-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program for color fringing estimation and compensation
US8442316B2 (en) 2007-01-05 2013-05-14 Geo Semiconductor Inc. System and method for improving color and brightness uniformity of backlit LCD displays
US8055070B2 (en) * 2007-01-05 2011-11-08 Geo Semiconductor Inc. Color and geometry distortion correction system and method
KR100866490B1 (ko) * 2007-01-17 2008-11-03 삼성전자주식회사 영상의 색 수차를 보정하기 위한 장치 및 방법
JP4932504B2 (ja) * 2007-01-18 2012-05-16 富士フイルム株式会社 画像処理方法、装置及びプログラム並びに撮像装置
JP4992698B2 (ja) * 2007-12-17 2012-08-08 ソニー株式会社 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム
TWI479878B (zh) * 2007-12-26 2015-04-01 Altek Corp Correction of pseudo - color pixels in digital image
CN101478687B (zh) * 2008-01-04 2010-12-08 华晶科技股份有限公司 对数字图像中伪色像素的校正方法
JP5200645B2 (ja) * 2008-04-24 2013-06-05 株式会社ニコン 画像処理装置、撮像装置、画像処理方法およびプログラム
US20090324071A1 (en) * 2008-06-30 2009-12-31 Shengqi Yang Color enhancement for graphic images
JP5183453B2 (ja) * 2008-12-17 2013-04-17 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US8644640B2 (en) * 2009-05-27 2014-02-04 Microsoft Corporation Purple fringing artifact reduction within a digital image with guidance from a green channel
JP5523141B2 (ja) * 2009-05-28 2014-06-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US8520969B2 (en) * 2009-08-25 2013-08-27 Stmicroelectronics S.R.L. Digital image processing apparatus and method
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
EP2429194B1 (en) * 2010-03-25 2016-04-20 FUJIFILM Corporation Image processing method and device, image processing program, and medium having said program recorded thereon
JP5324508B2 (ja) 2010-03-26 2013-10-23 富士フイルム株式会社 画像処理装置および方法，ならびに画像処理プログラム
US8582878B1 (en) * 2010-11-03 2013-11-12 Csr Technology Inc. Purple fringing automatic detection and correction
ITVI20110052A1 (it) 2011-03-15 2012-09-16 St Microelectronics Srl Riduzione del rumore cromatico di immagini nel dominio bayer
ITVI20110243A1 (it) 2011-09-09 2013-03-10 Stmicroelectronics Grenoble 2 Riduzione di rumore croma di una immagine
JP2013101484A (ja) * 2011-11-08 2013-05-23 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9137519B1 (en) * 2012-01-04 2015-09-15 Google Inc. Generation of a stereo video from a mono video
JP2015007739A (ja) * 2012-10-01 2015-01-15 キヤノン株式会社 表示装置及びその制御方法
US9401012B2 (en) * 2012-10-18 2016-07-26 Athentech Technologies Inc. Method for correcting purple distortion in digital images and a computing device employing same
US9098911B2 (en) 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
CN103973997B (zh) * 2013-02-05 2017-09-26 浙江大华技术股份有限公司 一种图像处理方法及装置
CN104135630A (zh) * 2013-05-03 2014-11-05 联咏科技股份有限公司 全区域空间影像细节控制方法
JP2015018051A (ja) 2013-07-10 2015-01-29 キヤノン株式会社 画像投射装置および画像表示システム
JP6408884B2 (ja) * 2014-11-28 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN105430231B (zh) * 2015-11-24 2018-09-04 努比亚技术有限公司 图像处理装置和方法
CN106657946B (zh) * 2017-01-12 2019-03-01 深圳岚锋创视网络科技有限公司 图像紫边消除系统和方法
US10268692B2 (en) 2017-02-15 2019-04-23 Sap Se Multi-procedure support in data migration
US10789220B2 (en) 2017-03-28 2020-09-29 Sap Se Management of database API schema
CN108881670B (zh) * 2017-05-15 2020-07-10 瑞昱半导体股份有限公司 影像处理方法及影像处理装置
JP7051365B2 (ja) 2017-10-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11232126B2 (en) 2018-11-21 2022-01-25 Sap Se Zero downtime upgrade of systems with database-side replication
US10853693B2 (en) 2018-12-04 2020-12-01 Sap Se Software logistic for learning applications
US20220021852A1 (en) * 2018-12-05 2022-01-20 Gopro, Inc. Color fringing processing independent of tone mapping
US10891217B2 (en) 2018-12-10 2021-01-12 Sap Se Optimizing test coverage based on actual use
US11121943B2 (en) 2018-12-13 2021-09-14 Sap Se Amplifying scaling elasticity of microservice meshes
US10700949B1 (en) 2018-12-13 2020-06-30 Sap Se Stacking of tentant-aware services
US10642609B1 (en) 2018-12-13 2020-05-05 Sap Se Integrating preview systems for early validation and maintenance in development-to-production landscapes provisioned by continuous delivery
CN113784101A (zh) * 2021-09-26 2021-12-10 三星半导体(中国)研究开发有限公司 紫边校正方法和紫边校正装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175699A (ja) * 1997-12-12 1999-07-02 Fuji Photo Film Co Ltd 画像処理装置
JP4040171B2 (ja) * 1998-04-24 2008-01-30 キヤノン株式会社 信号処理装置
JP3825932B2 (ja) * 1999-02-19 2006-09-27 キヤノン株式会社 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP3939466B2 (ja) * 1999-07-21 2007-07-04 富士フイルム株式会社 画像処理装置、方法及び記録媒体
JP2001245307A (ja) * 2000-03-01 2001-09-07 Matsushita Electric Ind Co Ltd 撮像装置
JP2002010286A (ja) * 2000-06-26 2002-01-11 Canon Inc 信号処理装置、信号処理方法、及び撮像装置
JP3617455B2 (ja) * 2001-01-10 2005-02-02 ミノルタ株式会社 画像処理装置、画像処理方法および記録媒体
JP4035688B2 (ja) * 2001-02-28 2008-01-23 セイコーエプソン株式会社 偽色除去装置、偽色除去プログラム、偽色除去方法およびデジタルカメラ
JP2003060983A (ja) 2001-08-10 2003-02-28 Olympus Optical Co Ltd 撮像装置
JP3965556B2 (ja) * 2002-02-01 2007-08-29 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2003235051A (ja) * 2002-02-07 2003-08-22 Matsushita Electric Ind Co Ltd 固体撮像装置および信号処理方法
JP3914168B2 (ja) * 2003-04-08 2007-05-16 オリンパス株式会社 撮像システム、画像処理プログラム
US7200279B1 (en) * 2003-09-11 2007-04-03 Magnachip Semiconductor, Inc. Method and system for image chroma suppression
JP4539278B2 (ja) * 2004-10-13 2010-09-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4539280B2 (ja) * 2004-10-19 2010-09-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4539299B2 (ja) * 2004-11-08 2010-09-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014163462A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 필터링과 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치

Also Published As

Publication number Publication date
CN100380915C (zh) 2008-04-09
CN1774031A (zh) 2006-05-17
US20060098253A1 (en) 2006-05-11
JP2006135745A (ja) 2006-05-25
JP4770154B2 (ja) 2011-09-14
US7529405B2 (en) 2009-05-05
KR101263888B1 (ko) 2013-05-13

Similar Documents

Publication Publication Date Title
KR101263888B1 (ko) 화상처리장치 및 화상처리방법과 컴퓨터·프로그램
RU2338330C2 (ru) Устройство обработки изображения, способ обработки изображения и компьютерная программа
US8908062B2 (en) Flare determination apparatus, image processing apparatus, and storage medium storing flare determination program
US9392241B2 (en) Image processing apparatus and image processing method
JP5206796B2 (ja) 画像入力装置
US8237823B2 (en) Method and apparatus for canceling chromatic aberration
US20160142656A1 (en) Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
JP2009124598A (ja) 画像処理装置及び画像処理方法
JP2009027619A (ja) 映像処理装置および映像処理プログラム
JP6282123B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4539278B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2001238129A (ja) 画像処理装置、記録媒体
JP4539299B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
CN109672810B (zh) 图像处理设备、图像处理方法和存储介质
JP6415094B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6143575B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2009022044A (ja) 画像処理装置及び画像処理プログラム
JP2009065691A (ja) 画像処理装置、記録媒体及び画像処理プログラム
JP2005354585A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2006332732A (ja) 色むらノイズ抑制装置
JP7263018B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101517407B1 (ko) 색수차 제거 방법 및 장치
JP6649176B2 (ja) 画像処理装置及び画像処理方法
JP2023090628A (ja) 画像処理装置および画像処理方法、撮像装置
JP2009027615A (ja) 映像処理装置および映像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee