KR101248858B1 - 화상처리장치 및 화상처리방법 - Google Patents

Abstract

화상처리장치는, 입력 화상으로부터 복수의 특징량을 산출하는 부와, 상기 특징량에 의거하여 제1 다차원 룩업테이블을 산출하는 부와, 상기 입력 화상으로부터 특정 피사체의 속성정보를 산출하는 부와, 상기 속성정보에 의거하여 제2 다차원 룩업테이블을 산출하는 부와, 상기 입력 화상으로부터 제어용 파라미터를 생성하는 부와, 상기 입력 화상에 대하여 상기 제1 및 제2 다차원 룩업테이블을 적용하는 보간부와, 상기 제2 다차원 룩업테이블의 보간강도를, 상기 제어용 파라미터를 사용하여 제어하는 제어부를 구비한다.

Description

화상처리장치 및 화상처리방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

본 발명은, 입력된 화상의 휘도를 보정하는 화상처리장치 및 화상처리방법에 관한 것이다.

종래에는, 디지탈 카메라로 촬영된 사진 화상 데이터에 대하여 여러가지 보정을 행하여, 적합한 사진 화상을 표시 및 프린트하는 방법이, 여러가지 기술되어 있다. 이러한 화상보정방법은 크게 2가지 방법으로 나눌 수 있다. 일 방법은 화상 전체에 균일한 보정을 행하는 균일 보정이고, 다른 방법은 화상의 국소적인 성질에 따라 보정량이 변화되는 국소 보정이다.

전자의 균일 보정의 예는, 일본국 공개특허공보 특개2000-013616에 기술된 것과 같은 칼라 밸런스 보정이 있다. 그 일본국 공개특허공보 특개2000-013616에서는, 화상의 휘도 히스토그램(histogram)을 산출하고, 누적 도수에 따라 화상중의 하이라이트/쉐도우 포인트를 산출한다. 하이라이트/쉐도우 포인트의 색차 성분이 0이면, 상기 화상 데이터의 칼라 밸런스는 적정이라고 판단한다. 한편, 색차 성분이 0이 아닌 경우, 칼라 밸런스가 무너지고 있다고 판단하고, 휘도/색차공간에 있어서, 하이라이트/쉐도우 포인트의 색차를 0으로 하는 회전 행렬을 화상에 대하여 균일하게 적용한다.

한편, 후자의 국소 보정에 대한 예들은, 닷징(dodging) 처리로 대표되는 것 같은, 화상의 공간적인 위치에 따라 보정량이 변화되는 종류의 화상처리를 포함한다. 그 닷징 처리는, 예를 들면 인물등의 피사체가 어둡고, 배경이 밝은 경우에, 어두운 인물영역의 휘도는 크게 상승시키고, 밝은 배경영역의 휘도는 그다지 변화시키지 않는 것에 의해, 배경의 노출부족을 억제하여서 인물영역의 휘도를 적정하게 보정하는 것이다. 이러한 닷징 처리는, 상기 일본국 공개특허공보 특개2001-298619이나 특허등록 제3233114호에 제안되어 있다. 양자는, 입력 화상에 대하여 필터 처리를 실시해서 저주파 화상, 즉 블러(blurred) 화상을 생성하고, 상기 블러 화상을 공간적인 휘도의 제어 인자로서 사용함으로써 디지탈 처리에 있어서의 닷징 처리를 실현한다.

최근에는, 프린터의 기능이 다양하고, 프린트 이외에도 카피 기능이나 메모리 카드로부터 사진 데이터를 직접 프린트하는 기능도 표준 기능으로서 탑재되어 있다. 또한, 최근 프린트 속도도 현저하게 개선되고, 앞으로도 계속된 개선이 요구되고 있다. 한편, 프린터에 탑재된 하드웨어 리소스는, 최근의 퍼스널 컴퓨터 정도 풍부한 것이 아니다. 중앙처리장치(CPU)속도, 랜덤 액세스 메모리(RAM) 용량, 및 그 RAM의 액세스 속도는, 한정적인 능력인 것이 일반적이다. 한층 더, 프린터 본체의 코스트 다운 요구도 엄격하고, 가능한 한 낮은 리소스로 동작하는 화상처리를 원하고 있다. 즉, 프린터 본체의 하드웨어 성능은 그 능력을 유지 또는 감소시키면서, 프린트 속도등의 성능향상이 기대된다고 하는 서로 모순된 상황에 직면하게 된다.

이러한 현상에 있어서, 고속으로 화상처리를 실행하기 위한 유효한 유닛으로서 제안되어 있는 것이, 3차원 룩업테이블(이하, 3DLUT)을 사용한 화상처리다. 이하에서는, 3DLUT방식을 사용한 화상처리의 유효성에 관하여 설명한다. 예를 들면, 입력 화상에 대하여, 일본국 공개특허공보 특개2000-013616과 같은 칼라 밸런스 보정과, 휘도 계조 보정과, 채도보정을 동시에 행하는 경우를 생각한다. 상기 처리를, 화상 전체의 각 화소 모두에 실행했을 경우와, 보정후의 빨강-초록-파랑(RGB) 3DLUT를 구성하여, 보간연산에 의해 화상 전체의 화소를 보정했을 경우로, 연산량을 비교한다.

우선, 전자의 화상 전체의 각 화소에 대하여 처리를 행하는 경우에 대해서 생각한다. 입력 화상의 각 화소값이 RGB로 표현되어 있는 경우, 그 화소값은, 예를 들면 휘도색차공간인 YCbCr값으로 변환한다. 이 처리에는, 9회의 승산을 필요로 한다. 상기 YCbCr값에 대하여 일본국 공개특허공보 특개2000-013616에 기재되어 있는 것 같은 보정용의 3차원 회전 행렬을 적용하여, 칼라 밸런스 보정후의 Y'Cb'Cr'값을 얻는다. 이 처리에는, 9회의 승산을 필요로 한다. 다음에, Y'값에 대하여 소정의 계조보정을 행하고, Y'' 값을 얻는다. 한층 더, 그 Cb'Cr'값에 대하여 채도 강조 계수를 곱하여, Cb''Cr'' 값을 얻는다. 이 처리에는 2회의 승산을 필요로 한다. 최후에, 보정후의 Y''Cb''Cr''값을 공지의 공식에 의해 R''G''B''값으로 변환한다. 이 처리에는 9회의 승산이 필요하다. 따라서, 이 일련의 처리에는, 합계 29회의 승산이 필요해진다. 이 처리를 화소마다 반복하면, 예를 들면, 3000×2000화소의 화상의 경우, 17400 만회의 승산이 필요해진다.

한편, 3DLUT를 사용했을 경우에 관하여 설명한다. 잘 알려져 있는 것 같이, 3DLUT를 사용한 방식에서는, 3DLUT를 소정 간격의 격자패턴으로 분할하고, 각 격자점에 대하여 보정후의 RGB값을 산출하고, 격납해둔다. 예를 들면, 상기 격자 간격을 32로 하고, 9^3=729의 격자점이 존재한다고 가정한다. 각 격자점의 RGB값에 대하여 상기 처리를 행하면, 29×729회의 승산이 필요해진다. 이렇게 하여 생성한 3DLUT를, 각 화소에 대하여 공지의 보간연산에 의해 적용한다. 예를 들면, 사면체 보간을 사용할 경우, 1화소당 5회의 승산으로, 보정후의 RGB값을 얻을 수 있다. 보다 구체적으로, 3DLUT에 의한 화상 전체의 승산회수는, 다음식으로 나타낸다.

승산회수=29×729+(3000×4000)×5= 약 6002만

양자의 총 승산회수를 비교하면, 전자에 비교해 후자의 연산 회수는 1/3정도이며, 3DLUT방식이 매우 효과적이라는 것을 안다.

한편, 전문 사진사가 아닌 일반의 아마추어 사진사가 촬영한 사진 화상중에는, 예를 들면 색이 흐린 역광사진등, 복수의 실패 요인을 포함한 화상이 수많이 존재한다. 이러한 화상에는, 칼라 밸런스 보정에 의해 색 흐림(fog)을 제거한 후, 배경은 그대로 두고, 어두운 피사체영역만, 휘도성분을 상승시키는 등의 대단히 복잡한 보정처리를 필요로 한다.

닷징 처리 보정으로 대표되는 것과 같은 국소 보정과 상기 칼라 밸런스 보정과 같은 화상 전체에 걸친 균일 보정을 동시에 행하는 것을 생각하는 경우, 상기와 같은 1개의 3ＤＬＵＴ만으로 제어하는 것이, 대단히 곤란하다고 하는 문제가 있다.

상기한 바와 같이, 3DLUT는 보간연산에 의해 적용되기 때문에, 예를 들면 보간후의 화소값으로부터 휘도 성분만을 추출하고, 상기 성분을 국소적으로 제어하는 것도 생각되지 않는다고 할 수 없지만, 처리가 더 복잡해져, 실현하기 위해서 필요한 연산 규모나 회로 규모가 커져버린다.

본 발명은, 하드 리소스(예를 들면, CPU, RAM)가 고성능이 아닌 시스템에 있어서, 화상 전체에 걸친 균일한 보정(예를 들면, 칼라 밸런스 보정)과 국소적인 보정(예를 들면, 닷징 처리)을, 저 연산량의 저 메모리로 실현하는 것을 목적으로 한다.

본 발명의 일 국면에 의하면, 입력 화상의 특징량에 의거하여 상기 입력 화상을 보정하기 위한 제 1 다차원 룩업테이블을 생성하는 제 1 생성부와, 상기 제 1 다차원 룩업 테이블을 사용하여 상기 입력 화상에서의 특정 피사체의 속성 정보를 갱신하는 갱신부와, 상기 갱신부에 의해 갱신된 상기 속성 정보에 의거하여 상기 특정 피사체를 보정하기 위한 제 2 다차원 룩업 테이블을 생성하는 제 2 생성부와, 상기 입력 화상에 대하여 상기 생성된 제1 및 제2 다차원 룩업테이블을 적용하는 보간부를 구비한 화상 처리장치로서, 상기 입력 화상으로부터 생성된 상기 입력 화상의 저주파 화상을 사용하는 상기 보간부에서의 상기 제 2 다차원 룩업 테이블의 적용 강도를 제어하는 제어부를 구비한다.

본 발명의 다른 국면에 의하면, 입력 화상으로부터 복수의 특징량을 산출하는 단계와, 상기 특징량에 의거하여 제1 다차원 룩업테이블을 산출하는 단계와, 상기 입력 화상으로부터 특정 피사체의 속성정보를 산출하는 단계와, 상기 속성정보에 의거하여 제2 다차원 룩업테이블을 산출하는 단계와, 상기 입력 화상으로부터 제어용 파라미터를 생성하는 단계와, 상기 입력 화상에 대하여 상기 제1 및 제2 다차원 룩업테이블을 적용하여 보간하는 단계를 포함한 화상처리방법은, 상기 제2 다차원 룩업테이블의 보간강도를, 상기 제어용 파라미터로 제어하는 단계를 포함한다.

본 발명에서는, 복수의 보간부를 직렬 접속하고, 한쪽의 보간부에서 화상 전체에 대하여 균일한 보정처리를 행하고, 다른 쪽의 보간부에서 그 보간강도를 제어 파라미터로 제어한다. 이에 따라, 매우 간단한 구성으로, 종래의 과제이었던, 균일보정과 국소보정을 동시에 행하는 처리를 실현시킬 수 있다.

본 발명의 또 다른 특징들 및 국면들을 첨부된 도면들을 참조하여 아래의 예시적 실시예들의 상세한 설명으로부터 명백해질 것이다.

본 명세서에 포함되고 그 일부를 구성하는 첨부도면들은, 본 발명의 예시적인 실시예들, 특징들 및 국면들을 나타내고, 이 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다.
도 1은 본 발명의 제1 예시적 실시예에 있어서의 블록도를 나타낸다.
도 2는 본 발명이 실시가능한 하드웨어 구성 예를 나타낸다.
도 3은 본 발명에 따른 화상해석부에 의해 실행된 흐름도를 나타낸다.
도 4는 휘도 히스토그램을 나타낸다.
도 5는 노출 적정도 판정 처리의 예를 나타낸 흐름도다.
도 6은 제1의 3DLUT생성 처리를 나타낸 흐름도다.
도 7은 피사체 속성정보 갱신 처리를 나타낸 흐름도다.
도 8은 제어 파라미터 생성 처리를 나타낸 흐름도다.
도 9는 제2의 3DLUT생성 처리를 나타낸 흐름도다.
도 10은 피사체를 적절하게 조정하기 위한 톤 커브(tone curve)를 나타낸다.
도 11은 제2의 3DLUT생성 처리를 나타낸 흐름도다.
도 12는 강도조정 보간부가 실행한 처리를 나타낸 흐름도다.
도 13은 본 발명의 효과를 나타낸다.
도 14는 본 발명의 제2 예시적 실시예에 있어서의 처리의 블록도를 나타낸다.
도 15는 제2 예시적 실시예에 있어서의 톤 커브 보정 처리를 나타낸 흐름도다.
도 16은 보정후의 톤 커브를 나타낸다.
도 17은 제3 예시적 실시예에 있어서의 처리의 블록도를 나타낸다.

이하, 본 발명의 여러 가지 예시적 실시예들, 특징들 및 국면들을 도면들을 참조하여 상세히 설명하겠다.

이하에, 본 발명의 제1의 예시적 실시예에 관하여 설명한다. 이하의 기재는 프린터 본체내부의 화상처리부를 가정한다. 그렇지만, 이것은 일례로서만 예시적 실시예를 나타낸 것이며, 본 발명은 이하에 기재된 예시적 실시예에 한정되는 것은 아니다.

도 2는, 본 예시적 실시예의 화상처리방법이 실행가능한 하드웨어(200)의 구성 예를 나타낸다. 하드웨어(200)는, CPU(201), RAM(202), 각 종제어 프로그램/테이블이 격납된 판독전용 메모리(ROM)(203), 2차 기억장치(204)(예를 들면, 하드 디스크)로 이루어진다. 하드웨어(200)는, 유저 인터페이스(205)(예를 들면, 버튼 또는 표시장치)와, 외부 인터페이스(206)(예를 들면, 범용 직렬 버스(USB)(상표) 또는 메모리 카드 리더)를 구비한다. 상기 인터페이스(206)(이하, "IF206"으로서 나타냄)를 거쳐서, 메모리 카드(209)로부터 화상 데이터를 판독하거나, 퍼스널 컴퓨터(210)에 접속된다. 하드웨어(200)는, 원고판독장치(207)(예를 들면, 스캐너)와 프린터 엔진(208)을 더 구비한다.

도 1은, 본 예시적 실시예에 있어서의 처리의 블록도를 보이고 있다. 도 1은 하드웨어(200)의 블록도다. 도 1에 도시된 것처럼, 본 예시적 실시예에서는, 입력 화상을 2개의 보간부(107,108)를 직렬로 접속한 구성에 의해 보정한다. 나중에 상세한 것은 설명하지만, 후단의 보간부(108)는, 그 보간강도를 제어 파라미터로 제어하는 것이 가능하다.

유저에 의해, 예를 들면 프린터에 인쇄 처리 실행의 지시가 IF(206)을 거쳐서 입력되었을 경우, 우선, 화상판독부(101)는, 상기 IF(206)에 접속된 메모리 카드나, 화상판독장치(207)로부터, 처리 대상이 되는 화상 데이터를 판독한다. 다음에, 화상해석부(102)는, 화상의 해석 처리를 행하여, 그 화상 데이터로부터의 특징량을 산출한다. 본 예시적 실시예에 따른 화상해석부는, 인물의 얼굴영역을 공지의 얼굴검출 기술을 사용해서 검출하고, 상기 얼굴영역의 속성값(평균 휘도, 색차 성분등)을 산출해서 그 얼굴영역이 노출 부족인가 아닌가를 판정한다. 한층 더, 화상해석부는, 화상 전체의 히스토그램을 산출하고, 그 결과를 해석하고, 화상의 칼라 밸런스의 적정도 정도를 판정한다. 상기 해석 결과는, 제1 다차원 LUT생성부(104)(제1 다차원 룩업테이블 생성수단)에 입력되어, 화상 전체의 칼라 밸런스를 보정하기 위한 제1의 3DLUT(제1 다차원 룩업테이블, 여기에서는 3차원 룩업테이블)를 생성한다.

다음에, 피사체 속성 갱신부(105)는, 화상해석부(102)에서 해석한 피사체(특정 피사체)의 속성정보(예를 들면, 피사체의 얼굴의 평균 휘도값)와 상기 제1의 3DLUT를 사용하여, 피사체 속성정보의 갱신을 행한다. 구체적으로는, 피사체 속성정보에 대하여 제1의 3DLUT를 공지의 보간방법에 의해 적용하여, 제1의 3DLUT에 의한 보정후의 속성정보를 산출한다.

상기 갱신된 속성정보는, 제2 다차원 LUT생성부(106)(제2 다차원 룩업테이블 생성수단)에 입력된다. 제2 다차원 LUT생성부(106)는, 피사체를 조정하기 위해 특화된 제2의 3DLUT(제2 다차원 룩업테이블, 여기에서는 3차원 룩업테이블)을 생성한다. 상기 제2의 3DLUT는, 제2 다차원 LUT생성부(106)에 입력된 상기 갱신후의 피사체 속성정보를 기초로 생성한다.

보정처리전의 최후의 준비단계로서, 제어 파라미터 생성부(103)(제어 파라미터 생성수단)는, 강도조정 보간부(108)에 있어서 보간강도를 제어하기 위한 파라미터를 생성한다. 구체적으로는, 제어 파라미터 생성부(103)는, 입력 화상에 대하여 필터링 처리에 의해 블러 화상을 생성하고, 그 생성한 블러 화상을 제어 파라미터(113)로서, 강도조정 보간부(108)에 입력한다.

이에 따라서, 2개의 3DLUT 및 제어 파라미터의 생성이 종료한다.

이하에서는, 보정처리의 흐름을 설명한다. 화상판독부(101)에서 판독한 화상 데이터는, 공지의 보간방법에 의해 상기 제1의 3DLUT를 적용한 각 화소마다 보간부(107)에 입력된다. 그 적용후의 화소값은, 공지의 보간방법에 의해, 상기 제2의 3DLUT를 적용한 강도조정 보간부(108)에 입력된다. 이 때, 상기 제어 파라미터에 따라, 화상의 국소영역마다, 제2의 3DLUT의 보간강도를 제어한다. 이상의 처리로 보정이 완료한 화상 데이터는, 색 변환부(109)에 의해 CMYK잉크색으로 변환된다. 의사 계조 처리부(110)에 의해, 오차확산과 디더링(dithering) 등의 의사 계조 처리가 실행된다. 그 후, 프린터 엔진부(111)에 의해 인쇄 매체 위에 화상으로서 형성된다.

이상이, 본 예시적 실시예에 따른 처리의 블록도의 설명이다.

이하에서는, 각 블록내의 상세한 처리에 관해서, 흐름도를 참조하여 설명한다.

화상판독부(101)에서는, 처리 대상 화상 데이터의 판독을 행한다. 판독은, IF(206)를 거쳐서 접속되어 있는 메모리 카드내에 포함되어 있는 화상 데이터를 판독하거나, 상기 판독장치(207)에 의해 원고를 광학적으로 스캔해서 얻어진 데이터를 판독하는 것으로 실현될 수 있다. 판독한 화상 데이터는, 그 색공간(colorspace)이, 예를 들면 sRGB공간인지, 혹은 Adobe RGB(US 어도비사의 등록상표)공간인지, 또는 그 밖의 색공간인지를 식별하기 위한 플래그 정보와 함께, 다음의 처리에 보내진다.

도 3은, 화상해석부(102)에서 실행되는 처리의 흐름도를 보이고 있다. 이 처리를 실행하는 프로그램은, 실행시에 2차 기억장치(204)로부터 RAM(202)에 로드되어, CPU(201)의 제어하에 실행된다.

우선, 단계S301에 있어서, 입력 화상의 리사이즈(resize)를 행한다. 히스토그램 산출이나 얼굴검출 처리는, 예를 들면 입력 화상이 4000×3000화소의 경우, 모든 화소에 대하여 처리를 행하면 방대한 처리량이 필요해진다. 상기 얼굴검출 처리나 히스토그램 산출 처리는, 화상의 특징을 나타내는데 필요한 해상도를 낮추고, 상기 저 해상도 화상에 대하여 처리를 행함으로써 전체의 처리량을 저감할 수 있다. 그 저해상도는 특정하지 않지만, 예를 들면 비디오 그래픽 어레이(VGA) 사이즈(640×480화소에 상당)로 해상도를 낮추는 것은 효과적이다.

다음에, 상기 저 해상도 화상에 대하여, 색 변환처리를 행한다. 이것은, 이후의 해석 처리에 있어서, 공통의 색공간에서 처리를 행하는 쪽이, 노출 적정도 판정부등에 있어서의 파라미터 설계가 용이해지기 때문이다. 본 예시적 실시예에서는, sRGB색공간을 선택한다. 임의의 다른 색공간이 입력되었을 경우에는, 단계S302에서는, 공지의 변환부를 사용해서 sRGB색공간으로 변환한다.

다음에, 단계S303에서는, 화상 전체의 히스토그램을 산출한다. 히스토그램 산출은 어떤 방법을 사용해도 된다. 여기에서는, 각 화소의 sRGB값을 휘도색차공간(예를 들면, YCbCr공간)으로 변환하고, 각 성분마다 히스토그램을 산출한다. 입력 화상이 전체적으로 노출 부족의 상태에서 촬영되었을 경우, 휘도성분 히스토그램(8비트 정밀도로 한다)은 도 4에 나타나 있는 바와 같이, 어두운 측으로 치우친 분포가 된다.

다음에, 단계S304에서는, 그 화상으로부터 원하는 피사체를 검출한다. 본 예시적 실시예에 있어서 피사체는 특별하게 한정되지 않고, 인물의 얼굴을 예로 들어서 설명한다. 인물 얼굴의 검출에 관해서는, 여러가지 방법이 제안되어 있고, 본 예시적 실시예에서는 그 어떠한 방법을 사용해도 된다.

다음에, 단계S305에서는, 전술한 히스토그램 정보, 및 얼굴검출 정보를 사용하여, 화상촬영시의 노출의 적정도를 판정한다.

도 5는 본 예시적 실시예에 있어서의 간단한 적정도 판정의 예를 나타내고 있다. 단계S501에서는, 얼굴을 검출하였는가 아닌가를 판정한다. 얼굴을 검출하였으면(단계S501에서 YES), 단계S502에서는 얼굴영역내의 휘도색차 성분의 평균치(ObjY,ObjCb, ObjCr)를 산출하고, 그 평균치중에 평균 휘도ObjY를, 소정의 노출의 적정도 정도를 결정하기 위한 임계치와 비교한다. 비교의 결과, 얼굴영역내의 평균 휘도값이 임계치를 상회하고 있으면(단계S502에서 NO), 적정 노출이라고 판단한다. 한편, 그 평균 휘도값이 그 임계치미만이면(단계S502에서 YES), 노출 부족이라고 판단한다. 얼굴을 검출하지 못하였으면(단계S501에서 NO), 단계S503에서는, 상기 히스토그램으로부터 산출한 화상 전체의 평균 휘도값을 소정의 임계치와 비교한다. 그 평균 휘도값이 임계치를 상회하고 있으면(단계S503에서 NO), 적정 노출이라고 판단한다. 그 평균 휘도값이 임계치미만이면(단계S503에서 YES), 노출 부족이라고 판단한다. 여기에서 산출한 얼굴영역 내부의 평균치(ObjY, ObjCb, ObjCr)나 검출한 얼굴영역의 화상내에서의 좌표위치 등은, 피사체영역의 속성정보로서, 이후의 처리에서 이용된다.

도 3으로 되돌아가면, 단계S306에서는, 칼라 밸런스의 적정도를 판정한다. 칼라 밸런스의 적정도 판정에 관해서는 여러가지 방법이 제안되어 있고, 본 예시적 실시예에서는 그 어떤 방법을 사용해도 된다. 여기에서는, 예로서, 일본국 공개특허공보 특개2000-013616에 기재되어 있는 것 같은 방법에 의해, 칼라 밸런스의 적정 정도를 판정하고, 칼라 밸런스 보정을 위한 회전 행렬을 생성하는 예를 설명한다.

일본국 공개특허공보 특개2000-013616에 의하면, 칼라 밸런스의 적정도 정도는 화상내의 하이라이트/쉐도우 포인트의 색차 성분에 의해 판정할 수 있다. 하이라이트/쉐도우 포인트란, 도 4에서 나타낸 휘도 히스토그램에 대하여 휘도의 낮은 쪽에서 도수를 적산한 누적 도수 분포를 산출하고, 상기 누적 도수가 99%의 포인트를 하이라이트 포인트, 1%의 포인트를 쉐도우 포인트로 정의하고 있다. 하이라이트/쉐도우 포인트로서 결정된 휘도값에 해당하는 화소로부터만 색차의 평균치를 산출한다. 그 색차가 0에 가까우면 칼라 밸런스는 적정하다고 판정하고, 0으로부터 멀어질수록 칼라 밸런스가 부적정하다고 판정한다. 칼라 밸런스가 부적정하다고 판정되었을 경우에는, 휘도색차공간에 있어서, 하이라이트/쉐도우 포인트의 색차를 0에 가깝게 하는 3×3의 회전 행렬을 생성하고, 상기 회전 행렬을 대상 화소값의 휘도색차 성분에 곱함으로써 칼라 밸런스의 보정이 가능해진다. 상기 회전 행렬의 생성에 관한 상세설명은, 상기 일본국 공개특허공보 특개2000-013616에 개시되어 있기 때문에, 여기에서의 상세설명은 생략한다. 본 예시적 실시예에 있어서의 화상해석부(102)를 설명하였다.

도 6은, 제1 다차원 LUT생성부(104)에서 실행되는 흐름도를 보이고 있다. 이 처리를 실행하는 프로그램은, 실행시에 2차 기억장치(204)로부터 RAM(202)에 로드되어, CPU(201)의 제어하에 실행된다. 본 예시적 실시예에서는, 각 RGB 성분이 8비트 정밀도의 3DLUT가 생성되고, 격자 간격은 32이다. 이 경우, 총 격자점의 수는, 9×9×9=729점이 된다. 이것들 모두의 격자점에 관해서, 도 6에 나타낸 처리를 행한다.

우선, 단계S601에서는, 칼라 밸런스 보정용 회전 행렬 MTX[3][3]을 생성한다. 그 생성 방법은, 전술한 일본국 공개특허공보 특개2000-013616에 기재되어 있기 때문에, 여기에서의 상세설명은 생략한다. 단계S306에 있어서의 칼라 밸런스 적정도 판정의 결과가, 적정하다고 판정되면, 생성되는 MTX[3][3]은 이하와 같은 단위행렬이다.

[수1]

다음에, 단계S602에서는, 목표 격자점의 RGB값을 공지의 변환식에 의해, YCbCr성분으로 변환한다. 단계S603에서는, 상기 YCbCr값에 대하여, 다음식에 의해 MTX를 적용하고, 칼라 밸런스 보정후의 Y'Cb'Cr'값을 산출한다. 아래의 수식에서는, m00∼m22는, 단계S601에서 생성한 회전 행렬의 각요소값을 보이고 있다.

[수2]

단계S604에서는, 그 산출한 Y'Cb'Cr'값에 대하여, 공지의 변환식에 의해 R'G'B'값으로 변환한다. 그 R'G'B'값은, 보정후의 격자점으로서 3DLUT에 기억되고, RAM(202)에 기억된다.

이상에서 설명한 단계S602∼단계S604의 처리를 729점 모두의 격자점에 대하여 처리함으로써, 제1의 3DLUT를 생성(제1 생성)할 수 있다.

피사체 속성 갱신부(105)는, 후술하는 제2의 3DLUT를 생성하기 위한 준비로서, 화상해석부(102)에서 구한 피사체의 속성정보(112)를 갱신한다. 속성정보의 갱신 처리는, 도 7에 나타낸 플로우에 따라 행해진다. 속성정보갱신부(105)에 입력된 피사체의 속성정보(112)(예를 들면, 얼굴영역 내부의 평균 휘도와 평균 색차)(ObjY, ObjCb, ObjCr)는, S701에 있어서 공지의 변환식에 의해, RGB값으로 변환된다. 단계S702에서는, 상기 RGB값에 대하여, 공지의 보간방법, 예를 들면 사면체 보간방법을 사용하여, 상기 제1의 3DLUT를 적용하고, 그 결과, 제1의 3DLUT 적용 후의 R'G'B'값을 얻는다. 단계S703에서는, 상기 R'G'B'값을 공지의 변환식에 의해, ObjY', ObjCb', ObjCr'값으로 변환한다(제1 보정). 상기 ObjY', ObjCb', ObjCr'값이 갱신된 속성정보는, 다음의 처리인 제2 다차원 LUT생성부(106)에 입력된다.

다음에, 제어 파라미터 생성부(103)가 실행하는 처리의 흐름도에 관하여 설명한다. 이 처리를 실행하는 프로그램은, 실행시에 2차 기억장치(204)로부터 RAM(202)에 로드되어, CPU(201)의 제어하에 실행된다. 제어 파라미터는, 상기한 바와 같이, 강도조정 보간부(108)의 보간강도를 제어하기 위한 파라미터다. 본 예시적 실시예에서는, 닷징 처리를 가정하고 있기 때문에, 제어 파라미터로서, 입력 화상에 대한 저주파 화상, 즉 블러 화상을 생성한다.

도 8은, 제어 파라미터 생성부(103)가 실행하는 처리의 흐름도다. 본 예시적 실시예에서는, 저주파 화상생성 방법에 관해서는 특별하게 한정하지 않는다. 여기에서는, 예로서, 입력 화상을 한번 축소하고, 축소 화상에 대하여 필터링 처리를 행하고, 그 후 그 화상을 원래의 해상도로 되돌리는 처리에 관하여 설명한다. 일반적으로 필터링 처리는, 대량의 연산을 필요로 하고, 그 축소 화상에 대하여 필터링 처리를 행함으로써 그 연산 비용을 저감할 수 있다.

단계S801에서는, 입력 화상, 즉 RGB화상에 대하여, 저해상도 화상으로 리사이즈한다. 리사이즈 방법은, 특별하게 한정하지 않고, 처리 속도가 우선될 경우에는, 가장 인접한 화소들의 선별 처리가 유효하다.

단계S802에서는, 리사이즈 후의 RGB화상 데이터를, 공지의 변환식에 의해 휘도화상으로 변환한다. 휘도화상은, 각 화소에 대한 휘도정보만을 포함하는 화상이며, 흑백사진 화상이 된다.

그 후, 단계S803에서는, 상기 휘도화상에 대하여, 공지의 필터링 처리(평활화 필터링 처리)에 의해 저주파 화상을 생성한다. 그 필터링 처리의 방법은 특별하게 한정하지 않고, 가장 간단한 예는, 다음식과 같은 평활화 필터를, 축소 화상중의 각 화소에 적용하는 것이다.

[수3]

단계S804에서는, 상기 얻어진 저주파 화상을 원래의 해상도로 확대한다. 이 때, 가장 인접한 보간을 사용해서 확대 처리를 행하면, 리사이즈 후의 화상에 고주파성분이 발생해버리므로, 선형보간에 의한 확대 처리를 행하는 것이 바람직하다.

종래 개시된 닷징 방법에서는, 색성분을 포함한 저주파 화상을 생성하는 예에 대해서만 언급하고 있다. 그렇지만, 본 예시적 실시예에서는, 상기 설명한 바와 같이, 저주파 화상이 휘도성분만 기억하기 때문에, 기억에 필요한 메모리량이 적다고 하는 이점이 존재한다.

도 9 및 도 11은, 제2 다차원 LUT생성부(106)가 실행하는 처리의 흐름도를 보이고 있다.

우선, 단계S901에서는, 상기 노출 적정도 판정의 결과에 따라, 휘도보정용의 톤 커브 Tc[256]을 생성한다. 톤 커브 Tc[256]는, 8비트 정밀도의 배열을 의미하고, 보정전의 휘도값에 대한 보정후의 휘도값이 기억되어 있는 1차원 룩업테이블이다.

도 10은, 본 예시적 실시예에 있어서 피사체영역이 노출 부족이라고 판정되었을 경우의 톤 커브의 생성 예를 나타낸다. 도 10에 있어서, 가로축은 보정전의 휘도를 나타내고, 세로축은 보정후의 휘도를 나타낸다. 도 10에 있어서, ObjY'값은 피사체 속성 갱신부(105)에 있어서 갱신된 얼굴영역내 평균 휘도를 나타내고, TarY가 미리 설정되어 있는 얼굴영역의 목표 휘도값이다. 톤 커브Tc[256]은, 점(ObjY', TarY)을 지나가는 곡선으로서 형성된다. 본 예시적 실시예에서는, 곡선의 형성 방법에 관해서 특별하게 한정하지 않는다. 예를 들면, 도 10과 같이, 곡선은 반드시 원점(0,0)이나 흰색점(255,255)에 연결할 필요가 없고, 곡선일 필요도 없다. 일부의 경우에는, 몇개의 직선에 의해 같은 유사한 톤 커브를 형성하여도 된다. 피사체영역이 노출 부족은 아니라고 판정되었을 경우에는, 상기 톤 커브는, 보정전 휘도값과 보정후 휘도값이 일치하도록 직선이어도 된다.

피사체 보정용 톤 커브가 생성된 후, 단계S902에서는, 피사체 보정용의 제2의 3DLUT를 생성한다. 도 11은, 단계S902의 상세한 플로우를 나타낸다.

도 11에 있어서, 우선, 단계S1101에서는, 3DLUT의 목표 격자점의 RGB값을 공지의 변환식에 의해, YCbCr값으로 변환한다. 다음에, 단계S1102에서는, 휘도값Y에 대하여, 아래와 같이 단계S901에서 산출한 톤 커브Tc를 적용하여, Y'값을 산출한다.

Y'=Tc[Y]

단계S1103에서는, 휘도상승량에 따른 채도보정을 행한다. 일반적으로, 휘도색차공간에 있어서, 휘도만 상승시키면, 그 결과 얻어진 화상은 채도가 저하한 보기가 좋지 않은 화상이 된다. 본 예시적 실시예에서는, 이 문제를 해결하기 위해서, 이하의 식으로 나타내는 채도강조 계수E를 산출한다:

E=(Y'/Y)×α+β

여기서, E는 항상 1.0이상이다.

상기 식에 있어서, α, β는 임의의 계수이며, 예로서 α=0.4, β=0.6으로 한다. 상기 식은, 휘도상승률(Y'/Y)이 1.0일 경우에는, E=1.0을 생성하고, 휘도상승률(Y'/Y)이 2.0일 경우에는, E=1.4를 생성한다. E는 항상 1.0이상으로 가정하여서, 채도 저하는 생기지 않는다.

단계S1103에서는, 이하의 식에 따라, 목표 격자점의 채도 보정을 행한다:

Cb'=Cb×E

Cr'=Cr×E

상기 처리에 의해 산출된 보정후의 Y'Cb'Cr'값은, 단계S1105에 있어서 공지의 변환식에 의해 R'G'B'값으로 변환되어, 제2의 3DLUT에 기억된다.

상기 단계S1101∼단계S1104를 모든 격자점에 대하여 처리 함에 의해, 제2의 3DLUT를 생성(제2 생성)할 수 있다.

입력 화상은 보간부(107)에 입력되고, 이 보간부에 있어서, 공지의 보간방법에 의해 상기 제1의 3DLUT가 적용된다. 보간부(107)에서는, 입력 화상의 색조(tint)가 보정된다(제2 보정). 본 발명에서는, 보간방법을 특별하게 한정하지 않고, 사면체 보간, 3각 기둥 보간 및 입방체 보간과 같은 보간방법을 사용해도 된다. 각 보간방법에 대해서는, 공지의 문헌에 수많이 기재되어 있기 때문에, 여기에서의 상세설명은 생략한다.

상기 보간처리에 의해, 제1의 3DLUT가 적용된 화상 데이터(R',G',B')가 다음 단계의 강도조정 보간부(108)에 입력된다.

강도조정 보간부(108)에서는, 상기 화상 데이터(R',G',B')에 대하여, 제어 파라미터(113)를 참조하면서, 상기 제2의 3DLUT를 적용한다. 강도조정 보간부(108)에서는, 특별히 그 방법을 한정하지 않고, 어떠한 공지의 보간방법을 사용해도 된다.

강도조정 보간부(108)에서 사용된 강도조정 방법에 관하여 설명한다. 도 12는, 강도조정 보간부(108)에 의해 실행된 처리의 플로우를 나타낸다.

우선, 단계S1201에서는, 입력 화상중의 목표 화소위치(x,y)에 기억된 화소값(R',G',B')에 대하여, 제2의 3DLUT를 적용하고, 적용후의 값(TempR, TempG, TempB)을 얻는다.

다음에, 단계S1202에서는, 강도조정 보간부(108)에 입력된 제어 파라미터(1206), 즉 저주파 휘도화상을 참조하여, 목표 화소위치(x,y)에 대응하는 제어 파라미터 값, 즉 휘도값BY(x,y)을 취득(추출)한다.

단계S1203에서는, 다음식에 의해, 보간강도 제어후의 화소값(R'', G'', B'')을 얻는다(제3 보정):

R''=(TempR - R') × (1.0- BY(x,y)/255)+ R'

G''=(TempG - G') × (1.0- BY(x,y)/255)+ G'

B''=(TempB - B') × (1.0- BY(x,y)/255)+ B'

상기 식에 있어서, BY(x,y)는 0∼255의 값을 갖는다고 상정하고 있기 때문에, BY(x,y)/255의 값은, 0.0∼1.0이다. 상기 식을 참조하여 아는 것처럼, 목표 화소가 어두운 영역에 포함될 경우에는, BY(x,y)이 0에 가까운 값이 된다. 그 경우, 식 R''=TempR이 충족되어, 제2의 3DLUT가 최대 강도로 적용된다. 한편, 목표 화소가 밝은 영역에 포함될 경우에는, BY(x,y)이 255에 가까운 값이 된다. 그 경우, 식R''=R'이 충족되어, 제2의 3DLUT가 거의 적용되지 않게 된다.

상기와 같은 구성을 사용함으로써, 제2의 3DLUT의 적용 강도를 제어 파라미터(113)로 제어하는 것이 가능해져, 화상중의 국소적인 보정량 제어가 실현될 수 있다.

상기 보정후 화상 데이터(R'',G'',B'')는, 색 변환부(109)에 있어서 잉크 색인 CMYK성분으로 변환되어, 오차확산, 디더링 등의 의사 계조 처리를 실행한 후 프린터 엔진부(111)에서 인쇄 매체 위에 화상으로서 형성된다.

이상에서 설명한 바와 같이, 본 발명의 제1 예시적 실시예에 의하면, 복수의 보간부는 직렬로 접속된다. 한쪽의 보간부(보간부(107))에서 화상 전체에 대하여 균일한 보정처리를 행하고, 다른 쪽의 보간부(강도조정 보간부(108))에서 그 보간강도를 제어 파라미터(113)로 제어한다. 이에 따라서, 매우 간단한 구성으로, 종래기술의 과제인 균일보정과 국소보정을 동시에 행하는 처리를 실현시킬 수 있다.

또한, 본 예시적 실시예에 의하면, 여러 가지 종류의 보정처리를 복수의 3DLUT를 사용해서 행하여서, 배경기술의 설명에서 서술한 3DLUT방식의 이점을 최대한 이용할 수 있다.

또한, 본 예시적 실시예에서는, 화상 전체를 균일하게 보정하는데 특화한 제1의 3DLUT를 생성하여, 상기 제1의 3DLUT를 사용해서 피사체의 속성정보(예를 들면, 얼굴의 휘도값)를 갱신한다. 그리고, 상기 갱신된 피사체정보를 바탕으로, 피사체를 적절하게 조정하는데에 특화된 제2의 3DLUT를 생성한다. 상술한 구성을 채용함으로써, 양쪽의 3DLUT의 독립도가 상승하고, 양쪽의 보정 파라미터의 설정을 매우 용이하게 행할 수 있다고 하는 이점이 있다.

상기한 바와 같이, 본 예시적 실시예에서는, 제어용 파라미터, 즉 저주파 화상은, 색성분을 기억하지 않도록 구성되어 있기 때문에, 색성분도 기억하는 종래 예와 비교하는 경우, 제어용 파라미터를 기억하는데 필요한 메모리가 적다고 하는 이점도 존재한다.

본 예시적 실시예에서는, 제1의 3DLUT는, 화상 전체의 칼라 밸런스 보정만을 채용해서 설명했지만, 본 예시적 실시예는 그 칼라 밸런스 보정에 한정되지 않는다. 예를 들면, 제1의 3DLUT에서는, 화상 전체가 노출 부족일 경우, 레벨 보정처리를 포함하여도 된다. 칼라 밸런스와 화상 전체의 휘도를 밝게 한 후, 한층 더 피사체의 휘도를 조정하는 제2의 3DLUT를 생성하여도 된다.

이렇게, 화상 전체가 노출 부족이고 피사체의 얼굴도 어두울 경우, 종래와 같이 1개의 3DLUT만으로, 피사체의 휘도를 조정하려고 하는 문제가 발생하기도 한다. 즉, 도 13에 나타나 있는 바와 같이, 휘도보정 톤 커브의 어두운 측의 기울기가 너무 급준해서, 톤 점프 등의 화상 결함이 발생하기도 한다. 또한, 톤 커브 중간조의 콘트라스트의 기울기를 특정값 이상 유지하려고 하면, 영역 1302에 나타나 있는 바와 같이, 노출과다 영역이 증가한다고 하는 문제가 있다. 이 점에서, 본 예시적 실시예에서 나타낸 바와 같은 복수의 3DLUT가 공유하고 그 사이에서 휘도보정을 행하면, 상기 노출과다 영역의 증가가 발생하기 어렵다고 하는 특별한 이점이 존재한다.

이상이 제1 예시적 실시예의 설명이지만, 본 발명은 상기 예시적 실시예에 한정되는 것은 아니다. 예를 들면, 3DLUT의 격자점 수는 729점에 한정되지 않고, 그 729 이상이어도 된다.

LUT를 간단함을 기하기 위해서 3차원으로 고정해서 설명을 행했지만, 예를 들면 4개의 CMYK 성분에 대하여 같은 처리를 행할 수 있고, 이러한 경우에는 4차원 LUT를 생성하게 된다. 본 예시적 실시예에서는, 간단함을 기하기 위해서 휘도색차공간을 YcbCr공간에 한정해서 설명했지만, 다른 색공간, 예를 들면 CIE Lab이어도 된다. 본 예시적 실시예에서는, 간단함을 기하기 위해서, 보간부의 수를 2개에 한정해서 설명했지만, 필요에 따라 한층 더 여러개의 보간부를 직렬 접속해도 된다. 또한, 본 예시적 실시예에서는, 상기 보간부가 하드웨어(200)에 탑재되어 있는 CPU를 사용하여 소프트 처리를 행했다. 그렇지만, 필요에 따라서 그 보간부만을 하드웨어 회로로서 구성한 경우, 본 발명을 달성할 수 있다. 본 예시적 실시예에서는, 보간부에 입출력되는 화상 데이터는, 1화상에 대한 프레임이라고 한다. 그렇지만, 보간부에의 입출력의 단위는, 예를 들면, 화소라도 좋고, 소정수의 라인을 묶는 밴드라도 좋다.

제1 예시적 실시예에 있어서는, 제1의 3DLUT를 적용한 피사체 속성정보(ObjY', ObjCb', ObjCr')를 사용하여, 얼굴의 평균 휘도값ObjY'이 목표휘도값TarY으로 보정되도록 상기와 같은 톤 커브를 사용해서 제2의 3DLUT를 생성했다.

그렇지만, 이 3DLUT를 사용하여 제1 예시적 실시예에 기재된 것 같은 강도조정 보간부(108)에서 보정을 실시하는 경우, 얼굴의 평균 휘도값이 정확하게 목표휘도값TarY가 되지 않는다고 하는 문제가 있다.

예를 들면, ObjY'=60, TarY=140이라고 가정한다. 강도조정 보간부(108)에 있어서, 제2의 3DLUT가 최대강도로 적용되면, 얼굴영역은 정확하게 목표휘도값TarY=140으로 변환되게 된다. 그러나, 실제로는, 제1 예시적 실시예에서 설명한 바와 같이, 강도조정 보간부(108)는 제어 파라미터(113), 즉 저주파 휘도화상(저해상도 화상)으로 그 적용 강도를 제어한다. 그 때문에, 예를 들면, 제어 파라미터(113)가 나타낸 저주파 휘도화상(블러 화상)에 있어서의 얼굴영역의 평균 휘도값이 50이었을 경우, 강도조정 보간부(108)의 제어식에 의하면, 제2의 3DLUT의 적용 강도는 1.0-(50/255)=0.8이 된다. 즉, 그 적용 강도는 약 80%이다.

달리 말하면, 휘도값이 60인 ObjY'는, 124까지 보정된다.

제2 예시적 실시예에서는, 상기 문제를 감안하여, 제어 파라미터로 제2의 3DLUT의 적용 강도를 제어하는 경우에, 피사체의 휘도를 목표의 휘도로 적절하게 제어할 수 있는 화상처리장치를 설명한다.

도 14는, 본 예시적 실시예에 있어서의 처리의 블록도를 보이고 있다. 상기 제1 예시적 실시예와 다른 점은, 제어 파라미터 생성부(1408)에서 생성한 제어 파라미터(1413)가, 제2 다차원 LUT생성부(1405)에 입력되어 있는 점이다. 도 14의 화상판독부(101), 화상해석부(102), 제1의 다차원 LUT생성부(104), 피사체 속성 갱신부(105), 보간부(107), 강도조정 보간부(108), 색 변환부(109), 의사 계조 처리부(110), 프린터 엔진(111) 및 피사체 속성정보(112)는, 도 1과 같다.

도 15는, 본 예시적 실시예에 있어서의 제2 다차원 LUT생성부(1405)가 실행하는 처리의 흐름도를 보이고 있다.

단계S1501에서는, 상기 제1 예시적 실시예와 마찬가지로, 피사체 보정용의 톤 커브를 생성한다.

다음에, 단계S1502에서는, 제2 다차원 LUT생성부(1405)에 입력된 제어 파라미터(1506), 즉 저주파 휘도 화상상에 있어서, 피사체영역의 평균 휘도 FBY를 산출한다. 평균 휘도는, 피사체 속성정보(1505)에 포함되는 화상에서의 피사체영역의 좌표위치를 바탕으로 산출할 수 있다.

다음에, 단계S1503에서는, 상기 톤 커브를, 상기 FBY값을 사용해서 보정한다. 이 보정단계를, 도 16을 사용하여 설명한다.

도 16에 있어서, 상기 톤 커브 Tc[256]가, 제1 예시적 실시예에서 설명한 피사체 보정용 톤 커브다. 상기 톤 커브 자신은, 갱신후의 피사체 휘도값인 ObjY'값을 목표휘도값TarY으로 보정할 수 있다. 그렇지만, 상기한 바와 같이, 제어 파라미터와의 관계에 의해, 최종적으로는 목표 휘도값TarY에 도달하지 않을 가능성이 높다.

본 예시적 실시예에서는, 이하의 식에 따라 TarY'값을 산출하고, 상기 TarY'값을 경유하는 톤 커브Tc'[256]을 사용하여, 제2의 3DLUT를 생성한다.

[수4]

위식에 근거하여, 다음식을 얻는다:

[수5]

위식에 근거하여, 다음식을 얻는다:

Tc'[k]=Tc[k]×(TarY'/TarY)(k=0∼255)

상기 식은, FBY=0이면, TarY'= TarY이고, FBY=128이면, TarY'=2×TarY-ObjY'인 것을 나타낸다. Tc'[k]은, Tc[k]에 배율(TarY'/TarY)을 곱하는 것에 의해, 도 16에 나타나 있는 바와 같은 톤 커브(1601)를 생성할 수 있다.

전술한 예에 대해서 구체적으로 설명한다. ObjY'=60, TarY=140 및 FYB=51이라고 가정한다.

이 경우, 상기 식은 TarY'=160이 된다. FYB=51일 경우, 제2의 3DLUT의 유효율은 80%이기 때문에, 최종적인 얼굴평균치는, (160-60)×0.8+60=140이 되어, 당초의 목표휘도값에 도달될 수 있다.

이후의 처리는, 상기 제1 예시적 실시예와 같다. 그래서, 상세한 처리는 반복하지 않는다.

이상에서 설명한 바와 같이, 본 예시적 실시예에 의하면, 한번 생성한 피사체 보정용 톤 커브를, 제어용 파라미터의 피사체 영역 평균치를 사용해서 보정함에 의해, 최종적인 출력을, 목표 화질로서 가정된 결과로 하는 것이 가능해진다.

또한, 본 예시적 실시예에서는, 제1 예시적 실시예를 답습하고, 피사체 보정용 톤 커브Tc[256]을 산출한 후, 이 톤 커브를 보정하는 방법에 관하여 설명했지만, 본 발명은 이러한 구성에 한정되지 않는다. 예를 들면, 톤 커브Tc를 산출할 때에, 미리 TarY'값을 산출하고, 점(ObjY', TarY')을 통과하는 톤 커브를 상기 톤 커브Tc로서 생성해도 된다.

상기 제1 예시적 실시예에서는, 간단함을 기하기 위해 2개의 보간부에 입력되는 2개의 3DLUT는 같은 729격자점을 갖고, 그의 각 RGB 성분은 8비트 정밀도를 갖는다고 가정하지만, 본 발명은 이러한 구성에 한정되지 않는다.

예를 들면, 각 3DLUT에서 행해지는 보정의 종류 또는 특성에 따라서는, 격자점 수와 비트 정밀도가 3DLUT마다 다른 경우 전체적으로 시스템이 효과적으로 동작하는 경우들이 있다. 이러한 경우를 제3 예시적 실시예에서 설명한다.

도 17은, 본 예시적 실시예에 있어서의 처리의 블록도를 나타낸다. 제1 예시적 실시예와 다른 점은, 제1의 729점 8비트 다차원 LUT생성부(1701)에서 생성된 3DLUT가 8비트 성분과 729 격자점으로 이루어지고, 제2의 4096점 10비트 다차원 LUT생성부(1702)에서 생성된 3DLUT가 10비트 성분과 4096 격자점으로 이루어진다는 점이다. 이 이유에 대해서 이하에 설명한다. 도 17의 화상판독부(101), 화상해석부(102), 제어 파라미터 생성부(103), 피사체 속성 갱신부(105), 보간부(107), 강도조정 보간부(108), 색 변환부(109), 의사 계조 처리부(110), 프린터 엔진(111), 피사체 속성정보(112) 및 제어 파라미터(113)는, 도 1과 같다.

상기한 바와 같이, 제1의 3DLUT는, 화상 전체의 조정에 있어서 특정화하는 특성을 가져서, 일반적으로 RGB색공간 내에서 비선형 작용을 일으킬 가능성은 낮다. 예를 들면, 제1 예시적 실시예에서 설명한 회전 행렬을 사용한 색 흐림 보정도 선형변환이고, 레벨 보정과 채도강조는 극단적인 비선형성을 갖지 않는다. 이러한 변환에 사용된 3DLUT의 보정후 화소값들은, 그 격자점수나 비트 정밀도가 낮은 경우에도, 목표치에 대하여 충분한 정밀도를 유지할 수 있다.

한편, 제2의 3DLUT는, 화상 전체가 아니고, 피사체의 조정에 있어서 특정화하는 특성을 갖고, 예를 들면 계조보정을 위한 급준한 톤 커브로 인해 어두운 측에 있어서 톤 점프 등의 화상 결함의 발생이 생각될 수 있다. 그러므로, 예를 들면 각 RGB성분을 8비트 데이터가 아닌 10비트 데이터로서 기억함으로써, 계조성을 향상시킬 수 있어, 상기 화상 결함의 발생을 억제할 수 있다. 피사체가 인물일 경우, 예를 들면 피부색 영역만을 원하는 채도로 보정한다고 한 비선형처리가 요구되기도 한다. 이러한 경우에, 본 예시적 실시예와 같이, 제2의 3DLUT의 격자점을 729점보다 많은 4096점을 제공하고, 격자점간의 거리를 짧게 함으로써 상기 비선형처리에 대하여도 정밀도가 높은 보정처리를 행할 수 있다.

그 밖의 처리는, 상기 제1 예시적 실시예와 같아서, 그에 대한 상세한 설명은 생략한다.

이상에서 설명한 바와 같이, 본 예시적 실시예에 의하면, 복수의 다차원 LUT를 기억하는 화상처리장치에 있어서, 각 LUT에 의해 행해지는 처리의 내용에 따라, 다차원 LUT마다 격자점 수나 비트 정밀도가 상이하다. 이에 따라, 예를 들면 LUT들을 기억하는데 사용된 전체의 RAM용량을 삭감할 수 있다. 예를 들면, 각 RGB성분이 16비트 데이터를 포함하고 격자점수가 4096인 2개의 LUT가 기억되는 경우에는, 48KB의 RAM이 필요해진다. 한편, 각 RGB성분이 8비트 데이터를 포함하고 격자점수가 729인 1개의 LUT로 채용함으로써, 그 LUT를 기억하는 RAM용량은 상기의 경우와 비교하여 약 46%의 삭감인 26KB이다.

상기 보간부(107)와 강도조정 보간부(108)를 하드웨어 회로로서 구현하는 경우에, 양쪽 부에 대해 16비트 정밀도가 아닌, 하나의 부에 대해 8비트 정밀도에서 보간처리를 채용함으로써, 보간회로 전체의 규모를 축소시키고, 동등한 출력 결과를 얻는다고 하는 효과를 얻을 수 있다.

본 예시적 실시예에서는, 간단함을 기하기 위해서, 보간부의 수를 2개로, 양쪽의 보간부의 격자점수와 비트 정밀도를 한정해서 설명했지만, 본 발명은 이러한 구성에 한정되지 않는다. 본 발명의 효과를 실현할 수 있는 보간부의 수, 격자점수 및 비트수의 임의의 조합은, 본 발명의 범주에 포함된다.

상기에서는 제3 예시적 실시예를 설명했다.

상기 예시적 실시예들은, 간단함을 기하기 위해 RGB성분을 포함하는 3DLUT를 예로 들어 설명을 행했지만, 본 발명은 이러한 구성에 한정되는 것은 아니다. 예를 들면, 휘도색차 성분인 YCbCr값을 포함한 3DLUT로 본 발명에 따른 예시적 실시예들을 구성할 수 있다. 또한, 잉크 성분인 CMYK값을 갖는 4차원 ＬＵＴ에서도 마찬가지로 구성하는 것은 가능하다. 또한, 보다 높은 차원의 ＬＵＴ를 채용하는 경우에, 그것은 본 발명의 범주에 포함될 수 있다.

상기 예시적 실시예들에서는, 간단함을 기하기 위해 보간방법으로서 사면체 보간을 예로 들어서 설명을 행했지만, 본 발명은 이러한 방법에 한정되는 것은 아니다. 예를 들면, 공지의 입방체 보간이나 3각 기둥보간등, 다른 어떠한 보간방법을 사용한다고 한들, 상기 예시적 실시예들은 본 발명의 범주에 포함된다.

상기 예시적 실시예들에서는, 간단함을 기하기 위해, 피사체는 인물얼굴영역이며, 그 수는 1개를 전제로 하지만, 본 발명은 이러한 가정에 한정되지 않는다. 예를 들면, 피사체는 인간의 얼굴이외의 피사체(예를 들면, 동물이나 건물)이여도 개의치 않고, 그 수는 하나라고는 할 수 없다. 만약 복수의 피사체가 있으면, 전형적인 1개로 한정해서 처리를 행해도 되거나, 모든 피사체의 속성정보를 평균하여 처리를 행해도 된다.

상기 예시적 실시예들에서는, 간단함을 기하기 위해, 국소적 화상보정으로서 닷징 처리를 대표 예로서 설명을 했지만, 본 발명은 이러한 구성에 한정되지 않는다. 예를 들면, 푸른 하늘영역을 검출하고, 그 영역만 색조 및 채도를 바람직한 방향으로 보정하는 처리를 국소적 보정이라고 생각하는 경우에, 이것은 본 발명의 구성에 의해, 매우 효율적으로 실현하는 것이 가능해진다.

또한, 본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 시스템 또는 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

Claims (24)

1. 삭제
2. 입력 화상의 특징량에 의거하여 상기 입력 화상을 보정하기 위한 제 1 다차원 룩업테이블을 생성하는 제 1 생성부와,
   상기 제 1 다차원 룩업 테이블을 사용하여 상기 입력 화상에서의 특정 피사체의 속성 정보를 갱신하는 갱신부와,
   상기 갱신부에 의해 갱신된 상기 속성 정보에 의거하여 상기 특정 피사체를 보정하기 위한 제 2 다차원 룩업 테이블을 생성하는 제 2 생성부와,
   상기 입력 화상에 대하여 상기 생성된 제1 및 제2 다차원 룩업테이블을 적용하는 보간부를 구비한 화상 처리장치로서,
   상기 입력 화상으로부터 생성된 상기 입력 화상의 저주파 화상을 사용하는 상기 보간부에서의 상기 제 2 다차원 룩업 테이블의 적용 강도를 제어하는 제어부를 구비한, 화상처리장치.
   
3. 제 2 항에 있어서,
   상기 입력 화상의 상기 저주파 화상은, 상기 입력 화상이 저해상도로 변환된 저해상도 화상에 대하여 평활화 필터링을 수행하는 것에 의해 생성되는, 화상 처리장치.
   
4. 삭제
5. 제 2 항에 있어서,
   상기 제1 다차원 룩업테이블과 상기 제2 다차원 룩업테이블은, 그 격자점 수와 테이블 비트 정밀도가 상이한, 화상처리장치.
   
6. 제 2 항에 있어서,
   상기 특정 피사체는, 인물의 얼굴인, 화상처리장치.
   
7. 제 2 항에 있어서,
   상기 제 1 및 제 2 다차원 룩업테이블은, RGB성분을 갖는 3차원 룩업테이블인, 화상처리장치.
   
8. 입력 화상으로부터 휘도와 색차를 검출하는 단계;
   상기 검출된 휘도와 색차에 근거하여, 상기 입력 화상의 칼라 밸런스를 보정하기 위한 제1 다차원 룩업테이블을 생성하는 단계;
   상기 생성된 제1 다차원 룩업테이블을 사용하여 상기 입력 화상에 있어서의 소정의 피사체의 휘도값을 보정하는 제1 보정처리를 행하는 단계;
   상기 제1 보정처리에 의해 보정된 상기 소정의 피사체의 휘도값에 근거하여, 상기 보정된 입력 화상의 상기 휘도를 보정하는 제2 다차원 룩업테이블을 생성하는 단계;
   상기 생성된 제1 다차원 룩업테이블을 사용하여, 상기 입력 화상의 상기 칼라 밸런스를 보정하는 제2 보정처리를 행하는 단계; 및
   상기 생성된 제2 다차원 룩업테이블과 상기 입력 화상으로부터 생성된 저해상도 화상에 근거하여, 상기 제2 보정처리에 의해 보정된 입력 화상을 보정하는 제3 보정처리를 행하는 단계를 포함하는, 화상처리방법.
   
9. 입력 화상으로부터 복수의 특징량을 산출하는 단계;
   상기 특징량에 의거하여 제1 다차원 룩업테이블을 산출하는 단계;
   상기 입력 화상으로부터 특정 피사체의 속성정보를 산출하는 단계;
   상기 속성정보에 의거하여 제2 다차원 룩업테이블을 산출하는 단계;
   상기 입력 화상으로부터 제어용 파라미터를 생성하는 단계;
   상기 입력 화상에 대하여 상기 제1 및 제2 다차원 룩업테이블을 적용하여 보간하는 단계를 포함하고,
   상기 제2 다차원 룩업테이블의 보간강도를, 상기 제어용 파라미터를 사용하여 제어하는 단계를 포함하는, 화상처리방법.
   
10. 제 9 항에 있어서,
    상기 제어용 파라미터를 생성하는 단계는, 상기 입력 화상을 리사이즈하고, 상기 리사이즈후의 화상에 대하여 평활화 필터링 처리를 행하는 단계를 포함하는, 화상처리방법.
    
11. 제 9 항에 있어서,
    상기 제2 다차원 룩업테이블을 산출하는 단계는,
    상기 속성정보에 대하여 상기 제1 다차원 룩업테이블을 적용하여서 상기 속성정보를 갱신하는 단계; 및
    상기 갱신된 속성정보를 사용해서 상기 제2 다차원 룩업테이블을 생성하는 단계를 포함하는, 화상처리방법.
    
12. 제 9 항에 있어서,
    상기 제1 다차원 룩업테이블과 상기 제2 다차원 룩업테이블은, 그 격자점 수와 테이블의 비트 정밀도가 상이한, 화상처리방법.
    
13. 제 9 항에 있어서,
    상기 특정 피사체는 인물의 얼굴인, 화상처리방법.
    
14. 제 9 항에 있어서,
    상기 제 1 및 제 2 다차원 룩업테이블은 RGB성분을 갖는 3차원 룩업테이블인, 화상처리방법.
    
15. 제 2 항에 있어서,
    상기 제2 다차원 룩업테이블에 포함된 각 색성분의 비트 수는, 상기 제1 다차원 룩업테이블에 포함된 각 색성분의 비트 수보다 큰, 화상처리장치.
16. 제 3 항에 있어서,
    상기 저해상도 화상은 휘도 정보를 포함하는, 화상처리장치.
    
17. 제2항, 제3항 또는 제16항 중 어느 한 항에 있어서,
    상기 특정 피사체의 상기 속성 정보는 상기 특정 피사체의 평균 휘도 값인, 화상처리장치.
    
18. 제17항에 있어서,
    상기 제 2 생성부는 상기 갱신부에 의해 갱신된 상기 특정 피사체의 평균 휘도 값을 목표 휘도 값으로 변환하는 상기 제 2 다차원 룩업테이블을 생성하는, 화상처리장치.
    
19. 제2항, 제3항 또는 제16항 중 어느 한 항에 있어서,
    상기 입력 화상의 목표 화소에 대응하는 상기 저주파 화상의 화소의 휘도 값이 작을수록, 상기 제어부는 상기 입력 화상의 상기 목표 화소에 적용되는 상기 제 2 다차원 룩업테이블의 적용 강도를 더욱 증가시키는, 화상처리장치.
    
20. 제2항에 있어서,
    상기 제 1 다차원 룩업테이블은 상기 입력 화상의 칼라 밸런스를 보정하는, 화상처리장치.
    
21. 제2항에 있어서,
    상기 제 2 다차원 룩업테이블은 상기 입력 화상에 포함된 상기 특정 피사체의 휘도를 보정하는, 화상처리장치.
    
22. 제2항에 있어서,
    상기 제 2 생성부는 상기 입력 화상의 상기 갱신된 속성 정보 및 상기 저주파 화상을 사용해서 제 2 다차원 룩업테이블을 생성하는, 화상처리장치.
    
23. 제2항에 있어서,
    상기 제 2 다차원 룩업테이블의 비트 수는 상기 제 1 다차원 룩업테이블의 비트 수보다 큰, 화상처리장치.
    
24. 제2항에 있어서,
    상기 제 2 다차원 룩업테이블에서의 격자점의 수는 상기 제 1 다차원 룩업테이블에서의 격자점의 수보다 큰, 화상처리장치.
    
    
    

Images