KR20070113035A - 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서, 디지털 처리 장치, 기록매체 - Google Patents

색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서, 디지털 처리 장치, 기록매체 Download PDF

Info

Publication number
KR20070113035A
KR20070113035A KR1020060046740A KR20060046740A KR20070113035A KR 20070113035 A KR20070113035 A KR 20070113035A KR 1020060046740 A KR1020060046740 A KR 1020060046740A KR 20060046740 A KR20060046740 A KR 20060046740A KR 20070113035 A KR20070113035 A KR 20070113035A
Authority
KR
South Korea
Prior art keywords
compensation
image
pixel
color
pixels
Prior art date
Application number
KR1020060046740A
Other languages
English (en)
Other versions
KR100816301B1 (ko
Inventor
노요환
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020060046740A priority Critical patent/KR100816301B1/ko
Priority to PCT/KR2007/002538 priority patent/WO2007136234A1/en
Priority to US12/300,309 priority patent/US8059169B2/en
Publication of KR20070113035A publication Critical patent/KR20070113035A/ko
Application granted granted Critical
Publication of KR100816301B1 publication Critical patent/KR100816301B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 이미지 센서에 관한 것으로, 보다 상세하게는 이미지 센서에서 촬영된 이미지의 코너 부분에서 발생하는 색상 편차 현상을 없앨 수 있는 장치 및 방법에 관한 것이다. 본 발명에 따른 색상 편차 보상 장치는 상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도를 분석하고, 상기 이미지의 중심 화소로부터 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 대상 색상 성분으로 결정하는 색상 편차 분석 모듈; 상기 중심 화소로부터의 거리에 따라 시작점에서부터 복수의 구간을 설정하고, 상기 각 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 생성된 보상값들로 보상 테이블을 생성하는 보상 테이블 생성 모듈; 상기 보상 테이블로부터 상기 이미지 전체에 대한 보상 이미지를 생성하는 보상 이미지 생성 모듈; 및 상기 이미지에 상기 보상 이미지를 적용하여 색상 편차 보상을 수행하는 보상 수행 모듈을 포함한다. 특히 이미지의 각 코너에서 발생하는 각 색상별 특성의 차이에 따른 색상의 차이로 인한 이미지의 왜곡을 줄일 수 있다.
이미지 센서, 색상 편차, 코너, 보상, 보상 테이블

Description

색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지 프로세서, 디지털 처리 장치, 기록매체{Apparatus and method for compensating color, and image processor, digital processing apparatus, recording medium using it}
도 1은 촬상된 이미지의 각 사분면 코너에서 발생하는 색상 편차 현상의 일 실시예를 나타낸 도면.
도 2는 본 발명의 바람직한 일 실시예에 따른 이미지 장치의 구성 블록도.
도 3은 본 발명의 바람직한 일 실시예에 따른 색상 편차 보상부의 구성 블록도.
도 4는 본 발명에 따른 보상 테이블 생성 방법을 설명하기 위한 예시도.
도 5는 본 발명에 따라 생성된 보상 테이블의 예시도.
도 6은 보상 테이블로부터 획득된 보상 곡선의 예시도.
도 7은 본 발명에 따른 각 사분면에서의 보상 이미지의 평면도.
도 8은 본 발명의 바람직한 일 실시예에 따른 색상 편차 보상 방법의 흐름도.
<도면의 주요부분에 대한 부호의 설명>
25 : 색상 편차 보상부
110 : 색상 편차 분석 모듈
120 : 시작점 설정 모듈
130 : 보상 테이블 생성 모듈
140 : 보상 이미지 생성 모듈
150 : 보상 수행 모듈
본 발명은 이미지 센서에 관한 것으로, 보다 상세하게는 이미지 센서에서 촬영된 이미지의 코너 부분에서 발생하는 색상 편차 현상을 없앨 수 있는 장치 및 방법에 관한 것이다.
이미지 센서는 광학 영상(optical image)을 전기 신호로 변환시키는 반도체 소자이다. 이 중에서 전하결합소자(CCD; Charge Coupled Device)는 개개의 MOS(Metal-Oxide-Silicon) 커패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 커패시터에 저장되고 이송되는 소자이다. 반면에, 씨모스(CMOS; Complementary MOS; 이하 CMOS) 이미지 센서는 제어회로 및 신호처리회로를 주변회로로 사용하는 CMOS 기술을 이용하여 화소 수만큼의 MOS 트랜지스터를 만들고 이것을 이용하여 순차적으로 화소의 출력을 검출하는 스위칭 방식을 채용하는 소자이다.
이러한 이미지 센서를 구비한 휴대용 장치(예를 들어, 디지털 카메라, 이동 통신 단말기 등)가 개발되어 판매되고 있다. 이미지 센서는 화소(pixel)들 또는 포토사이트(photosite)들로 불리는 작은 감광 다이오드들의 어레이로서 구성된다. 화소들 자체는 보통 광으로부터 컬러를 추출하지 않으며, 넓은 스펙트럼 밴드로부터의 광자들을 전자들로 변환할 뿐이다. 단일 센서를 가지고 컬러 이미지들을 기록하기 위해서, 센서는 상이한 화소들이 상이한 컬러 조명을 수신하도록 필터링된다. 이러한 타입의 센서는 컬러 필터 어레이(CFA; Color Filter Array)로 알려져 있다. 상이한 컬러 필터들이 센서를 가로질러 미리 정의된 패턴으로 배열된다.
컬러 이미지의 컬러 필터 어레이는 일반적으로 베이어 패턴(Bayer Pattern)을 따른다. 즉, 화소들의 전체 개수의 절반은 녹색(G)이며, 전체 개수의 각 4분의 1은 적색(R)과 청색(B)에 할당된다. 컬러 정보를 얻기 위해, 컬러 이미지 화소들은 적색, 녹색 또는 청색 필터로 반복 패턴으로 이루어지며, 예를 들어 베이어 패턴의 경우 2 x 2 배열이라 할 수 있다.
베이어 패턴은 사람의 눈이 이미지의 녹색 내용으로부터 휘도(luminance) 정보의 대부분을 도출한다는 전제에 기초한다. 따라서, 전체 화소들 중 보다 많은 화소가 녹색이 되도록 함으로써 적색, 녹색 및 청색 화소들이 동일한 개수인 상태에서 교번하는 RGB 컬러 필터에 비해 높은 해상도 이미지가 생성될 수 있다.
이미지 센서의 화질 성능과 직접적인 관계를 가지는 요소들 중 첫번째가 이미지 센서로 빛을 모아주는 렌즈이다. 렌즈의 특징은 빛의 초점을 이미지센서로 잘 모아주되 좀더 많은 양의 빛을 투과시켜 주어야 하며, 전체 촬상면에 골고루 빛이 투과되도록 해야 한다. 그리고 빛의 각 성분에 따른 투과율의 차이를 최소화하여 각 색상 간에 색상 편차가 발생하지 않도록 되어야 한다.
그러나, 최근 개발되어 판매되는 휴대용 장치는 모든 센서 모듈들이 얇고 작아져야 하는 슬림화, 초소형화 경향을 가지고 있다. 따라서, 휴대용 장치에 구비되는 이미지 센서도 고화소화 요구가 많아지고 있는 실정이다. 이에 따라 렌즈와 촬상면 간의 충분한 거리가 확보되지 않고 렌즈의 밝기가 충분하지 않으며 렌즈의 투과 특성이 균일하지 않은 문제점이 있다. 특히나 바깥쪽으로 갈수록 빛의 양이 줄어들게 됨으로써 각 코너 쪽으로 갈수록 더욱 색상 편차가 두드러져 가장자리에서 화면 전체에 원치 않는 색상이 끼어드는 현상이 발생하게 된다.
도 1은 촬상된 이미지의 각 사분면 코너에서 발생하는 색상 편차 현상의 일 실시예를 나타낸 도면이다.
이미지를 크게 4등분하여 i, ii, iii, iv 사분면으로 나눈 경우, 각 사분면마다 코너 부분(A, B, C 및 D)에서 적색, 녹색 및 청색 중 적어도 하나 이상이 다른 색에 비하여 강하게 두드러져 보이는 현상이 발생하여 전체적으로 색상 편차의 불균형 현상이 발생한다.
또한, 각 사분면(i, ii, iii, iv)의 코너가 동일한 색상에 대하여 모두 강하게 두드러져 보이는 것이 아니라, 예를 들어 i 사분면은 적색이, ii 사분면은 청색이, iii 및 iv 사분면은 녹색이 각각 강하게 두드러져 보이는 불균일한 색상 편차가 발생한다.
그리고 각 사분면(i, ii, iii, iv)에서 색상 편차가 불균일해지는 시작점이 각각 다를 수 있다. 예를 들어, 중심에서부터의 각 사분면의 시작점까지의 거리를 보면 i 사분면은 RA, ii 사분면은 RB, iii 사분면은 RC, iv 사분면은 RD로 각각 색상 편차의 불균일 현상의 시작점이 차이가 남으로 인해 이미지의 왜곡이 발생한다.
이미지 센서의 컬러 필터 어레이 중앙부의 화소들과 외곽의 화소들은 서로 다른 위치에서 광원에 노출된다. 이러한 미세한 위치 차이는 조도(illumination) 차이를 유발하며, 조도 차이는 빛의 파장 차이와 렌즈들의 굴절률 차이에 의해 색상에도 영향을 준다. 그 결과, 색상 왜곡과 화소의 위치에 의존한 신호 크기의 감소가 필연적으로 발생하며, 이는 원시 이미지의 품질을 저하시키는 원인이 된다. 이를 극복하기 위해 렌즈 셰이딩(lens shading) 현상 보정을 통해 백색 영역의 이미지를 촬영하였을 때 전체적으로 동일한 루미넌스를 갖도록 하는 방법이 있었다. 하지만, 이는 이미지의 중심 부분을 중심으로 하여 보정하는 방법이고, 중심으로부터의 거리에 따라 일괄적으로 이루어지는 보정인 한계가 있다.
따라서, 본 발명은 이미지에서 발생하는 불균일한 색상 편차를 개선할 수 있는 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지 프로세서, 디지털 처리 장치, 기록매체를 제공한다.
또한, 본 발명은 특히 이미지의 각 코너에서 발생하는 각 색상별 특성의 차이에 따른 색상의 차이로 인한 이미지의 왜곡을 줄일 수 있는 색상 편차 보상 장 치, 보상 방법 및 이를 이용한 이미지 프로세서, 디지털 처리 장치, 기록매체를 제공한다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 일 측면에 따르면, 불균일한 색상 편차를 가지는 이미지의 색상 편차를 보상하는 장치가 제공될 수 있다.
색상 편차 보상 장치는 상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도(luminance)를 분석하고, 상기 이미지의 중심 화소로부터 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 대상 색상 성분으로 결정하는 색상 편차 분석 모듈; 상기 중심 화소로부터의 거리에 따라 시작점에서부터 복수의 구간을 설정하고, 상기 각 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 생성된 보상값들로 보상 테이블을 생성하는 보상 테이블 생성 모듈; 상기 보상 테이블로부터 상기 이미지 전체에 대한 보상 이미지를 생성하는 보상 이미지 생성 모듈; 및 상기 이미지에 상기 보상 이미지를 적용하여 색상 편차 보상을 수행하는 보상 수행 모듈을 포함한다.
또한, 색상 편차 보상 장치는 상기 중심 화소로부터 상기 코너 화소까지의 기준선 상에 위치한 화소들 중에서 상기 중심 화소로부터 순차적으로 상기 화소들의 휘도의 변화가 소정 임계치 이상인 화소를 상기 시작점으로 설정하는 시작점 설 정 모듈을 더 포함할 수 있다.
바람직하게는, 상기 이미지는 4개의 상기 코너 화소를 가지고 있으며, 상기 보상 테이블 생성 모듈은 상기 각 코너 화소를 포함하는 4개의 사분면에 대해 각각 상기 보상 테이블을 생성할 수 있다.
여기서, 상기 보상 테이블 생성 모듈은 상기 각 사분면 중 둘 이상에 대해 상기 보상 테이블을 구성하는 상기 구간의 간격이 서로 다르거나 상기 각 사분면 중 둘 이상에 대해 상기 중심 화소로부터 상기 시작점까지의 거리가 서로 다를 수 있다.
또한, 상기 보상 이미지 생성 모듈은 상기 보상 테이블에 저장된 상기 경계 화소 및 상기 경계 화소의 보상값을 선형적으로 보간하여 상기 경계 화소 이외의 화소들의 보상값을 산출하고, 이를 기초로 하여 상기 보상 이미지를 생성할 수 있다.
그리고 상기 보상 테이블은 색상 편차 보상을 하고자 하는 사분면의 식별을 위한 사분면 식별자, 상기 대상 색상 성분에 대한 대상 색상 정보, 색상 편차 보상이 시작되는 상기 시작점을 나타내는 시작점 식별자, 상기 보상 테이블의 구간 간격을 나타내는 구간 간격 정보 및 상기 각 구간의 경계 화소의 보상값을 기록한 보상값 표를 포함할 수 있다.
또는 상기 보상 테이블은 색상 편차 보상을 하고자 하는 사분면의 식별을 위한 사분면 식별자, 상기 대상 색상 성분에 대한 대상 색상 정보 및 상기 각 구간의 경계 화소 좌표와 상기 경계 화소의 보상값을 기록한 보상값 표를 포함할 수 있다.
상기 목적들을 달성하기 위하여, 본 발명의 다른 측면에 따르면, 불균일한 색상 편차를 보상하는 이미지 프로세서가 제공될 수 있다.
이미지 프로세서는 입력되는 디지털 영상 신호를 색상 보간 처리하고 렌즈 셰이딩 보정을 한 후 감마 조정한 이미지를 생성하는 선 처리부; 상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도를 분석하고, 상기 이미지의 중심 화소로부터 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 대상 색상 성분으로 결정하며, 상기 중심 화소로부터의 거리에 따라 시작점에서부터 복수의 구간을 설정하고, 상기 각 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 생성된 보상값들로부터 상기 이미지 전체에 대한 보상 이미지를 생성하고 색상 편차 보상을 수행하는 색상 편차 보상부; 및 상기 색상 편차 보상부를 통해 출력되는 이미지 데이터가 디스플레이될 수 있도록 처리하는 후속 처리부를 포함한다.
여기서, 상기 색상 편차 보상부는, 상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도를 분석하고, 상기 중심 화소로부터 상기 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 상기 대상 색상 성분으로 결정하는 색상 편차 분석 모듈; 상기 중심 화소로부터의 거리에 따라 상기 시작점에서부터 복수의 구간을 설정하고, 상기 각 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 생성된 상기 보상값들로 상기 보상 테이블을 생성하는 보상 테이블 생성 모듈; 상기 보상 테이블로부터 상기 보상 이미지를 생성하는 보상 이미지 생성 모듈; 및 상기 이미지에 상기 보상 이미지를 적용하여 색상 편차 보상을 수행하는 보상 수행 모듈을 포함할 수 있다.
또한, 상기 색상 편차 보상부는, 상기 중심 화소로부터 상기 이미지의 코너 화소까지의 기준선 상에 위치한 화소들 중에서 상기 중심 화소로부터 순차적으로 상기 화소들의 휘도의 변화가 소정 임계치 이상인 화소를 상기 시작점으로 설정하는 시작점 설정 모듈을 더 포함할 수 있다.
바람직하게는, 상기 이미지는 4개의 상기 코너 화소를 가지고 있으며, 상기 보상 테이블 생성 모듈은 상기 각 코너 화소를 포함하는 4개의 사분면에 대해 각각 상기 보상 테이블을 생성할 수 있다.
여기서, 상기 보상 테이블 생성 모듈은 상기 각 사분면 중 둘 이상에 대해 상기 보상 테이블을 구성하는 상기 구간의 간격이 서로 다르거나 상기 각 사분면 중 둘 이상에 대해 상기 중심 화소로부터 상기 시작점까지의 거리가 서로 다를 수 있다.
또한, 상기 보상 이미지 생성 모듈은 상기 보상 테이블에 저장된 상기 경계 화소 및 상기 경계 화소의 보상값을 선형적으로 보간하여 상기 경계 화소 이외의 화소들의 보상값을 산출하고, 이를 기초로 하여 상기 보상 이미지를 생성할 수 있다.
그리고 상기 보상 테이블은 색상 편차 보상을 하고자 하는 사분면의 식별을 위한 사분면 식별자, 상기 대상 색상 성분에 대한 대상 색상 정보, 색상 편차 보상이 시작되는 상기 시작점을 나타내는 시작점 식별자, 상기 보상 테이블의 구간 간격을 나타내는 구간 간격 정보 및 상기 각 구간의 경계 화소의 보상값을 기록한 보 상값 표를 포함할 수 있다.
또는 상기 보상 테이블은 색상 편차 보상을 하고자 하는 사분면의 식별을 위한 사분면 식별자, 상기 대상 색상 성분에 대한 대상 색상 정보 및 상기 각 구간의 경계 화소 좌표와 상기 경계 화소의 보상값을 기록한 보상값 표를 포함할 수 있다.
상기 목적들을 달성하기 위하여, 본 발명의 또 다른 측면에 따르면, 불균일한 색상 편차를 보상하는 디지털 처리 장치가 제공될 수 있다.
디지털 처리 장치는 렌즈를 통해 입력되는 광학적 피사체 신호를 전기적 신호인 디지털 영상 신호로 변환하여 출력하는 센서부; 상기 디지털 영상 신호를 색상 보간 처리하고 렌즈 셰이딩 보정을 한 후 감마 조정한 이미지를 생성하며, 상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도를 분석하고, 상기 이미지의 중심 화소로부터 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 대상 색상 성분으로 결정하며, 상기 중심 화소로부터의 거리에 따라 시작점에서부터 복수의 구간을 설정하고, 상기 각 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 생성된 보상값들로부터 상기 이미지 전체에 대한 보상 이미지를 생성하고 색상 편차 보상을 수행하고, 디스플레이 가능한 포맷으로 변환한 변환 이미지를 생성하는 이미지 프로세서; 및 상기 변환 이미지를 디스플레이하는 표시부를 포함할 수 있다.
상기 목적들을 달성하기 위하여, 본 발명의 또 다른 측면에 따르면, 이미지 의 불균일한 색상 편차를 보상하는 방법이 제공될 수 있다.
색상 편차 보상 방법은 (a) 입력된 상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도를 분석하고, 상기 이미지의 중심 화소로부터 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 대상 색상 성분으로 결정하는 단계; (b) 상기 이미지의 중심 화소로부터의 거리에 따라 시작점에서부터 복수의 구간을 설정하는 단계; (c) 상기 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 보상값을 산출하고 보상 테이블로 저장하는 단계; (d) 상기 보상 테이블로부터 상기 이미지 전체에 대한 보상 이미지를 생성하는 단계; 및 (e) 상기 이미지에 상기 보상 이미지를 적용하여 색상 편차 보상을 수행하는 단계를 포함한다.
또한, 상기 단계 (a)와 (b) 사이에, 상기 중심 화소로부터 상기 코너 화소까지의 기준선 상에 위치한 화소들 중에서 상기 중심 화소로부터 순차적으로 상기 화소들의 휘도의 변화가 소정 임계치 이상인 화소를 상기 시작점으로 설정하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 단계 (c)와 (d) 사이에, 상기 이미지는 4개의 상기 코너 화소를 가지고 있으며, 상기 각 코너 화소를 포함하는 4개의 사분면에 대해 상기 단계 (b) 및 (c)를 반복하여 각각 상기 보상 테이블을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 단계 (b)는 상기 각 사분면 중 둘 이상에 대해 상기 구간의 간격을 서로 다르게 설정할 수 있다.
그리고 상기 단계 (c)는 상기 각 사분면 중 둘 이상에 대해 상기 중심 화소 로부터 상기 시작점까지의 거리가 서로 다른 상기 보상 테이블을 생성할 수 있다.
또한, 상기 단계 (d)는 (d-1) 상기 보상 테이블에 저장된 상기 각 구간의 상기 경계 화소 및 상기 경계 화소의 보상값을 추출하는 단계; (d-2) 상기 경계 화소 및 상기 경계 화소의 보상값으로부터 상기 각 구간에 상응하는 일차함수를 결정하는 단계; 및 (d-3) 상기 각 구간 내의 화소들에 대해 상기 일차함수를 이용하여 상응하는 보상값을 결정하는 단계를 포함할 수 있다.
상기 목적들을 달성하기 위하여, 본 발명의 또 다른 측면에 따르면, 이미지의 불균일한 색상 편차를 보상하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체가 제공될 수 있다.
기록매체는 입력된 상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도를 분석하고, 상기 이미지의 중심 화소로부터 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 대상 색상 성분으로 결정하는 단계; 상기 이미지의 중심 화소로부터의 거리에 따라 시작점에서부터 복수의 구간을 설정하는 단계; 상기 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 보상값을 산출하고 보상 테이블로 저장하는 단계; 상기 보상 테이블로부터 상기 이미지 전체에 대한 보상 이미지를 생성하는 단계; 및 상기 이미지에 상기 보상 이미지를 적용하여 색상 편차 보상을 수행하는 단계를 수행하는 프로그램을 기록하고 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지 프로세서, 디지털 처리 장치, 기록매체의 바람직한 실시예를 상세히 설명한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 동일 또는 유사한 개체를 순차적으로 구분하기 위한 식별기호에 불과하다.
본 발명에서 불균일한 색상 편차를 가지고 있어 보상 대상이 되는 이미지의 일례로 도 1에 도시된 도면을 이용하기로 한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 이미지 장치의 구성 블록도이다. 이미지 장치(1)는 센서부(10), 이미지 프로세서(20), 표시부(30)를 포함하여 구성된다. 물론, 이외에도 키 입력부, 메모리 등을 더 포함할 수 있으나, 이는 본 발명의 요지와 무관한 사항이므로 이에 대한 설명은 생략한다.
센서부(10)는 컬러 필터 어레이(CFA; 12) 및 A/D 컨버터(14)를 포함한다. 물론, 센서부(10)는 외부 렌즈(미도시)를 더 포함할 수 있다.
컬러 필터 어레이(12)는 외부 렌즈를 통해 입력되는 광학적 피사체 신호를 전기적인 신호로 변환하여 출력한다. 여기서, 컬러 필터 어레이(10)는 베이어 패턴 등 다양한 패턴의 사용이 가능하며, 각 화소마다 적색, 녹색, 청색 중 어느 하나의 색상에 해당하는 정보를 가지는 영상 신호가 출력된다. 즉, 적색(R) 패턴에 해당하는 화소에서는 적색 정보만을 가지는 영상 신호가 출력되고, 녹색(G) 패턴에 해당 하는 화소에서는 녹색 정보만을 가지는 영상 신호가 출력되며, 청색(B) 패턴에 해당하는 화소에서는 청색 정보만을 가지는 영상 신호가 출력된다. 베이어 패턴 등을 가지는 컬러 필터 어레이(12)는 각 화소가 가지는 영상 신호를 각 색상별로 보간 처리(Interpolation, 예를 들어 좌우로 2 화소의 값을 평균하거나, 상하좌우의 4 화소의 값을 평균하여 해당 화소의 결핍된 색상 정보를 유추하는 등)하여 완전한 색상 정보를 얻는다. 보간 처리는 이미지 프로세서(20)의 보간 처리부(22)에 의해 수행된다.
A/D 컨버터(14)는 컬러 필터 어레이(12)에 의해 변환된 영상 신호를 디지털 신호로 변환하여 이미지 프로세서(20)로 전달한다.
이미지 프로세서(20)는 보간 처리부(22), 렌즈 셰이딩 보상부(23), 감마 변환부(24), 색상 편차 보상부(25), 색 조정부(26), 포맷 변환부(27)를 포함하여 구성된다. 추가적으로 노이즈 필터(21)를 더 포함할 수 있다. 또한, 이미지 프로세서(20)는 컬러 필터 어레이(12)의 구동에 이용된 수평 동기 신호(Hsync), 수직 동기 신호(Vsync) 및 화소 클럭(PCLK)으로부터 각종 타이밍 신호를 생성하는 타이밍 발생부(미도시)를 더 포함할 수 있다.
노이즈 필터(21)는 A/D 컨버터(14)에서 출력된 디지털 신호에 포함된 노이즈(noise)를 1차적으로 필터링한다. 노이즈 필터(21)는 필요에 따라 이미지 프로세서(20)에 포함될 수 있다.
보간 처리부(22)는 각 화소마다 적색, 녹색, 청색의 화소 신호를 생성한다. 컬러 필터 어레이(212)에서 출력되는 영상 신호가 베이어 패턴을 가지는 경우 적 색(R)에 대응하는 화소에서는 녹색(G)이나 청색(B)의 화소 신호를 획득할 수 없다. 따라서, 보간 처리부(22)는 주위 화소의 신호를 보간 연산함으로써 적색(R)의 화소 신호만을 가지고 있는 화소에서도 녹색(G)이나 청색(B)의 화소 신호를 생성할 수 있다. 이를 위해, 보간용 메모리(미도시)를 구비하여 주위 화소의 화소 신호가 일시적으로 기록되며, 보간 처리부(22)는 보간용 메모리에 일시적으로 기록되어 있는 주위 화소의 화소 신호를 이용하여 보간 연산을 수행한다.
렌즈 셰이딩 보상부(23)는 각 화소마다의 화소 신호의 휘도 분석, 레벨(level) 분석, 렌즈 셰이딩 이미지의 중심 화소 검출, 렌즈 셰이딩 이미지의 기울기 검출 등을 수행하며, 렌즈 셰이딩 현상을 보상할 수 있는 마스크 이미지를 생성한다. 레벨 분석, 렌즈 셰이딩 이미지의 중심 화소 검출, 기울기 검출을 통한 보상은 자동 노출값(auto exposure) 설정을 통해 이루어진다. 레벨(level)은 각 화소의 밝기에 관계되는 것으로, 예를 들어 프레임 내의 모든 화소의 레벨이 10이라 할 때 화면 전체의 밝기가 10이라 할 수 있다. 이와 같이, 렌즈 셰이딩 보상부(23)는 자동 노출값 설정에 의한 레벨 값에 상응하도록 한 프레임에 해당하는 전체 화소의 영상 신호 즉, 적색, 녹색 및 청색의 화소 신호를 보상함으로써 원시 이미지 데이터의 품질을 저하시키지 않는 효과가 있다.
감마 변환부(24)는 표시부(30, 예를 들어, LCD, CRT 등)에 이미지를 출력하기 위해 이미지 데이터를 표시부(30)의 디바이스 특성(감마 특성)에 맞춘다. 감마 테이블(미도시)가 구비되어 있어, 표시부(30)의 화상 출력 디바이스의 감마 특성으로 변환하기 위한 테이블을 저장하고 있다.
색상 편차 보상부(25)는 불균일한 색상 편차를 가지는 이미지의 색상 편차를 보상한다. 감마 변환부(24)에 의해 감마 특성이 보정된 이미지에 대하여 도 1에 도시된 것과 같은 이미지의 각 사분면의 코너에 발생하는 색상 편차의 불균일 현상을 미리 지정된 방식에 따라 보상할 수 있는 보상 이미지를 생성한다. 색상 편차 보상부(25)의 상세한 구성, 기능 및 보상 이미지 생성을 통한 색상 편차 보상 방법에 대해서는 추후 도 3 이하의 도면을 참조하여 상세히 설명하도록 한다.
색 조정부(26)는 색조(예를 들어, 푸르스름한 청색 등)를 조정하는 수단이다. 그리고 포맷 변환부(27)는 표시부(30)에 적합한 화상 신호의 포맷으로 변환하는 수단이다. 화소 신호를 NTSC나 YUV, YCbCr 등 디지털 성분의 포맷으로 변환하여 출력한다. 포맷 변환부(27)는 NTSC나 YUV 등의 표시 신호 포맷으로 변환하기 위한 포맷 변환 테이블(미도시)를 구비하고 있다.
도 3은 본 발명의 바람직한 일 실시예에 따른 색상 편차 보상부(25)의 구성 블록도이다. 도 4는 본 발명에 따른 보상 테이블 생성 방법을 설명하기 위한 예시도이고, 도 5는 본 발명에 따라 생성된 보상 테이블의 예시도이다. 도 6은 보상 테이블로부터 획득된 보상 곡선의 예시도이며, 도 7은 본 발명에 따른 각 사분면에서의 보상 이미지의 평면도이다.
도 3을 참조하면, 색상 편차 보상부(25)는 색상 편차 분석 모듈(110), 보상 테이블 생성 모듈(130), 보상 이미지 생성 모듈(140) 및 보상 수행 모듈(150)을 포함하여 구성된다. 추가적으로 시작점 설정 모듈(120)이 더 포함될 수 있다.
색상 편차 분석 모듈(110)은 이전 감마 변환부(24)를 통해 감마 변환이 이루어진 이미지에 대하여, 이미지를 구성하는 MㅧN개의 각 화소들(여기서, M은 수평 방향 화소 수, N은 수직 방향 화소 수임)의 색상 성분들의 휘도(luminance)를 분석한다. 각 화소들은 적색, 녹색 및 청색의 색상 성분을 가지고 있으며, 중심 화소로부터 코너 화소로의 방향으로 각 색상 성분의 휘도의 변화율을 비교한다. 다른 두 색상 성분에 비하여 휘도 변화율이 특히 크거나 작은 색상 성분을 대상 색상 성분으로 결정한다. 대상 색상 성분이 타 색상 성분에 비하여 휘도 변화율이 차이가 나므로 이미지의 코너 부분에서 색상 편차가 발생하기 때문에 대상 색상 성분의 색상 편차를 보상하도록 하기 위함이다.
보상 테이블 생성 모듈(130)은 색상 편차 분석 모듈(110)에서 분석된 각 화소의 대상 색상 성분의 휘도를 기초로 하여 색상 편차를 보상하기 위한 보상값을 산출하고, 보상 테이블을 생성하여 저장한다. 보상값은 대상 색상 성분이 타 색상 성분의 휘도 변화율과 유사한 휘도 변화율을 가질 수 있도록 하는 값이다. 이미지를 구성하는 모든 화소들에 대하여 보상 테이블을 생성하는 것은 처리 시간이나 메모리 등의 활용면에 있어서 비효율적이기 때문에 기준이 되는 몇 개의 화소들 및 그 화소들의 보상값으로부터 보상 테이블을 생성한다.
보상 테이블 생성을 위한 예시도가 도 4에 도시되어 있다. 앞서 설명한 바와 같이 이미지를 구성하는 4개의 사분면(i, ii, iii, iv)에 대하여 색상 편차의 특성이 서로 다르게 나타나는 것이 일반적이다.
따라서, 이미지의 4개의 코너에 위치한 4개의 코너 화소(420a, 420b, 420c, 420d)를 각각 하나씩 포함하는 4개의 사분면에 대해 별도의 보상 테이블을 생성하는 것이 바람직하다. 이하에서는 i 사분면을 기준으로 보상 테이블의 생성 방법을 설명하도록 한다.
i 사분면의 경우 중심 화소(400)를 기준으로 하여 제1 코너 화소(420a)까지의 제1 기준선(430a)를 결정한다. 제1 기준선(430a) 상의 각 화소들에 대하여 분석된 휘도를 기초로 하여 색상 편차의 특성을 분석한다. 여기서, 색상 편차 분석 모듈(110)은 이미지 상의 모든 화소들이 아닌 제1 기준선(430a) 상의 화소에 대해서만 휘도를 분석하는 것도 가능하다.
제1 기준선(430a) 상의 각 화소들에 대해 휘도가 변화하기 시작하는 제1 시작점(410a)를 결정한다. 제1 시작점(410a)의 결정은 사용자에 의해 수동으로 이루어지거나 시작점 설정 모듈(120)에 의해 이루어진다.
사용자에 의해 수동으로 이루어지는 경우 사용자는 감마 변환부(24)에 의해 감마 변환까지 거친 이미지가 표시부(30)를 통해 출력된 화면을 확인한 후 색상 편차가 불균일하게 되는 부분의 제1 기준선(430a) 상의 화소를 제1 시작점(410a)으로 설정한다. 4개의 사분면에 대해 제1 시작점(410a) 내지 제4 시작점(410d) 등 각각 하나 이상의 시작점 설정이 가능하다. 제1 시작점(410a)의 설정은 각 사분면에서 (x, y) 좌표의 설정을 통해서 혹은 제1 기준선(430a)에서 중심 화소(400)로부터의 거리(RA)의 설정을 통해 이루어진다.
또는 시작점 설정 모듈(120)에 의해 제1 시작점(410a)이 설정된다. 시작점 설정 모듈(120)은 제1 기준선(430a) 상에 위치한 화소들에 대해서 중심 화소(400)부터 제1 코너 화소(420a) 방향으로 순차적으로 휘도를 비교한다. 제1 기준선(430a) 상에서 직전 화소의 휘도와 비교하여 임계치 이상의 변화를 보이기 시작하는 화소를 제1 시작점(410a)으로 설정하게 된다. 여기서, 임계치는 미리 설정되거나 사용자에 의해 조정가능한 값이고, 휘도의 변화율을 의미한다.
시작점을 설정하는 이유는 화면에 표시되는 이미지에서 색상 편차가 많이 발생하지 않는 중심 화소(400) 부근에 대해서는 불필요한 연산을 줄이고, 색상 편차가 많이 발생하게 되는 각 코너 화소(420a, 420b, 420c, 420d) 부근에 대해서만 연산을 하고자 함이다. 색상 편차 보상의 연산 처리 속도가 빨라지게 되고, 보상 테이블 및 보상 테이블이 담당하게 되는 영역의 크기를 줄이게 되어 보상 테이블 작성을 위한 로직의 구성도 줄어들게 되는 효과가 있다.
사용자에 의해 또는 시작점 설정 모듈(120)에 의해 제1 시작점(410a)이 설정된 후, 제1 기준선(430a) 상에서 제1 시작점(410a)으로부터 제1 코너 화소(420a)까지의 각 화소들을 일정 간격을 가지는 복수 개의 구간으로 구분한다. 구간 간격은 32 화소, 16 화소, 8 화소 등 다양한 값이 가능하며, 이 간격을 기초로 하여 보상 테이블이 생성된다.
도 4를 참조하면, 중심 화소(400)로부터 제1 기준선(430a)을 따라 RA의 거리만큼 떨어진 A0를 제1 시작점(410a)으로 설정하고, A0로부터 각각 a만큼의 간격을 가지는 A1, A2, A3, A4, A5, …, AN을 각 구간(T1, T2, T3, T4, T5)의 경계 화소로 결정한다.
보상 테이블은 제1 시작점(420a)인 A0 및 각 경계 화소인 A1 내지 AN 등에 색차 편차 보상을 위한 보상값을 저장한다. 보상 테이블은 참조표(LookUp Table) 형태를 가지게 되며, 도 5에 그 일례가 도시되어 있다.
보상 테이블은 사분면 식별자, 대상 색상 정보, 시작점 식별자, 구간 간격 정보 및 보상값 표를 포함한다. 사분면 식별자는 보상 테이블이 4개의 사분면에 대해서 각각 별도로 생성되는 것이 가능하므로, 해당 보상 테이블로 보상가능한 사분면(i, ii, iii 및 iv 중 어느 하나)을 나타낸다. 대상 색상 정보는 색상 편차 보상을 하고자 하는 대상 색상 성분에 대한 정보이다. 적색, 녹색 및 청색 중 어느 하나일 수 있다. 시작점 식별자는 보상 테이블에 의한 색상 편차 보상이 시작되는 시작점(420a)을 나타내며, 시작점(420a)의 좌표 또는 중심 화소(400)로부터 시작점(420a)까지의 거리(RA)가 기록된다. 구간 간격 정보는 보상 테이블의 구간 간격을 나타내며, 화소 단위로 표시되고, 본 실시예에서는 a가 된다. 보상값 표는 시작점(420a)에서부터 간격 식별자에 의한 간격에 따라 결정된 각 구간의 경계 화소들(A0, A1, A2, …, AN)의 색상 편차 보상을 위한 보상값(C0, C1, C2, …, CN)을 순차적으로 기록한다. 시작점(420a)와 구간 간격(a)을 알고 있으므로, 경계 화소들(A0, A1, A2, …, AN)의 좌표값은 생략될 수 있다.
또는 보상 테이블은 사분면 식별자, 대상 색상 정보 및 각 구간의 경계 화소들(A0, A1, A2, …, AN)의 좌표와 경계 화소들의 보상값(C0, C1, C2, …, CN)을 기 록한 보상값 표를 포함할 수 있다. 경계 화소들의 좌표가 기록됨으로 시작점(420a)와 구간 간격(a)는 생략될 수 있다.
이러한 보상 테이블을 이용하여 추후 보상 이미지 생성 모듈(140)에서 i 사분면 전체에 대한 보상 이미지를 생성하게 된다.
또한, 보상 테이블은 색상 식별자를 더 포함할 수 있다. 각 사분면마다 색상 편차 현상에 의해 두드러져 보이거나 약하게 보이는 색상은 다를 수 있으므로, 각 사분면마다 적색, 녹색 및 청색 중 적어도 하나 이상에 대해 서로 다른 보상 테이블을 생성하는 것이 가능하다. 이 경우 각 보상 테이블은 보상하고자 하는 색상의 식별이 가능한 색상 식별자를 가진다.
이상에서는 i 사분면을 기준으로 설명하였지만, ii, iii, iv 사분면에 대해서도 동일한 내용이 적용가능하다.
각 사분면마다 각 시작점(410a, 410b, 410c, 410d)은 중심 화소(400)로부터의 거리가 각각 RA, RB, RC, RD로 서로 다를 수 있다. 그리고 i 사분면의 보상 테이블의 구간 간격은 a, ii 사분면의 보상 테이블의 구간 간격은 b, iii 사분면의 보상 테이블의 구간 간격은 c, iv 사분면의 보상 테이블의 구간 간격은 d로 서로 다를 수 있다. 또한, 각 사분면에 있어서 보상하고자 하는 색상에 따라 다른 보상 테이블이 생성되고, 이 보상 테이블은 각 색상마다 동일하거나 또는 서로 다른 구간 간격을 가지는 것이 가능하다.
보상 이미지 생성 모듈(140)은 보상 테이블 생성 모듈(130)에서 생성한 하나 이상의 보상 테이블을 기초로 전체 화소에 대한 보상 이미지를 생성하게 된다. 보상 이미지의 생성 방법은 도 6을 참조하여 설명하도록 한다. 여기서, 보상 이미지를 생성하기 위한 보상 테이블은 도 5에 도시된 보상 테이블을 기초로 한다.
시작점(A0) 및 시작점(A0)에서부터 a만큼의 간격을 가지는 경계 화소 A1, A2, A3, … 의 각 보상값 C0, C1, C2, C3, … 로부터 i 사분면 전체의 보상 이미지를 생성한다.
우선 제1 구간의 경계 화소는 A0 및 A1이고, 각 보상값은 C0 및 C1이다. 여기서, 두 경계 화소 및 보상값을 지나는 제1 일차함수(610)를 획득할 수 있다. 그리고 제1 구간에 포함되는 화소들(즉, A0와 A1 사이의 화소들)의 보상값은 제1 일차함수(610)로부터 획득 가능하며, 이를 선형 보간이라 한다.
제2 구간의 경계 화소는 A1 및 A2이고, 각 보상값은 C1 및 C2이다. 여기서, 두 경계 화소 및 보상값을 지나는 제2 일차함수(612)를 획득할 수 있다. 그리고 제2 구간에 포함되는 화소들(즉, A1와 A2 사이의 화소들)의 보상값은 제2 일차함수(612)로부터 획득 가능하다.
상술한 방법을 각 구간에 대해서 반복적으로 적용하면 제3 일차함수(614), 제4 일차함수(616), 제5 일차함수(618) 등을 획득할 수 있게 되고, 각 구간의 경계 화소 이외의 화소들에 대한 보상값도 획득 가능하게 된다.
중심 화소(O)로부터 시작점(A0)까지의 보상값은 보상이 필요없음을 나타내는 제1 값(예를 들어, '0' 또는 '1' 등) 또는 시작점(A0)와 동일한 보상값(C0)로 설정된다.
상술한 방법을 통해 기준선(430a) 상의 모든 화소들에 대한 보상값을 획득하게 되고, i 사분면의 기분선(430a) 이외의 화소들에 대해서는 중심 화소(400)로부터의 거리에 따라 동일한 중심 화소(400)로부터의 거리를 가지는 기준선(430a) 상의 화소의 보상값과 동일한 보상값을 가지도록 한다. 도 7의 (a)를 참조하면, 중심 화소(400)로부터의 거리에 따라 동일한 원주 상의 각 화소들(710(i))은 동일한 보상값을 가지게 된다.
이를 통해 보상 이미지는 중심 화소(400)를 중심으로 하는 동심원 형태로 모델링되고, 이는 렌즈의 특성에 비추어 볼 때 자연스럽고 보다 정확한 색상 편차 보상이 가능하도록 한다. 또한, 각 사분면에 대하여 서로 다른 보상 테이블을 이용하여 서로 다른 보상 이미지를 생성하게 되므로(도 7의 (b) 및 (c) 참조), 각 사분면에 대한 개별적인 색상 편차 보상이 가능하게 되고, 보다 세밀한 보상이 이루어지게 된다.
보상 수행 모듈(150)은 색상 편차 보상부(25)에 입력된 이미지에 보상 이미지 생성 모듈(140)에서 생성한 보상 이미지를 적용하여 색상 편차 보상 동작을 수행한다. 예를 들어, 보상 이미지가 기준값 이하(650)인 경우에는 보상 이미지를 입력된 이미지로부터 빼고, 보상 이미지가 기준값 이상(655)인 경우에는 보상 이미지를 입력된 이미지에 더하는 등의 동작을 수행하여 색상 편차 보상을 수행하게 된다.
도 8은 본 발명의 바람직한 일 실시예에 따른 색상 편차 보상 방법의 흐름도 이다.
도 8을 참조하면, 단계 S810에서 색상 편차 보상부(25)는 노이즈 필터링, 렌즈 셰이딩 보상, 감마 변환 등 전단의 선처리를 거친 이미지를 입력받는다.
단계 S820에서 색상 편차 분석 모듈(110)은 입력된 이미지의 각 화소의 휘도를 분석한다. 여기서, 이미지의 전체 화소의 휘도를 분석하거나 또는 각 사분면의 기준선(430a, 430b, 430c, 430d, 이하 430이라 함) 상의 화소에 대해서만 휘도를 분석한다.
단계 S830에서 보상 테이블 생성 모듈(130)은 색상 편차 분석 모듈(110)이 분석한 휘도를 기초로 하여 일정 간격을 가지는 구간의 경계 화소의 보상값을 산출하고, 경계 화소의 좌표 또는 중심 화소로부터 경계 화소까지의 거리와 보상값을 참조표 형태로 저장한 보상 테이블을 생성한다. 각 사분면마다 서로 다른 보상 테이블이 생성될 수 있으며, 적색, 녹색 및 청색 중 적어도 하나 이상에 대해 각각 다른 보상 테이블이 생성될 수 있다.
단계 S840에서 보상 이미지 생성 모듈(140)은 생성된 하나 이상의 보상 테이블을 기초로 하여 선형 보간을 통해 기준선(430) 상의 모든 화소 및 각 사분면의 모든 화소에 대한 보상 이미지를 생성한다. 여기서, 보상 이미지는 중심 화소(400)를 중심으로 하는 동심원의 형태를 가지게 된다.
단계 S850에서 보상 수행 모듈(150)은 생성된 보상 이미지를 입력된 이미지에 적용함으로써 색상 편차 보상을 수행하게 된다. 보상 수행 방법은 생성된 보상 이미지의 특성에 따라 입력된 이미지에 곱하거나 더하거나 빼는 등의 방법이 가능 하다.
보상 테이블을 생성함에 있어서 중심 화소(400)에서 보상 테이블의 생성을 시작하게 되면 일반적으로 색상 편차 보상이 거의 요구되지 않은 중심 화소(400) 부근에서 불필요한 연산 과정이 포함되고, 이에 따라 보상 테이블의 크기가 커지고 보상 테이블 생성을 위한 로직이 복잡해진다. 따라서, 단계 S820과 S830 사이에 시작점(410a, 410b, 410c, 410d, 이하 410이라 함)을 설정하는 단계 S825가 더 포함되어, 시작점(410)에서부터 보상 테이블을 생성함으로써 불필요한 연산 과정을 줄이고, 보상 테이블의 크기를 작게 하고 보상 테이블 생성을 위한 로직을 간단하게 하는 효과가 있다.
시작점은 사용자에 의해 또는 시작점 설정 모듈(120)에 의해 설정 가능하다. 시작점 설정 모듈(120)에 의해 시작점이 설정되는 경우 중심 화소(400)로부터 기준선(430)을 따라 순차적으로 휘도를 비교하고, 휘도의 변화가 소정의 임계치 이상이 되는 경우 해당 화소를 시작점(410)으로 설정하게 된다.
본 발명의 바람직한 다른 실시예에 의하면, 색상 편차 보상부(25)는 상술한 단계 S810 내지 S850을 수행하기 위한 프로그램을 기록한 기록 매체일 수 있다.
상술한 바와 같이, 본 발명에 따른 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지 프로세서, 디지털 처리 장치, 기록 매체는 이미지에서 발생하는 불균일한 색상 편차를 개선할 수 있다.
특히 이미지의 각 코너에서 발생하는 각 색상별 특성의 차이에 따른 색상의 차이로 인한 이미지의 왜곡을 줄일 수 있다.
또한, 이미지의 각 사분면 별로 개별적인 보상 테이블을 적용하여 세밀한 보상이 가능하며, 시작점의 설정으로 인해 불필요한 연산 과정을 생략하고 빠른 보상 동작이 수행될 수 있고, 보상 테이블 작성을 위한 저장 영역을 작게 하며, 보상 테이블 작성 로직의 구성을 간단하게 할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (25)

  1. 불균일한 색상 편차를 가지는 이미지의 색상 편차를 보상하는 장치에 있어서,
    상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도(luminance)를 분석하고, 상기 이미지의 중심 화소로부터 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 대상 색상 성분으로 결정하는 색상 편차 분석 모듈;
    상기 중심 화소로부터의 거리에 따라 시작점에서부터 복수의 구간을 설정하고, 상기 각 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 생성된 보상값들로 보상 테이블을 생성하는 보상 테이블 생성 모듈;
    상기 보상 테이블로부터 상기 이미지 전체에 대한 보상 이미지를 생성하는 보상 이미지 생성 모듈; 및
    상기 이미지에 상기 보상 이미지를 적용하여 색상 편차 보상을 수행하는 보상 수행 모듈을 포함하는 색상 편차 보상 장치.
  2. 제1항에 있어서,
    상기 중심 화소로부터 상기 코너 화소까지의 기준선 상에 위치한 화소들 중에서 상기 중심 화소로부터 순차적으로 상기 화소들의 휘도의 변화가 소정 임계치 이상인 화소를 상기 시작점으로 설정하는 시작점 설정 모듈을 더 포함하는 색상 편 차 보상 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 이미지는 4개의 상기 코너 화소를 가지고 있으며,
    상기 보상 테이블 생성 모듈은 상기 각 코너 화소를 포함하는 4개의 사분면에 대해 각각 상기 보상 테이블을 생성하는 것을 특징으로 하는 색상 편차 보상 장치.
  4. 제3항에 있어서,
    상기 보상 테이블 생성 모듈은 상기 각 사분면 중 둘 이상에 대해 상기 보상 테이블을 구성하는 상기 구간의 간격이 서로 다른 것을 특징으로 하는 색상 편차 보상 장치.
  5. 제3항에 있어서,
    상기 보상 테이블 생성 모듈은 상기 각 사분면 중 둘 이상에 대해 상기 중심 화소로부터 상기 시작점까지의 거리가 서로 다른 것을 특징으로 하는 색상 편차 보상 장치.
  6. 제1항 또는 제2항에 있어서,
    상기 보상 이미지 생성 모듈은 상기 보상 테이블에 저장된 상기 경계 화소 및 상기 경계 화소의 보상값을 선형적으로 보간하여 상기 경계 화소 이외의 화소들의 보상값을 산출하고, 이를 기초로 하여 상기 보상 이미지를 생성하는 것을 특징으로 하는 색상 편차 보상 장치.
  7. 제1항 또는 제2항에 있어서,
    상기 보상 테이블은 색상 편차 보상을 하고자 하는 사분면의 식별을 위한 사분면 식별자, 상기 대상 색상 성분에 대한 대상 색상 정보, 색상 편차 보상이 시작되는 상기 시작점을 나타내는 시작점 식별자, 상기 보상 테이블의 구간 간격을 나타내는 구간 간격 정보 및 상기 각 구간의 경계 화소의 보상값을 기록한 보상값 표를 포함하는 것을 특징으로 하는 색상 편차 보상 장치.
  8. 제1항 또는 제2항에 있어서,
    상기 보상 테이블은 색상 편차 보상을 하고자 하는 사분면의 식별을 위한 사분면 식별자, 상기 대상 색상 성분에 대한 대상 색상 정보 및 상기 각 구간의 경계 화소 좌표와 상기 경계 화소의 보상값을 기록한 보상값 표를 포함하는 것을 특징으로 하는 색상 편차 보상 장치.
  9. 불균일한 색상 편차를 보상하는 이미지 프로세서에 있어서,
    입력되는 디지털 영상 신호를 색상 보간 처리하고 렌즈 셰이딩 보정을 한 후 감마 조정한 이미지를 생성하는 선 처리부;
    상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도를 분석하고, 상기 이미지의 중심 화소로부터 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 대상 색상 성분으로 결정하며, 상기 중심 화소로부터의 거리에 따라 시작점에서부터 복수의 구간을 설정하고, 상기 각 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 생성된 보상값들로부터 상기 이미지 전체에 대한 보상 이미지를 생성하고 색상 편차 보상을 수행하는 색상 편차 보상부; 및
    상기 색상 편차 보상부를 통해 출력되는 이미지 데이터가 디스플레이될 수 있도록 처리하는 후속 처리부를 포함하는 이미지 프로세서.
  10. 제9항에 있어서, 상기 색상 편차 보상부는,
    상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도를 분석하고, 상기 중심 화소로부터 상기 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 상기 대상 색상 성분으로 결정하는 색상 편차 분석 모듈;
    상기 중심 화소로부터의 거리에 따라 상기 시작점에서부터 복수의 구간을 설정하고, 상기 각 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 생성된 상기 보상값들로 상기 보상 테이블을 생성하는 보상 테이블 생성 모듈;
    상기 보상 테이블로부터 상기 보상 이미지를 생성하는 보상 이미지 생성 모듈; 및
    상기 이미지에 상기 보상 이미지를 적용하여 색상 편차 보상을 수행하는 보상 수행 모듈을 포함하는 것을 특징으로 하는 이미지 프로세서.
  11. 제10항에 있어서, 상기 색상 편차 보상부는,
    상기 중심 화소로부터 상기 이미지의 코너 화소까지의 기준선 상에 위치한 화소들 중에서 상기 중심 화소로부터 순차적으로 상기 화소들의 휘도의 변화가 소정 임계치 이상인 화소를 상기 시작점으로 설정하는 시작점 설정 모듈을 더 포함하는 것을 특징으로 하는 이미지 프로세서.
  12. 제10항 또는 제11항에 있어서,
    상기 이미지는 4개의 상기 코너 화소를 가지고 있으며,
    상기 보상 테이블 생성 모듈은 상기 각 코너 화소를 포함하는 4개의 사분면 에 대해 각각 상기 보상 테이블을 생성하는 것을 특징으로 하는 이미지 프로세서.
  13. 제12항에 있어서,
    상기 보상 테이블 생성 모듈은 상기 각 사분면 중 둘 이상에 대해 상기 보상 테이블을 구성하는 상기 구간의 간격이 서로 다른 것을 특징으로 하는 이미지 프로세서.
  14. 제12항에 있어서,
    상기 보상 테이블 생성 모듈은 상기 각 사분면 중 둘 이상에 대해 상기 중심 화소로부터 상기 시작점까지의 거리가 서로 다른 것을 특징으로 하는 이미지 프로세서.
  15. 제10항 또는 제11항에 있어서,
    상기 보상 이미지 생성 모듈은 상기 보상 테이블에 저장된 상기 경계 화소 및 상기 경계 화소의 보상값을 선형적으로 보간하여 상기 경계 화소 이외의 화소들의 보상값을 산출하고, 이를 기초로 하여 상기 보상 이미지를 생성하는 것을 특징으로 하는 이미지 프로세서.
  16. 제10항 또는 제11항에 있어서,
    상기 보상 테이블은 색상 편차 보상을 하고자 하는 사분면의 식별을 위한 사분면 식별자, 상기 대상 색상 성분에 대한 대상 색상 정보, 색상 편차 보상이 시작되는 상기 시작점을 나타내는 시작점 식별자, 상기 보상 테이블의 구간 간격을 나타내는 구간 간격 정보 및 상기 각 구간의 경계 화소의 보상값을 기록한 보상값 표를 포함하는 것을 특징으로 하는 이미지 프로세서.
  17. 제10항 또는 제11항에 있어서,
    상기 보상 테이블은 색상 편차 보상을 하고자 하는 사분면의 식별을 위한 사분면 식별자, 상기 대상 색상 성분에 대한 대상 색상 정보 및 상기 각 구간의 경계 화소 좌표와 상기 경계 화소의 보상값을 기록한 보상값 표를 포함하는 것을 특징으로 하는 이미지 프로세서.
  18. 불균일한 색상 편차를 보상하는 디지털 처리 장치에 있어서,
    렌즈를 통해 입력되는 광학적 피사체 신호를 전기적 신호인 디지털 영상 신호로 변환하여 출력하는 센서부;
    상기 디지털 영상 신호를 색상 보간 처리하고 렌즈 셰이딩 보정을 한 후 감마 조정한 이미지를 생성하며, 상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도를 분석하고, 상기 이미지의 중심 화소로부터 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 대상 색상 성분으로 결정하며, 상기 중심 화소로부터의 거리에 따라 시작점에서부터 복수의 구간을 설정하고, 상기 각 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 생성된 보상값들로부터 상기 이미지 전체에 대한 보상 이미지를 생성하고 색상 편차 보상을 수행하고, 디스플레이 가능한 포맷으로 변환한 변환 이미지를 생성하는 이미지 프로세서; 및
    상기 변환 이미지를 디스플레이하는 표시부를 포함하는 디지털 처리 장치.
  19. 이미지의 불균일한 색상 편차를 보상하는 방법에 있어서,
    (a) 입력된 상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도를 분석하고, 상기 이미지의 중심 화소로부터 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 대상 색상 성분으로 결정하는 단계;
    (b) 상기 이미지의 중심 화소로부터의 거리에 따라 시작점에서부터 복수의 구간을 설정하는 단계;
    (c) 상기 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 보상값을 산출하고 보상 테이블로 저장하는 단계;
    (d) 상기 보상 테이블로부터 상기 이미지 전체에 대한 보상 이미지를 생성하 는 단계; 및
    (e) 상기 이미지에 상기 보상 이미지를 적용하여 색상 편차 보상을 수행하는 단계를 포함하는 색상 편차 보상 방법.
  20. 제19항에 있어서,
    상기 단계 (a)와 (b) 사이에,
    상기 중심 화소로부터 상기 코너 화소까지의 기준선 상에 위치한 화소들 중에서 상기 중심 화소로부터 순차적으로 상기 화소들의 휘도의 변화가 소정 임계치 이상인 화소를 상기 시작점으로 설정하는 단계를 더 포함하는 색상 편차 보상 방법.
  21. 제19항 또는 제20항에 있어서,
    상기 단계 (c)와 (d) 사이에,
    상기 이미지는 4개의 상기 코너 화소를 가지고 있으며, 상기 각 코너 화소를 포함하는 4개의 사분면에 대해 상기 단계 (b) 및 (c)를 반복하여 각각 상기 보상 테이블을 생성하는 단계를 더 포함하는 색상 편차 보상 방법.
  22. 제21항에 있어서,
    상기 단계 (b)는 상기 각 사분면 중 둘 이상에 대해 상기 구간의 간격을 서로 다르게 설정하는 것을 특징으로 하는 색상 편차 보상 방법.
  23. 제21항에 있어서,
    상기 단계 (c)는 상기 각 사분면 중 둘 이상에 대해 상기 중심 화소로부터 상기 시작점까지의 거리가 서로 다른 상기 보상 테이블을 생성하는 것을 특징으로 하는 색상 편차 보상 방법.
  24. 제19항 또는 제20항에 있어서,
    상기 단계 (d)는
    (d-1) 상기 보상 테이블에 저장된 상기 각 구간의 상기 경계 화소 및 상기 경계 화소의 보상값을 추출하는 단계;
    (d-2) 상기 경계 화소 및 상기 경계 화소의 보상값으로부터 상기 각 구간에 상응하는 일차함수를 결정하는 단계; 및
    (d-3) 상기 각 구간 내의 화소들에 대해 상기 일차함수를 이용하여 상응하는 보상값을 결정하는 단계를 포함하는 것을 특징으로 하는 색상 편차 보상 방법.
  25. 이미지의 불균일한 색상 편차를 보상하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서,
    입력된 상기 이미지를 구성하는 각 화소들의 색상 성분의 휘도를 분석하고, 상기 이미지의 중심 화소로부터 코너 화소로의 휘도 변화율이 가장 크거나 작은 색상 성분을 대상 색상 성분으로 결정하는 단계;
    상기 이미지의 중심 화소로부터의 거리에 따라 시작점에서부터 복수의 구간을 설정하는 단계;
    상기 구간의 경계 화소에 대해 상기 대상 색상 성분의 휘도를 기초로 보상값을 산출하고 보상 테이블로 저장하는 단계;
    상기 보상 테이블로부터 상기 이미지 전체에 대한 보상 이미지를 생성하는 단계; 및
    상기 이미지에 상기 보상 이미지를 적용하여 색상 편차 보상을 수행하는 단계를 수행하는 프로그램을 기록한 기록매체.
KR1020060046740A 2006-05-24 2006-05-24 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서, 디지털 처리 장치, 기록매체 KR100816301B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060046740A KR100816301B1 (ko) 2006-05-24 2006-05-24 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서, 디지털 처리 장치, 기록매체
PCT/KR2007/002538 WO2007136234A1 (en) 2006-05-24 2007-05-25 Apparatus and method for compensating color, and image processor, digital processing apparatus, recording medium using it
US12/300,309 US8059169B2 (en) 2006-05-24 2007-05-25 Apparatus and method for compensating color, and image processor, digital processing apparatus, recording medium using it

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060046740A KR100816301B1 (ko) 2006-05-24 2006-05-24 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서, 디지털 처리 장치, 기록매체

Publications (2)

Publication Number Publication Date
KR20070113035A true KR20070113035A (ko) 2007-11-28
KR100816301B1 KR100816301B1 (ko) 2008-03-24

Family

ID=38723522

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060046740A KR100816301B1 (ko) 2006-05-24 2006-05-24 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서, 디지털 처리 장치, 기록매체

Country Status (3)

Country Link
US (1) US8059169B2 (ko)
KR (1) KR100816301B1 (ko)
WO (1) WO2007136234A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018044051A1 (en) * 2016-08-29 2018-03-08 Samsung Electronics Co., Ltd. Method for driving display including curved display area, display driving circuit supporting the same, and electronic device including the same
KR20180040480A (ko) * 2016-10-12 2018-04-20 삼성전자주식회사 영상을 처리하는 방법, 장치 및 기록매체
KR20190052195A (ko) * 2017-11-06 2019-05-16 삼성디스플레이 주식회사 휘도 불균일 보상 방법 및 이를 채용한 표시 장치
US11025845B2 (en) 2016-10-12 2021-06-01 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199650A (ja) * 2009-02-23 2010-09-09 Fujitsu Semiconductor Ltd 画像処理装置および画像処理方法
KR101096807B1 (ko) * 2010-01-29 2011-12-22 주식회사 팬택 3차원 위치 정보 획득 장치 및 방법
US20130016186A1 (en) * 2011-07-13 2013-01-17 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
EP2805568A4 (en) 2012-01-18 2015-12-16 Kinectus LLC SYSTEMS AND METHODS FOR ESTABLISHING COMMUNICATIONS BETWEEN USERS OF MOBILE DEVICES
CN110033412B (zh) * 2018-01-12 2023-12-15 华为技术有限公司 一种图像处理方法及装置
CN108735140B (zh) * 2018-07-10 2021-08-03 Tcl华星光电技术有限公司 显示面板的补偿表存储方法
US11889195B2 (en) 2020-12-29 2024-01-30 SK Hynix Inc. Image sensing system and operating method thereof
CN113132562B (zh) * 2021-04-21 2023-09-29 维沃移动通信有限公司 镜头阴影校正方法、装置及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4199874B2 (ja) * 1999-03-30 2008-12-24 富士フイルム株式会社 画像処理装置及び処理方法
JP4583670B2 (ja) 2001-07-04 2010-11-17 パナソニック株式会社 画像歪み補正装置及び方法
JP4004346B2 (ja) 2002-07-31 2007-11-07 富士フイルム株式会社 撮像装置及びディストーション補正方法
JP4311040B2 (ja) 2003-03-05 2009-08-12 セイコーエプソン株式会社 色収差補正装置および色収差補正方法、並びに色収差補正プログラム
JP4377622B2 (ja) 2003-07-16 2009-12-02 オリンパス株式会社 シェーディング補正装置
JP2005175913A (ja) 2003-12-11 2005-06-30 Olympus Corp 画像処理装置
JP2006129175A (ja) 2004-10-29 2006-05-18 Fuji Photo Film Co Ltd 撮像装置
US7683948B2 (en) * 2005-03-31 2010-03-23 Freescale Semiconductor, Inc. System and method for bad pixel replacement in image processing
US7580070B2 (en) * 2005-03-31 2009-08-25 Freescale Semiconductor, Inc. System and method for roll-off correction in image processing

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018044051A1 (en) * 2016-08-29 2018-03-08 Samsung Electronics Co., Ltd. Method for driving display including curved display area, display driving circuit supporting the same, and electronic device including the same
KR20180024337A (ko) * 2016-08-29 2018-03-08 삼성전자주식회사 곡선 표시 영역을 포함하는 디스플레이의 구동 방법과 이를 지원하는 디스플레이 구동 회로 및 이를 포함하는 전자 장치
US10397513B2 (en) 2016-08-29 2019-08-27 Samsung Electronics Co., Ltd. Method for driving display including curved display area, display driving circuit supporting the same, and electronic device including the same
US10694139B2 (en) 2016-08-29 2020-06-23 Samsung Electronics Co., Ltd. Method for driving display including curved display area, display driving circuit supporting the same, and electronic device including the same
US11050968B2 (en) 2016-08-29 2021-06-29 Samsung Electronics Co., Ltd. Method for driving display including curved display area, display driving circuit supporting the same, and electronic device including the same
KR20180040480A (ko) * 2016-10-12 2018-04-20 삼성전자주식회사 영상을 처리하는 방법, 장치 및 기록매체
KR20190022598A (ko) * 2016-10-12 2019-03-06 삼성전자주식회사 영상을 처리하는 방법, 장치 및 기록매체
US11025845B2 (en) 2016-10-12 2021-06-01 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image
KR20210111733A (ko) * 2016-10-12 2021-09-13 삼성전자주식회사 영상을 처리하는 방법, 장치 및 기록매체
US11689825B2 (en) 2016-10-12 2023-06-27 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image
KR20190052195A (ko) * 2017-11-06 2019-05-16 삼성디스플레이 주식회사 휘도 불균일 보상 방법 및 이를 채용한 표시 장치

Also Published As

Publication number Publication date
WO2007136234A1 (en) 2007-11-29
US20090128670A1 (en) 2009-05-21
KR100816301B1 (ko) 2008-03-24
US8059169B2 (en) 2011-11-15

Similar Documents

Publication Publication Date Title
KR100816301B1 (ko) 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서, 디지털 처리 장치, 기록매체
KR100615277B1 (ko) 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치
KR100808493B1 (ko) 렌즈 셰이딩 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서
JP3824237B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US7227574B2 (en) Image capturing apparatus
US8970745B2 (en) Image processing device, image processing method and storage medium to suppress shading of images in which pixel addition processing is performed
US8284278B2 (en) Image processing apparatus, imaging apparatus, method of correction coefficient calculation, and storage medium storing image processing program
CN101304484A (zh) 成像装置、缺陷像素校正装置、装置中的处理方法和程序
CN111161188B (zh) 降低图像色彩噪声的方法、计算机装置及可读存储介质
JP4992698B2 (ja) 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム
US7995120B2 (en) Image brightness compensating apparatus and method, recorded medium recorded the program performing it
KR100731812B1 (ko) 색상 편차 보정 장치 및 그 보정 방법, 이를 이용한 이미지프로세서, 기록 매체
JP2010219683A (ja) 画像処理装置、画像処理方法及びプログラム
KR20090084061A (ko) 이미지 왜곡 보정 방법 및 그 장치
US7324707B2 (en) Interpolation method for generating pixel color
US7324138B2 (en) False-color reducing device
KR100747729B1 (ko) 이미지 프로세서, 렌즈 셰이딩 보정 장치 및 그 방법
JP2004304635A (ja) 画像処理方法及び画像処理装置
KR100566571B1 (ko) 이미지 센서에서의 렌즈 셰이딩 현상 자동 보정 방법 및장치
KR100769553B1 (ko) 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서
KR100843624B1 (ko) 이미지 프로세서, 렌즈 셰이딩 보정 장치 및 방법
JP2001292452A (ja) 撮像装置及びカラー撮像信号の処理方法
JP2005340902A (ja) 撮像装置及びカメラ
JP2004304637A (ja) 画像処理方法及び画像処理装置
JP2005064684A (ja) 検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130221

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150302

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190225

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 13