KR101160956B1 - 퍼플 프린징 보정 방법 및 시스템 - Google Patents

퍼플 프린징 보정 방법 및 시스템 Download PDF

Info

Publication number
KR101160956B1
KR101160956B1 KR1020090117324A KR20090117324A KR101160956B1 KR 101160956 B1 KR101160956 B1 KR 101160956B1 KR 1020090117324 A KR1020090117324 A KR 1020090117324A KR 20090117324 A KR20090117324 A KR 20090117324A KR 101160956 B1 KR101160956 B1 KR 101160956B1
Authority
KR
South Korea
Prior art keywords
purple
region
color space
area
image
Prior art date
Application number
KR1020090117324A
Other languages
English (en)
Other versions
KR20110060669A (ko
Inventor
김백규
박래홍
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020090117324A priority Critical patent/KR101160956B1/ko
Publication of KR20110060669A publication Critical patent/KR20110060669A/ko
Application granted granted Critical
Publication of KR101160956B1 publication Critical patent/KR101160956B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 퍼플 프린징 보정 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 영상에서 퍼플 프린징 영역을 검출하고 보정하는 퍼플 프린징 보정 방법 및 시스템과 이를 기록한 기록 매체에 관한 것이다.
본 발명에 따른 퍼플 프린징 보정 방법은 원 영상의 색상 공간을 변환하는 색상 공간 변환 단계; 상기 색상 공간이 변환된 영상에서 근사 포화 영역을 검출하는 단계; 상기 색상 공간이 변환된 영상에서 퍼플 프린징 후보 영역을 검출하는 단계; 상기 원 영상에서 색상이 급격하게 변하는 색상 변환 영역을 검출하는 단계; 상기 근사 포화 영역과 상기 퍼플 프린징 후보 영역과 상기 색상 변환 영역을 이용하여 퍼플 프린징 영역을 결정하는 단계; 및 상기 결정된 퍼플 프린징 영역을 보정하는 단계;를 포함한다.
본 발명은 영상에서 본래 보라색 및 유사 보라색을 가지는 영역은 그대로 보존하고, 퍼플 프린징 영역만 효과적으로 검출하여 보정할 수 있다.

Description

퍼플 프린징 보정 방법 및 시스템{Method and system for correcting purple fringing}
본 발명은 퍼플 프린징 보정 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 영상에서 퍼플 프린징 영역을 검출하고 검출된 퍼플 프린징 영역을 보정하는 퍼플 프린징 보정 방법 및 시스템과 이를 기록한 기록 매체에 관한 것이다.
기술이 발전함에 따라, 소비자들 사이에서는 종래의 필름 카메라보다 디지털 카메라가 널리 사용되고 있다. 디지털 카메라는 입사되는 광선을 이미지 센서를 이용하여 전기신호로 변환하도록 구성되어 있다. 그러나 이러한 이미지 센서를 사용하는 디지털 카메라를 사용하여 취득한 영상에서는, 이미지 센서 및 광학 장치의 고유한 특성에서 기인하는 칼라 아티팩트(color artifacts)가 포함된 영상이 취득될 수 있다.
퍼플 프린징(purple finging)은 이러한 칼라 아티팩트의 한 종류로, 영상을 보는 사용자에게 불편함을 주는 요인이 된다. 퍼플 프린징은 색 수차(chromatic aberration), 디모자이킹(demosaicing), 색 번짐(blooming)에 의해 색상(색(hue) 또는 농도(intensity))이 갑자기 변하는 에지(edge) 부분에 주로 나타난다.
색 수차는 카메라의 광학 장치에 의해 발생하는 현상이고, 색 번짐과 디모자이킹은 CCD(charge coupled device) 센서와 같은 이미지 센서의 특성에 의해 발생하는 현상이다. 이러한 퍼플 프린징은 디지털 영상 장치 및 그래픽 에디터 소프트웨어를 사용하는 후처리 방법을 통해 간단하게 수정된다.
그래픽 에디터 소프트웨어를 사용하는 후처리 방법은, 사용자가 영상에서 퍼플 프린징 영역을 설정하고 사용자가 대체하고자 하는 색을 수작업을 지정한 후에, 퍼플 프린징 영역을 보정한다. 즉, 사용자가 일정 부분을 수작업으로 처리를 해야 하는 문제점이 있다.
그러나 이러한 종래 기술들은 퍼플 프린징 영역을 검출하기 위해 영상이 가지는 색상 정보(RGB 색상 공간에서의 각 성분의 농도)를 이용하므로, 영상에서 본래 보라색 및 유사 보라색을 가지는 영역도 퍼플 프린징 영역으로 검출될 수 있고, 서로 다른 광원 아래에서 취득된 영상에서는 색상 정보의 범위가 달라지므로 적용하기 힘들다는 문제점이 있다.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는, 서로 다른 광원으로부터 기인하는 아티팩트(artifact)를 광원의 조건에 따라 적절한 범위를 선택하여 퍼플 프린징 영역을 검출할 수 있는 퍼플 프린징 보정 방법 및 시스템을 제안하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는, 검출된 퍼플 프린징 영역을 보정하기 위해 디세츄레이션하기 위한 화이트포인트의 위치를 광원의 조건에 따라 적절하게 적응적으로 선택하여 다양한 환경에서 취득한 영상의 퍼플 프린징을 보정하는 퍼플 프린징 보정 방법 및 시스템을 제안하는 것이다.
본 발명이 해결하고자 하는 세 번째 과제는, 영상에서 본래 보라색 및 유사 보라색을 가지는 영역을 그대로 보존하고, 퍼플 프린징 영역만 검출하여 보정하는 퍼플 프린징 보정 방법 및 시스템을 제안하는 것이다.
상기 과제를 해결하기 위한 본 발명에 따른 퍼플 프린징 보정 방법은,
(a) 원 영상의 색상 공간을 변환하는 단계; (b) 상기 원 영상과 상기 색상 공간이 변환된 영상을 이용하여 퍼플 프린징 영역(purple fringed region, PFR)을 검출하는 단계; 및 (c) 상기 검출된 퍼플 프린징 영역(PFR)을 보정하는 단계;를 포함한다.
본 발명에서 상기 원 영상은 RGB 색상 공간으로 표시된 것이고, 상기 색상 공간이 변환된 영상은 상기 원 영상의 RGB 색상 공간을 CIE XYZ 색상 공간으로 변환한 것을 특징으로 한다.
본 발명에 따른 상기 (b) 단계는, (b1) 상기 색상 공간이 변환된 영상에서 근사 포화 영역(near-saturated region, NSR)을 검출하는 단계; (b2) 상기 색상 공간이 변환된 영상에서 보라색 영역(purple color region)에 해당하는 퍼플 프린징 후보 영역(candidate region, CR)을 검출하는 단계; (b3) 상기 원 영상에서 색상이 급격하게 변하는 색상 변환 영역(color change region, CCR)을 검출하는 단계; 상기 근사 포화 영역(NSR)과, 상기 퍼플 프린징 후보 영역(CR)과, 상기 색상 변환 영역(CCR)을 이용하여 퍼플 프린징 영역(PFR)을 결정하는 결정 단계;를 포함한다.
본 발명에 따른 상기 (b1) 단계는 상기 색상 공간이 변환된 영상의 화소 휘도값의 최대치의 9할 이상인 화소를 상기 근사 포화 영역(NSR)으로 검출한다.
본 발명에 따른 상기 (b2) 단계는 (b21) 상기 색상 공간이 변환된 영상을 CIE xy 색도분포표 상으로 투영하는 단계; 및 (b22) 상기 투영된 화소들이 CIE xy 색도분포표 상에서 위치하는 좌표가 상기 보라색 영역에 포함되는 화소를 상기 퍼플 프린징 후보 영역(CR)으로 검출하는 단계를 포함한다.
본 발명에 따른 상기 (b2) 단계는, (b211) 다양한 광원에서 취득된 원 영상에서 상기 퍼플 프린징 후보 영역(CR)을 검출할 수 있도록, 상기 원 영상이 취득된 광원에 따른 화이트포인트(white point)를 설정하는 단계; 및 (b212) 상기 설정된 화이트포인트에 따라 보라색 영역을 설정하는 단계;를 상기 (b21) 단계와 (b22) 단계 사이에 더 포함할 수 있다.
본 발명에 따른 상기 (b4) 단계는, (b41) 상기 근사 포화 영역(NSR)과 퍼플 프린징 후보 영역(CR)을 이용하여 상기 근사 포화 영역(NSR)과 상기 퍼플 프린징 후보 영역(CR)이 인접하거나 겹치는 오버랩 후보 영역(CR'Overlapped)을 결정하는 단계; 및 (b42) 상기 오버랩 후보 영역(CR'Overlapped)이면서 상기 색상 변환 영역(CCR)에 포함되는 화소를 상기 퍼플 프린징 영역(PFR)으로 검출하는 단계;를 포함할 수 있다.
본 발명에 따른 상기 (b41) 단계는, (b411) 모폴로지(morphology) 연산의 팽창(dilation)을 수행하여 상기 근사 포화 영역(NSR)을 팽창시키는 단계; (b412) 상기 퍼플 프린징 후보 영역(CR)에 레이블을 붙이는 단계; 및 (b413) 상기 팽창된 근사 포화 영역(NSRDilation)과 상기 레이블된 퍼플 프린징 후보 영역(CR')이 겹치면 상기 근사 포화 영역(NSR)과 상기 레이블된 퍼플 프린징 후보 영역(CR')을 상기 오버랩 후보 영역(CR'Overlapped)으로 결정하는 단계;를 포함할 수 있다.
본 발명에 따른 상기 (c) 단계는 (c1) 상기 CIE xy 색도분포표 상으로 투영된 화소들에서, 상기 검출된 퍼플 프린징 영역(PFR)에 해당하는 화소의 채도를 보정하는 단계; 및 (c2) 상기 채도가 보정된 퍼플 프린징 영역을 포함하는 CIE xy 색도분포표 상에 투영된 화소들을 원 영상이 표시되는 색상 공간으로 변환하는 단계;를 포함한다.
본 발명에 따른 상기 (c2) 단계는 (c21) 상기 색상 공간이 변환된 영상의 휘도값을 이용하여, 상기 채도가 보정된 퍼플 프린징 영역을 포함하는 CIE xy 색도분 포표 상에 투영된 화소들을 CIE XYZ 색상 공간으로 변환하는 단계; 및 (c22) 상기 CIE XYZ 색상 공간으로 변환된 영상을 RGB 색상 공간으로 변환하는 단계;를 포함할 수 있다.
상기와 같은 과제를 해결하기 위한 퍼플 프린징 보정 시스템은,
원 영상의 색상 공간을 변환하는 색상 공간 변환부; 상기 원 영상과 상기 색상 공간이 변환된 영상을 이용하여 퍼플 프린징 영역(purple fringed region, PFR)을 검출하는 퍼플 프린징 검출부; 및 상기 검출된 퍼플 프린징 영역(PFR)을 보정하는 보정부;를 포함한다.
상기 원 영상은 RGB 색상 공간으로 표시된 것이고, 상기 색상 공간이 변환된 영상을 상기 원 영상의 RGB 색상 공간을 CIE XYZ 색상 공간으로 변환한 것이다.
본 발명에 따른 상기 퍼플 프린징 검출부는, 상기 색상 공간이 변환된 영상에서 근사 포화 영역(near-saturated region, NSR)을 검출하는 근사 포화 영역 검출부; 상기 색상 공간이 변환된 영상에서 보라색 영역(purple color region)에 해당하는 퍼플 프린징 후보 영역(candidate region, CR)을 검출하는 퍼플 프린징 후보 영역 검출부; 상기 원 영상에서 색상이 급격하게 변하는 색상 변환 영역(color change region, CCR)을 검출하는 색상 변환 영역 검출부; 및 상기 근사 포화 영역(NSR)과, 상기 퍼플 프린징 후보 영역(CR)과, 상기 색상 변환 영역(CCR)을 이용하여 상기 퍼플 프린징 영역(PFR)을 결정하는 퍼플 프린징 영역 결정부;를 포함한다.
본 발명에 따른 상기 근사 포화 영역 검출부는 상기 색상 공간이 변환된 영 상의 화소 휘도값의 최대치의 9할 이상인 화소를 상기 근사 포화 영역(NSR)으로 검출한다.
본 발명에 따른 상기 퍼플 프린징 후보 영역 검출부는 상기 색상 공간이 변환된 영상을 CIE xy 색도분포표 상으로 투영하고, 상기 투영된 화소들이 CIE xy 색도분포표 상에서 위치하는 좌표가 상기 보라색 영역에 포함되는 화소를 상기 퍼플 프린징 후보 영역(CR)으로 검출한다.
또한, 상기 퍼플 프린징 후보 영역 검출부는 다양한 광원에서 취득된 원 영상에서 상기 퍼플 프린징 후보 영역(CR)을 검출할 수 있도록, 상기 원 영상이 취득된 광원에 따른 화이트포인트(white point)를 설정하고, 상기 설정된 화이트포인트(white point)에 따라 상기 보라색 영역을 설정한다.
본 발명에 따른 상기 퍼플 프린징 영역 결정부는 상기 근사 포화 영역(NSR)과 상기 퍼플 프린징 후보 영역(CR)을 이용하여 상기 근사 포화 영역(NSR)과 상기 퍼플 프린징 후보 영역(CR)이 인접하거나 겹치는 오버랩 후보 영역(CR'Overlapped)을 결정하고, 상기 오버랩 후보 영역(CR'Overlapped)이면서 상기 색상 변환 영역(CCR)에 포함되는 화소를 상기 퍼플 프린징 영역(PFR)으로 검출하여 결정한다.
본 발명에 따른 상기 퍼플 프린징 영역 결정부는 모폴로지(morphology) 연산의 팽창을 수행하여 상기 근사 포화 영역(NSR)을 팽창시키고, 상기 퍼플 프린징 후보 영역(CR)에 레이블을 붙이고, 상기 팽창된 근사 포화 영역(NSRDilation)과 상기 레이블된 퍼플 프린징 후보 영역(CR')이 겹치면 상기 팽창된 근사 포화 영역(NSR)과 상기 레이블된 퍼플 프린징 후보 영역(CR')을 상기 오버랩 후보 영역(CR'Overlapped)으로 결정한다.
본 발명에 따른 상기 보정부는, 상기 퍼플 프린징 검출부에서 검출된 퍼플 프린징 영역(PFR)의 화소의 채도를 보정하고, 상기 채도가 보정된 퍼플 프린징 영역을 포함하는 CIE xy 색도분포표 상에 투영된 화소들을 원 영상이 표시되는 색상 공간으로 변환한다.
상기 보정부는 상기 색상 공간 변환부에서 색상 공간이 변환된 영상의 휘도값을 이용하여 상기 채도가 보정된 퍼플 프린징 영역을 포함하는 CIE xy 색도분포표 상에 투영된 화소들을 CIE XYZ 색상 공간으로 변환하고, 상기 CIE XYZ 색상 공간으로 변환된 영상을 RGB 색상 공간으로 변환하여 상기 퍼플 프린징 영역(PFR)을 보정하는 것을 특징으로 한다.
본 발명에 따르면, 광원의 조건에 따라 적응적(adaptive)으로 퍼플 프린징 영역을 검출하기 위한 범위를 선택하여, 서로 다른 광원에서 취득된 영상의 퍼플 프린징 영역을 검출할 수 있다.
또한 본 발명은 검출된 퍼플 프린징 영역에 대해 보정하기 위해 디세츄레이션하는 화이트포인트의 위치를, 다양한 광원의 환경에서 취득된 영상에 적용 가능하도록 광원의 조건에 따라 적절하게 적응적으로 선택할 수 있으므로, 다양한 환경에서 취득된 영상의 퍼플 프린징을 보정할 수 있다.
본 발명은 영상에서 본래 보라색 및 유사 보라색을 가지는 영역은 그대로 보존하고, 퍼플 프린징 영역을 검출하여 보정할 수 있다.
이하에서는 도면을 참조하여 본 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 상세히 설명하며, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면 상에 있더라도 동일한 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다.
도 1은 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 보정의 단계를 나타낸 순서도이다.
퍼플 프린징 보정 단계는, 원 영상의 색상 공간을 변환하는 단계(S11); 상기 색상 공간이 변환된 영상에서 근사 포화 영역(near-saturated region, NSR)을 검출하는 단계(S12); 상기 색상 공간이 변환된 영상에서 보라색 영역(purple color region)에 해당하는 퍼플 프린징 후보 영역(candidate region, CR)을 검출하는 단계(S13); 상기 원 영상에서 색상이 급격하게 변하는 색상 변환 영역(color change region, CCR)을 검출하는 단계(S14); 상기 근사 포화 영역(NSR)과, 상기 퍼플 프린징 후보 영역(CR)과, 상기 색상 변환 영역(CCR)을 이용하여 퍼플 프린징 영역(PFR)을 검출하는 단계(S15); 및 상기 검출된 퍼플 프린징 영역을 보정하는 단계(S16)로 이루어진다.
S11 단계에서는 원 영상을 RGB 색상 공간에서 CIE XYZ 색상 공간으로 변환한다.
상기 원 영상은 디지털 카메라 또는 휴대폰에 구비된 카메라 등에서 취득한 영상으로, RGB 색상 공간을 이용하여 표시된다. 일반적으로 디지털 영상에서 사용되는 RGB 색상 공간은, 동일한 물체를 서로 다른 디지털 카메라로 촬영하였을 경우 디지털 카메라의 응답 특성에 따라 다른 색깔로 물체가 표시되므로, 장치 의존적이라 할 수 있다. 따라서 본 발명에서는 장치 독립적이고 인간 시각 시스템에 민감하도록 고려된 CIE XYZ 색상 공간을 이용한다.
RGB 색상 공간으로 표현된 원 영상의 각 화소를 각 색 성분(R, G, B)별로 정규화하고, 각 색 성분(R, G, B)별로 정규화된 값의 선형값을 구하고, 상기 선형값을 색상 공간 변환 행렬에 적용하여 RGB 색상 공간에서 CIE XYZ 색상 공간으로 변환한다.
일반적으로 사용되는 디지털 기기에서, RGB 색상 공간은 R, G, B의 성분을 각 8bit로 나타내어 전체 24bit로 표시되며, 본 발명에서는 해당 화소의 R, G, B의 각 색 성분을 0~1 사이의 값으로 정규화한다.
각 색 성분별로 정규화된 R, G, B는 다음의 수학식 1에 의해 선형값으로 계산된다.
<수학식 1>
Figure 112009073949094-pat00001
상기 수학식 1에서 C는 각 색 성분의 정규화된 R, G, B 값이고, CL은 각 색 성분별로 RL, GL, BL의 값이다. 상기 수학식 1에 의해 계산된 각 색 성분별 선형값(RL, GL, BL, linear value)은 CIE XYZ 색상 공간으로 변환하기 위한 변환 행렬의 입력값으로 사용된다. 상기 산출된 각 색 성분별 선형값을 이용하여 RGB 색상 공간을 CIE XYZ 색상 공간으로 변환하기 위한 행렬은 다음의 수학식 2를 사용한다.
<수학식 2>
Figure 112009073949094-pat00002
상기 S11 단계에서 CIE XYZ 색상 공간으로 변환된 영상은 S12 단계와 S13 단계에서 사용된다.
S12 단계는 상기 S11 단계에서 색상 공간이 변환된 영상을 입력받아, 색상 공간이 변환된 영상의 휘도값(luminance value, Y)을 이용하여 근사 포화 영역(near-saturated region, NSR)을 검출한다. 상기 검출된 근사 포화 영역(NSR)은 S15 단계로 입력된다.
퍼플 프린징이 나타나는 영역의 주변 화소는 주로 높은 휘도를 가지므로, 이러한 부분의 화소의 휘도값은 포화된 상태에 근사하게 나타난다. 예를 들어, 화소의 휘도값을 8bit로 양자화한 경우 휘도값의 범위는 0부터 255까지이다. 이때 포화된 상태에 근사하다는 것은 해당 화소의 휘도값이 최대치인 255에 가까운 값을 가진다는 의미이다.
따라서, 퍼플 프린징이 나타나는 영역의 주변 화소의 휘도값이 포화된 상태에 근사하다는 특성을 이용하여, 근사 포화 영역(NSR)을 검출한다. 상기 근사 포화 영역(NSR)을 검출하기 위한 임계값으로, 영상의 화소 휘도값의 최대치의 9할(90%)의 값을 사용한다.
따라서 임계값보다 큰 휘도값을 가지는 화소는 근사 포화 영역(NSR)으로 판단하고, 임계값보다 작은 휘도값을 가지는 화소는 근사 포화 영역이 아니라고 판단하여, 근사 포화 영역(NSR)을 검출한다.
예들 들어, 화소의 휘도값이 8bit로 양자화한 경우에는 약 230의 값을 임계값으로 사용하여, 휘도값이 230보다 큰 화소는 근사 포화 영역으로, 230보다 작은 화소는 근사 포화 영역이 아니라고 판단한다.
S13 단계에서는 상기 색상 공간이 변환된 영상을 입력받아 CIE xy 색도분포표 상으로 투영하고, 상기 투영된 화소의 CIE xy 색도분포표 상의 좌표가 보라색 영역에 포함되는 화소를 퍼플 프린징 후보 영역(candidate region, CR)으로 검출한다. 상기 검출된 퍼플 프린징 후보 영역(CR)은 S15 단계로 입력된다.
퍼플 프린징은 영상에서 주로 보라색으로 강조되어 나타난다. 따라서 영상에서 보라색을 가지는 화소들을 퍼플 프린징 후보 영역(CR)으로 판단한다. CIE xy 색도분포표에서 보라색 및 유사 보라색을 포함하는 보라색 영역(purple color region)을 설정한다. 상기 보라색 영역은 보라색뿐만 아니라 푸른빛 보라색, 빨간빛 보라색, 붉은 보라색, 보라빛 발간색, 보라빛 분홍색 등을 포함하며, 보다 정확하게 퍼플 프린징 영역을 검출할 수 있도록 한다.
CIE XYZ 색상 공간으로 변환된 영상을 CIE xy 색도분포표로 투영하기 위해 수학식 3을 사용한다.
<수학식 3>
Figure 112009073949094-pat00003
여기에서 x와 y는 CIE xy 색도분포표 상에서 해당 화소((m,n))의 x와 y 좌표를 의미한다. 상기 (m,n)은 원 영상에서의 화소의 위치를 의미한다.
도 2는 CIE xy 색도분포표를 나타낸 도면이다. 이하에서는 도 2를 참조하여 CIE xy 색도분포표에 대해 설명한다.
CIE xy 색도분포표는 말발굽 모양의 커브로 나타나며, 평균적인 인간의 눈에 보이는 모든 색깔을 표현한다. 바깥쪽의 곡선은 단색광의 색깔을 나타내며, 바깥쪽의 곡선을 잇는 오른쪽 하단부의 직선은 퍼플 라인(purple line)이라 하고 서로 다른 비율로 빨간색과 파란색을 조합한 보라색을 나타낸다. 또한 채도가 낮은 색깔은 가운데 영역에 존재하며, 가운데에는 화이트포인트(white point, 흰색)가 있다. 화 이트포인트는 약 x=0.33과 y=0.33 지점에 존재한다.
그리고 CIE XYZ 색상 공간은 휘도값(luminance, Y)을 포함하고 있으나, CIE xy 색도분포표는 휘도값을 제외한 x와 y 변수를 이용해 2차원 평면의 그래프로 도시된다. 따라서 영상을 CIE xy 색도분포표 상으로 투영하면, 휘도값에 영향을 받지 않고 퍼플 프린징 후보 영역(CR)을 검출해낼 수 있는 장점이 있다.
이러한 CIE xy 색도분포표에는, RGB 색상 공간에서 표현되는 색이 도 2에 흰색으로 표시된 삼각형으로 표시될 수 있다. 삼각형의 각 꼭지점(블루포인트, 레드포인트, 그린포인트)은 RGB 색상 공간의 R 성분, G 성분, B 성분을 CIE XYZ 색상 공간으로 변환하여, CIE xy 색도분포표 상으로 투영한 값을 의미한다.
보라색 영역(purple color region)은 CIE xy 색도분포표 상에서 보라색 및 유사 보라색을 포함하는 영역을 말하며, 화이트포인트와 퍼플 라인(purple line) 사이의 값을 의미한다.
보라색 영역은 도 2에 보라색을 표시된 영역으로, 화이트포인트와 블루포인트를 꼭지점으로 하는 삼각형으로 나타낼 수 있으며, 나머지 하나의 꼭지점은 CIE xy 색도분포표 상에 구획되어진 영역을 기준으로 보라색이 포함되는 구획까지의 점을 설정하였다. 이러한 보라색 영역을 수식으로 나타내면 다음의 수학식 4로 나타낼 수 있다.
<수학식 4>
Figure 112009073949094-pat00004
따라서, CIE xy 색도분포표로 투영된 화소들 중에서 상기 수학식 4가 표현하 는 삼각형에 포함되는 화소들을 퍼플 프린징 후보 영역(CR)으로 검출한다. 이를 정리하면 다음의 수학식 5로 표현된다.
<수학식 5>
Figure 112009073949094-pat00005
즉, 수학식 3을 통해 CIE XYZ 색상 공간으로 표현된 영상을 CIE xy 색도분포표 상으로 투영하고, 상기 CIE xy 색도분포표 상에서 보라색 영역이 결정되고, 상기 수학식 5를 통해 상기 보라색 영역에 속하는 화소들을 퍼플 프린징 후보 영역(CR)으로 검출한다.
S14 단계에서는 원 영상에서 화소의 기울기 정보를 이용하여 색상 변환 영역(color change region)을 검출한다. 상기 검출된 색상 변환 영역은 S15 단계로 입력된다.
기울기 정보(gradient information)는 퍼플 프린징이 영상에서 색상 또는 명암도가 급격히 변하는 에지(edge) 부분에서 많이 나타나는 특성을 이용하여 퍼플 프린징을 검출하기 위해 사용한다.
본 발명에서는 색상이 급격히 변하는 화소를 색상 변환 영역(color change region, CCR)이라 하고, 이를 검출하기 위해 원 영상의 화소의 각 색 성분별 기울기값과, 임계값을 사용한다. 즉, 화소의 R 성분의 기울기값, G 성분의 기울기값, B 성분의 기울기값을 구하고, 상기 기울기값들이 미리 정한 임계값보다 크면 색상 변환 영역(CCR)으로 판단하여 검출한다. 이를 수식으로 나타내면 수학식 6으로 표현 된다.
<수학식 6>
Figure 112009073949094-pat00006
여기서
Figure 112009073949094-pat00007
,
Figure 112009073949094-pat00008
,
Figure 112009073949094-pat00009
은 영상의 (m, n) 위치의 화소의 각 색 성분별 기울기값이고, TG는 임계값을 나타낸다. 본 발명의 실시예에서는 TG를 8로 하였다.
S15 단계에서는 상기 S12, S13, S14 단계에서 검출된 상기 근사 포화 영역(NSR)과, 상기 퍼플 프린징 후보 영역(CR)과, 상기 색상 변환 영역(CCR)을 이용하여 퍼플 프린징 영역(purple fringed region, PFR)을 검출한다.
상기 퍼플 프린징 후보 영역(CR) 중에서 퍼플 프린징을 포함하는 영역은 상기 근사 포화 영역(NSR)과 인접하거나 겹칠 수 있다. 상기 퍼플 프린징 후보 영역(CR)과 상기 근사 포화 영역(NSR)을 이용하여 상기 근사 포화 영역(NSR)과 상기 퍼플 프린징 후보 영역(CR)이 인접하거나 겹치는 오버랩 후보 영역(CR'Overlapped)을 검출하고, 상기 오버랩 후보 영역(CR'Overlapped)이면서 상기 색상 변환 영역(CCR)에 포함되는 화소들을 퍼플 프린징 영역(PFR)으로 결정하여 검출한다.
도 3을 참조로 S15 단계를 상세히 설명한다. 도 3은 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 영역(PFR)을 결정하여 검출하는 단계를 상세하게 나타 낸 순서도이다.
S151 단계에서는 상기 근사 포화 영역(NSR)에 수학식 7의 모폴로지(morphology) 연산의 팽창(dilation)을 수행하여 팽창된 근사 포화 영역(NSRDilation)을 생성한다. 상기 수학식 7의 SE(Structuring element)는 상기 근사 포화 영역(NSR)을 포함하는 영상에 적용하는 3*3 마스크를 나타낸다. 상기 SE는 마스크가 씌워지는 화소의 주변(상하좌우)의 화소들 중 어느 하나라도 상기 근사 포화 영역(NSR)에 해당하면, 해당 화소를 상기 근사 포화 영역(NSR)으로 바꾸어 상기 근사 포화 영역(NSR)을 확장시킨다. 또한 하기 수학식 7에서
Figure 112009073949094-pat00010
은 SE를 반사(reflection)시킨 것을 의미하며, 본 발명의 실시예에서는 SE가 중심 화소의 상하좌우가 "1"의 값을 가지므로, 반사시켜도 같은 형태가 된다. 상기 SE를 표로 나타내면 표 1과 같다.
<표 1>
0 1 0
1 1 1
0 1 0
<수학식 7>
Figure 112009073949094-pat00011
S152 단계에서는 상기 팽창된 근사 포화 영역(NSRDilation)과 상기 근사 포화 영역(NSR)의 차를 구하는 연산을 수행하여 팽창된 근사 포화 영역의 경계(NSRD - boundary)를 산출한다. 이를 수식으로 나타내면 다음의 수학식 8과 같다. 하기 수학식 8은 본 발명에서 생략하여도 무방하다. 다음의 수학식 9에서 사용되는 상기 팽창된 근사 포화 영역의 경계(NSRD - boundary)을 대신하여 상기 팽창된 근사 포화 영역(NSRDilation)을 사용할 수 있다.
<수학식 8>
Figure 112009073949094-pat00012
상기 퍼플 프린징 후보 영역(CR)들은 영상 내에서 다수 개 존재할 수 있으므로, 레이블(label)을 설정하여 레이블된 퍼플 프린징 후보 영역(CR')을 산출한다.
S153 단계에서 수학식 9에 나타낸 바와 같이 상기 레이블된 퍼플 프린징 후보 영역(CR')과 상기 팽창된 근사 포화 영역의 경계(NSRD - boundary)의 교집합이 공집합이 아닌 오버랩 후보 영역(CR'Overlapped)을 찾는다. 즉, 상기 레이블된 퍼플 프린징 후보 영역(CR')과 상기 팽창된 근사 포화 영역의 경계(NSRD-boundary)이 겹치면, 상기 퍼플 프린징 후보 영역(CR)과 상기 근사 포화 영역(NSR)을 오버랩 후보 영역(CR'Overlapped)으로 결정한다.
<수학식 9>
Figure 112009073949094-pat00013
상기 수학식 9에서 CR'k는 k번째 레이블된 퍼플 프린징 후보 영역을 나타내며, 여기에서 k는 1부터 K사이의 값을 가지고, 상기 레이블된 퍼플 프린징 후보 영역의 최대수를 나타낸다.
S154 단계에서는 상기 오버랩 후보 영역(CR'Overlapped)과 S14 단계에서 검출된 색상 변환 영역(CCR)을 이용하여 퍼플 프린징 영역(PFR)을 결정하여 검출한다. 즉, 상기 오버랩 후보 영역(CR'Overlapped)이면서, 상기 색상 변환 영역(CCR)에 포함되는 화소들을 상기 퍼플 프린징 영역(PFR)으로 결정한다. 수학식 10은 상기 색상 변환 영역(CCR)과 상기 오버랩 후보 영역(CR'Overlapped)을 이용하여 상기 퍼플 프린징 영역(PFR)을 결정하는 방법을 표현한 것이다.
<수학식 10>
Figure 112009073949094-pat00014
S16 단계는 상기 S15 단계에서 검출된 퍼플 프린징 영역(PFR)을 보정한다.
도 4를 참조로 퍼플 프린징 영역의 보정 단계를 상세히 설명한다. 도 4는 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 영역(PFR)을 보정하는 단계를 상세하게 나타낸 순서도이다.
S161 단계에서는 CIE xy 색도분포표 상으로 투영된 화소에서 상기 검출된 퍼플 프린징 영역(PFR)에 해당하는 화소를 디세츄레이션(Desaturation)한다.
퍼플 프린징이 나타나는 화소의 각 색 성분은 에지(edge)와 일정한 상관 관 계를 가지며, 결과적으로 화소는 에지(edge)에서 그레이스케일값 또는 그레이(회색)에 가까운 색을 가진다. 그래서 퍼플 프린징 영역(PFR)에 대해 디세츄레이션(Desaturation)한다. 디세츄레이션은 퍼플 프린징 영역(PFR)에 포함되는 화소의 CIE xy 색도분포표 상의 xy 좌표를 강제적으로 화이트포인트로 설정하는 것으로, 해당 화소의 채도를 0으로 설정하는 것을 의미한다.
S162 단계에서는 상기 S11 단계에서 색상 공간이 변환된 영상의 휘도값을 이용하여, 상기 S161 단계에서 디세츄레이션된 퍼플 프린징 영역(PFR)을 포함하는 CIE xy 색도분포표 상에 투영된 화소들을 원 영상이 표시되는 색상 공간으로 변환한다. 즉, 상기 S11 단계에서 CIE XYZ 색상 공간으로 색상 공간이 변환된 영상의 Y값을 휘도값으로 하여, 상기 채도가 보정된(디세츄레이션) 퍼플 프린징 영역(PFR)을 포함하는 CIE xy 색도분포표 상에 투영된 화소를 CIE XYZ 색상 공간으로 변환한다.
S161 단계와 S162 단계는 다음의 수학식 11을 이용하여 한꺼번에 계산할 수 있다.
<수학식 11>
Figure 112009073949094-pat00015
S163 단계에서는 S162 단계에서 CIE XYZ 색상 공간으로 표현된 영상을 RGB 색상 공간으로 변환하여, 퍼플 프린징 영역(PFR)이 보정된 영상을 형성한다.
도 5는 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 보정 시스템을 나타낸 구성도이다.
도 5를 참조하면, 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 보정 시스템(5)은 영상의 색상 공간을 변환하는 색상 공간 변환부(51); 영상에서 퍼플 프린징 영역을 검출하는 퍼플 프린징 검출부(50); 검출된 퍼플 프린징 영역을 보정하는 보정부(56)를 포함한다.
색상 공간 변환부(51)는 퍼플 프린징 보정 시스템(5)에 입력되는 영상의 색상 공간을 RGB 색상 공간에서 CIE XYZ 색상 공간으로 변환한다. 이때, 상기 수학식 1과 수학식 2를 사용한다.
색상 공간 변환부(51)에서는, RGB 색상 공간으로 표현된 원 영상의 화소를 각 색 성분(R, G, B)별로 각각 정규화하고, 정규화된 값의 선형값을 각 색 성분별(RL, GL, BL, linear value)로 구하고, 구해진 선형값을 CIE XYZ 색상 공간으로 변환하는 행렬에 적용하여 원 영상을 RGB 색상 공간에서 CIE XYZ 색상 공간으로 변환한다. 이렇게 CIE XYZ 색상 공간으로 색상 공간이 변환된 영상은 상기 퍼플 프린징 검출부(50)의 근사 포화 영역 검출부(52)와 퍼플 프린징 후보 영역 검출부(53)로 입력된다.
상기 퍼플 프린징 검출부(50)는 상기 원 영상에서 퍼플 프린징이 나타나는 영역을 검출한다. 상기 퍼플 프린징 검출부(50)는 근사 포화 영역 검출부(52); 퍼 플 프린징 후보 영역 검출부(53); 색상 변환 영역 검출부(54); 퍼플 프린징 영역 결정부(55);를 포함한다.
상기 근사 포화 영역 검출부(52)는 상기 색상 공간 변환부(51)에서 CIE XYZ 색상 공간으로 색상 공간이 변환된 영상의 휘도값(luminance vaule, Y)을 사용하여 근사 포화 영역(near-saturated region, NSR)을 검출한다.
상기 근사 포화 영역 검출부(52)에서 상기 근사 포화 영역(NSR)을 검출하기 위해 사용하는 임계값은, 화소 휘도값의 최대치의 90%로 설정한다. 이는 퍼플 프린징이 나타나는 화소의 휘도값은 휘도값의 최대치의 상위 10%이상의 값이 나타나는 경향이 있는 것을 이용한 것이다.
즉, 임계값보다 큰 값은 상기 근사 포화 영역(NSR)으로 판단하고, 임계값보다 작은 값은 상기 근사 포화 영역이 아니라고 판단한다. 상기 근사 포화 영역(NSR)에는 포화되거나 포화에 근사한 화소들이 포함된다.
상기 퍼플 프린징 후보 영역 검출부(300)는 상기 색상 공간 변환부(100)에서 CIE XYZ 색상 공간으로 색상 공간이 변환된 영상을 CIE xy 색도분포표 상으로 투영하고, 상기 투영된 화소의 CIE xy 색도분포표 상의 좌표가 보라색 영역(purple color region)에 포함되는 화소를 상기 퍼플 프린징 후보 영역(candidate region, CR)으로 검출한다.
상기 CIE XYZ 색상 공간으로 색상 공간이 변환된 영상을 CIE xy 색도분포표 상으로 투영하기 위해서 수학식 3을 사용한다.
CIE xy 색도분포표에서 보라색 및 유사 보라색을 포함하는 보라색 영 역(purple color region)을 설정한다. 보라색 영역은, 보라색뿐만 아니라 푸른빛 보라색, 빨간빛 보라색, 붉은 보라색, 보라빛 빨간색, 보라빛 분홍색 등을 포함하여, 보다 정확하게 퍼플 프린징 후보 영역을 검출하도록 한다. 상기 보라색 영역을 설정하기 위해 상기 수학식 4를 사용한다.
보라색 영역 내에 포함되는 x 좌표와 y 좌표를 가지는 화소를 상기 퍼플 프린징 후보 영역(CR)으로 검출한다. 상기 퍼플 프린징 후보 영역(CR)을 검출하기 위해 상기 수학식 5를 사용한다.
상기 색상 변환 영역 검출부(54)는 퍼플 프린징 보정 시스템(5)의 원 영상에서 화소의 기울기 정보(gradient information)를 이용하여 색상 변환 영역(color change region, CCR)을 검출한다. 상기 색상 변환 영역(CCR)을 검출하기 위해 수학식 6을 사용한다.
퍼플 프린징은 영상에서 색상 또는 명암도가 급격히 변하는 에지(edge) 부분에 주로 나타난다. 본 발명에서는 해당 화소의 색상이 급격히 변하는 것을 기울기 정보를 이용하여 검출하며 이러한 영역을 색상 변환 영역(CCR)이라고 정의한다.
색상 변환 영역(CCR)은, RGB 색상 공간에서 표현되는 원 영상의 화소의 각 색 성분별 기울기값을 구하고, 임계값에 의해 검출된다. 즉, 화소의 R 성분의 기울기값, G 성분의 기울기값, B 성분의 기울기값을 구하고, 상기 기울기값들이 미리 정한 임계값(TG) 보다 크면 색상 변환 영역(CCR)으로 판단하여 색상 변환 영역(CCR)을 검출한다.
상기 퍼플 프린징 영역 결정부(55)는 상기 근사 포화 영역 검출부(52)에서 검출된 근사 포화 영역(NSR)과, 상기 퍼플 프린징 후보 영역 검출부(53)에서 검출된 퍼플 프린징 후보 영역(CR)과, 상기 색상 변환 영역 검출부(54)에서 검출된 색상 변환 영역(CCR)을 이용하여 퍼플 프린징 영역(Purple Fringed Region, PFR)을 결정하여 검출한다.
상기 근사 포화 영역(NSR)과 상기 퍼플 프린징 후보 영역(CR)을 이용하여 상기 근사 포화 영역(NSR)과 상기 퍼플 프린징 후보 영역(CR)이 인접하거나 겹치는 오버랩 후보 영역(CR'Overlapped)을 결정하고, 상기 결정된 오버랩 후보 영역(CR'Overlapped)이면서 상기 색상 변환 영역(CCR)에 포함되는 화소를 상기 퍼플 프린징 영역(PFR)으로 결정하여 검출한다.
상기 퍼플 프린징 후보 영역(CR) 중에서 일부가 퍼플 프린징을 포함한다면, 해당 퍼플 프린징 후보 영역(CR)은 근사 포화 영역(NSR)과 인접하거나 겹칠 수 있다.
상기 근사 포화 영역(NSR)과 상기 퍼플 프린징 후보 영역(CR)을 이용하기 위해, 상기 근사 포화 영역(NSR)을 포함하는 영상에 수학식 7의 모폴로지(morphology) 연산의 팽창(dilation)을 수행하여 근사 포화 영역(NSR)을 팽창시키고, 상기 팽창된 근사 포화 영역(NSRDilation)과 상기 근사 포화 영역(NSR)의 차를 구하는 연산을 수행하여, 팽창된 근사 포화 영역의 경계(NSRD - boundary)를 산출한다(수 학식 8). 상기 팽창된 근사 포화 영역(NSRDilation)과 상기 근사 포화 영역(NSR)의 차를 구하는 연산은 생략하여도 무방하다. 따라서, 다음의 퍼플 프린징 후보 영역(CR)을 결정하여 검출할 때에는 수학식 9에 사용되는 상기 팽창된 근사 포화 영역의 경계(NSRD - boundary) 대신에 상기 팽창된 근사 포화 영역(NSRDilation)을 사용할 수 있다.
그리고 상기 퍼플 프린징 후보 영역(CR)은 영상 내에 다수 개 존재할 수 있으므로, 영상 내에 위치하는 다수 개의 퍼플 프린징 후보 영역(CR)들에 레이블(label)을 설정하여 레이블된 퍼플 프린징 후보 영역(CR')을 산출한다.
상기 레이블된 퍼플 프린징 후보 영역(CR')과 상기 팽창된 근사 포화 영역의 경계(NSRD - boundary)가 겹치면(교집합이 공집합이 아닌 영역) 상기 퍼플 프린징 후보 영역(CR)과 상기 근사 포화 영역을 상기 오버랩 후보 영역(CR'Overlapped)으로 결정한다.
상기 퍼플 프린징 영역(PFR)은 상기 오버랩 후보 영역(CR'Overlapped)이면서 상기 색상 변환 영역(CCR)에 포함되는 화소로 결정되어 검출된다(수학식 10).
상기 보정부(56)는 상기 검출된 퍼플 프린징 영역(PFR)의 화소들의 CIE xy 색도분포표 상의 x와 y 좌표를 화이트포인트로 설정하여 채도를 '0'으로 만드는 보정을 하고, 상기 색상 공간 변환부에서 CIE XYZ 색상 공간으로 색상 공간이 변환된 영상의 Y값을 이용하여 상기 채도가 보정된 퍼플 프린징 영역을 포함하는 CIE xy 색도분포표 상에 투영된 화소들을 CIE XYZ 색상 공간으로 변환하고, 상기 CIE XYZ 색상 공간을 변환된 영상을 RGB 색상 공간으로 변환한다.
이하에서는 본 발명의 바람직한 일 실시예를 영상에 적용할 때, 결과로 나타나는 영상들을 예를 들어 설명한다.
도 6a-6g는 본 발명의 바람직한 일 실시예를 영상에 적용하여 각 단계별로 검출된 영상을 나타낸 도면이다.
도 6a는 본 발명의 바람직한 일 실시예에 입력되는 원 영상을 나타낸 것이다. 원 영상은 360×240의 마이크로폰을 나타낸 영상으로, 마이크로폰의 머리 부분과, 상의와 넥타이 사이의 에지 부분에서 퍼플 프린징 현상이 나타난다.
도 6b는 본 발명의 바람직한 일 실시예에서 팽창된 근사 포화 영역의 경계(NSRD - boundary)를 나타낸 도면이다. 원 영상인 마이크로폰 영상을 RGB 색상 공간에서 CIE XYZ 색상 공간으로 변환하고, 휘도값(Y)을 이용하여 근사 포화 영역(NSR)을 검출하고, 상기 검출된 근사 포화 영역(NSR)을 모폴로지 연산의 팽창을 이용하여 팽창시키고(NSRDilation), 상기 팽창된 근사 포화 영역(NSRDilation)에서 상기 근사 포화 영역(NSR)을 뺀 영역이 도시되어 있다. 따라서 원 영상인 마이크로폰 영상의 근사 포화 영역(NSR)은 검은색으로 표시되어 있고 근사 포화 영역(NSR)의 바깥쪽 경계가 흰색으로 표시되어 있다.
도 6c는 본 발명의 바람직한 일 실시예에서 퍼플 프린징 후보 영역(CR)을 검 출한 영상을 나타낸 도면이다. 원 영상인 마이크로폰 영상을 RGB 색상 공간에서 CIE XYZ 색상 공간으로 변환하고, 상기 변환된 영상을 CIE xy 색도분포표 상으로 투영하고, CIE xy 색도분포표의 x, y 좌표로 투영된 화소에서 보라색 영역에 해당하는 x, y좌표를 가지는 화소를 검출한 영상이다. 이를 퍼플 프린징 후보 영역(CR)이라 한다. 도 6c에서는 원 영상인 마이크로폰 영상에서 보라색 영역에 해당하는 x, y 좌표를 가지는 화소가 모두 검출된 것으로, 마이크로폰의 머리 부분과, 배경의 오른쪽 부분과, 상의와 넥타이 사이의 에지 부분이 보라색 영역에 해당하는 것을 보여준다.
도 6d는 도 6c에 도시된 퍼플 프린징 후보 영역(CR)에 해당하는 화소들을 해당 화소들의 x, y 좌표를 이용하여 CIE xy 색도분포표 상으로 표시한 것이다. 퍼플 프린징 후보 영역(CR)에 해당하는 화소들은 화이트포인트로부터 퍼플 라인 사이에 위치하게 되고, 모두 본 발명에서 설정한 보라색 영역에 포함된다.
도 6e는 본 발명의 바람직한 일 실시예에서 색상 변환 영역(CCR)을 검출한 영상을 나타낸 도면이다. 색상 변환 영역(CCR)은 원 영상인 마이크로폰 영상에서 화소의 기울기 정보를 이용하여 검출한다. 색상 변환 영역(CCR)은 원 영상인 마이크로폰 영상을 표현하고 있는 RGB 색상 공간에서 검출한다. 도 6e는 원 영상인 마이크로폰 영상에서 색상이 변환하는 영역, 다시 말하면 에지 부분이 색상 변환 영역(CCR)으로 검출되는 것을 보여준다.
도 6f는 본 발명의 바람직한 일 실시예에서 퍼플 프린징 영역(PFR)을 검출한 영상을 나타낸 도면이다. 퍼플 프린징 영역(PFR)은 상기 근사 포화 영역(NSR)과 상 기 퍼플 프린징 후보 영역(CR)이 인접하거나 겹치는 오버랩 후보 영역(CR'Overlapped)과, 상기 오버랩 후보 영역(CR'Overlapped)이면서 상기 색상 변환 영역(CCR)에 포함되는 화소들을 퍼플 프린징 영역(PFR)으로 결정하여 검출한다. 도 6f는 최종적으로 결정된 퍼플 프린징 영역(PFR)을 보여준다.
도 6g는 본 발명의 바람직한 일 실시예를 이용하여 퍼플 프린징 영역을 보정한 영상을 나타낸 도면이다. 원 영상인 마이크로폰 영상에서 마이크로폰의 머리 부분과, 상의와 넥타이 사이의 에지 부분에서 나타나는 퍼플 프린징이 보정되어, 도 6g의 영상에서는 보이지 않는다.
본 발명은 서로 다른 광원 아래에서 취득한 영상에 대해서도 퍼플 프린징을 효과적으로 검출하여 보정할 수 있다. 각 광원에 따라 영상이 가지는 전체적인 톤이나 아티팩트의 색깔이 다르지만, 본 발명에서는 광원에 따라 CIE xy 색도분포표 상의 화이트포인트와 보라색 영역을 변경하여 설정함으로써, 서로 다른 광원 아래에서 취득한 영상에 대해서도 정확하게 퍼플 프린징을 검출할 수 있다.
이하에서는 도 7 내지 도 10에 도시된 도면을 참조하여 서로 다른 광원 아래에서 취득한 영상의 퍼플 프린징을 검출하고 보정한 것에 대해 설명한다.
도 7은 동일한 물체에 대해 서로 다른 광원 아래에서 취득한 영상을 나타낸 도면이다.
도 7의 (a)의 영상은 일반 자연광(daylight)을, (b)의 영상은 쿨화이트(cool white)를, (c)의 영상은 TL84를, (d)의 영상은 백열등(incandescent lamp)을 광원으로 사용한다. 서로 다른 광원 아래에서 취득한 영상은 비록 동일한 물체의 영상이라고 하더라도, 영상의 전체적인 톤과 아티팩트의 색깔이, 광원에 따라 다르게 나타난다.
도 8a는 서로 다른 광원에 따라 달라지는 CIE xy 색도분포표 상의 화이트포인트의 위치와 보라색 영역을 나타낸 도면이고, 도 8b는 광원에 따른 화이트포인트의 좌표와 해당 광원이 가지는 색온도를 기재한 도면이다.
CIE XYZ 색 매칭 기능에 의해 화이트포인트 방사체의 스펙트럼 분포를 통합하여 계산되는 화이트포인트의 좌표는 광원에 따라 바뀌게 된다. 그리고 화이트포인트가 바뀌므로, 퍼플 프린징 후보 영역을 검출하기 위한 보라색 영역도 바뀌게 된다. 표 1은 광원에 따른 화이트포인트의 x, y 좌표값을 정리한 것이다. 이 값에 따라 바뀐 보라색 영역이 도 8a에 도시되어 있다.
따라서, 퍼플 프린징 후보 영역(CR) 검출 시 사용하는 수학식 4를 변경하여, 해당 광원에 따른 보라색 영역을 설정하여, 퍼플 프린징 후보 영역(CR)을 검출할 수 있다. 본 발명은 광원의 종류에 따른 화이트포인트를 이용하여 퍼플 프린징 영역(PFR)을 검출할 수 있다.
도 9는 도 7에 도시된 동일한 영상에 대해 서로 다른 광원 아래에서 취득한 영상에서 퍼플 프린징 후보 영역(CR)을 검출한 영상을 나타낸 도면이다.
서로 다른 광원에서 취득한 영상에서 퍼플 프린징 후보 영역(CR)을 검출한 결과, 도 9의 (a), 도 9의 (b), 도 9의 (c)의 퍼플 프린징 후보 영역은 보라색에 가까운 색깔을 보이는 것에 비해, (d)의 퍼플 프린징은 오렌지 핑크에 가까운 색깔을 보인다. 따라서, 본 발명은 서로 다른 광원 아래에서 취득한 영상에서도 퍼플 프린징 영역을 정확하게 검출할 수 있다.
도 10은 도 7에 도시된 서로 다른 광원 아래에서 취득한 영상에서 퍼플 프린징 영역을 보정한 영상을 나타낸 도면이다.
서로 다른 광원에서 취득된 영상의 퍼플 프린징 영역을 검출하고, 해당 광원의 화이트포인트로 퍼플 프린징 영역을 디세츄레이션하여 보정한다.
도 10의 (a)는 자연광 아래에서 취득된 도 7의 (a)에서, 도 10의 (b)는 쿨화이트 아래에서 취득된 도 7의 (b)에서, 도 10의 (c)는 TL84 아래에서 취득된 도 7의 (c)에서, 도 10의 (d)는 백열등 아래에서 취득된 도 7의 (d)에서 퍼플 프린징을 제거한 영상이다.
서로 다른 광원을 고려하여 퍼플 프린징을 보정함으로써, 도 10의 (a), (b), (c), (d)에 도시된 바와 같이 자연스러운 영상을 얻을 수 있다.
한편, 상술한 본 발명의 실시예는 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디 롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 검출 및 보정 장치를 나타낸 구성도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 검출 및 보정의 단계를 나타낸 순서도이다.
도 3은 본 발명의 바람직한 일 실시예에서 사용하는 CIE xy 색도분포표를 나타낸 그래프이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 영역을 결정하는 단계를 상세하게 나타낸 순서도이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 영역을 보정하는 단계를 상세하게 나타낸 순서도이다.
도 6a-6g는 본 발명의 바람직한 일 실시예를 영상에 적용하여 각 단계별로 검출되는 영상을 나타낸 도면이다.
도 7a-7d은 본 발명의 바람직한 일 실시예를 적용하기 위해 서로 다른 광원 아래에서 취득한 영상을 나타낸 도면이다.
도 8a-8b는 도 7에 도시된 서로 다른 광원에 따른 CIE xy 색도분포표의 화이트 포인트의 위치를 나타낸 그래프와 표이다.
도 9a-9d는 도 7에 도시된 서로 다른 광원 아래에서 취득한 영상에서 퍼플 프린징 후보 영역을 검출한 영상을 나타낸 도면이다.
도 10a-10d는 도 7에 도시된 서로 다른 광원 아래에서 취득한 영상에서 퍼플 프린징을 보정한 영상을 나타낸 도면이다.
<도면의 주요 부분에 관한 부호의 설명>
1 : 퍼플 프린징 검출 및 보정 장치 10 : 퍼플 프린징 검출부
100 : 색상 공간 변환부 200 : 근사 포화 영역 검출부
300 : 퍼플 프린징 후보 영역 검출부 400 : 색상 변환 영역 검출
500 : 퍼플 프린징 영역 결정부 600 : 보정부

Claims (21)

  1. (a) 원 영상의 색상 공간을 변환하는 단계;
    (b) 상기 원 영상과 상기 색상 공간이 변환된 영상을 이용하여 퍼플 프린징 영역(purple fringed region, PFR)을 검출하는 단계; 및
    (c) 상기 검출된 퍼플 프린징 영역(PFR)을 보정하는 단계;를 포함하고,
    상기 (b) 단계는,
    (b1) 상기 색상 공간이 변환된 영상에서 근사 포화 영역(near-saturated region, NSR)을 검출하는 단계;
    (b2) 상기 색상 공간이 변환된 영상에서 보라색 영역(purple color region)에 해당하는 퍼플 프린징 후보 영역(candidate region, CR)을 검출하는 단계;
    (b3) 상기 원 영상에서 화소의 기울기 정보를 이용하여 색상 변환 영역(color change region, CCR)을 검출하는 단계; 및
    (b4) 상기 근사 포화 영역(NSR)과, 상기 퍼플 프린징 후보 영역(CR)과, 상기 색상 변환 영역(CCR)을 이용하여 상기 퍼플 프린징 영역(PFR)을 검출하는 단계;를 포함하는 퍼플 프린징 보정 방법.
  2. 제1항에 있어서,
    상기 원 영상은 RGB 색상 공간으로 표시된 것이고, 상기 색상 공간이 변환된 영상은 상기 원 영상을 RGB 색상 공간에서 CIE XYZ 색상 공간으로 변환한 것을 특징으로 하는 퍼플 프린징 보정 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 (b1) 단계는,
    상기 색상 공간이 변환된 영상의 화소 휘도값의 최대치의 9할 이상인 화소를 상기 근사 포화 영역(NSR)으로 검출하는 것을 특징으로 하는 퍼플 프린징 보정 방법.
  5. 제2항에 있어서,
    상기 (b2) 단계는,
    (b21) 상기 색상 공간이 변환된 영상을 CIE xy 색도분포표 상으로 투영하는 단계; 및
    (b22) 상기 투영결과 생성된 CIE xy 색도분포표 상의 좌표가 상기 보라색 영역에 포함되는 화소를 상기 퍼플 프린징 후보 영역(CR)으로 검출하는 단계;를 포함하는 것을 특징으로 하는 퍼플 프린징 보정 방법.
  6. 제5항에 있어서,
    상기 (b2) 단계는,
    (b211) 다양한 광원에서 취득된 원 영상에서 상기 퍼플 프린징 후보 영역(CR)을 검출할 수 있도록, 상기 원 영상이 취득된 광원에 따른 화이트포인트(white point)를 설정하는 단계; 및
    (b212) 상기 설정된 화이트포인트에 따라 상기 보라색 영역을 설정하는 단계;를 상기 (b21) 단계와 (b22) 단계 사이에 더 포함하는 것을 특징으로 하는 퍼플 프린징 보정 방법.
  7. 제1항에 있어서,
    상기 (b4) 단계는,
    (b41) 상기 근사 포화 영역(NSR)과 상기 퍼플 프린징 후보 영역(CR)을 이용하여 상기 근사 포화 영역(NSR)과 상기 퍼플 프린징 후보 영역(CR)이 인접하거나 겹치는 오버랩 후보 영역(CR'Overlapped)을 결정하는 단계; 및
    (b42) 상기 오버랩 후보 영역(CR'Overlapped)이면서 상기 색상 변환 영역(CCR)에 포함되는 화소를 상기 퍼플 프린징 영역(PFR)으로 검출하는 단계;를 포함하는 것을 특징으로 하는 퍼플 프린징 보정 방법.
  8. 제7항에 있어서,
    상기 (b41) 단계는,
    (b411) 모폴로지(morphology) 연산의 팽창(dilation)을 수행하여 상기 근사 포화 영역(NSR)을 팽창시키는 단계;
    (b412) 상기 퍼플 프린징 후보 영역(CR)에 레이블을 붙이는 단계; 및
    (b413) 상기 팽창된 근사 포화 영역(NSRDilation)과 상기 레이블된 퍼플 프린징 후보 영역(CR')이 겹치면 상기 근사 포화 영역(NSR)과 상기 레이블된 퍼플 프린징 후보 영역(CR')을 상기 오버랩 후보 영역(CR'Overlapped)으로 검출하는 단계;를 포함하는 것을 특징으로 하는 퍼플 프린징 보정 방법.
  9. 제5항에 있어서,
    상기 (c) 단계는,
    (c1) 상기 CIE xy 색도분포표 상으로 투영된 화소들에서, 상기 검출된 퍼플 프린징 영역(PFR)에 해당하는 화소의 채도를 보정하는 단계; 및
    (c2) 상기 채도가 보정된 퍼플 프린징 영역을 포함하는 CIE xy 색도분포표 상에 투영된 화소들을, 원 영상이 표시되는 색상 공간으로 변환하는 단계;를 포함하는 것을 특징으로 하는 퍼플 프린징 보정 방법.
  10. 제9항에 있어서,
    상기 (c2) 단계는,
    (c21) 상기 (a) 단계에서 색상 공간이 변환된 영상의 휘도값을 이용하여, 상 기 채도가 보정된 퍼플 프린징 영역을 포함하는 CIE xy 색도분포표 상에 투영된 화소들을 CIE XYZ 색상 공간으로 변환하는 단계; 및
    (c22) 상기 CIE XYZ 색상 공간으로 변환된 영상을 RGB 색상 공간으로 변환하는 단계;를 포함하는 것을 특징으로 하는 퍼플 프린징 보정 방법.
  11. 제1항, 제2항, 또는 제4항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  12. 원 영상의 색상 공간을 변환하는 색상 공간 변환부;
    상기 원 영상과 상기 색상 공간이 변환된 영상을 이용하여 퍼플 프린징 영역(purple fringed region, PFR)을 검출하는 퍼플 프린징 검출부; 및
    상기 퍼플 프린징 검출부에서 검출된 퍼플 프린징 영역(PFR)을 보정하는 보정부;를 포함하고,
    상기 퍼플 프린징 검출부는,
    상기 색상 공간이 변환된 영상에서 근사 포화 영역(near-saturated region, NSR)을 검출하는 근사 포화 영역 검출부;
    상기 색상 공간이 변환된 영상에서 보라색 영역(purple color region)에 해당하는 퍼플 프린징 후보 영역(candidate region, CR)을 검출하는 퍼플 프린징 후보 영역 검출부;
    상기 원 영상에서 화소의 기울기 정보를 이용하여 색상 변환 영역(color change region, CCR)을 검출하는 색상 변환 영역 검출부; 및
    상기 근사 포화 영역(NSR)과, 상기 퍼플 프린징 후보 영역(CR)과, 상기 색상 변환 영역(CCR)을 이용하여 상기 퍼플 프린징 영역(PFR)을 결정하는 퍼플 프린징 영역 결정부;를 포함하는 퍼플 프린징 보정 시스템.
  13. 제12항에 있어서,
    상기 원 영상은 RGB 색상 공간으로 표시된 것이고, 상기 색상 공간이 변환된 영상은 상기 원 영상의 RGB 색상 공간을 CIE XYZ 색상 공간으로 변환한 것을 특징으로 하는 퍼플 프린징 보정 시스템.
  14. 삭제
  15. 제12항에 있어서,
    상기 근사 포화 영역 검출부는,
    상기 색상 공간이 변환된 영상의 화소 휘도값의 최대치의 9할 이상인 화소를 상기 근사 포화 영역(NSR)으로 검출하는 것을 특징으로 하는 퍼플 프린징 보정 시스템.
  16. 제13항에 있어서,
    상기 퍼플 프린징 후보 영역 검출부는,
    상기 색상 공간이 변환된 영상을 CIE xy 색도분포표 상으로 투영하고, 상기 투영결과 생성된 CIE xy 색도분포표 상의 좌표가 상기 보라색 영역에 포함되는 화소를 상기 퍼플 프린징 후보 영역(CR)으로 검출하는 것을 특징으로 하는 퍼플 프린징 보정 시스템.
  17. 제16항에 있어서,
    상기 퍼플 프린징 후보 영역 검출부는,
    다양한 광원에서 취득된 원 영상에서 상기 퍼플 프린징 후보 영역(CR)을 검출할 수 있도록, 상기 원 영상이 취득된 광원에 따른 화이트포인트(white point)를 설정하고, 상기 설정된 화이트포인트에 따라 상기 보라색 영역을 설정할 수 있도록 하는 것을 특징으로 하는 퍼플 프린징 보정 시스템.
  18. 제12항에 있어서,
    상기 퍼플 프린징 영역 결정부는,
    상기 근사 포화 영역(NSR)과 상기 퍼플 프린징 후보 영역(CR)을 이용하여 상기 근사 포화 영역(NSR)과 상기 퍼플 프린징 후보 영역(CR)이 인접하거나 겹치는 오버랩 후보 영역(CR'Overlapped)을 결정하고, 상기 오버랩 후보 영역(CR'Overlapped)이면서 상기 색상 변환 영역(CCR)에 포함되는 화소를 상기 퍼플 프린징 영역(PFR)으로 결정하는 것을 특징으로 하는 퍼플 프린징 보정 시스템.
  19. 제18항에 있어서,
    상기 퍼플 프린징 영역 결정부는
    모폴로지(morphology) 연산의 팽창(dilation)을 수행하여 상기 근사 포화 영역(NSR)을 팽창시키고,
    상기 퍼플 프린징 후보 영역(CR)에 레이블을 붙이고,
    상기 팽창된 근사 포화 영역(NSRDilation)과 상기 레이블된 퍼플 프린징 후보 영역(CR')이 겹치면 상기 근사 포화 영역(NSR)과 상기 레이블된 퍼플 프린징 후보 영역(CR')을 상기 오버랩 후보 영역(CR'Overlapped)으로 결정하는 것을 특징으로 하는 퍼플 프린징 보정 시스템.
  20. 제13항에 있어서,
    상기 보정부는,
    상기 퍼플 프린징 검출부에서 검출된 퍼플 프린징 영역(PFR)의 화소의 채도를 보정하고, 상기 채도가 보정된 퍼플 프린징 영역(PFR)을 포함하는 CIE xy 색도분포표 상에 투영된 화소들을 원 영상이 표시되는 색상 공간으로 변환하는 것을 특징으로 하는 퍼플 프린징 보정 시스템.
  21. 제20항에 있어서,
    상기 보정부는,
    상기 색상 공간 변환부에서 색상 공간이 변환된 영상의 휘도값을 이용하여, 상기 채도가 보정된 퍼플 프린징 영역을 포함하는 CIE xy 색도분포표 상에 투영된 화소들을 CIE XYZ 색상 공간으로 변환하고, 상기 CIE XYZ 색상 공간으로 변환된 영상을 RGB 색상 공간으로 변환하는 것을 특징으로 하는 퍼플 프린징 보정 시스템.
KR1020090117324A 2009-11-30 2009-11-30 퍼플 프린징 보정 방법 및 시스템 KR101160956B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090117324A KR101160956B1 (ko) 2009-11-30 2009-11-30 퍼플 프린징 보정 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090117324A KR101160956B1 (ko) 2009-11-30 2009-11-30 퍼플 프린징 보정 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20110060669A KR20110060669A (ko) 2011-06-08
KR101160956B1 true KR101160956B1 (ko) 2012-06-29

Family

ID=44395397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090117324A KR101160956B1 (ko) 2009-11-30 2009-11-30 퍼플 프린징 보정 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101160956B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233986B1 (ko) * 2011-06-23 2013-02-18 서강대학교산학협력단 퍼플 프린징 보정 장치 및 방법
KR102009185B1 (ko) * 2013-01-10 2019-08-09 삼성전자 주식회사 컬러 프린지 제거 방법
CN112887693B (zh) * 2021-01-12 2023-04-18 浙江大华技术股份有限公司 图像紫边消除方法、设备及存储介质
CN114581344B (zh) * 2022-05-09 2022-08-12 浙江芯昇电子技术有限公司 一种视频图像紫边校正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257334A (ja) * 1996-11-22 1998-09-25 Ricoh Co Ltd 色補正処理装置
KR20070031780A (ko) * 2005-09-15 2007-03-20 삼성전자주식회사 공간 영역에서의 내용 적응성 블로킹 아티팩트 제거기
KR20080051620A (ko) * 2006-12-06 2008-06-11 엘지전자 주식회사 적응적 크로스 컬러 아티팩트 제거장치 및 그 방법
KR20080080107A (ko) * 2005-12-30 2008-09-02 마이크로소프트 코포레이션 이미지에 포함된 퍼플 프린징을 제거하기 위한 컴퓨터 구현방법 및 컴퓨터 판독 가능 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257334A (ja) * 1996-11-22 1998-09-25 Ricoh Co Ltd 色補正処理装置
KR20070031780A (ko) * 2005-09-15 2007-03-20 삼성전자주식회사 공간 영역에서의 내용 적응성 블로킹 아티팩트 제거기
KR20080080107A (ko) * 2005-12-30 2008-09-02 마이크로소프트 코포레이션 이미지에 포함된 퍼플 프린징을 제거하기 위한 컴퓨터 구현방법 및 컴퓨터 판독 가능 매체
KR20080051620A (ko) * 2006-12-06 2008-06-11 엘지전자 주식회사 적응적 크로스 컬러 아티팩트 제거장치 및 그 방법

Also Published As

Publication number Publication date
KR20110060669A (ko) 2011-06-08

Similar Documents

Publication Publication Date Title
US7656437B2 (en) Image processing apparatus, image processing method, and computer program
US7577311B2 (en) Color fringe desaturation for electronic imagers
CN108668093B (zh) Hdr图像的生成方法及装置
JP5918915B2 (ja) カラーフィルタを有するセンサを用いて、改善されたカラー画像を作成するための方法およびデバイス
JP4375322B2 (ja) 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体
US20120201456A1 (en) Transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image
KR20190014275A (ko) 무라 검출 장치 및 무라 검출 장치의 검출 방법
KR101927968B1 (ko) 메타 데이터에 기초하여 영상을 디스플레이하는 방법 및 디바이스, 그에 따른 기록매체
JP2006033656A (ja) ユーザインタフェース提供装置
US9185265B2 (en) Image processing method and image processing apparatus for performing a tone correction to acquire a combined image
KR101160956B1 (ko) 퍼플 프린징 보정 방법 및 시스템
JP5910043B2 (ja) 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
Kim et al. Detection and correction of purple fringing using color desaturation in the xy chromaticity diagram and the gradient information
CN107864365B (zh) 一种消除图像紫边的方法
JP6069593B2 (ja) デジタル・カメラにおける広色域作業フローのための二次元色変換
JP5899894B2 (ja) 撮像装置、画像処理装置、画像処理プログラムおよび画像処理方法
CN111861893A (zh) 一种消除图像伪彩色边方法、系统、设备及计算机介质
JP4038976B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
US20200288051A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP6160426B2 (ja) 画像処理装置及びプログラム
JP2010178226A (ja) 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム
JP5245991B2 (ja) 明るさ補正プログラム、明るさ補正方法及び明るさ補正装置
US20200275065A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP7278096B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20130000537A (ko) 퍼플 프린징 보정 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150623

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160602

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170608

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee