KR20130000537A - Apparatus and method of correcting purple fringing - Google Patents

Apparatus and method of correcting purple fringing Download PDF

Info

Publication number
KR20130000537A
KR20130000537A KR1020110061085A KR20110061085A KR20130000537A KR 20130000537 A KR20130000537 A KR 20130000537A KR 1020110061085 A KR1020110061085 A KR 1020110061085A KR 20110061085 A KR20110061085 A KR 20110061085A KR 20130000537 A KR20130000537 A KR 20130000537A
Authority
KR
South Korea
Prior art keywords
purple
purple fringing
region
area
chromaticity
Prior art date
Application number
KR1020110061085A
Other languages
Korean (ko)
Other versions
KR101233986B1 (en
Inventor
박래홍
이동규
김백규
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020110061085A priority Critical patent/KR101233986B1/en
Publication of KR20130000537A publication Critical patent/KR20130000537A/en
Application granted granted Critical
Publication of KR101233986B1 publication Critical patent/KR101233986B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6005Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV

Abstract

PURPOSE: A purple fringing corrector and a method thereof are provided to remove a purple fringing by performing the colorization of pixels belonging to PFR(Purple Fringing Region) by seed pixels having pure colors around a detected PFR. CONSTITUTION: A purple fringing corrector detects a PFR(Purple Fringing Region)(310). The purple fringing corrector detects a boundary region around the detected purple fringing region(320). The purple fringing corrector excludes a saturated proximity region from the detected boundary region(330). The purple fringing corrector selects a seed pixel which is not influenced by a purple fringing from the boundary region(340). The purple fringing corrector determines the pixel color of the purple fringing region by the use of the selected seed pixel color(350). [Reference numerals] (310) Detecting a purple fringing region; (320) Detecting a boundary region around the purple fringing region; (330) Excluding a saturated proximity region from the boundary region; (340) Selecting a seed pixel in a region from which the saturated proximity region is excluded; (350) Determining color of the purple fringing region using the selected seed pixel; (AA) Start; (BB) End

Description

퍼플 프린징 보정 장치 및 방법{Apparatus and method of correcting purple fringing}Purple fringing correction device and method {Apparatus and method of correcting purple fringing}

본 발명은 퍼플 프린징 보정 방법에 관한 것으로서, 더욱 상세하게는 검출된 퍼플 프린징 영역 근처의 순수 컬러를 갖는 시드 (seed) 픽셀들로 퍼플 프린징 영역에 속한 픽셀들의 컬러화를 수행함으로써, 퍼플 프린징을 제거하는 퍼플 프린징 보정 장치 및 방법에 관한 것이다.The present invention relates to a method for correcting purple fringing, and more particularly, by performing colorization of pixels belonging to the purple fringing area with seed pixels having pure color near the detected purple fringing area. A purple fringe correction apparatus and method for removing gongs.

최근 소비자들이 사용하는 디지털 이미징 장치들은 점점 소형화되는 반면 고화질의 이미지와 동영상이 요구되고 있는 추세이다. 제한된 하드웨어 조건 하에서 효과적인 이미지 프로세싱 알고리즘은 이미지의 질을 향상시키는 하나의 해결수단이 될 수 있다.Recently, digital imaging devices used by consumers are becoming smaller and smaller, and high quality images and videos are required. Effective image processing algorithms under limited hardware conditions can be one solution to improve image quality.

이미지의 왜곡과 아티팩트(artifact)들은 일반적으로 렌즈와 같은 광학장치 또는 CCD(Charge Coupled Device)와 CMOS(Complementary Metal-Oxide-Semiconductor)와 같은 디지털 이미지 센서의 특성 때문이다. 퍼플 프린징(purple fringing)은 디지털 카메라로 찍힌 영상에서 발생하는 컬러 아티팩트들 중 하나로, 퍼플 프린징은 물체 주변에 퍼플색으로 뿌옇게 보이는 것을 말한다. 퍼플 프린징 영역은 자신의 컬러를 잃어버리고, 실제 컬러를 왜곡하므로, 화질을 열화시키게 된다. 일반적으로 퍼플 프린징은 픽셀 값들이 높은 휘도값으로 급격히 변화하는 에지 근처에서 발생한다. Image distortion and artifacts are typically due to the characteristics of optical devices such as lenses or digital image sensors such as charge coupled devices (CCDs) and complementary metal-oxide-semiconductors (CMOS). Purple fringing is one of the color artifacts that occur in images taken with a digital camera, and purple fringing is the appearance of purple color around objects. The purple fringing region loses its color and distorts the actual color, thus degrading the picture quality. Purple fringing generally occurs near edges where pixel values rapidly change to high luminance values.

에지 근처의 픽셀들은 원래의 컬러들과는 다른 퍼플색을 갖기 때문에 컬러 아티팩트로 분류된다. 퍼플 프린징은 세 가지 팩터, 즉 블루밍(blooming), 디모자이킹(demosaicing), 및 색 수차(chromatic aberration)의 조합으로 발생하게 된다. 블루밍과 디모자이킹은 디지털 이미지 센서 CCD의 특성 때문에 발생하고, 반면에 색 수차는 렌즈와 같은 광학 장치의 특성 때문에 발생한다.Pixels near the edge are classified as color artifacts because they have a different purple color than the original colors. Purple fringing occurs with a combination of three factors: blooming, demosaicing, and chromatic aberration. Blooming and demosaicing occur due to the characteristics of the digital image sensor CCD, while chromatic aberration occurs due to the characteristics of optical devices such as lenses.

퍼플 프린징을 억제하기 위해 하드웨어적인 접근을 할 수도 있고, 발생한 퍼플 프린징을 검출하고 보정하기 위해 소프트웨어적인 접근을 할 수도 있다.A hardware approach can be used to suppress purple fringes, or a software approach can be used to detect and correct purple fringes that have occurred.

일반적으로 하드웨어적인 접근 방법은 최적의 렌즈 디자인을 설계하는 것이다. 반면에 소프트웨어 접근 방법은 화질을 개선하기 위해 디지털 카메라에서 후처리를 하는 것이다.In general, the hardware approach is to design the optimal lens design. The software approach, on the other hand, involves post-processing in digital cameras to improve picture quality.

하드웨어적 접근으로서, 색 수차를 제거하기 위한 광학 렌즈 디자인들이 제안되었다. 그러나, 렌즈 디자인에 고비용이 소요되고, 색 수차에 한정된 방법이라는 문제점이 있다.As a hardware approach, optical lens designs have been proposed to eliminate chromatic aberration. However, there is a problem in that a high cost is required for lens design and a method limited to chromatic aberration.

또한, 디지털 이미지들에 있는 퍼플 프린징을 감소시키기 위한 후처리로서 디지털 이미지 처리 방법이 제안되고 있다. 디지털 이미지 처리 방법은 일반적으로 두 단계, 즉, 퍼플 프린징 검출과 퍼플 프린징 보정으로 이루어져 있다. 퍼플 프린징을 검출하기 위해서 퍼플 프린징의 위치와 컬러가 사용된다.In addition, digital image processing methods have been proposed as post-processing to reduce purple fringing in digital images. Digital image processing methods generally consist of two steps: purple fringe detection and purple fringe correction. The location and color of the purple fringes are used to detect the purple fringes.

지금까지의 종래기술들에서의 퍼플 프린징 보정 단계는 퍼플 프린징 검출 단계와 비교하면 제한적인 성능을 가지고 있다.The purple fringe correction step in the prior arts thus far has limited performance compared to the purple fringe detection step.

종래의 퍼플 프린징 보정 방법들을 살펴보면, 문헌 1의 퍼플 프린징 보정 방법과 문헌 2의 그래디언트 기반 방법에서 퍼플 프린징 영역의 컬러는 RGB 컬러의 평균값으로 변환된다. Looking at the conventional purple fring correction method, in the purple fring correction method of Document 1 and the gradient-based method of Document 2, the color of the purple fringing area is converted into an average value of RGB colors.

또한, 인페인팅 방법이 퍼플 프린징 보정 방법들 중에 하나가 될 수 있다. 인페인팅 방법은 하나의 이미지 내에 생략된 부분이나 열화된 부분을 복원하기 위해 개발되었다.In addition, the inpainting method may be one of the purple fringing correction methods. Inpainting methods have been developed to restore missing or degraded parts in an image.

이하에서 문헌 1 내지 문헌 2에서의 퍼플 프린징 보정 방법을 보다 상세하게 살펴보기로 한다.Hereinafter, a purple fringe correction method in Documents 1 to 2 will be described in more detail.

문헌 1의 퍼플 프린징 검출 방법은 포화 근처 영역(Near-Saturation Region, NSR)과 후보 영역(Candidate Region, CR)을 검출한다. NSR은 빛의 강도가 포화근처 임계점보다 더 큰 영역이고, CR은 B값이 R값과 G값보다 큰 영역이다. NSR에 인접한 CR은 퍼플 프린징 영역(purple fringing region, PFR)으로 지정된다. The purple fringe detection method of Document 1 detects near-saturation region (NSR) and candidate region (CR). NSR is the area where the light intensity is greater than the near threshold, and CR is the area where the B value is greater than the R and G values. CR adjacent to the NSR is designated as a purple fringing region (PFR).

문헌 1에서는 세가지 퍼플 프린징 보정 방법을 제안하고 있다.Document 1 proposes three purple fringing correction methods.

첫번째 보정방법은 PFR의 컬러를 단색, 예를 들어 흑백으로 변환하는 것이다. 두번째 보정방법은 RGB 컬러의 평균값을 퍼플 프린징 픽셀에 할당하는 것이다. 세번째는 G값을 사용하여 R값과 B값을 세팅하는 것이다.The first correction method is to convert the color of the PFR into a single color, for example black and white. The second correction method is to assign an average value of RGB colors to the purple fringing pixels. The third is to set the R and B values using the G values.

문헌 2의 그래디언트 기반 방법은 PFR을 검출하기 위해 NSR과 CR을 이용한다. 이 방법은 더 제한적인 CR 조건을 사용하고, 이미지의 그래디언트 정보를 추가적으로 사용한다. 그래디언트 기반 방법의 퍼플 프린징 보정은 문헌 1의 두번째 보정 기법과 같다.The gradient based method of document 2 uses NSR and CR to detect PFR. This method uses more restrictive CR conditions and additionally uses gradient information from the image. The purple fringing correction of the gradient based method is the same as the second correction method of document 1.

이상에서 살펴본 바와 같이, 종래의 방법들은 퍼플 프린징 보정을 위해 퍼플 프린징 영역의 컬러를 단색으로 변환하는데 불과하였다. 그러나 이러한 기존의 퍼플 프린징 보정 방법들은 인간의 눈에 부자연스럽다는 문제점이 있었다.As described above, the conventional methods merely convert the color of the purple fringing area into a single color for the purple fringing correction. However, these conventional purple fringe correction methods have a problem that is unnatural to the human eye.

[문헌 1] US 7577292 B2 (S. B. Kang) 2009. 8. 18.[Document 1] US 7577292 B2 (S. B. Kang) August 18, 2009.

[문헌 2] B.-K. Kim and R.-H. Park, “Automatic detection and correction of purple fringing using the gradient information and desaturation,” in Proc. EUSIPCO 2008 16th European Signal Processing Conf., paper no.1569101556, Lausanne, Switzerland, Aug. 2008.[Document 2] B.-K. Kim and R.-H. Park, “Automatic detection and correction of purple fringing using the gradient information and desaturation,” in Proc. EUSIPCO 2008 16th European Signal Processing Conf., Paper no. 1569101556, Lausanne, Switzerland, Aug. 2008. [문헌 3] R. C. Gonzalez and R. E. Woods, Digatal Image Processing, Third edition. Upper Saddle River, NJ: Pearson Education Inc., 2010.R. C. Gonzalez and R. E. Woods, Digatal Image Processing, Third edition. Upper Saddle River, NJ: Pearson Education Inc., 2010.

따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 검출된 퍼플 프린징 영역 근처의 순수 컬러를 갖는 시드 픽셀들로 퍼플 프린징 영역에 속한 픽셀들의 컬러화를 수행함으로써, 퍼플 프린징을 제거하는 퍼플 프린징 보정 방법을 제공하는 것이다.Accordingly, the first problem to be solved by the present invention is purple fringes to remove purple fringes by performing colorization of pixels belonging to the purple fringes region with seed pixels having pure colors near the detected purple fringes region. It is to provide a correction method.

본 발명이 해결하고자 하는 두 번째 과제는 퍼플 프린징 영역 주변에 퍼플 프린징 영향을 받지 않은 시드 픽셀들을 퍼플 프린징 영역에 속한 픽셀들의 컬러화에 이용함으로써, 원래 컬러에 가장 가까운 컬러를 복원할 수 있는 퍼플 프린징 보정 장치를 제공하는 것이다.The second problem to be solved by the present invention is to use the seed pixels unaffected by the purple fringes around the purple fringing area to colorize the pixels belonging to the purple fringing area, thereby restoring the color closest to the original color. It is to provide a purple fringing correction device.

또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.Further, the present invention provides a computer-readable recording medium having recorded thereon a program for executing the above method on a computer.

본 발명은 상기 첫 번째 과제를 달성하기 위하여, 퍼플 프린징 영역을 검출하는 단계; 상기 검출된 퍼플 프린징 영역 주변에 있는 경계영역을 검출하는 단계; 상기 검출된 경계영역에서 포화 근사 영역을 배제하는 단계; 상기 경계영역으로부터 퍼플 프린징에 영향을 받지 않은 시드 픽셀을 선택하는 단계; 상기 선택된 시드 픽셀의 컬러를 이용하여 상기 퍼플 프린징 영역의 픽셀의 컬러를 결정하는 단계를 포함하는 퍼플 프린징 보정 방법을 제공한다.The present invention comprises the steps of detecting a purple fringing area to achieve the first object; Detecting a boundary area around the detected purple fringing area; Excluding a saturation approximation region from the detected boundary region; Selecting a seed pixel not affected by purple fringing from the boundary region; And determining the color of the pixel of the purple fringing area using the color of the selected seed pixel.

본 발명의 일 실시예에 의하면, 상기 퍼플 프린징 보정 방법은 휘도값 Y, 색도값 x, 및 색도값 y로 이루어진 CIE 시스템의 Yxy 컬러 공간을 이용하는 것이 바람직하다.According to an embodiment of the present invention, the purple fringe correction method preferably uses the Yxy color space of the CIE system composed of luminance value Y, chromaticity value x, and chromaticity value y.

또한, 상기 퍼플 프린징 영역의 픽셀의 컬러를 결정하는 단계는, 상기 시드 픽셀의 휘도값과 상기 퍼플 프린징 영역의 휘도값이 유사한 경우, 상기 퍼플 프린징 영역의 색도값을 상기 시드 픽셀의 색도값과 유사하게 세팅할 수 있다.The determining of the color of the pixel of the purple fringing area may include determining the color of the seeding pixel by using a chromaticity value of the purple fringing area when the luminance value of the seed pixel is similar to the luminance value of the purple fringing area. You can set it similar to the value.

이때, 상기 색도값 x 또는 상기 색도값 y에 대한 비용함수는 상기 시드 픽셀 r에서의 색도값과 상기 퍼플 프린징 영역에 있는 주변 픽셀들 s의 색도값들의 가중 평균 간의 차를 제곱한 값들을 합한 것으로 결정되고, 상기 비용함수가 최소화되는 색도값을 상기 퍼플 프린징 영역의 색도값으로 결정할 수 있다.The cost function for the chromaticity value x or the chromaticity value y is the sum of the squared difference between the chromaticity value of the seed pixel r and the weighted average of the chromaticity values of the peripheral pixels s in the purple fringing region. The chromaticity value of which the cost function is minimized may be determined as the chromaticity value of the purple fringing area.

또한, 상기 주변 픽셀들 s의 색도값들에 적용하는 가중 함수는 상기 시드 픽셀의 휘도값과 상기 퍼플 프린징 픽셀들의 휘도값 사이의 차이의 제곱에 기초하여 결정되는 것이 바람직하다.Further, the weighting function applied to the chromaticity values of the peripheral pixels s is preferably determined based on the square of the difference between the luminance value of the seed pixel and the luminance value of the purple fringing pixels.

본 발명의 다른 실시예에 의하면, 상기 경계영역은 상기 퍼플 프린징 영역을 팽창시킨 후, 팽창된 퍼플 프린징 영역으로부터 상기 퍼플 프린징 영역을 제거함으로써 생성된다. 또한, 상기 퍼플 프린징 영역을 검출하는 단계는 색도 다이어그램 기반 방법을 이용하여 상기 퍼플 프린징 영역을 검출할 수 있다.According to another embodiment of the present invention, the boundary region is created by inflating the purple fringed region and then removing the purple fringed region from the expanded purple fringed region. In addition, detecting the purple fringing area may detect the purple fringing area using a chromaticity diagram based method.

본 발명은 상기 두 번째 과제를 달성하기 위하여, 퍼플 프린징 영역을 검출하고, 상기 검출된 퍼플 프린징 영역 주변에 있는 경계영역을 검출한 다음, 상기 검출된 경계영역에서 포화 근사 영역을 배제하는 퍼플 프린징 검출부; 상기 포화 근사 영역이 배제된 경계영역으로부터 퍼플 프린징에 영향을 받지 않은 시드 픽셀을 선택하는 시드 픽셀 선택부; 및 상기 선택된 시드 픽셀의 컬러를 이용하여 상기 퍼플 프린징 영역의 픽셀의 컬러를 결정하는 컬러화부를 포함하는 퍼플 프린징 보정 장치를 제공한다.In order to achieve the second object, the present invention provides a method for detecting a purple fringing area, a boundary area around the detected purple fringing area, and then excluding a saturated approximation area from the detected bordering area. Fringing detection unit; A seed pixel selector configured to select a seed pixel not affected by purple fringing from a boundary region from which the saturation approximation region is excluded; And a colorizer configured to determine a color of a pixel of the purple fringing area by using a color of the selected seed pixel.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 퍼플 프린징 보정 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.In order to solve the above other technical problem, the present invention provides a computer readable recording medium having recorded thereon a program for executing the above-described purple fringe correction method on a computer.

본 발명에 따르면, 검출된 PFR 근처의 순수 컬러를 갖는 시드 픽셀들로 PFR에 속한 픽셀들의 컬러화를 수행하여 퍼플 프린징을 제거할 수 있다.According to the present invention, purple fring may be removed by colorizing pixels belonging to the PFR with seed pixels having a pure color near the detected PFR.

또한, 본 발명에 따르면, PFR 주변에 퍼플 프린징 영향을 받지 않은 시드 픽셀들을 PFR에 속한 픽셀들의 컬러화에 이용함으로써, 원래 컬러에 가장 가까운 컬러를 복원할 수 있다.In addition, according to the present invention, by using seed pixels not affected by purple fringe around the PFR to colorize pixels belonging to the PFR, the color closest to the original color can be restored.

도 1은 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 보정 장치의 구성도이다.
도 2는 시드 픽셀을 선택하는 것을 보여주는 다이어그램이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 보정 방법의 흐름도이다.
도 4는 시드 픽셀 선택을 위한 중간 과정의 결과 이미지를 보여주는 도면이다.
도 5는 컬러화의 중간 과정들의 결과 이미지들을 도시한 것이다.
1 is a block diagram of a purple fringe correction device according to an embodiment of the present invention.
2 is a diagram illustrating selecting a seed pixel.
3 is a flowchart of a purple fringing correction method according to an exemplary embodiment of the present invention.
4 is a view showing a resultant image of an intermediate process for seed pixel selection.
5 shows the resulting images of the intermediate processes of colorization.

본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.Prior to the description of the specific contents of the present invention, for the convenience of understanding, the outline of the solution of the problem to be solved by the present invention or the core of the technical idea will be presented first.

본 발명의 일 실시예에 따른 퍼플 프린징 보정 방법은 퍼플 프린징 영역을 검출하는 단계; 상기 검출된 퍼플 프린징 영역 주변에 있는 경계영역을 검출하는 단계; 상기 검출된 경계영역에서 포화 근사 영역을 배제하는 단계; 상기 경계영역으로부터 퍼플 프린징에 영향을 받지 않은 시드 픽셀을 선택하는 단계; 및 상기 선택된 시드 픽셀의 컬러를 이용하여 상기 퍼플 프린징 영역의 픽셀의 컬러를 결정하는 단계를 포함한다.Purple fringe correction method according to an embodiment of the present invention comprises the steps of detecting the purple fringe area; Detecting a boundary area around the detected purple fringing area; Excluding a saturation approximation region from the detected boundary region; Selecting a seed pixel not affected by purple fringing from the boundary region; And determining the color of the pixel of the purple fringing area using the color of the selected seed pixel.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, these examples are intended to illustrate the present invention in more detail, it will be apparent to those skilled in the art that the scope of the present invention is not limited thereby.

본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.The configuration of the invention for clarifying the solution to the problem to be solved by the present invention will be described in detail with reference to the accompanying drawings based on the preferred embodiment of the present invention, the same in the reference numerals to the components of the drawings The same reference numerals are given to the components even though they are on different drawings, and it is to be noted that in the description of the drawings, components of other drawings may be cited if necessary. In addition, in describing the operation principle of the preferred embodiment of the present invention in detail, when it is determined that the detailed description of the known function or configuration and other matters related to the present invention may unnecessarily obscure the subject matter of the present invention, The detailed description is omitted.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to include an element does not exclude other elements unless specifically stated otherwise, but may also include other elements.

본 발명에서는 Yxy 컬러 공간에서 컬러화를 이용하여 효과적인 퍼플 프린징 보정 방법을 제공한다. 컬러화란 그레이스케일 이미지, 비디오, 또는 영화에 컬러를 덧붙이는 컴퓨터화된 과정을 말한다. 따라서, 컬러화는 퍼플 프린징 보정을 위한 하나의 방법을 제공한다. The present invention provides an effective purple fringing correction method using colorization in the Yxy color space. Colorization is a computerized process of adding color to a grayscale image, video, or movie. Thus, colorization provides one method for purple fringing correction.

한편, 색도 다이어그램 기반 방법은 퍼플 프린징 영역(PFR)을 검출하는데 사용되고, 검출된 퍼플 프린징 영역은 컬러화에 의해 보정된다. 이때, 퍼플 프린징 영역 근처에 있는 손상되지 않은 픽셀들의 컬러는 시드 픽셀의 컬러로 정해진다. 퍼플 프린징을 갖는 많은 수의 테스트 디지털 이미지들을 사용한 실험 결과는 본 발명에 의해 보정된 퍼플 프린징 영역들이 다른 종래의 방법에 의해 보정된 퍼플 프린징 영역보다 관찰자의 눈에 더 자연스럽게 보인다는 것을 보여준다.
On the other hand, a chromaticity diagram based method is used to detect the purple fringing area PFR, and the detected purple fringing area is corrected by colorization. At this time, the color of intact pixels near the purple fringing area is determined by the color of the seed pixel. Experimental results using a large number of test digital images with purple fringes show that purple fringed areas corrected by the present invention appear more natural to the observer's eye than purple fringed areas corrected by other conventional methods. .

도 1은 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 보정 장치의 구성도이다.1 is a block diagram of a purple fringe correction device according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 퍼플 프린징 보정 장치는 퍼플 프린징 검출부(100), 퍼플 프린징 보정부(110), 및 RGB 변환부(140)로 구성된다. 퍼플 프린징 보정부(110)는 시드 픽셀 선택부(120)와 컬러화부(130)로 구성된다. Referring to FIG. 1, the purple fringe correcting apparatus according to the present exemplary embodiment includes a purple fringe detecting unit 100, a purple fringe correcting unit 110, and an RGB converter 140. The purple fringe correcting unit 110 includes a seed pixel selector 120 and a colorizer 130.

퍼플 프린징 검출부(100)는 이미지 내의 퍼플 프린징 영역을 검출한다. The purple fringe detection unit 100 detects the purple fringe area in the image.

PFR(purple fringing region)은 퍼플 프린징 영역을 나타낸 것이고, NPFR(non-purple fringing region)은 퍼플 프린징 영역이 아닌 영역을 나타낸다.A purple fringing region (PFR) represents a purple fringing region, and a non-purple fringing region (NPFR) represents a region that is not a purple fringing region.

퍼플 프린징 검출부(100)는 퍼플 프린징 검출을 위해서, 색도 다이어그램 기반 방법을 사용한다. 색도 다이어그램 기반 방법은 다른 방법들보다 더 신뢰할 수 있고 정확한 검출 결과를 제공하나, 퍼플 프린징 영역을 검출할 수 있는 다른 방법들도 사용이 가능할 것이다.The purple fringe detection unit 100 uses a chromaticity diagram based method for purple fringe detection. The chromaticity diagram based method provides more reliable and accurate detection results than other methods, but other methods that can detect purple fringing areas may be used.

따라서, 본 발명의 퍼플 프린징 검출부(100)는 CIE 컬러 시스템을 사용한다. CIE 컬러 시스템은 장치 독립적인 시스템이고, 인간의 시각 시스템의 감도와 지각을 고려한 시스템이다. 그러므로, Yxy 컬러 공간은 퍼플 프린징을 검출하고 보정하는데 유용하다. 이후 컬러화부(130)에서 수행하게 될 컬러화는 퍼플 프린징 검출부(100)가 사용한 Yxy 컬러 공간에서 수행되므로, 추가적인 컬러 공간 변환은 불필요하다. Therefore, the purple fringe detection unit 100 of the present invention uses a CIE color system. The CIE color system is a device-independent system that takes into account the sensitivity and perception of the human visual system. Therefore, the Yxy color space is useful for detecting and correcting purple fringes. Since the colorization to be performed by the colorizer 130 is performed in the Yxy color space used by the purple fringe detection unit 100, no additional color space conversion is necessary.

한편, Yxy 컬러 공간은 sRGB 컬러 공간으로부터 얻을 수 있다. On the other hand, the Yxy color space can be obtained from the sRGB color space.

첫째, sRGB 컬러 공간에 있는 선형 컬러 값들 CL(CL=RL, GL, 및 BL)은 다음과 같이 나타낼 수 있다.First, the linear color values CL (CL = RL, GL, and BL) in the sRGB color space can be represented as follows.

Figure pat00001
Figure pat00001

여기서, C(C=R, G, 및 B)는 정규화된 sRGB 값을 나타낸다.Where C (C = R, G, and B) represents the normalized sRGB value.

둘째, CIE XYZ 삼자극치와 CL 간의 변환은 다음과 같이 나타낼 수 있다.Second, the conversion between CIE XYZ tristimulus values and CL can be expressed as

Figure pat00002
Figure pat00002

여기서, X, Y, 및 Z는 각각 CIE 삼자극치를 나타낸다.Here, X, Y, and Z represent CIE tristimulus values, respectively.

마지막으로 CIE XYZ 컬러 공간에서 두 개의 정규화된 색도 좌표 x,y는 다음과 같이 정의된다.Finally, the two normalized chromaticity coordinates x, y in the CIE XYZ color space are defined as

Figure pat00003
Figure pat00003

이하에서는 색도 다이어그램 기반 방법에 대하여 보다 상세하게 살펴보기로 한다.Hereinafter, the chromaticity diagram-based method will be described in detail.

색도 다이어그램 기반 방법에 있어서, 퍼플 프린징 영역은 CIE(Commission International de l’Eclairage) Yxy 색도 다이어그램을 사용하여 검출되고 보정된다. 이때, 퍼플 프린징 보정을 위해 PFR은 휘도값 Y를 그대로 유지하면서 색도값 x와 y를 흰색 점(white point)으로 세팅한다.  In a chromaticity diagram based method, purple fringing areas are detected and corrected using a Commission International de l'Eclairage (CIE) Yxy chromaticity diagram. At this time, to correct the purple fringing, the PFR sets the chromaticity values x and y to the white point while maintaining the luminance value Y as it is.

색도 다이어그램 기반 방법은 CIE Yxy 색도 다이어그램에서 퍼플 프린징을 검출하고 보정하기 위한 것이다. 이 방법은 CIE Yxy 컬러 공간에서 휘도값 Y를 사용하여 NSR를 검출한다. 이때 CR은 색도 다이어그램 내의 퍼플 프린징의 컬러 범위에서 선택된다.The chromaticity diagram based method is for detecting and correcting purple fringing in the CIE Yxy chromaticity diagram. This method detects NSR using luminance value Y in the CIE Yxy color space. The CR is then selected from the color range of purple fringing in the chromaticity diagram.

RGB 컬러 공간에서 계산된 그래디언트 정보는 퍼플 프린징 영역을 검출하는데 사용된다. 이때, 퍼플 프린징 영역 내에 컬러 변화 영역(Color Change Region, CCR)이 검출된다.Gradient information calculated in the RGB color space is used to detect the purple fringing area. At this time, a color change region (CCR) is detected in the purple fringing region.

따라서, PFR은 다음의 조건을 만족하는 픽셀들로 정의된다.Therefore, PFR is defined as pixels that satisfy the following condition.

Figure pat00004
Figure pat00004

여기서, CRoverlapped은 다음과 같이 정의된다.Here, CR overlapped is defined as

Figure pat00005
Figure pat00005

여기서, NSRd - boundary는 팽창한 NSR의 경계이고, CRk는 k번째 라벨의 CR을 나타낸다. 여기서, K는 CR의 총 개수를 의미한다. Here, NSR d boundary is the boundary of the expanded NSR, and CR k represents the CR of the k-th label. Here, K means the total number of CR.

퍼플 프린징 검출부(100)는 픽셀 r에서 RGB 값(IRGB(r))을 수신하고, 이로부터 Yxy 컬러 공간에서의 퍼플 프린징 영역(PFRYxy(r)), Yxy 컬러 공간에서의 포화근사영역(NSRYxy(r)), 및 픽셀 r에서의 Yxy 값(IYxy(r))을 시드 픽셀 선택부(120)로 전달한다. 또한, Yxy 컬러 공간에서의 퍼플 프린징 영역(PFRYxy(r))을 컬러화부(130)로 전달하고, 퍼플 프린징 영역이 아닌 영역(non-purple fringing region, NPFRYxy(r))을 RGB 변환부(140)로 전달한다.The purple fring detection unit 100 receives an RGB value (I RGB (r)) in the pixel r, and from this, a purple fringing area (PFR Yxy (r)) in the Yxy color space, and a saturation approximation in the Yxy color space. The region NSR Yxy (r) and the Yxy value I Yxy (r) in the pixel r are transmitted to the seed pixel selector 120. In addition, the purple fringing area (PFR Yxy (r)) in the Y xy color space is transferred to the colorizing unit 130, and the non-purple fringing area (non-purple fringing region, NPFR Yxy (r)) is transferred. Transfer to the RGB converter 140.

퍼플 프린징 보정부(110)는 검출된 퍼플 프린징 영역을 보정한다. 퍼플 프린징 보정은 퍼플 프린징 영역의 픽셀의 컬러를 결정하는데 사용할 시드 픽셀을 선택하고, 선택된 시드 픽셀로 퍼플 프린징 영역의 픽셀을 컬러화함으로써, 이루어진다.The purple fringe correcting unit 110 corrects the detected purple fringe area. Purple fringing correction is made by selecting a seed pixel to be used to determine the color of a pixel of the purple fringing area and colorizing the pixel of the purple fringing area with the selected seed pixel.

퍼플 프린징 보정부(110)는 시드 픽셀 선택부(120)와 컬러화부(130)로 구성된다. The purple fringe correcting unit 110 includes a seed pixel selector 120 and a colorizer 130.

시드 픽셀 선택부(120)는 검출된 퍼플 프린징 영역(PFR), 퍼플 프린징 영역 주변의 경계영역(PFRd - boundary), 및 포화 근사 영역을 이용하여 시드 픽셀을 선택한다. 시드 픽셀들은 컬러들이 퍼플 프린징에 의해 왜곡되지 않은 본래의 컬러를 갖는 픽셀이다.The seed pixel selector 120 selects the seed pixel using the detected purple fringing area PFR, a boundary area around the purple fringing area PFR d boundary , and a saturation approximation area. Seed pixels are pixels with the original color where the colors are not distorted by purple fringing.

도 2는 시드 픽셀을 선택하는 것을 보여주는 다이어그램이다. 2 is a diagram illustrating selecting a seed pixel.

팽창된 PFR(PFRdilation) 중에 NSR을 제외한 픽셀들이 시드 픽셀들로 지정된다. During the expanded PFR (PFR dilation ), pixels except NSR are designated as seed pixels.

도 1과 도 2를 참조하여, 시드 픽셀을 선택하는 방법을 이하 상세히 살펴보기로 한다.1 and 2, a method of selecting a seed pixel will be described in detail below.

시드 픽셀들은 형태적 연산(morphological operation)을 사용하여 선택된다. 시드 픽셀들은 컬러가 퍼플 프린징에 의해 왜곡되지 않은 픽셀들로 선택되어야 한다. 따라서, 시드 픽셀들을 선택하기 위해 형태적 연산을 사용한다. 검출 단계에서 얻은 PFR과 NSR에 대하여 다음과 같은 형태적 연산이 수행된다. 형태적 연산은 문헌 3에 기재된 방법을 사용한다.Seed pixels are selected using morphological operations. Seed pixels should be selected with pixels whose color is not distorted by purple fringing. Thus, we use conformal arithmetic to select seed pixels. The following formal operations are performed on the PFR and NSR obtained in the detection step. Morphological calculations use the method described in Document 3.

첫째, 팽창된 PFR, 즉 PFRdilation은 다음과 같이 정의된다.First, expanded PFR, or PFR dilation , is defined as

Figure pat00006
Figure pat00006

여기서,

Figure pat00007
는 팽창시 구조 요소(structuring element) SE의 리플렉션이고,
Figure pat00008
는 팽창 연산자(dilation operator)이다.here,
Figure pat00007
Is the reflection of the structuring element SE upon expansion,
Figure pat00008
Is a dilation operator.

둘째, 팽창된 PFR의 경계를 추출하기 위하여 팽창된 PFR로부터 PFR을 제거시킨다. 이를 수학식으로 표현하면 다음과 같다.Second, the PFR is removed from the expanded PFR to extract the boundaries of the expanded PFR. This can be expressed as follows.

Figure pat00009
Figure pat00009

셋째, 팽창된 PFR의 경계로부터 시드 픽셀을 선택한다. NSR은 CIE Yxy 색도 다이어그램에서 흰색 점(white point) 근처의 영역으로 정의될 수 있다. NSR에서의 픽셀들은 각각의 컬러 성분에 대하여 높은 휘도값을 갖고 있으므로, 컬러 정보가 거의 없다. 따라서, NSR에서의 픽셀들은 시드 픽셀로부터 제외되는 것이 바람직하므로, 시드 픽셀들은 다음과 같이 결정될 수 있다. 즉, 확장된 PFR의 경계로부터 시드 픽셀들을 선택하고, NSR에 있는 픽셀들은 높은 휘도 값을 갖기 때문에 시드 픽셀에서 배제된다. Third, select the seed pixel from the boundary of the expanded PFR. NSR can be defined as the area near the white point in the CIE Yxy chromaticity diagram. The pixels in the NSR have high luminance values for each color component, so there is little color information. Therefore, the pixels in the NSR are preferably excluded from the seed pixel, so that the seed pixels can be determined as follows. That is, the seed pixels are selected from the boundary of the extended PFR, and the pixels in the NSR are excluded from the seed pixel because they have a high luminance value.

Figure pat00010
Figure pat00010

이상과 같이 시드 픽셀을 선택하기 위해, 형태적 연산을 이용한다. 형태적 연산은 검출 단계에서 추출된 PFR과 NSR을 이용하여 연산이 이루어진다. 시드 픽셀들의 컬러는 퍼플 프린징된 픽셀들의 컬러로 컬러화에 의해 전달된다. In order to select the seed pixel as described above, a shape operation is used. Morphological operations are performed using PFR and NSR extracted at the detection stage. The color of the seed pixels is conveyed by colorization to the color of the purple fringed pixels.

컬러화부(130)는 선택된 시드 픽셀을 이용하여 퍼플 프린징 영역 내에 있는 픽셀들의 컬러를 결정한다. 컬러화는 그레이스케일 이미지, 비디오, 또는 영화에 컬러를 더하는 컴퓨터화된 과정이다. The colorizer 130 determines the colors of the pixels in the purple fringing area by using the selected seed pixel. Colorization is a computerized process of adding color to a grayscale image, video, or movie.

컬러화에 의해 시드 픽셀들의 컬러는 퍼플 프린징 픽셀들의 컬러로 전파된다. 컬러화는 Yxy 컬러 공간에서 시드 픽셀들을 선택하고 퍼플 프린징 영역의 픽셀들을 컬러화하는 것으로 구성된다. By colorization the color of the seed pixels is propagated to the color of the purple fringing pixels. Colorization consists of selecting seed pixels in the Yxy color space and colorizing the pixels of the purple fringing area.

시드 픽셀들의 컬러를 이미지 내의 컬러가 없는 픽셀들로 자동으로 전파하는 알고리즘을 이용한다. 유사한 휘도값 Y를 갖는 인접한 픽셀들이 또한 유사한 색도값 x와 y를 갖는다는 조건하에서 비용함수(cost function)가 최소화되므로, 최소화되는 비용함수 값을 갖는 색도값 x와 y로 퍼플 프린징 영역에 속한 픽셀들의 컬러를 결정한다.An algorithm is used that automatically propagates the color of the seed pixels to pixels without color in the image. Since the cost function is minimized under the condition that adjacent pixels with similar luminance values Y also have similar chromaticity values x and y, they belong to the purple fringing area with chromaticity values x and y with minimized cost function values. Determine the color of the pixels.

한편, 본 발명에서는 CIE 시스템의 Yxy 컬러 공간을 이용한다. Yxy 컬러 공간은 흑백 채널(Y)와 색도 채널(x와 y)로 이루어진다. Meanwhile, the present invention uses the Yxy color space of the CIE system. The Yxy color space consists of a black and white channel (Y) and a chroma channel (x and y).

본 발명에서, 색도값 x에 대한 비용함수 J(x)는 픽셀 r에서의 색도값 x와 주변 픽셀들 s의 x 값들의 가중 평균 간의 차를 제곱한 값들을 합한 것이다.In the present invention, the cost function J (x) for the chromaticity value x is the sum of squared differences between the chromaticity value x at pixel r and the weighted average of the x values of the surrounding pixels s.

이를 수식으로 표현하면 다음과 같다.This can be expressed as follows.

Figure pat00011
Figure pat00011

여기서, w(r)은 가중치 함수이고, x(r)과 x(s)는 픽셀 r과 픽셀 s에서의 x 값을 나타낸다. 그리고, N(r)은 픽셀 r의 주변 픽셀들을 나타낸다.Here, w (r) is a weight function, and x (r) and x (s) represent x values at pixel r and pixel s. N (r) represents peripheral pixels of pixel r.

색도값 y에 대한 비용함수 J(y)는 비용함수 J(x)와 마찬가지로 계산된다.The cost function J (y) for the chromaticity value y is calculated like the cost function J (x).

한편, 시드 픽셀들의 휘도값 Y와 퍼플 프린징 픽셀들의 휘도값 사이의 차이의 제곱에 기초한 컬러화에서의 가중치 함수 w(r)은 다음과 같이 나타낼 수 있다.Meanwhile, the weighting function w (r) in colorization based on the square of the difference between the luminance value Y of the seed pixels and the luminance value of the purple fringing pixels can be expressed as follows.

Figure pat00012
Figure pat00012

여기서, Y(r)과 Y(s)는 픽셀 r과 픽셀 s에서의 Y값을 나타낸다. σr은 픽셀 r 주변의 윈도우에 있는 픽셀들의 휘도값들의 표준편차를 의미한다. 이때 윈도우는 3ⅹ3 윈도우를 사용한다.Here, Y (r) and Y (s) represent Y values at the pixel r and the pixel s. σ r means the standard deviation of the luminance values of the pixels in the window around pixel r. In this case, the window uses 3ⅹ3 windows.

RGB 변환부(140)는 이미지 내의 픽셀들의 색공간을 Yxy 색공간에서 RGB 색공간으로 변환한다.
The RGB converter 140 converts the color space of pixels in the image from the Yxy color space to the RGB color space.

도 3은 본 발명의 바람직한 일 실시예에 따른 퍼플 프린징 보정 방법의 흐름도이다.3 is a flowchart of a purple fringing correction method according to an exemplary embodiment of the present invention.

도 3을 참조하면, 본 실시예에 따른 퍼플 프린징 보정 방법은 도 1에 도시된 퍼플 프린징 보정 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 퍼플 프린징 보정 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 퍼플 프린징 보정 방법에도 적용된다. Referring to FIG. 3, the purple fringe correcting method according to the present embodiment includes steps that are processed in time series in the purple fringe correcting apparatus shown in FIG. 1. Therefore, even if omitted below, the above description of the purple fringe correcting apparatus shown in FIG. 1 is also applied to the purple fringe correction method according to the present embodiment.

본 발명은 CIE 시스템의 Yxy 컬러 공간에서 이루어지며, 이 경우 효과적인 컬러 보정을 할 수 있고, Yxy 색 공간에서의 컬러화에 기반하며, 추가적인 컬러 공간 변환이 불필요하다. Yxy 색 공간은 단색 채널(Y)와 색도 채널(x,y)로 구성된다. The present invention is made in the Yxy color space of the CIE system, in which case effective color correction is possible, based on colorization in the Yxy color space, and no additional color space conversion is necessary. The Yxy color space consists of a monochromatic channel (Y) and a chromaticity channel (x, y).

또한, 본 발명은 형태적 연산을 이용하여 PFR의 손상되지 않은 컬러를 갖는 시드 픽셀을 선택한다. 이후, 휘도값은 유지한 채로 주변 픽셀들의 컬러값과 유사한 컬러값을 갖도록 PFR을 보정한다. The present invention also uses morphological operations to select seed pixels with intact color of the PFR. Thereafter, the PFR is corrected to have a color value similar to that of the surrounding pixels while maintaining the luminance value.

310 단계에서 퍼플 프린징 보정 장치는 이미지 내의 퍼플 프린징 영역을 검출한다. 퍼플 프린징 검출을 위해서, 색도 다이어그램 기반 방법을 사용한다. 색도 다이어그램 기반 방법은 다른 방법들보다 더 신뢰할 수 있고 정확한 검출 결과를 제공하나, 퍼플 프린징 영역을 검출할 수 있는 다른 방법들도 사용이 가능할 것이다.In operation 310, the purple fringe correcting apparatus detects the purple fringe area in the image. For purple fring detection, a chromaticity diagram based method is used. The chromaticity diagram based method provides more reliable and accurate detection results than other methods, but other methods that can detect purple fringing areas may be used.

320 단계에서 퍼플 프린징 보정 장치는 퍼플 프린징 영역 주변의 경계 영역을 검출한다. 퍼플 프린징 영역 주변의 경계 영역은 수학식 7과 같이 팽창된 PFR(PFRdilation)로부터 PFR을 제외하면 검출할 수 있다. In operation 320, the purple fringe correcting apparatus detects a boundary area around the purple fringe area. The boundary region around the purple fringing region may be detected by excluding the PFR from the expanded PFR (PFR dilation ) as shown in Equation (7).

330 단계에서 퍼플 프린징 보정 장치는 퍼플 프린징 영역 주변의 경계 영역에서 포화근사영역을 배제한다. In operation 330, the purple fringe correcting apparatus excludes the saturated approximation region from the boundary region around the purple fringe region.

NSR은 흰 점 근처의 영역으로 정의될 수 있는데, NSR에서의 픽셀들은 각각의 컬러 성분에 대하여 높은 휘도값을 갖고 있으므로, 컬러 정보가 거의 없다. 따라서, NSR에서의 픽셀들은 수학식 8과 같이 시드 픽셀로부터 제외되는 것이 바람직하다.The NSR may be defined as an area near a white point. Since the pixels in the NSR have a high luminance value for each color component, there is little color information. Therefore, the pixels in the NSR are preferably excluded from the seed pixel as shown in Equation (8).

340 단계에서 퍼플 프린징 보정 장치는 포화근사영역이 배제된 경계 영역에서 시드 픽셀을 선택한다. 수학식 8을 참조하면, 확장된 PFR의 경계로부터 시드 픽셀들을 선택하고, NSR에 있는 픽셀들은 높은 휘도 값을 갖기 때문에 시드 픽셀에서 배제된다. In operation 340, the purple fringe correcting apparatus selects the seed pixel in the boundary region from which the saturation approximation region is excluded. Referring to Equation 8, seed pixels are selected from the boundary of the extended PFR, and pixels in the NSR are excluded from the seed pixel because they have high luminance values.

350 단계에서 퍼플 프린징 보정 장치는 선택된 시드 픽셀을 이용하여 퍼플 프린징 영역의 컬러를 결정한다.In operation 350, the purple fringe correcting apparatus determines a color of the purple fringed area using the selected seed pixel.

이때, 시드 픽셀들의 컬러를 이미지 내의 컬러가 없는 픽셀들로 자동으로 전파하는 알고리즘을 이용한다. 유사한 휘도값 Y를 갖는 인접한 픽셀들이 또한 유사한 색도값 x와 y를 갖는다는 조건하에서 비용함수(cost function)가 최소화되므로, 최소화되는 비용함수 값을 갖는 색도값 x와 y로 퍼플 프린징 영역에 속한 픽셀들의 컬러를 결정한다.
In this case, an algorithm is used to automatically propagate the color of the seed pixels to pixels without colors in the image. Since the cost function is minimized under the condition that adjacent pixels with similar luminance values Y also have similar chromaticity values x and y, they belong to the purple fringing area with chromaticity values x and y with minimized cost function values. Determine the color of the pixels.

도 4는 시드 픽셀 선택을 위한 중간 과정의 결과 이미지를 보여주는 도면이다. 4 is a view showing a resultant image of an intermediate process for seed pixel selection.

도 4(a)는 건물의 원래 이미지이고, 도 4(b)는 퍼플 프린징 검출 결과를 보여주는 도면이다. 도 4(b)를 참조하면, NPFR의 RGB 값들은 0(흑색)으로 세팅된다. Figure 4 (a) is the original image of the building, Figure 4 (b) is a view showing the purple fring detection results. Referring to FIG. 4B, the RGB values of NPFR are set to 0 (black).

도 4(c)는 NSR을 보여주는 도면이다. 도 4(c)를 참조하면, NSR이 아닌 영역의 RGB 값들이 0으로 세팅된다. NSR에 있는 픽셀들은 컬러 정보를 거의 갖고 있지 않다. 이는 NSR에 있는 픽셀들이 컬러 구성요소 각각에 대하여 높은 휘도값을 갖고 있기 때문이다.4 (c) is a diagram illustrating an NSR. Referring to FIG. 4C, the RGB values of the non-NSR region are set to zero. The pixels in the NSR have little color information. This is because the pixels in the NSR have high luminance values for each of the color components.

반면에, 도 4(d)를 참조하면, 시드 픽셀들은 퍼플 프린징에 의해 왜곡되지 않은 순수 컬러를 갖고 있음을 알 수 있다.
On the other hand, referring to Figure 4 (d), it can be seen that the seed pixels have a pure color that is not distorted by purple fringing.

도 5는 컬러화의 중간 과정들의 결과 이미지들을 도시한 것이다.5 shows the resulting images of the intermediate processes of colorization.

도 5(a)는 원래의 빌딩 이미지이다. 5 (a) is the original building image.

도 5(b)는 도 5(a)의 일부분을 확대한 도면이다.FIG. 5B is an enlarged view of a portion of FIG. 5A.

도 5(c)에서 PFR은 도 5(b)에서 추출되고, 도 5(c)에서 NPFR의 RGB 값들은 0으로 세팅하였다. 본 발명에서는 색도 다이어그램 기반 방법에서 사용된 것과 같은 검출 알고리즘을 사용하기 때문에 도 5(c)의 이미지는 색도 다이어그램 기반 방법의 퍼플 프린징 검출 결과 이미지와 같다. 도 5(c)를 참조하면, 퍼플 프린징은 픽셀값들이 큰 값으로 갑자기 변화하는 에지 부근에서 발생한다. In FIG. 5C, the PFR is extracted from FIG. 5B, and in FIG. 5C, the RGB values of the NPFR are set to zero. Since the present invention uses the same detection algorithm as that used in the chromaticity diagram based method, the image of FIG. 5C is the same as the purple fringing detection result image of the chromaticity diagram based method. Referring to FIG. 5C, purple fringing occurs near an edge where pixel values suddenly change to a large value.

도 5(d)는 이미지 내 PFR이 도 5(b)로부터 그레이스케일로 세팅되는 것을 나타낸 것이다. 만일 그레이스케일 값들, 예를 들면 시드 픽셀과 PFR의 휘도값 Y가 유사하면, 색도값 x와 y는 유사한 값으로 세팅된다.FIG. 5 (d) shows that the PFR in the image is set to grayscale from FIG. 5 (b). If the grayscale values, eg, the luminance value Y of the seed pixel and the PFR, are similar, the chromaticity values x and y are set to similar values.

본 발명에 따른 퍼플 프린징 보정 결과는 도 5(e)에 도시되어 있고, 도 5(f)에는 도 5(e)의 일부분이 확대된 이미지이다.Purple fringe correction results according to the present invention is shown in Figure 5 (e), Figure 5 (f) is an enlarged image of a portion of Figure 5 (e).

도 5(f)의 보정 영역이 더 자연스러운 것을 알 수 있다. 이 보정 영역은 컬러화에 의해 보정된 영역이기 때문에 보정된 영역의 컬러는 흑백이 아니라 검출된 PFR 근처 영역의 컬러이다. 여기서 검출된 PFR 근처의 순수 컬러를 갖는 픽셀들은 시드 픽셀들로 선택된다.
It can be seen that the correction region of FIG. 5F is more natural. Since this correction area is an area corrected by colorization, the color of the corrected area is not black and white but the color of the area near the detected PFR. Pixels with pure color near the detected PFR are selected as seed pixels.

본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations are possible from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

Claims (15)

퍼플 프린징 영역을 검출하는 단계;
상기 검출된 퍼플 프린징 영역 주변에 있는 경계영역을 검출하는 단계;
상기 검출된 경계영역에서 포화 근사 영역을 배제하는 단계;
상기 경계영역으로부터 퍼플 프린징에 영향을 받지 않은 시드 픽셀을 선택하는 단계; 및
상기 선택된 시드 픽셀의 컬러를 이용하여 상기 퍼플 프린징 영역의 픽셀의 컬러를 결정하는 단계를 포함하는 퍼플 프린징 보정 방법.
Detecting a purple fringing area;
Detecting a boundary area around the detected purple fringing area;
Excluding a saturation approximation region from the detected boundary region;
Selecting a seed pixel not affected by purple fringing from the boundary region; And
Determining a color of a pixel of the purple fringing area using a color of the selected seed pixel.
제1 항에 있어서,
상기 퍼플 프린징 보정 방법은 휘도값 Y, 색도값 x, 및 색도값 y로 이루어진 CIE 시스템의 Yxy 컬러 공간을 이용하는 것을 특징으로 하는 퍼플 프린징 보정 방법.
The method according to claim 1,
The purple fring correction method uses the Yxy color space of the CIE system consisting of a luminance value Y, a chromaticity value x, and a chromaticity value y.
제1 항에 있어서,
상기 퍼플 프린징 영역의 픽셀의 컬러를 결정하는 단계는,
상기 시드 픽셀의 휘도값과 상기 퍼플 프린징 영역의 휘도값이 유사한 경우, 상기 퍼플 프린징 영역의 색도값을 상기 시드 픽셀의 색도값과 유사하게 세팅하는 것을 특징으로 하는 퍼플 프린징 보정 방법.
The method according to claim 1,
Determining the color of the pixels of the purple fringing area,
And when the luminance value of the seed pixel and the luminance value of the purple fringing area are similar, setting the chromaticity value of the purple fringing area to be similar to the chromaticity value of the seed pixel.
제2 항에 있어서,
상기 색도값 x 또는 상기 색도값 y에 대한 비용함수는 상기 시드 픽셀 r에서의 색도값과 상기 퍼플 프린징 영역에 있는 주변 픽셀들 s의 색도값들의 가중 평균 간의 차를 제곱한 값들을 합한 것으로 결정되고,
상기 비용함수가 최소화되는 색도값을 상기 퍼플 프린징 영역의 색도값으로 결정하는 것을 특징으로 하는 퍼플 프린징 보정 방법.
The method of claim 2,
The cost function for the chromaticity value x or the chromaticity value y is determined as the sum of the squared difference between the chromaticity value at the seed pixel r and the weighted average of the chromaticity values of the surrounding pixels s in the purple fringing region. Become,
And a chromaticity value of which the cost function is minimized as a chromaticity value of the purple fringing area.
제4 항에 있어서,
상기 주변 픽셀들 s의 색도값들에 적용하는 가중 함수는 상기 시드 픽셀의 휘도값과 상기 퍼플 프린징 픽셀들의 휘도값 사이의 차이의 제곱에 기초하여 결정되는 것을 특징으로 하는 퍼플 프린징 보정 방법.
5. The method of claim 4,
And a weighting function applied to the chromaticity values of the peripheral pixels s is determined based on the square of the difference between the luminance value of the seed pixel and the luminance value of the purple fring pixels.
제1 항에 있어서,
상기 경계영역은 상기 퍼플 프린징 영역을 팽창시킨 후, 팽창된 퍼플 프린징 영역으로부터 상기 퍼플 프린징 영역을 제거함으로써 생성되는 것을 특징으로 하는 퍼플 프린징 보정 방법.
The method according to claim 1,
And the boundary region is generated by inflating the purple fringing region and then removing the purple fringing region from the expanded purple fringing region.
제1 항에 있어서,
상기 퍼플 프린징 영역을 검출하는 단계는
색도 다이어그램 기반 방법을 이용하여 상기 퍼플 프린징 영역을 검출하는 것을 특징으로 하는 퍼플 프린징 보정 방법.
The method according to claim 1,
Detecting the purple fringing area
The purple fring correction method of detecting the purple fringing area using a chromaticity diagram based method.
퍼플 프린징 영역을 검출하고, 상기 검출된 퍼플 프린징 영역 주변에 있는 경계영역을 검출한 다음, 상기 검출된 경계영역에서 포화 근사 영역을 배제하는 퍼플 프린징 검출부;
상기 포화 근사 영역이 배제된 경계영역으로부터 퍼플 프린징에 영향을 받지 않은 시드 픽셀을 선택하는 시드 픽셀 선택부; 및
상기 선택된 시드 픽셀의 컬러를 이용하여 상기 퍼플 프린징 영역의 픽셀의 컬러를 결정하는 컬러화부를 포함하는 퍼플 프린징 보정 장치.
A purple fringe detection unit configured to detect a purple fringed area, detect a boundary area around the detected purple fringed area, and then exclude a saturated approximation area from the detected boundary area;
A seed pixel selector configured to select a seed pixel not affected by purple fringing from a boundary region from which the saturation approximation region is excluded; And
And a colorizer configured to determine a color of a pixel of the purple fringing area using a color of the selected seed pixel.
제8 항에 있어서,
상기 퍼플 프린징 보정 장치는 휘도값 Y, 색도값 x, 및 색도값 y로 이루어진 CIE 시스템의 Yxy 컬러 공간을 이용하는 것을 특징으로 하는 퍼플 프린징 보정 장치.
The method of claim 8,
The purple fringe correcting apparatus uses the Yxy color space of the CIE system consisting of a luminance value Y, a chromaticity value x, and a chromaticity value y.
제8 항에 있어서,
상기 컬러화부는,
상기 시드 픽셀의 휘도값과 상기 퍼플 프린징 영역의 휘도값이 유사한 경우, 상기 퍼플 프린징 영역의 색도값을 상기 시드 픽셀의 색도값과 유사하게 세팅하는 것을 특징으로 하는 퍼플 프린징 보정 장치.
The method of claim 8,
The coloring unit,
And when the luminance value of the seed pixel and the luminance value of the purple fringing area are similar, setting the chromaticity value of the purple fringing area to be similar to the chromaticity value of the seed pixel.
제9 항에 있어서,
상기 색도값 x 또는 상기 색도값 y에 대한 비용함수는 상기 시드 픽셀 r에서의 색도값과 상기 퍼플 프린징 영역에 있는 주변 픽셀들 s의 색도값들의 가중 평균 간의 차를 제곱한 값들을 합한 것으로 결정되고,
상기 컬러화부는 상기 비용함수가 최소화되는 색도값을 상기 퍼플 프린징 영역의 색도값으로 결정하는 것을 특징으로 하는 퍼플 프린징 보정 장치.
10. The method of claim 9,
The cost function for the chromaticity value x or the chromaticity value y is determined as the sum of the squared difference between the chromaticity value at the seed pixel r and the weighted average of the chromaticity values of the surrounding pixels s in the purple fringing region. Become,
The color fring correcting apparatus of claim 1, wherein the colorizing unit determines a chromaticity value of the purple fringing area as a chromaticity value of which the cost function is minimized.
제11 항에 있어서,
상기 주변 픽셀들 s의 색도값들에 적용하는 가중 함수는 상기 시드 픽셀의 휘도값과 상기 퍼플 프린징 픽셀들의 휘도값 사이의 차이의 제곱에 기초하여 결정되는 것을 특징으로 하는 퍼플 프린징 보정 장치.
12. The method of claim 11,
And a weighting function applied to the chromaticity values of the peripheral pixels s is determined based on the square of the difference between the luminance value of the seed pixel and the luminance value of the purple fringing pixels.
제8 항에 있어서,
상기 경계영역은 상기 퍼플 프린징 영역을 팽창시킨 후, 팽창된 퍼플 프린징 영역으로부터 상기 퍼플 프린징 영역을 제거함으로써 생성되는 것을 특징으로 하는 퍼플 프린징 보정 장치.
The method of claim 8,
And the boundary region is generated by expanding the purple fringing region and then removing the purple fringing region from the expanded purple fringing region.
제8 항에 있어서,
상기 퍼플 프린징 검출부는
색도 다이어그램 기반 방법을 이용하여 상기 퍼플 프린징 영역을 검출하는 것을 특징으로 하는 퍼플 프린징 보정 장치.
The method of claim 8,
The purple fring detection unit
The purple fringing correction device, characterized in that for detecting the purple fringing area using a chromaticity diagram based method.
제1 항 내지 제7 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체. A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 1 to 7.
KR1020110061085A 2011-06-23 2011-06-23 Apparatus and method of correcting purple fringing KR101233986B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110061085A KR101233986B1 (en) 2011-06-23 2011-06-23 Apparatus and method of correcting purple fringing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110061085A KR101233986B1 (en) 2011-06-23 2011-06-23 Apparatus and method of correcting purple fringing

Publications (2)

Publication Number Publication Date
KR20130000537A true KR20130000537A (en) 2013-01-03
KR101233986B1 KR101233986B1 (en) 2013-02-18

Family

ID=47834011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110061085A KR101233986B1 (en) 2011-06-23 2011-06-23 Apparatus and method of correcting purple fringing

Country Status (1)

Country Link
KR (1) KR101233986B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784101A (en) * 2021-09-26 2021-12-10 三星半导体(中国)研究开发有限公司 Purple fringing correction method and purple fringing correction device
CN113850738A (en) * 2021-09-24 2021-12-28 上海富瀚微电子股份有限公司 Device and method for correcting purple border of image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4479457B2 (en) * 2004-05-27 2010-06-09 ソニー株式会社 Image processing apparatus, image processing method, and computer program
KR100866490B1 (en) * 2007-01-17 2008-11-03 삼성전자주식회사 Apparatus and method for compensating chromatic aberration of image
KR101160956B1 (en) * 2009-11-30 2012-06-29 서강대학교산학협력단 Method and system for correcting purple fringing

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850738A (en) * 2021-09-24 2021-12-28 上海富瀚微电子股份有限公司 Device and method for correcting purple border of image
CN113850738B (en) * 2021-09-24 2024-03-29 上海富瀚微电子股份有限公司 Correction device and method for purple fringing of image
CN113784101A (en) * 2021-09-26 2021-12-10 三星半导体(中国)研究开发有限公司 Purple fringing correction method and purple fringing correction device

Also Published As

Publication number Publication date
KR101233986B1 (en) 2013-02-18

Similar Documents

Publication Publication Date Title
JP5314357B2 (en) Method and apparatus for correcting chromatic aberration of video
US8254718B2 (en) Multi-channel edge-aware chrominance noise reduction
JP4375322B2 (en) Image processing apparatus, image processing method, program thereof, and computer-readable recording medium recording the program
JP4803178B2 (en) Image processing apparatus, computer program product, and image processing method
JP6415062B2 (en) Image processing apparatus, image processing method, control program, and recording medium
US8358835B2 (en) Method for detecting and correcting chromatic aberration, and apparatus and method for processing image using the same
US8582878B1 (en) Purple fringing automatic detection and correction
US9189714B2 (en) Apparatus and method for enlarging object included in image data, and storage medium therefor
US20100027886A1 (en) Method and apparatus for eliminating chromatic aberration
TW200838285A (en) Image processing apparatus, image capturing apparatus, image processing method in these apparatuses, and program allowing computer to execute the method
CA3153067C (en) Picture-detecting method and apparatus
JP2012165204A (en) Signal processing apparatus, signal processing method, imaging apparatus, and imaging processing method
JP5621053B2 (en) Image processing apparatus, method and program, and imaging apparatus
KR101854432B1 (en) Method and apparatus for detecting and compensating back light frame
KR101233986B1 (en) Apparatus and method of correcting purple fringing
US9336575B2 (en) Image processing apparatus, image processing method, and image processing program
US8559745B2 (en) Image signal processor and method for image enhancement
JP4264051B2 (en) Image processing device
Lee et al. Purple fringing correction using colorization in Yxy color space
JP6882083B2 (en) Image processing device, image forming device, image processing method and program
KR101874538B1 (en) Method and Apparatus for Processing Image to Simultaneously Enhance Contrast and Saturation of Image
KR101180409B1 (en) Low illumination intensity image enhancement method and apparatus using histogram normalization and gamma correction
JP5245991B2 (en) BRIGHTNESS CORRECTION PROGRAM, BRIGHTNESS CORRECTION METHOD, AND BRIGHTNESS CORRECTION DEVICE
JP5494249B2 (en) Image processing apparatus, imaging apparatus, and image processing program
CN105450909B (en) Information processing method and electronic equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170207

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180206

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee