KR101427325B1 - 색수차 정정 방법 - Google Patents

색수차 정정 방법 Download PDF

Info

Publication number
KR101427325B1
KR101427325B1 KR1020090019254A KR20090019254A KR101427325B1 KR 101427325 B1 KR101427325 B1 KR 101427325B1 KR 1020090019254 A KR1020090019254 A KR 1020090019254A KR 20090019254 A KR20090019254 A KR 20090019254A KR 101427325 B1 KR101427325 B1 KR 101427325B1
Authority
KR
South Korea
Prior art keywords
block
pixel
pixels
chromatic aberration
component data
Prior art date
Application number
KR1020090019254A
Other languages
English (en)
Other versions
KR20090097796A (ko
Inventor
프램크 한센피플러그
볼프강 엔드레스
카를로스 코레아
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090097796A publication Critical patent/KR20090097796A/ko
Application granted granted Critical
Publication of KR101427325B1 publication Critical patent/KR101427325B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

본 발명은 카메라와 같은 이미지 촬상 디바이스에서 색수차를 정정하는 방법에 관한 것이다. 본 발명은, 상기 이미지 내에서 상기 현재 픽셀 주위의 분석 영역을 결정하는 단계와, 상기 현재 픽셀에 대하여, 상기 현재 픽셀을 포함하는 제 1 픽셀 블록의 픽셀의 제 1 컬러 성분 데이터와 상기 분석 영역 내의 제 1 블록과 동일한 사이즈를 갖는 제 2 픽셀 블록의 픽셀의 제 2 컬러 성분 데이터를 비교하는 단계와, 상기 제 1 픽셀 블록에 대하여 최고 상관을 갖는 제 2 픽셀 블록을 선택하는 단계와, 상기 선택된 제 2 블록이 공간적으로 상기 제 1 픽셀 블록과 일치하도록 상기 선택된 제 2 블록에 가해질 시프트 벡터를 결정하는 단계와, 색수차를 정정하기 위해 상기 시프트 벡터에 따라 상기 현재 픽셀에 대응하는 선택된 제 2 픽셀 블록의 픽셀의 제 2 컬러 성분 데이터를 시프팅하는 단계를 포함한다.
색수차, 이미지, 컬러, 픽셀, 카메라

Description

색수차 정정 방법{METHOD FOR CORRECTING CHROMATIC ABERRATION}
본 발명은, 예를 들면 카메라와 같은 이미지 촬상 디바이스에 의해 발생되는 이미지에서의 색수차를 정정하는 방법에 관한 것이다.
카메라 렌즈는 결코 완전하지 않다. 장면을 촬영하는 동안 이미지 내에 일부 결함(artefact)이 발생할 수 있다. 이들 결함 중 하나는 색수차로서 알려져 있다. 색수차는 도 1에 의해 예시된 렌즈로부터 상이한 컬러가 상이한 거리로 집중되는 현상이다. 이는 흑색과 백색 사이의 에지(edge)와 같이, 고 콘트라스트 에지에서 부드러운 총 이미지, 및 색 윤곽을 생성한다. 이러한 수차의 세기는 상이한 렌즈 거동(attitude)에 따라 변경된다.
이러한 왜곡은 색지움 렌즈(APO)로 알려진 매우 복잡한 렌즈 설계에 의해 정정된다. 그러나 이들 설계는 매우 비싸고 노출의 손실 또는 나쁜 변조 전달 함수(MTF: Modulation Transfer Function)와 같은 다른 문제점을 발생시킨다. 또한 시장에 일부 소프트웨어 솔루션이 있다. 그러나, 이들 솔루션은 컴퓨터 상에서 "포스트 프로덕션(postproduction)" 정정을 해야만 한다. 더욱이, 이들 솔루션은 정지 이미지에만 작용하고, 만족스러운 정정을 찾기 위해서, 많은 시행 착오 테스트가 필요하다. 이는 매우 시간 소모적이다.
이러한 문제를 해결하기 위해, 카메라 내에서 온 더 플라이(on the fly) 적절한 정정 알고리즘으로 정정을 수행하는 것이 제안된다.
본 발명은 이미지의 현재 픽셀의 제 1 컬러 성분 데이터와 제 2 컬러 성분 데이터 사이에서 색수차를 정정하는 방법에 관한 것이다. 이 방법은,
- 상기 이미지 내에서 상기 현재 픽셀 주위의 분석 영역을 결정하는 단계와,
- 상기 현재 픽셀에 대하여, 상기 현재 픽셀을 포함하는 제 1 픽셀 블록의 제 1 컬러 성분 데이터와 상기 분석 영역 내의 제 1 블록과 동일한 사이즈를 갖는 제 2 픽셀 블록의 픽셀의 제 2 컬러 성분 데이터를 비교하는 단계와,
- 상기 제 1 픽셀 블록에 대하여 최고 상관을 갖는 제 2 픽셀 블록을 선택하는 단계와,
- 상기 선택된 제 2 블록이 공간적으로 상기 제 1 픽셀 블록과 일치하도록 상기 선택된 제 2 블록에 가해질 시프트 벡터를 결정하는 단계와,
- 상기 시프트 벡터에 따라 상기 현재 픽셀에 대응하는 선택된 제 2 픽셀 블록의 픽셀의 제 2 컬러 성분 데이터를 시프팅하는 단계를 포함한다.
따라서, 공간 시프트 벡터는 이미지 캡처 디바이스에 의해 캡처된 각 이미지의 픽셀을 위해 결정되고, 사전 결정되지 않는다.
본 발명에 의하면, 카메라 내에서 온 더 플라이 적절한 정정 알고리즘으로 정정을 수행함으로써, 많은 시행 착오 테스트가 필요없다.
또한, 색지움 설계시, 매우 비싸고 노출의 손실 또는 나쁜 변조 전달 함수(MTF)와 같은 다른 문제점을 발생시키지 않는 효과가 있다.
본 발명의 예시적인 실시예가 도면에 예시되고, 이하 설명에서 더 상세하게 기술된다.
본 방법은 적어도 2개 컬러 성분(또는 컬러 채널)을 포함하는 이미지 내에서 색수차를 정정하기 위해 사용된다. 본 발명은 2개 컬러 성분 사이에서 색수차를 정정하기 위해 사용된다. 이하 설명에서, 본 발명은 적색 성분과 녹색 성분 사이에서 색수차를 정정하기 위해 설명된다. 실제로, 본 발명은 다른 컬러 성분 사이에서 색수차를 정정하기 위해 사용될 수 있다.
도 2를 참조하면, 현재 픽셀에 대하여, 본 발명에 따른 방법은 다음 단계를 포함한다.
- 캡처된 이미지에서, 현재 픽셀 주위의 분석 영역을 결정하는 단계(210)와,
- 현재 픽셀에 대하여, 이 현재 픽셀을 포함하는 제 1 픽셀 블록의 제 1 컬러 성분 데이터와 분석 영역 내의 제 1 블록과 동일한 사이즈를 갖는 제 2 픽셀 블록의 픽셀의 제 2 컬러 성분 데이터를 비교하는 단계(220)와,
- 제 1 픽셀 블록에 대하여 최고 상관을 갖는 제 2 픽셀 블록을 선택하는 단 계(230)와,
- 선택된 제 2 블록이 공간적으로 제 1 픽셀 블록과 일치하도록 선택된 제 2 블록에 가해질 시프트 벡터를 결정하는 단계(240)와,
- 시프트 벡터에 따라 현재 픽셀에 대응하는 선택된 제 2 픽셀 블록의 픽셀의 제 2 컬러 성분 데이터를 시프팅하는 단계(250).
단계(210 내지 250)는 도 3 내지 도 5에 의해 예시된다. 이들 도면에서, 제 1 컬러 성분은 녹색 성분이고, 제 2 컬러 성분은 적색 성분이다. 본 예에서, 제 1 블록은 현재 픽셀에 중심을 두지만, 그러나 이는 강제적이 아니다.
단계(210)는 정정될 픽셀(P) 주위에 분석 영역(A)을 한정한다. 상기 분석 영역의 사이즈는 2개 컬러 성분 사이의 최대 수차에 의존한다. 이 단계는 도 3에 의해 예시된다. 도 3의 좌측부는 녹색 성분의 픽셀을 보여주고, 우측부는 적색 성분의 픽셀을 보여준다. 더 상세하게는, 이 도면은 이들 2개 컬러 성분을 위해 정정될 픽셀(P)을 중심으로 집중된 분석 영역(A)을 보여준다. 각 픽셀은 녹색 성분 데이터(도면의 좌측부에 도시됨)와 적색 성분 데이터(도면의 우측부에 도시됨)를 갖는다. 본 예에서, 분석 영역은 11x11 픽셀을 포함한다.
도 4에 의해 예시된 다음 단계(220)에서, 픽셀 블록(B)은 이 분석 영역(A)에서 한정되고 상관 함수에 의해 분석 영역 내의 적색 이미지의 픽셀 블록(B')에 비교된다. 블록(B')은 블록(B)과 동일한 형상 및 동일한 사이즈를 갖는다.
예를 들면, 상관 함수 r은 브라바이스-피어슨(Bravais-Pearson) 공식에 따라 계산된다.
Figure 112009013862430-pat00001
이 공식에서,
r은 0<=|r|<=1을 갖는 상관 계수를 표시하고, r이 높을수록 상관 계수도 더 높아지며,
n은 블록(B 또는 B') 내에 있는 픽셀의 양을 표시하고,
xi는 블록(B) 중 하나의 픽셀의 픽셀 값을 표시하고,
yi는 블록(B') 중 하나의 픽셀의 픽셀 값을 표시하고,
Figure 112009013862430-pat00002
는 블록(B)의 픽셀 값의 산술적 평균을 표시하며,
Figure 112014048262955-pat00012
이고,
Figure 112014048262955-pat00013
는 블록(B')의 픽셀값의 산술 평균이고,
Figure 112014048262955-pat00014
이다.
도 5에 예시된 다음 단계(230)에서, 블록(B)에 대해서 최고 상관 계수를 갖 는 적색 이미지의 픽셀 블록(B')이 선택된다. 도 3 내지 5의 예시에서, 블럭(B)에 대하여 최고 상관을 갖는 픽셀 블록(B')은 픽셀 블록(B)과 비교하면, 수평으로 3개 픽셀만큼, 그리고 수직으로 3개 픽셀 만큼 시프팅된다. 다음 단계(240)에서, 블록(B)에 대하여 최상 상관을 갖는 블록(B') 사이의 시프트를 나타내는 시프트 벡터(V)가 결정된다(수평으로 3개 픽셀 및 수직으로 3개 픽셀).
색수차 정정 방법의 최종 단계(250)는 시프팅 벡터(V)에 따라 선택된 제 2 블록의 중심 픽셀의 적색 성분 데이터를 시프팅하는 것이다.
이들 단계(210 내지 250)는 정정될 이미지의 픽셀 모두에 적용된다.
분석 영역(A)의 사이즈는 2개 컬러 채널 사이의 최대 수차 및 픽셀 블록(B)의 사이즈에 의존한다. 여기에 주어진 예시에서, 만일 최대 수차가 수평 방향으로 3개 픽셀이고 수직 방향으로 3개 픽셀이며, 만일 픽셀 블록(B)의 사이즈가 5x5 픽셀이라면, 분석 영역의 사이즈는 바람직하게는 도 3 내지 도 5에 의해 예시된 바와 같이 11x11 픽셀이다.
본 발명은 이미지 촬상 또는 캡처 디바이스 또는 컴퓨터와 같은 임의 이미지 처리 유닛에서 구현될 수 있다.
도 6은 앞서 기술된 방법을 구현하는 이미지 캡처 디바이스 또는 이미지 촬상 디바이스(600)를 예시한다.
이미지 촬상 디바이스(600)는 아날로그 컬러 채널 또는 성분 RGB를 생성하기 위해 고체 상태 이미지 센서 또는 전하 결합 소자(620) 상에 광을 집중시키기 위한 렌즈(610)를 포함한다. 아날로그/디지털 컨버터(630)는 3개 RGB 채널의 아날로그 신호를 디지털 값으로 변환한다. 이후, 촬영 장치 정정 유닛(640)은 디지털 영역 내에서 잡음과 같은 부작용을 정정한다. 이후, 정정된 디지털 값은 선 메모리(650) 내에 저장된다. 선 메모리(line memory)의 양은 분석 영역 내의 픽셀 라인의 개수에 따라 다르다. 이후, 상관/시프트 벡터 처리 유닛(660)은 앞서 기술된 바와 같이 정정 계수와 대응하는 시프트 벡터(V)를 계산하기 위해 사용된다. 이 시프트 벡터는 이후 도 2의 방법에서 한정된 바와 같이 이미지를 정정하기 위해 색수차 정정 유닛(670)에 의해 사용된다. 최종 이미지가 저장 유닛(680) 내에 저장된다.
본 발명은 공개된 실시예에 제한되지 않는다. 다양한 변형예가 가능하고, 청구항의 범위 내에 드는 것으로 여겨진다. 픽셀 블록의 다른 형상 또는 사이즈가 사용될 수 있다. 예를 들면, 동일한 픽셀의 행에 속하는 n 개 연속 픽셀 블록이 또한 사용될 수 있다. 더욱이, 블록(B)은 반드시 정정될 픽셀에 중심을 두는 것은 아니다.
본 발명은, 예를 들면 카메라와 같은 이미지 촬상 디바이스에 의해 발생되는 이미지에서의 색수차를 정정하는 방법에 이용 가능하다.
도 1은 색수차의 현상을 보여주는 도면.
도 2는 본 발명에 따른 방법의 단계를 보여주는 도면.
도 3 내지 도 5는 도 2에서 한정된 단계를 예시로서 보여주는 도면.
도 6은 도 2의 단계를 구현하기 위한 수단을 포함하는 이미지 촬상 디바이스를 보여주는 도면.
*** 주요 도면 부호 설명 ***
600: 이미지 촬상 디바이스, 610: 렌즈
620: 전하 결합 소자, 630: 아날로그/디지털 컨버터
640: 촬영 장치 정정 유닛, 650: 메모리
660: 상관/시프트 벡터 처리 유닛
670: 색수차 정정 유닛, 680: 저장 유닛

Claims (3)

  1. 이미지의 현재 픽셀의 제 1 컬러 성분 데이터와 제 2 컬러 성분 데이터 사이에서 색수차를 정정하는 방법으로서,
    - 이미지 내에서 현재 픽셀 주위의 분석 영역을 결정하는 단계와,
    - 현재 픽셀에 대하여, 현재 픽셀을 포함하는 픽셀의 제 1 블록의 제 1 컬러 성분 데이터와, 분석 영역 내의 제 1 블록과 동일한 사이즈를 갖는 픽셀의 제 2 블록의 픽셀의 제 2 컬러 성분 데이터를 비교하는 단계와,
    - 픽셀의 제 1 블록에 대하여 최고 상관을 갖는 픽셀의 제 2 블록을 선택하는 단계와,
    - 상기 선택된 제 2 블록이 공간적으로 픽셀의 제 1 블록과 일치하도록 선택된 제 2 블록에 가해질 시프트 벡터를 결정하는 단계와,
    - 색수차를 정정하기 위해 시프트 벡터에 따라 현재 픽셀에 대응하는 선택된 제 2 블록의 픽셀의 제 2 컬러 성분 데이터를 시프팅하는 단계
    를 포함하는 것을 특징으로 하는, 색수차를 정정하는 방법.
  2. 제 1 항에 있어서,
    픽셀의 제 1 블록은 현재 픽셀에 중심이 있는, 색수차를 정정하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    분석 영역의 사이즈는 픽셀의 제 1 픽셀 블록의 사이즈와 제 1 및 제 2 컬러 성분 데이터 사이의 최대 수차에 의존하는, 색수차를 정정하는 방법.
KR1020090019254A 2008-03-12 2009-03-06 색수차 정정 방법 KR101427325B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08300139A EP2101207A1 (en) 2008-03-12 2008-03-12 Method for correcting chromatic aberration
EP08300139.6 2008-03-12

Publications (2)

Publication Number Publication Date
KR20090097796A KR20090097796A (ko) 2009-09-16
KR101427325B1 true KR101427325B1 (ko) 2014-08-06

Family

ID=39683782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090019254A KR101427325B1 (ko) 2008-03-12 2009-03-06 색수차 정정 방법

Country Status (5)

Country Link
US (1) US8559711B2 (ko)
EP (2) EP2101207A1 (ko)
JP (1) JP5576052B2 (ko)
KR (1) KR101427325B1 (ko)
CN (1) CN101534375B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965118B2 (en) 2010-02-08 2015-02-24 Thomson Licensing Reducing chromatic aberration
KR101220413B1 (ko) 2010-10-15 2013-01-09 중앙대학교 산학협력단 다중 컬러-필터 조리개를 이용하여 촬영된 영상의 화질 개선 장치 및 방법
CN102169575B (zh) * 2011-04-22 2012-12-05 艾民 一种非基色单色光图像数据的处理方法及其处理装置
US9443322B2 (en) * 2013-09-09 2016-09-13 Mediatek Singapore Pte. Ltd. Method and associated apparatus for correcting color artifact of image
DE102014112666A1 (de) * 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
KR20200094509A (ko) * 2019-01-30 2020-08-07 엘지이노텍 주식회사 액체 렌즈를 포함하며 색수차 보정 기능을 갖는 광학 기기 및 영상 처리 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299874A (ja) 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
US20080007630A1 (en) 2006-07-07 2008-01-10 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63276676A (ja) * 1986-09-26 1988-11-14 Olympus Optical Co Ltd 画像間の対応領域の検出方式
JPH03263993A (ja) * 1990-03-14 1991-11-25 Hitachi Denshi Ltd レジストレーション検出装置
DE69215760T2 (de) * 1991-06-10 1998-02-05 Eastman Kodak Co Kreuzkorrelationsausrichtsystem für einen Bildsensor
EP0878970A3 (en) * 1997-05-16 1999-08-18 Matsushita Electric Industrial Co., Ltd. Imager registration error and chromatic aberration measurement system for a video camera
US6526157B2 (en) * 1997-08-01 2003-02-25 Sony Corporation Image processing apparatus, image processing method and transmission medium
JP4020527B2 (ja) * 1999-03-16 2007-12-12 オリンパス株式会社 電子カメラ
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
JP4147059B2 (ja) * 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
US6989936B2 (en) * 2003-03-07 2006-01-24 Canon Kabushiki Kaisha Variable power optical system
US7221793B2 (en) * 2003-05-27 2007-05-22 Hewlett-Packard Development Company, L.P. Systems and methods for providing spatially-varied demosaicing
JP2006317595A (ja) * 2005-05-11 2006-11-24 Canon Inc 光学装置およびその制御方法
JP4983141B2 (ja) * 2006-08-04 2012-07-25 ソニー株式会社 カラーフィルタ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299874A (ja) 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
US20080007630A1 (en) 2006-07-07 2008-01-10 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Also Published As

Publication number Publication date
US20090232396A1 (en) 2009-09-17
EP2103979B1 (en) 2011-11-30
US8559711B2 (en) 2013-10-15
CN101534375A (zh) 2009-09-16
JP5576052B2 (ja) 2014-08-20
JP2009219123A (ja) 2009-09-24
KR20090097796A (ko) 2009-09-16
CN101534375B (zh) 2013-09-11
EP2101207A1 (en) 2009-09-16
EP2103979A1 (en) 2009-09-23

Similar Documents

Publication Publication Date Title
JP5132401B2 (ja) 画像処理装置及び画像処理方法
US7911514B2 (en) Defective pixel correction device
US8155441B2 (en) Image processing apparatus, image processing method, and program for color fringing estimation and compensation
US8253828B2 (en) Image capture device including edge direction determination unit, and image processing method for the same
US8854483B2 (en) Image processing device, image processing method and image processing program
KR101427325B1 (ko) 색수차 정정 방법
US8284278B2 (en) Image processing apparatus, imaging apparatus, method of correction coefficient calculation, and storage medium storing image processing program
EP1528793A2 (en) Image processing apparatus, image-taking system and image processing method
JP6021465B2 (ja) 画像処理装置及び画像処理装置の制御方法
US8818128B2 (en) Image processing apparatus, image processing method, and program
JP5398667B2 (ja) 画像処理装置
GB2460241A (en) Correction of optical lateral chromatic aberration
JP2005110178A (ja) 固体撮像装置
JP5631769B2 (ja) 画像処理装置
US8804025B2 (en) Signal processing device and imaging device
JP2009027555A (ja) 撮像装置及び信号処理方法
JP2006319827A (ja) 固体撮像装置および画像補正方法
JP4098058B2 (ja) 撮像装置
JP2011077889A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 5