KR20110072213A - 영상보정방법 - Google Patents

영상보정방법 Download PDF

Info

Publication number
KR20110072213A
KR20110072213A KR1020090129054A KR20090129054A KR20110072213A KR 20110072213 A KR20110072213 A KR 20110072213A KR 1020090129054 A KR1020090129054 A KR 1020090129054A KR 20090129054 A KR20090129054 A KR 20090129054A KR 20110072213 A KR20110072213 A KR 20110072213A
Authority
KR
South Korea
Prior art keywords
lsc
pixel
weight
color temperature
red
Prior art date
Application number
KR1020090129054A
Other languages
English (en)
Inventor
백소영
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020090129054A priority Critical patent/KR20110072213A/ko
Publication of KR20110072213A publication Critical patent/KR20110072213A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/52—Automatic gain control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

다수의 렌즈를 포함하는 렌즈부로부터 광 이미지를 입사 받아 이미지 센서에서 전기적 신호인 영상 데이터로 변환하고 상기 영상 데이터를 이미지 신호 처리부에서 영상보정하는 방법에 관한 것이다. 상기 영상보정방법은 색온도 5100K 환경에서 각 픽셀들이 균일한 밝기값을 가진 표준 영상 입력에 대하여 AWB(auto white balance) 동작하는 영역인 AWB 동작영역 좌표, AGC(auto gain control) 게인 및 LSC(lens shading correction) 레지스터 테이블을 생성하여 저장하는 단계; 상기 5100K 환경에서 레드 및 블루의 게인값 및 프리뷰상태에서 레드 및 블루의 게인값의 차이를 이용하여 상기 AWB 동작영역 좌표를 이동시키는 단계; 상기 5100K 환경에서 레드 및 블루의 게인값 및 상기 프리뷰상태에서 레드 및 블루의 게인값의 차이 및 상기 5100K 환경에서 AGC값과 상기 프리뷰상태에서 AGC값의 차이를 이용하여 상기 영상 데이터의 각 픽셀에 대한 렌즈 셰이딩 보상 웨이트를 설정하는 단계;및상기 이동된 AWB 동작영역 좌표 및 상기 설정된 렌즈 셰이딩 보상 웨이트를 이용하여 상기 영상 데이터를 자동 화이트 밸런스(AWB) 처리하고 렌즈 셰이딩 보상하는 단계를 포함한다.
영상보정, 렌즈 셰이딩, 화이트 밸런스, 색온도

Description

영상보정방법{Image correction method}
본 발명은 카메라 또는 카메라 모듈에서의 영상보정방법에 관한 것이다.
카메라 모듈은 휴대용 전화기, 노트북 컴퓨터, PDA(personal digital assistants) 등 다양한 카메라 기능을 가진 제품에 장착되는데, 최근 일반 디지털 카메라와 비교할 때에도 손색이 없을 정도로 카메라 모듈의 성능이 향상되고 있다.
일반적으로, 영상 촬상 장치 등에 의해 촬상된 영상에는 피사체에 해당하는 대상물의 여러가지 정보를 가지고 있지만, 대상물, 촬영 기기의 성능 혹은 촬영 조건등에 의해 그 영상 신호에 해당하는 휘도신호 및 색신호의 성분이 편중되거나 왜곡되는 경우가 빈번하게 발생한다. 따라서, 카메라 모듈은 피사체를 촬영시 렌즈 셰이딩 보상(lens shading correction), 노출 보정(auto exposure) 및 화이트 밸런스(auto white balance) 등의 보정을 거친 후 이미지의 캡쳐를 진행한다.
이러한 카메라 모듈에서 이미지 센서의 주변영역은 렌즈의 광학 특성으로 인해 충분한 빛을 받지 못하고 이로 인해 신호의 감쇄가 야기되는데 이를 렌즈 셰이 딩 (lens shading)이라 한다. 렌즈 셰이딩에 의한 신호의 감쇄는 픽셀의 위치 및 컬러에 따라 달라진다. 따라서, 이미지 신호 처리기(image signal processor: ISP)는 더 향상된 이미지를 얻기 위하여 렌즈 셰이딩 보상(lens shading correction)이라는 영상처리과정을 통하여 주변의 영역의 신호의 감쇄를 보상한다.
일반적으로 디지털 스틸 카메라, 디지털 비디오 카메라 등과 같은 디지털 영상 장치를 사용하여 동일한 피사체를 촬영하는 경우에도, 옥외의 태양광 아래, 흐린날, 옥내의 백색 조명 아래, 형광 조명 아래와 같은 여러가지 광원의 조건에 따라 촬영된 색의 겉보기가 달라진다. 사람의 눈은 이들의 광원에 순응해서, 화이트를 화이트로 느낄 수 있도록 되어 있음으로 커다란 부자연스러움을 느끼지 않는다. 그러나 디지털 영상 장치에서는 이들 색온도(color temperature)가 서로 다른 광원에 포함되어 있는 RGB 성분에 충실히 반응해서, 색온도가 높으면 푸르름이 있는 화이트, 색온도가 낮으면 붉음이 있는 화이트로 재현된다.
따라서 이러한 경우에는 화이트가 희게 보이도록 하는 것이 필요하며, 색온도가 변해버린 경우에도 그 색온도에서 화이트 밸런스를 유지하는 것이 바람직하다. 이를 위해, 무채색의 피사체에서는 RGB의 비율이 언제나 일정한 값이 되도록 하거나, 또는 색차신호 R-Y, B-Y가 항상 제로가 되도록 제어하는데, 이러한 기능의 수행을 화이트 밸런스 보정이라고 한다. 즉, 푸르름이 있는 화이트에서는 B(blue)의 이득보다 R(red)의 이득을 더 올리고, 붉음이 있는 화이트에서는 R의 이득보다 B의 이득을 더 올리도록 하는 것이다.
일반적으로 화이트 밸런스를 보정하기 위해 화이트를 검출하는데, 프레임 내 의 윈도우 영역을 블록단위로 하여 화이트를 검출하거나, 프레임 내의 윈도우 영역을 픽셀단위로 하여 화이트를 검출하고 있다. 그러나, 정확한 색온도에 따라서 렌즈 셰이딩 보상(lens shading correction)하거나 화이트 밸런스(auto white balance) 보정을 하지 않아 편차가 발생하는 문제점이 있다.
본 발명은 카메라 또는 카메라 모듈에서 영상보정시 환경 및 모듈의 편차에 의해 발생하는 컬러 셰이딩(color shading)을 개선시킨 영상보정방법을 제공한다.
본 발명의 일 실시예에 따른 영상보정방법은 다수의 렌즈를 포함하는 렌즈부로부터 광 이미지를 입사 받아 이미지 센서에서 전기적 신호인 영상 데이터로 변환하고 상기 영상 데이터를 이미지 신호 처리부에서 보정하는 방법에 있어서, 색온도 5100K 환경에서 각 픽셀들이 균일한 밝기값을 가진 표준 영상 입력에 대하여 AWB(auto white balance) 동작하는 영역인 AWB 동작영역 좌표, AGC(auto gain control) 게인 및 LSC(lens shading correction) 레지스터 테이블을 생성하여 저장하는 단계; 상기 5100K 환경에서 레드 및 블루의 게인값 및 프리뷰상태에서 레드 및 블루의 게인값의 차이를 이용하여 상기 AWB 동작영역 좌표를 이동시키는 단계;상기 5100K 환경에서 레드 및 블루의 게인값 및 상기 프리뷰상태에서 레드 및 블루 의 게인값의 차이 및 상기 5100K 환경에서 AGC값과 상기 프리뷰상태에서 AGC값의 차이를 이용하여 상기 영상 데이터의 각 픽셀에 대한 렌즈 셰이딩 보상 웨이트를 설정하는 단계;및 상기 이동된 AWB 동작영역 좌표 및 상기 설정된 렌즈 셰이딩 보상 웨이트를 이용하여 상기 영상 데이터를 자동 화이트 밸런스(AWB) 처리하고 렌즈 셰이딩 보상하는 단계를 포함한다.
본 실시예에 따른 영상보정방법은 컬러 셰이딩 현상이 감소되어 최적으로 보정처리된 이미지를 제공한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 색온도 및 조도에 따라 렌즈 셰이딩 보상 처리한 결과를 보여주는 도면이다. 색온도 5100K의 환경에서 렌즈 셰이딩 보상값을 설정하여 서로 다른 환경에서 렌즈 셰이딩 보상처리한 결과이다.
도 1을 참조하면, 색온도 5100K의 환경에서 렌즈 셰이딩 보상값을 설정한 경우 색온도 5100K의 환경에서는 보상처리하면 편차가 거의 발생하지 않는다(a 참조). 그러나 색온도 5100K의 환경에서 렌즈 셰이딩 보상값을 설정하여 색온도 5100K 보다 고온(b 참조) 및 저온(c 참조)의 환경에 적용하면 게인(gain)변화에 의하여 렌즈 셰이딩 보상처리한 결과에 편차가 발생한다. 저조도(d 참조)의 환경에서도 일반적으로 보상을 위하여 게인을 올리기 때문에 컬러 셰이딩현상이 심해진다.
도 2는 본 실시예에 따른 영상보정방법을 나타내는 순서도이다.
도 2를 참조하면, 색온도 5100K 환경에서 각 픽셀들이 균일한 밝기값을 가진 표준 영상 입력에 대하여 AWB 동작영역을 나타내는 AWB 동작영역 좌표, AGC(auto gain control) 게인 및 LSC(lens shading correction) 레지스터 테이블을 생성하여 저장한다(S110). S110은 카메라 모듈이 제작되고나서 출고 전에 시행될 수 있다.
도 3은 색온도 5100K 환경에서 AWB 동작영역 좌표를 나타내는 도면이다.
도 3을 참조하면, x축은 블루(B) 대 그린(G)의 게인 비이고 y축은 레드(R) 대 그린(G)의 게인 비이며, 이러한 좌표축에서 AWB 동작영역을 나타낸다. DAY 영역 은 고온에서 작동하는 영역, CWF 영역은 중간 온도에서 작동하는 영역 및 A 영역은 저온에서 작동하는 영역이다.
다시 도 2를 참조하면, 카메라 모듈이 정상적으로 동작된다면(S120), 프리뷰상태에서 AWB 동작영역 좌표를 이동시키고 LSC 웨이트(weight)를 설정한다(S130).
여기서, LSC 웨이트(weight)는 렌즈 셰이딩 보상시 RGB 게인값을 나타낸다.
본 실시예에 따른 AWB 동작영역 좌표의 이동은 다음 수학식 1 내지 수학식 6과 같다.
Figure 112009079419362-PAT00001
Figure 112009079419362-PAT00002
Figure 112009079419362-PAT00003
Figure 112009079419362-PAT00004
Figure 112009079419362-PAT00005
Figure 112009079419362-PAT00006
여기서, B_0는 색온도 5100K 환경에서의 표준영상입력에 대한 블루의 게인으로 B0와 동일하고, R_0는 색온도 5100K 환경에서의 표준영상입력에 대한 레드의 게인으로 R0와 동일하며, B_1는 프리뷰상태에서의 블루의 게인, R_1는 프리뷰상태에서의 레드의 게인, XCT는 색온도 5100K 환경에서의 표준영상입력에 대한 CWF 영역 중심의 x축 좌표, YCT는 색온도 5100K 환경에서의 표준영상입력에 대한 CWF 영역 중심의 y축 좌표, DAT_LIMIT는 색온도 5100K 환경에서의 표준영상입력에 대한DAY 영역의 좌측 경계값, DAY_SPT는 색온도 5100K 환경에서의 표준영상입력에 대한 DAY 영역의 우측 경계값, A_LIMIT는 색온도 5100K 환경에서의 표준영상입력에 대한 A 영역의 하위 경계값, A_SPT는 색온도 5100K 환경에서의 표준영상입력에 대한 A 영역의 상위 경계값, NEW_X_CT는 프리뷰상태에서의 CWF 영역 중심의 x축 좌표 , NEW_Y_CT는 프리뷰상태에서의 CWF 영역 중심의 y축 좌표, NEW_DAY_LIMIT는 프리뷰상태에서의 DAY 영역의 좌측 경계값, NEW_DAY_SPT는 프리뷰상태에서의 DAY 영역의 우측 경계값, NEW_A_LIMIT는 프리뷰상태에서의 A 영역의 하위 경계값 및 NEW_A_SPT는 프리뷰상태에서의 A 영역의 상위 경계값을 나타낸다.
도 4는 본 실시예에 따라 프리뷰상태에서의 AWB 동작영역 좌표 이동의 일 예를 나타내는 도면이다.
도 4를 참조하면, 색온도 5100K 환경에서의 DAY 영역, CWF 영역 및 A 영역 이 전체적으로 우측으로 이동함을 확인할 수 있다.
본 실시예에 따른 LSC 웨이트(weight) 설정은 이하와 같다.
구체적으로는 색온도 5100K 환경에서의 레드 및 블루의 게인값과 프리뷰상태에서의 레드 및 블루의 게인값의 차이 및 색온도 5100K 환경에서의 AGC(automatic gain control)값과 프리뷰상태에서의 AGC값의 차이를 이용하여 LSC 웨이트(weight)를 설정한다.
본 실시예에서는 색온도를 5100K 이상인 경우와 5100K 미만인 경우로 구분하고, 조도를 저조도와 고조도로 구분한다.
색온도 5100K 이상인 경우로 정의하는 경우는 다음 수학식 7과 같다.
Figure 112009079419362-PAT00007
또한, 색온도 5100K 미만인 경우로 정의하는 경우는 다음 수학식 8과 같다.
Figure 112009079419362-PAT00008
조도를 저조도로 정의하는 경우는 다음 수학식 9와 같고, 다음 수학식 9에 해당되지 않는 경우는 고조도로 정의한다.
Figure 112009079419362-PAT00009
여기서, AGC_0은 색온도 5100K 환경에서의 표준영상입력에 대한 AGC 게인값 으로 AGC0와 동일하며, AGC_1는 프리뷰상태에서의 AGC 게인값을 나타낸다.
본 실시예에서 프리뷰상태에서의 LSC 웨이트(weight) 설정은 각 픽셀의 레드 및 블루 게인에 색온도에 따른 웨이트 및 조도에 따른 웨이트를 적용하여 수행한다.
도 5는 본 실시예에 따라 프리뷰상태에서의 LSC 웨이트(weight) 설정 중 레드 게인에 적용하는 한 실시예를 보여주는 도면이고, 도 6은 본 실시예에 따라 프리뷰상태에서의 LSC 웨이트(weight) 설정 중 블루 게인에 적용하는 한 실시예를 보여주는 도면이다.
도 5 및 도 6을 참조하면, 영상 데이터가 5×5 픽셀로 구성되어 있다고 가정한 일 예에서 각 픽셀의 LSC 레드 및 블루 게인값에 색온도에 따른 웨이트를 적용하고 다시 조도에 따른 웨이트를 적용하되, 저조도인 경우는 0.8을 고조도인 경우는 1을 적용한다.
본 실시예의 일 예에서는 저조도인 경우는 0.8을, 고조도인 경우는 1을 웨이트로 적용했지만 저조도 및 고조도에서의 웨이트 적용은 상기 외에도 다양할 수 있다. 예를 들어, 저조도인 경우는 0.7을, 고조도인 경우는 0.9로 적용할 수 있다.
본 실시예에서 색온도에 따른 웨이트 적용은 다음 수학식 10 내지 13과 같다. 색온도가 5100K 이상인 경우 각 픽셀의 LSC 레드 웨이트는 다음 수학식 10과 같고, 각 픽셀의 LSC 블루 웨이트는 11과 같다.
Figure 112009079419362-PAT00010
Figure 112009079419362-PAT00011
여기서, NEW_LSC_Rij는 본 실시예에 따른 LSC 레드 게인값, NEW_LSC_Bij는 본 실시예에 따른 LSC 블루 게인값, Ref_LSC_Rij는 LSC 레지스터 테이블의 레드 게인값, Ref_LSC_Bij는 LSC 레지스터 테이블의 블루 게인값, weight1 및 weight2는 도 5 및 도 6에 도시된 바와 같은 웨이트를 나타낸다. weight1 및 weight2는 영상 데이터의 중심 픽셀은 가장 웨이트를 적게 두고, 주변부로 갈수록 웨이트를 가중하는 방식으로 웨이트를 둔다. 도 5 및 도 6에 도시된 weight1 및 weight2는 대응되는 픽셀에 동일한 웨이트가 주어지지만, 다른 실시예에서는 weight1 및 weight2의 대응되는 동일한 픽셀에 서로 다른 웨이트가 주어질 수 있음은 당업자에게 자명할 것이다.
색온도가 5100K 미만인 경우 각 픽셀의 LSC 레드 웨이트는 다음 수학식 12과 같고, 각 픽셀의 LSC 블루 웨이트는13과 같다.
Figure 112009079419362-PAT00012
Figure 112009079419362-PAT00013
본 실시예에서 조도에 따른 웨이트 적용은 다음 수학식 14 내지 수학식 15와 같다. 저조도인 경우 각 픽셀의 LSC 레드 웨이트는 다음 수학식 14와 같고, 각 픽셀의 LSC 블루 웨이트는 15와 같다.
Figure 112009079419362-PAT00014
Figure 112009079419362-PAT00015
다시 도 2를 참조하면, 피사체를 촬영하여 이미지 데이터를 획득한다(S140). 획득된 이미지를 이미지 신호 처리부에서 본 실시예에 따라 이동된 AWB 동작영역 좌표를 이용하여 AWB 처리하고 본 실시예에 따라 설정된 LSC 웨이트를 이용하여 렌즈 셰이딩 보상처리한다(S150). 영상처리된 이미지 데이터를 디스플레이를 통하여 출력할 수 있다.
도 7은 본 실시예에 따른 영상보상처리를 수행하는 카메라 모듈을 포함하는 영상시스템을 나타내는 블록도이다.
도 7을 참조하면, 영상시스템(10)은 카메라 모듈(300) 및 디스플레이(400)를 포함하고, 카메라 모듈(300)은 렌즈부(310), 이미지 센서부(320), AWB 좌표이동 부(330), LSC 웨이트설정부(340), 메모리(350) 및 이미지 신호 처리부(360)을 포함한다.
렌즈부(310)는 다수의 렌즈를 포함하여 피사체의 광 이미지를 입사 받는다. 이미지 센서부(320)는 렌즈부(310)로부터 입사받은 광 이미지를 전기적 신호인 원본 영상 데이터로 변환하여 영상 시스템에서 처리가능하게 한다. 여기서, 원본 영상 데이터는 로 데이터(raw data)를 의미하고, 빛의 강약에 따른 전기적 신호의 변화만이 기록된 정보이다.
AWB 좌표이동부(330)는 본 실시예에 따라 수학식 1 내지 수학식 6을 이용하여 고온에서 작동하는 DAY 영역, 중간 온도에서 작동하는 CWF 영역 및 저온에서 작동하는 A 영역을 이동시킨다.
LSC 웨이트 설정부(340)는 본 실시예에 따라 수학식 7 내지 수학식 15를 이용하여 렌즈 셰이딩 보상에 이용되는 영상 데이터의 각 픽셀에 대한 LSC 웨이트를 설정한다.
메모리(350)는 AWB 좌표이동부(330)에서 생성된 이동된 AWB 동작영역 좌표, LSC 웨이트설정부(340)에서 생성된 영상 데이터의 각 픽셀에 대한 LSC 웨이트 및 이하에서 설명되는 이미지 신호 처리부(360)에서 처리된 영상 데이터를 인코더를 거쳐 인코딩된 압축 영상 데이터를 저장한다. 또한, 메모리(350)는 색온도 5100K 환경에서의 표준 영상 입력에 대한 AWB 동작영역 좌표, AGC(auto gain control) 게인 및 LSC(lens shading correction) 레지스터 테이블을 저장할 수 있다.
이미지 신호 처리부(360)는 메모리(350)에 저장된 이동된 AWB 동작영역 좌표 및 영상 데이터의 각 픽셀에 대한 LSC 웨이트를 이용하여 이미지 센서부(320)로부터 입력받은 원본 영상 데이터를 자동 화이트 밸런스(Auto White Balance) 처리하고 렌즈 셰이딩 보상처리한다. 그밖에, 이미지 신호 처리부(360)는 적합 컬러 보간(Adaptive Color Interpolation), 컬러 보정(Color Correction), 감마 제어(GAMMA Control), 색상/게인 제어(Hue/Gain Control), 영상 효과(Image Effect), 자동 노출(Auto Exposure), 역광 보정 등을 처리할 수 있다.
디스플레이는 메모리(350)에 저장된 영상 데이터를 읽어서 화면에 출력한다. 디스플레이는 액정 디스플레이(LCD) 또는 유기 발광 소자 디바이스(OLED) 등이 될 수 있다. 이러한 영상 시스템은 휴대용 전화기에 탑재될 수 있다.
도 7에서 상술한 모듈 중 어느 일부는 여러 모듈로 분리하여 구현할 수도 있고, 하나의 모듈로 통합하여 구현할 수도 있다. 예를 들어, 상기 AWB 좌표이동부(330) 및 LSC 웨이트설정부(340)는 도시된 바와 같이 분리된 형태로 구현될 수 있고, 하나의 통합된 모듈로 구현될 수도 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.
이상 본 발명에 대하여 실시예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서, 상술한 실시예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시예들을 포함한다고 할 것이다.
도 1은 색온도 및 조도에 따라 렌즈 셰이딩 보상 처리한 결과를 보여주는 도면이다.
도 2는 본 실시예에 따른 영상보정방법을 나타내는 순서도이다.
도 3은 색온도 5100K 환경에서 AWB 동작영역 좌표를 나타내는 도면이다.
도 4는 본 실시예에 따라 프리뷰상태에서의 AWB 동작영역 좌표 이동의 일 예를 나타내는 도면이다.
도 5는 본 실시예에 따라 프리뷰상태에서의 LSC 웨이트(weight) 설정 중 레드 게인에 적용하는 한 실시예를 보여주는 도면이다.
도 6은 본 실시예에 따라 프리뷰상태에서의 LSC 웨이트(weight) 설정 중 블루 게인에 적용하는 한 실시예를 보여주는 도면이다.
도 7은 본 실시예에 따른 영상보상처리를 수행하는 카메라 모듈을 포함하는 영상시스템을 나타내는 블록도이다.
<도면 주요 부분에 대한 부호의 설명>
10: 영상시스템 300: 카메라 모듈
310: 렌즈부 320: 이미지 센서부
330: AWB 좌표이동부 340: LSC 웨이트설정부
350: 메모리 360: 이미지 신호 처리부
400: 디스플레이

Claims (12)

  1. 다수의 렌즈를 포함하는 렌즈부로부터 광 이미지를 입사 받아 이미지 센서에서 전기적 신호인 영상 데이터로 변환하고 상기 영상 데이터를 이미지 신호 처리부에서 보정하는 방법에 있어서,
    색온도 5100K 환경에서 각 픽셀들이 균일한 밝기값을 가진 표준 영상 입력에 대하여 AWB(auto white balance) 동작하는 영역인 AWB 동작영역 좌표, AGC(auto gain control) 게인 및 LSC(lens shading correction) 레지스터 테이블을 생성하여 저장하는 단계;
    상기 5100K 환경에서 레드 및 블루의 게인값 및 프리뷰상태에서 레드 및 블루의 게인값의 차이를 이용하여 상기 AWB 동작영역 좌표를 이동시키는 단계;
    상기 5100K 환경에서 레드 및 블루의 게인값 및 상기 프리뷰상태에서 레드 및 블루의 게인값의 차이 및 상기 5100K 환경에서 AGC값과 상기 프리뷰상태에서 AGC값의 차이를 이용하여 상기 영상 데이터의 각 픽셀에 대한 렌즈 셰이딩 보상 웨이트를 설정하는 단계;및
    상기 이동된 AWB 동작영역 좌표 및 상기 설정된 렌즈 셰이딩 보상 웨이트를 이용하여 상기 영상 데이터를 자동 화이트 밸런스(AWB) 처리하고 렌즈 셰이딩 보상하는 단계를 포함하는 영상보정방법.
  2. 제 1 항에 있어서,
    상기 AWB 동작영역은
    고온에서 작동하는 DAY 영역, 중간 온도에서 작동하는 CWF 영역 및 저온에서 작동하는 A 영역을 포함하는 영상보정방법.
  3. 제 2 항에 있어서,
    상기 AWB 동작영역 좌표의 이동은
    Figure 112009079419362-PAT00016
    ,
    Figure 112009079419362-PAT00017
    ,
    Figure 112009079419362-PAT00018
    ,
    Figure 112009079419362-PAT00019
    ,
    Figure 112009079419362-PAT00020
    ,
    Figure 112009079419362-PAT00021
    를 이용하는 영상보정방법.
    여기서, B_0는 색온도 5100K 환경에서의 표준영상입력에 대한 블루의 게인, R_0는 색온도 5100K 환경에서의 표준영상입력에 대한 레드의 게인, B_1는 프리뷰상태에서의 블루의 게인, R_1는 프리뷰상태에서의 레드의 게인, XCT는 색온도 5100K 환경에서의 표준영상입력에 대한 CWF 영역 중심의 x축 좌표, YCT는 색온도 5100K 환경에서의 표준영상입력에 대한 CWF 영역 중심의 y축 좌표, DAT_LIMIT는 색온도 5100K 환경에서의 표준영상입력에 대한DAY 영역의 좌측 경계값, DAY_SPT는 색온도 5100K 환경에서의 표준영상입력에 대한 DAY 영역의 우측 경계값, A_LIMIT는 색온도 5100K 환경에서의 표준영상입력에 대한 A 영역의 하위 경계값, A_SPT는 색온도 5100K 환경에서의 표준영상입력에 대한 A 영역의 상위 경계값, NEW_X_CT는 프리뷰상태에서의 CWF 영역 중심의 x축 좌표 , NEW_Y_CT는 프리뷰상태에서의 CWF 영역 중심의 y축 좌표, NEW_DAY_LIMIT는 프리뷰상태에서의 DAY 영역의 좌측 경계값, NEW_DAY_SPT는 프리뷰상태에서의 DAY 영역의 우측 경계값, NEW_A_LIMIT는 프리뷰상태에서의 A 영역의 하위 경계값 및 NEW_A_SPT는 프리뷰상태에서의 A 영역의 상위 경계값임.
  4. 제 1 항에 있어서,
    상기 각 픽셀에 대한 렌즈 셰이딩 보상 웨이트를 설정하는 단계에서,
    Figure 112009079419362-PAT00022
    인 경우를 색온도 5100K 이상인 경우라 하고
    Figure 112009079419362-PAT00023
    인 경우를 색온도 5100K 미만인 경우로 하는 영상보정방법.
    여기서, B_0는 색온도 5100K 환경에서의 표준영상입력에 대한 블루의 게인, R_0는 색온도 5100K 환경에서의 표준영상입력에 대한 레드의 게인, B_1는 프리뷰상태에서의 블루의 게인, R_1는 프리뷰상태에서의 레드의 게인임.
  5. 제 4 항에 있어서,
    상기 색온도 5100K 이상인 경우에 각 픽셀의 LSC 레드 웨이트는
    Figure 112009079419362-PAT00024
    를 이용하는 영상보정방법.
    여기서, NEW_LSC_Rij는 각 픽셀의 LSC 레드 게인값, Ref_LSC_Rij는 LSC 레지스터 테이블의 레드 게인값 및 weight2는 영상 데이터의 중심 픽셀은 가장 웨이트를 적게 두고, 주변부로 갈수록 웨이트를 가중하는 방식으로 웨이트를 둔 각 픽셀에 따른 웨이트임.
  6. 제 4 항에 있어서,
    상기 색온도 5100K 이상인 경우에 각 픽셀의 LSC 레드 웨이트는
    Figure 112009079419362-PAT00025
    를 이용하는 영상보정방법.
    여기서, NEW_LSC_Bij는 각 픽셀의 LSC 블루 게인값, Ref_LSC_Bij는 LSC 레지스터 테이블의 블루 게인값 및 weight1은 영상 데이터의 중심 픽셀은 가장 웨이트를 적게 두고, 주변부로 갈수록 웨이트를 가중하는 방식으로 웨이트를 둔 각 픽셀에 따른 웨이트임.
  7. 제 4 항에 있어서,
    상기 색온도 5100K 미만인 경우에 각 픽셀의 LSC 레드 웨이트는
    Figure 112009079419362-PAT00026
    를 이용하는 영상보정방법.
    여기서, NEW_LSC_Rij는 각 픽셀의 LSC 레드 게인값, Ref_LSC_Rij는 LSC 레지스터 테이블의 레드 게인값 및 weight1은 영상 데이터의 중심 픽셀은 가장 웨이 트를 적게 두고, 주변부로 갈수록 웨이트를 가중하는 방식으로 웨이트를 둔 각 픽셀에 따른 웨이트임.
  8. 제 4 항에 있어서,
    상기 색온도 5100K 미만인 경우에 각 픽셀의 LSC 레드 웨이트는
    Figure 112009079419362-PAT00027
    를 이용하는 영상보정방법.
    여기서, NEW_LSC_Bij는 각 픽셀의 LSC 블루 게인값, Ref_LSC_Bij는 LSC 레지스터 테이블의 블루 게인값 및 weight2는 영상 데이터의 중심 픽셀은 가장 웨이트를 적게 두고, 주변부로 갈수록 웨이트를 가중하는 방식으로 웨이트를 둔 각 픽셀에 따른 웨이트임.
  9. 제 1 항에 있어서,
    각 픽셀에 대한 렌즈 셰이딩 보상 웨이트를 설정하는 단계에서,
    Figure 112009079419362-PAT00028
    인 경우는 저조도로 하고,
    Figure 112009079419362-PAT00029
    가 아닌 경우는 고조도로 하는 영상보정방법.
    여기서, AGC_0은 색온도 5100K 환경에서의 표준영상입력에 대한 AGC 게인값, AGC_1는 프리뷰상태에서의 AGC 게인값임.
  10. 제 9 항에 있어서,
    상기 저조도인 경우에 각 픽셀의 LSC 레드 웨이트는
    Figure 112009079419362-PAT00030
    를 이용하는 영상보정방법.
    여기서, NEW_LSC_Rij는 각 픽셀의 LSC 레드 게인값, Ref_LSC_Rij는 LSC 레지스터 테이블의 레드 게인값, AGC0은 색온도 5100K 환경에서의 표준영상입력에 대한 AGC 게인값 및 AGC_1는 프리뷰상태에서의 AGC 게인값임.
  11. 제 9 항에 있어서,
    상기 저조도인 경우에 각 픽셀의 LSC 블루 웨이트는
    Figure 112009079419362-PAT00031
    를 이용하는 영상보정방법.
    여기서, NEW_LSC_Bij는 각 픽셀의 LSC 블루 게인값, Ref_LSC_Bij는 LSC 레지스터 테이블의 블루 게인값, AGC0은 색온도 5100K 환경에서의 표준영상입력에 대한 AGC 게인값 및 AGC_1는 프리뷰상태에서의 AGC 게인값임.
  12. 제 4 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 각 픽셀에 대한 렌즈 셰이딩 보상 웨이트를 설정하는 단계에서,
    각 픽셀에 대한 렌즈 셰이딩 보상 웨이트는 상기 색온도에 대한 웨이트와 상 기 조도에 대한 웨이트를 곱하는 방식으로 획득하는 영상보정방법.
KR1020090129054A 2009-12-22 2009-12-22 영상보정방법 KR20110072213A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090129054A KR20110072213A (ko) 2009-12-22 2009-12-22 영상보정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090129054A KR20110072213A (ko) 2009-12-22 2009-12-22 영상보정방법

Publications (1)

Publication Number Publication Date
KR20110072213A true KR20110072213A (ko) 2011-06-29

Family

ID=44403174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090129054A KR20110072213A (ko) 2009-12-22 2009-12-22 영상보정방법

Country Status (1)

Country Link
KR (1) KR20110072213A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761728A (zh) * 2013-12-27 2014-04-30 华为技术有限公司 一种镜头亮度衰减校正的方法及装置
CN104683774A (zh) * 2013-11-27 2015-06-03 英特尔公司 减少数字图像中的色彩伪像的技术
KR101594258B1 (ko) 2014-09-24 2016-02-16 주식회사 넥서스칩스 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법
WO2016048498A1 (en) * 2014-09-26 2016-03-31 Intel Corporation Method and system of lens shading color correction using block matching
US9386243B2 (en) 2013-12-27 2016-07-05 Samsung Electronics Co., Ltd. Lens shading correction method and image signal processing device and image sensor system employing the method
KR20160098540A (ko) 2015-02-09 2016-08-19 주식회사 넥서스칩스 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법
CN103761728B (zh) * 2013-12-27 2016-11-30 华为技术有限公司 一种镜头亮度衰减校正的方法及装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683774A (zh) * 2013-11-27 2015-06-03 英特尔公司 减少数字图像中的色彩伪像的技术
KR20150061564A (ko) * 2013-11-27 2015-06-04 인텔 코포레이션 디지털 영상에서의 컬러 아티팩트 감소 기법
US9361537B2 (en) 2013-11-27 2016-06-07 Intel Corporation Techniques to reduce color artifacts in a digital image
US9386243B2 (en) 2013-12-27 2016-07-05 Samsung Electronics Co., Ltd. Lens shading correction method and image signal processing device and image sensor system employing the method
CN103761728A (zh) * 2013-12-27 2014-04-30 华为技术有限公司 一种镜头亮度衰减校正的方法及装置
CN103761728B (zh) * 2013-12-27 2016-11-30 华为技术有限公司 一种镜头亮度衰减校正的方法及装置
KR101594258B1 (ko) 2014-09-24 2016-02-16 주식회사 넥서스칩스 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법
WO2016048498A1 (en) * 2014-09-26 2016-03-31 Intel Corporation Method and system of lens shading color correction using block matching
US9781398B2 (en) 2014-09-26 2017-10-03 Intel Corporation Method and system of lens shading color correction using block matching
US10205924B2 (en) 2014-09-26 2019-02-12 Intel Corporation Method and system of lens shading color correction using block matching
US10715773B2 (en) 2014-09-26 2020-07-14 Intel Corporation Method and system of lens shading color correction using block matching
US11082675B2 (en) 2014-09-26 2021-08-03 Intel Corporation Method and system of lens shading color correction using block matching
US11882369B2 (en) 2014-09-26 2024-01-23 Intel Corporation Method and system of lens shading color correction using block matching
KR20160098540A (ko) 2015-02-09 2016-08-19 주식회사 넥서스칩스 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법

Similar Documents

Publication Publication Date Title
KR100843089B1 (ko) 영상의 시인성을 향상시키는 장치 및 방법
US9813634B2 (en) Image processing apparatus and method
JP5054184B2 (ja) オートフォーカスカメラモジュールでのレンズシェーディング補償方法
CN111885312B (zh) Hdr图像的成像方法、系统、电子设备及存储介质
US8885078B2 (en) Image processing apparatus, image processing method, and recording medium storing image processing program
JP2007129622A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JPWO2012093519A1 (ja) 撮像装置及びその発光量制御方法
US8559747B2 (en) Image processing apparatus, image processing method, and camera module
KR20110072213A (ko) 영상보정방법
CN114240782A (zh) 图像校正方法、系统及电子设备
US9565411B2 (en) Image processing device, image processing method, and non-transitory computer-readable recording medium for recording image processing program
CN108259754A (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
US20200074602A1 (en) Image processing apparatus and control method thereof
KR101613528B1 (ko) 영상 이미지 보정방법
JP2009004966A (ja) 撮像装置
JP6315239B2 (ja) 撮像装置、撮像方法、画像処理装置、撮像プログラム
US9113121B2 (en) Method for white balance adjustment of images
CN1976481A (zh) 影像补偿装置与方法
US20070024718A1 (en) Image capturing device and image adjusting method thereof
JP4887680B2 (ja) ホワイトバランス調整装置、及びホワイトバランス調整方法
KR20110064306A (ko) 렌즈 셰이딩 보상방법
US7512266B2 (en) Method and device for luminance correction
JP2008153848A (ja) 画像処理装置
US12010436B2 (en) Imaging apparatus, method for controlling imaging apparatus, and storage medium
KR20090011471A (ko) 디지털 이미지 처리장치, 그 디스플레이 방법 및 이를실행시키기 위한 프로그램을 저장한 기록매체

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid