KR100818479B1 - 선명도 향상을 위한 이미지 처리 방법 - Google Patents

선명도 향상을 위한 이미지 처리 방법 Download PDF

Info

Publication number
KR100818479B1
KR100818479B1 KR1020070022613A KR20070022613A KR100818479B1 KR 100818479 B1 KR100818479 B1 KR 100818479B1 KR 1020070022613 A KR1020070022613 A KR 1020070022613A KR 20070022613 A KR20070022613 A KR 20070022613A KR 100818479 B1 KR100818479 B1 KR 100818479B1
Authority
KR
South Korea
Prior art keywords
channel
correction
image
blurring
sharpness
Prior art date
Application number
KR1020070022613A
Other languages
English (en)
Inventor
김현
정호섭
허훈
올렉 코넵스키
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020070022613A priority Critical patent/KR100818479B1/ko
Application granted granted Critical
Publication of KR100818479B1 publication Critical patent/KR100818479B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/044—Moving a scanning element into cooperation with a calibration element, e.g. a grey-wedge mounted on the document support, or vice versa

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Processing (AREA)

Abstract

이미지의 선명도를 향상시킬 수 있는 이미지 처리 방법이 개시된다. 상기 이미지 처리 방법은, 이미지 센서로부터 출력되는 녹색 채널, 적색 채널 및 청색 채널을 포함하는 베이어(Bayer) 이미지의 각 색상 채널에 가우시안 미분 필터를 적용하여 각 색상 채널에 대한 그래디언트 이미지를 생성하는 단계; 상기 녹색 채널, 적색 채널 및 청색 채널 중 하나를 기준 채널로 결정하고 나머지 색상 채널을 보정 채널로 결정한 후, 상기 기준 채널의 그래디언트 이미지와 상기 보정 채널의 그래디언트 이미지의 공통 위치에 존재하는 피크를 검출하고 상기 검출된 기준 채널 및 보정 채널의 피크가 갖는 파라미터를 계산하는 단계; 상기 검출된 기준 채널 및 보정 채널의 피크가 갖는 파라미터를 이용하여 상기 기준 채널 및 보정 채널의 블러링된 에지함수를 구하고, 상기 기준 채널 및 보정 채널의 블러링된 에지함수를 이용하여 색수차 보정 마스크를 구성하는 단계; 및 상기 색수차 보정 마스크를 상기 보정 채널에 적용하여 상기 보정 채널의 픽셀들의 값을 보정하는 단계를 포함한다.
선명도, 블러링, 색수차, 디콘볼루션 필터(DCF), RGB, YCbCr

Description

선명도 향상을 위한 이미지 처리 방법{IMAGE PROCESSING METHOD FOR IMPROVING SHARPNESS}
도 1은 색수차 발생 개념 및 종래의 이미지 처리 프로세스를 설명하기 위한 소형 카메라 모듈의 구성도이다.
도 2는 종래의 소형 카메라 모듈로 측정된 수평 방향 에지 프로파일을 도시한 그래프이다.
도 3은 본 발명의 이미지 처리 방법이 적용되는 카메라 모듈의 구성도이다.
도 4는 본 발명에 따른 선명도 향상을 위한 이미지 처리 방법에 적용되는 색수차 보정 기법의 플로우 차트이다.
도 5는 본 발명에 따른 선명도 향상을 위한 이미지 처리 방법에 적용되는 색수차 보정 기법의 각 단계에 대한 설명을 위한 도면이다.
도 6은 본 발명의 일실시형태에 따른 선명도 향상을 위한 이미지 처리 방법을 도시한 플로우 차트이다.
도 7은 본 발명의 일실시형태에 따른 Y 채널의 블러링 함수를 구하는 과정을 더욱 상세하게 도시한 플로우 차트이다.
도 8은 본 발명의 일실시형태에 따른 선명도 향상 계수의 매개변수를 결정하 는 방법을 도시한 플로우 차트이다.
도 9는 본 발명이 적용된 카메라 모듈과 적용되지 않은 카메라 모듈에 의해 촬상된 이미지의 에지 프로파일 및 공간 주파수 응답을 비교한 그래프이다.
본 발명은 이미지의 선명도를 향상시키기 위한 이미지 처리 방법에 관한 것으로, 더욱 상세하게는 적색, 청색, 녹색 채널로 이루어지는 베이어(Bayer) 이미지에서 각 색상 채널 간의 파장 차로 인해 발생하는 색수차를 감소시키고, 더하여 이미지의 점확산 함수 및 이미지 처리에 의해 발생하는 이미지의 블러를 고려하여 디스플레이되거나 저장되기 직전의 이미지의 선명도를 향상시킬 수 있는 이미지 처리 방법에 관한 것이다.
최근, 휴대 전화기와 같은 이동식 단말기에 적용되고 있는 카메라 모듈은 화소수의 증가 및 부피의 소형화가 요구되고 있다. 이러한 화소수 증가의 요구를 충족시키기 위해 이미지 센서 픽셀의 크기를 감소시킴으로써 제한된 면적의 이미지 센서 내에서 고화소화를 구현하고 있다. 또한, 소형화 요구를 충족시키기 위해서, 카메라 모듈 광학계에 사용되는 렌즈의 수를 3 매 이하로 제한하고, 대량 생산의 용이성 및 원가 절감을 위해 렌즈의 재료로서 유리 대신 플라스틱을 채택하고 있 다.
이러한 추세에 따라 센서의 픽셀 크기가 작아지면서 센서면에서 초점을 맺는 빔의 스폿(spot)이 차지하는 픽셀의 개수가 늘어나게 됨으로써 렌즈의 색수차량이 점점 증가하며 이미지의 해상도 저하를 유발시키며 이로 인해 카메라 모듈에 의해 촬영되는 이미지의 화질 열화가 발생한다. 또한, 렌즈의 수가 감소되고 렌즈의 재료로서 플라스틱이 사용됨으로써 렌즈에 의한 색수차는 더욱 증가할 수 밖에 없는 상황이다.
도 1은 색수차 발생 개념 및 종래의 이미지 처리 프로세스를 설명하기 위한 도면이다. 도 1에 도시된 바와 같이, 일반적인 소형 카메라 모듈은 3 매 이하의 렌즈로 이루어진 광학계(11)와, 광학계(11)를 통과한 빛에서 적외선(IR) 영역의 빛을 차단하고 가시 광선 영역의 빛을 투과시키는 적외선 차단 필터(12)와, 적외선 차단 필터(12)를 투과한 가시 광선 영역의 빛을 검출하여 베이어(Bayer) 이미지을 나타내는 전기적인 신호로 출력하는 이미지 센서(13)와, 상기 이미지 센서(13)에서 생성된 전기 신호를 처리하여 RGB 이미지로 출력하는 이미지 신호 처리부(Image Signal Process: ISP)(14)로 이루어진다. 상기 이미지 신호 처리부(14)는 이미지 센서(13)로부터 입력되는 베이어 이미지를 이용하여 각 화소의 컬러보간을 수행하여 각 화소의 RGB값을 결정하는 컬러보간부(141)와, 이미지 화질의 개선을 위해 이미지의 컬러를 수정하고, 감마(gamma)값을 수정하는 컬러 처리부(142)와, 이미지에 대한 콘트라스트 스트레칭(contrast stretching), 샤프닝(sharpening) 등을 수행하 는 선명도 개선부(143)을 포함할 수 있다.
도 1에 도시된 바와 같이, 일반적인 소형 카메라 모듈에서는 광학계(11)를 투과한 가시광선 중 녹색광의 빔을 기준으로 이미지 센서(13)의 위치가 결정된다. 다시 말하면, 일반적인 소형 카메라 모듈은, 녹색광의 파장을 갖는 빔(G)이 가장 정확하게 초점을 맺는 위치에 이미지 센서(13)가 배치되도록 설계된다. 이로 인해, 녹색광과 다른 파장을 갖는 적색광의 빔(R)과, 청색광의 빔(B)은 녹색광의 파장을 기준으로 배치된 이미지 센서(13)에서는 정확하게 초점을 맺지 못하게 된다. 이미지 센서(13)에서 검출되는 빔 스폿의 크기를 비교할 때, 통상적으로 가장 정확하게 초점이 맺히는 녹색광의 파장을 갖는 빔(G)이 가장 작은 스폿을 형성하며, 청색광의 파장(B)을 갖는 빔이 가장 큰 스폿을 형성한다. 이러한 각 색상 빔의 스폿 크기 차이는 렌즈의 굴절률이 빛의 파장에 따라 차이가 나기 때문이다.
이와 같은 소형 카메라 모듈의 설계상의 한계로 인해, 종래의 소형 카메라 모듈은 적색광 및 청색광 파장의 빔(R, B)은 녹색광 파장의 빔(G)보다 상대적으로 큰 스폿을 형성하게 되며 이에 따라 필연적으로 이미지 센서(13)로부터 검출되는 이미지에 블러링(blurring), 즉 색수차가 발생하여 이미지의 전체적인 선명도를 저하시키는 문제를 갖는다.
특히, 이러한 색수차의 양은 이미지 센서(13)로부터 출력되는 베이어 포맷의 센서 로(raw) 이미지에서는 크게 나타나지 않지만, 이 후 이미지 신호 처리부(14)에서 수행되는 컬러보간, 컬러 수정, 감마 수정, 콘트라스트 스트레칭, 샤프닝 등의 이미지 처리 과정을 거치면서 색수차의 양이 크게 증폭되어, 이미지 신호 처리 부(14)에서 최종 출력되는 RGB 이미지에서는 현저한 화질의 열화가 나타나는 심각한 문제가 발생할 수 있다.
이러한, 블러링 또는 색수차는 카메라 모듈의 에지 프로파일을 측정함으로써 더욱 명확하게 알 수 있다.
도 2는 E48R로 알려진 플라스틱 재료로 제작된 렌즈 3매를 광학계로 사용한 200만 화소 소형 카메라 모듈로 측정된 수평 방향 에지 프로파일을 도시한 그래프이다. 도 2에 도시된 에지 프로파일은, x축에서 0으로 표시된 위치에 수평방향 에지가 형성된 흑-백 이미지를 촬상하여 얻어진 것이다. 도 2에 나타난 바와 같이, 녹색광이 형성하는 에지 프로파일(G)이 가장 급격한 경사를 나타내었으며, 적색광이 형성하는 에지 프로파일(R)과 청색광이 형성하는 에지 프로파일(B)는 녹색광의 에지 프로파일(G)보다 완만한 경사를 나타내었다. 이러한 에지 프로파일의 경사도 차이는 각 색상의 빔 스폿의 크기로 설명될 수 있다. 즉, 빔 스폿이 클수록 경사도가 완만해진다. 따라서 도 2를 참조하면, 녹색광 파장의 빔 스폿이 가장 작고, 다음으로 적색광 파장의 빔 스폿이 작으며, 청색광 파장의 빔 스폿이 상대적으로 가장 크다는 것을 알 수 있다. 이러한 빔 스폿의 크기 차이, 즉 색수차는 동일한 면적을 갖는 이미지 센서에서 그 화소수가 증가할수록 더욱 커지게 되며, 이로 인해 이미지 처리 과정을 거친 출력 RGB 이미지의 색번짐 및 해상도 저하 등으로 인해 화질 열화가 커지는 문제점이 발생하게 된다.
또한, 도 1에 도시된 종래의 이미지 신호 처리부(14)에서 출력되기 직전 이미지의 선명도를 향상시키기 위해 구비되는 선명도 개선부(143)는 렌즈의 특성, 예를 들어 점확산 함수(Point Spread Function: PSF)에 의한 선명도 저하를 고려하지 않는다. 종래의 저화소 카메라 모듈에서는 렌즈의 점확산 함수에 의한 해상력 저하를 무시할 수 있었으므로 이미지 신호 처리부의 선명도 향상부는 단순히 이미지 신호 처리부(14)에서 발생하는 블러링 만을 보정하는 방법을 채택하였다. 그러나 플라스틱 렌즈를 사용하는 고화소 소형 카메라 모듈에서는 렌즈의 점확산 함수의 영향이 증가하므로 렌즈의 점확산 함수에 따른 해상력 저하를 제거할 수 있는 선명도 향상 방법이 요구되고 있다. 그러나 종래의 선명도 향상 방법은 렌즈의 특성에 의한 해상력 저하를 고려하지 않으므로 이미지 신호 처리부(14)에서 출력되는 최종 이미지의 선명도를 향상시키는데 한계를 갖는 문제점이 있다.
본 발명은 전술한 종래기술의 문제점을 해결하기 위해 제안된 것으로, 그 목적은 이미지 센서로부터 검출되는 베이어 이미지에서 발생하는 녹색 채널, 적색 채널, 청색 채널 이미지의 스폿 크기 차이에 의한 색수차 현상을 보정하여 이미지의 선명도를 향상시킬 수 있는 이미지 처리 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 고화소 이미지 센서를 사용함으로써 발생하는 점확산 함수에 의한 선명도 저하 및 이미지 처리 과정에서 발생하는 블러를 함께 고려하여 디스플레이 또는 저장되기 이전의 이미지의 선명도를 향상시킬 수 있는 이 미지 처리 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일측면은,
a) 이미지 센서로부터 출력되는 녹색 채널, 적색 채널 및 청색 채널을 포함하는 베이어(Bayer) 이미지의 각 색상 채널에 가우시안 미분 필터를 적용하여 각 색상 채널에 대한 그래디언트 이미지를 생성하는 단계;
b) 상기 녹색 채널, 적색 채널 및 청색 채널 중 하나를 기준 채널로 결정하고 나머지 색상 채널을 보정 채널로 결정한 후, 상기 기준 채널의 그래디언트 이미지와 상기 보정 채널의 그래디언트 이미지의 공통 위치에 존재하는 피크를 검출하고 상기 검출된 기준 채널 및 보정 채널의 피크가 갖는 파라미터를 계산하는 단계;
c) 상기 검출된 기준 채널 및 보정 채널의 피크가 갖는 파라미터를 이용하여 상기 기준 채널 및 보정 채널의 블러링된 에지함수를 구하고, 상기 기준 채널 및 보정 채널의 블러링된 에지함수를 이용하여 색수차 보정 마스크를 구성하는 단계; 및
d) 상기 색수차 보정 마스크를 상기 보정 채널에 적용하여 상기 보정 채널의 픽셀들의 값을 보정하는 단계
를 포함하는 선명도 향상을 위한 이미지 처리 방법을 제공한다.
바람직하게, 상기 녹색 채널이 상기 기준 채널으로 결정되고, 상기 적색 및 청색 채널이 상기 보정 채널로 결정될 수 있다.
바람직하게, 상기 단계 a)는, 상기 베이어(Bayer) 이미지의 각 색상 채널에 가우시안 미분 필터를 적용하여 각 색상 채널에 대한 그래디언트 이미지를 생성한 후, 상기 그래디언트 이미지에서 기설정된 임계값 미만의 값을 갖는 픽셀의 값을 0으로 설정하여, 그래디언트 이미지에 포함된 노이즈 성분을 제거할 수 있다.
본 발명의 일실시형태에서, 상기 단계 a)는, 이미지 센서로부터 출력되는 녹색 채널, 적색 채널 및 청색 채널을 포함하는 베이어(Bayer) 이미지의 각 색상 채널에 수평방향 및 수직방향으로 각각 1차원 가우시안 미분 필터를 적용하여 각 색상 채널에 대한 수평방향 및 수직방향 그래디언트 이미지를 생성하는 단계일 수 있다.
이 실시형태에서, 상기 단계 b)는, 상기 녹색 채널, 적색 채널 및 청색 채널 중 하나를 기준 채널로 결정하고 나머지 색상 채널을 보정 채널로 결정하는 단계; 상기 기준 채널의 수평방향 그래디언트 이미지와 상기 보정 채널의 수평방향 그래디언트 이미지의 공통 위치에 존재하는 수평방향 피크를 검출하고 상기 검출된 기준 채널 및 보정 채널의 수평방향 피크가 갖는 파라미터를 계산하는 단계; 및 상기 기준 채널의 수직방향 그래디언트 이미지와 상기 보정 채널의 수직방향 그래디언트 이미지의 공통 위치에 존재하는 수직방향 피크를 검출하고 상기 검출된 기준 채널 및 보정 채널의 수직방향 피크가 갖는 파라미터를 계산하는 단계를 포함할 수 있다.
또한, 이 실시형태에서, 상기 단계 c)는, 상기 검출된 기준 채널 및 보정 채널의 수평방향 피크가 갖는 파라미터를 이용하여 상기 기준 채널 및 보정 채널의 블러링된 수평방향 에지함수를 구하고, 상기 기준 채널 및 보정 채널의 블러링된 수평방향 에지함수를 이용하여 수평방향 색수차 보정 마스크를 구성하는 단계; 및 상기 검출된 기준 채널 및 보정 채널의 수직방향 피크가 갖는 파라미터를 이용하여 상기 기준 채널 및 보정 채널의 블러링된 수직방향 에지함수를 구하고, 상기 기준 채널 및 보정 채널의 블러링된 수직방향 에지함수를 이용하여 수직방향 색수차 보정 마스크를 구성하는 단계를 포함할 수 있다.
또한, 이 실시형태에서, 상기 단계 d)는, 상기 수평방향 및 수직방향 색수차 보정 마스크를 각각 상기 보정 채널에 적용하여 상기 보정 채널의 픽셀들의 값을 보정하는 단계일 수 있다.
바람직하게, 상기 검출된 기준 채널 및 보정 채널의 피크가 갖는 파라미터는, 상기 기준 채널의 피크의 블러링 양, 상기 보정 채널의 피크의 블러링 양 및 상기 보정 채널의 피크 크기를 포함할 수 있다.
이와 같은 보정 채널의 피크가 갖는 파라미터를 이용하여, 상기 기준 채널의 블러링된 에지함수 및 상기 보정 채널의 블러링된 에지함수는 각각 하기 식 1 및 식 2에 의해 결정될 수 있다.
[식 1]
Figure 112007018828301-pat00001
[식 2]
Figure 112007018828301-pat00002
상기 식 1 및 식 2에서, Er은 상기 기준 채널의 블러링된 에지함수, Ec은 상기 보정 채널의 블러링된 에지함수, E는 이상적인 에지함수, P는 가우시안 로우패스 필터,
Figure 112007018828301-pat00003
는 상기 기준 채널의 피크의 블러링 양,
Figure 112007018828301-pat00004
는 상기 보정 채널의 피크의 블러링 양,
Figure 112007018828301-pat00005
는 콘볼루션 연산을 나타낸다.
또한, 상기 식 1 및 식 2에 의해 연산된 상기 기준 채널의 블러링된 에지함수 및 상기 보정 채널의 블러링된 에지함수를 이용하여 상기 색수차 보정 마스크는 하기 식 3에 의해 결정될 수 있다.
[식 3]
Figure 112007018828301-pat00006
상기 식 3에서, C는 색수차 보정 마스크, Er은 상기 기준 채널의 블러링된 에지함수, Ec은 상기 보정 채널의 블러링된 에지함수, Mc는 상기 보정 채널의 피크 크기, k는 보정상수를 나타낸다.
또한, 상기 식 3을 이용하여 상기 단계 d)는 하기 식 4와 같이 이루어질 수 있다.
[식 4]
Figure 112007018828301-pat00007
상기 식 4에서, Ic'(x)는 보정 채널의 픽셀 x의 보정된 픽셀값, Ic(x)는 보정 채널의 픽셀 x의 보정 이전 픽셀값, C는 색수차 보정 마스크를 나타낸다.
본 발명의 목적을 달성하기 위한 다른 측면은,
이미지 센서에서 검출된 베이어 이미지를 컬러 보간하여 RGB 이미지를 생성하고 상기 RGB 이미지를 컬러 처리하고 상기 컬러 처리된 RGB 이미지를 YCbCr 이미지로 변환한 후, 상기 변환된 YCbCr 이미지의 선명도를 향상시키는 선명도 향상을 위한 이미지 처리 방법에 있어서,
상기 이미지 센서가 흑백 라인에지를 촬상하여 생성된 YCbCr 이미지에서 Y 채널의 에지 프로파일 곡선을 취득하는 단계;
상기 Y 채널의 에지 프로파일 곡선을 미분하여 상기 Y 채널의 블러링 곡선을 구하고, 상기 블러링 곡선을 표현하는 블러링 함수를 결정하는 단계- 상기 블러링 함수는 가우스 분포 함수이며, 상기 가우스 분포 함수의 폭을 나타내는 파라미터를 블러링 양으로 정의함-;
상기 Y 채널에 대한 블러링 함수를 이용하여 Y 채널에 대한 선명도 향상 계 수를 구하는 단계; 및
상기 Y 채널에 대한 선명도 향상 계수를 상기 Y 채널에 적용하는 단계
를 포함하는 선명도 향상을 위한 이미지 처리 방법을 제공한다.
바람직하게, 상기 Y 채널에 대한 선명도 향상 계수는 각각 선명도 향상 크기를 조정하는 매개변수를 가질 수 있다. 이 경우, 본 발명의 선명도 향상을 위한 이미지 처리 방법은, 상기 Y 채널에 대한 선명도 향상 계수를 적용하여 선명도 향상 처리된 이미지의 에지 프로파일 곡선으로부터 선명도 향상 처리된 Y 채널의 스폿 크기를 구하는 단계; 및 상기 선명도 향상 처리된 Y 채널의 스폿 크기 및 기설정된 목표 스폿 크기를 비교하고, 상기 Y 채널의 스폿 크기와 기설정된 목표 스폿 크기가 실질적으로 동일해질 때까지 상기 매개변수의 값을 조정하여 Y 채널에 대한 선명도 향상 계수를 수정하는 단계를 더 포함할 수 있다.
바람직하게, 상기 Y 채널에 대한 블러링 곡선을 표현하는 블러링 함수는 하기 식 5과 같은 가우스 분포 함수일 수 있다.
[식 5]
Figure 112007018828301-pat00008
(mc-Nx≤m≤mc+Nx, nc-Ny≤n≤nc+Ny)
상기 식 5에서, b는 블러링 함수, △x는 이미지 센서의 수평방향 화소 간격, △y는 이미지 센서의 수직방향 화소 간격, A는 블러링 함수의 높이(수평방향 블러링 함수의 높이와 수직방향 블러링 함수의 높이의 평균), mc는 블러링 함수의 수평방향 중심화소의 좌표, nc는 블러링 함수의 수직방향 중심화소의 좌표 , σx는 수평방향 블러링 양, σy는 수직방향 블러링 양을 나타낸다.
상기 식 5와 같은 블러링 함수를 이용하여 상기 선명도 향상 계수는 하기 식 6과 같이 결정될 수 있다.
[식 6]
Figure 112007018828301-pat00009
상기 식 6에서, D는 선명도 향상 계수, B는 상기 식 5의 함수 b의 푸리에 변환, △u=1/△x, △v=1/△y, k는 매개변수를 나타낸다.
본 발명의 바람직한 실시형태는, 상기 Y 채널에 대한 선명도 향상 계수를 상기 Y 채널에 적용하는 단계에서 선명도 향상 계수가 적용되어 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기를 비교한 스코어를 산출 및 저장하는 단계; 상기 선명도 향상 계수의 매개변수를 변경하여 선명도 향상 계수를 수정하고, 수정된 선명도 향상 계수를 이용하여 상기 Y 채널의 선명도 향상 처리를 수행하고, 수정된 선명도 향상 계수에 의해 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기를 비교한 스코어를 산출하는 단계- 이 단계는 상기 매개변수를 변경하여 반복적으로 수행됨-; 및 상기 저장된 스코어 중 최소값을 갖는 스코어가 산출된 매개변수를 갖는 선명도 향상 계수를 최종 선명도 향상 계수로 결정하는 단계를 더 포함할 수 있다.
이 실시형태에서, 상기 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기를 비교한 스코어를 산출 및 저장하는 단계는, 상기 선명도 향상 처리된 Y 채널의 수평방향 스폿크기와 상기 목표 스폿크기를 비교한 수평방향 스코어를 산출하는 단계; 상기 선명도 향상 처리된 Y 채널의 수직방향 스폿크기와 상기 목표 스폿크기를 비교한 수직방향 스코어를 산출하는 단계; 및 상기 수평방향 스코어 및 상기 수직방향 스코어의 합을 산출하여 전체 스코어로 저장하는 단계를 포함할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 또한, 본 발명을 설명함에 있어서, 정의되는 용어들은 본 발명에서의 기능을 고려하여 정의 내려진 것으로, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 등에 따라 달라질 수 있으므로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 아니 될 것이다.
도 3은 본 발명의 이미지 처리 방법이 적용되는 카메라 모듈의 구성도이다.
도 3을 참조하면, 본 발명의 이미지 처리 방법이 적용되는 카메라 모듈(30)은, 이미지 센서(미도시)로부터 출력되는 베이어(Bayer) 이미지를 입력받아, 상기 베이어 이미지의 녹색, 적색 및 청색 채널 간의 블러링 차이를 보정하여 색수차를 감소시키는 색수차 보정부(31)와, 상기 색수차 보정부(31)에서 출력되는 색수차 보정된 베이어 이미지를 입력받아, 각종 이미지 처리를 수행하는 이미지 신호 처리부(Image Signal Processor: ISP)(32)로 이루어 진다.
상기 이미지 신호 처리부(32)는 상기 색수차 보정부(31)로부터 입력되는 색수차 보정된 베이어 이미지의 각 픽셀들의 RGB 값을 결정하여 베이어 이미지를 RGB 이미지로 변환하는 컬러보간부(321)와, 화질 개선을 위해 상기 RGB 이미지의 컬러를 수정하고 감마(gamma)값 등을 수정하는 컬러처리부(322)와, 컬러처리된 RGB 이미지를 YCbCr 이미지로 변환하는 RGB-YCbCr 변환부(323) 및 점확산 함수에 의한 선명도 저하 및 보간, 컬러처리, 변환 등에 의해 발생할 수 있는 블러링을 고려하여 상기 변환된 YCbCr 이미지의 선명도를 향상시키는 선명도 개선부(324)를 포함할 수 있다.
상기 선명도 개선부(324)는 디스플레이 또는 저장되기 직전, 즉 이미지 신호 처리부(ISP)(32)에서 출력되기 직전의 이미지에 대한 선명도를 향상시키기 위한 것이다. 상기 선명도 개선부(324)에서 출력되는 이미지는 디스플레이부 또는 저장부(33)에 디스플레이되거나 저장될 수 있다.
본 발명에 따른 이미지 처리 방법은 전술한 카메라 모듈의 구성 중, 색수차 보정부(31)에서 이루어지는 베이어 이미지에 대한 색수차 보정 기법과, 이미지 신호 처리부(32)의 선명도 개선부(324)에서 이루어지는 점확산 함수 등에 의한 블러링을 감안한 선명도 향상 기법에 관련된 것이다. 이하에서는, 먼저 색수차 보정부(31)에서 이루어지는 색수차 보정 기법에 대해 설명하고, 이어 선명도 개선부(324)에서 이루어지는 선명도 향상 기법에 대해 순차적으로 설명한다.
먼저, 본 발명의 선명도 향상을 위한 이미지 처리 방법에 적용되는 색수차 보정 기법에 대해 설명한다.
도 4는 본 발명에 따른 선명도 향상을 위한 이미지 처리 방법에 적용되는 색수차 보정 기법의 플로우 차트이다.
도 4를 참조하면, 본 발명에 적용되는 색수차 보정 기법은 크게 베이어 이미지의 각 색상 채널에 가우시안(Gaussian) 미분 필터를 적용하는 단계(S41)와, 상기 가우시안 미분 필터의 적용을 통해 생성된 각 색상 채널의 그래디언트(gradient) 이미지의 피크를 판별하고, 상기 피크에 대한 파라미터들을 산출하는 단계(S42, S43)과, 상기 피크에 대한 파라미터들을 이용하여 색수차 보정을 위한 색수차 보정 마스크를 구성하는 단계(S44)와, 상기 색수차 보정 마스크를 입력되는 베이어 이미지에 적용하는 단계(S45)를 포함하여 구성된다.
상기 가우시안 미분 필터를 적용하는 단계(S41)에서는, 이미지 센서로부터 출력되는 녹색 채널, 적색 채널 및 청색 채널을 포함하는 베이어 이미지의 각 색상 채널에 가우시안 미분 필터를 적용하여 각 색상 채널에 대한 그래디언트 이미지를 생성한다. 본 단계(S41)는, 가우시안 미분 필터의 스케일(scale)을 결정하고, 필터의 커널(kernel)을 구성하고, 가우시안 미분 필터를 각 색상 채널에 콘볼루션(convolution)하여 그래디언트 이미지를 생성하는 과정을 모두 포함할 수 있다. 상기 필터의 스케일을 결정하고 커널을 구성하는 과정은 본 발명과 직접적인 관련이 없으므로 발명의 요점을 흐르지 않기 위해 그에 대한 더 상세한 설명은 생략하기로 한다.
특히, 상기 가우시안 미분 필터는, 수평 방향 및 수직 방향의 그래디언트 이미지를 생성하기 위한 1차원 가우시안 미분 필터일 수 있으며, 본 단계(S41)에서는 상기 1차원 가우시안 미분 필터를 수평 방향 및 수직 방향으로 콘볼루션 연산하여 수직 방향 및 수평 방향의 그래디언트 이미지를 생성할 수 있다. 이하의 설명에서, 수평 방향 또는 수직 방향과 같이 별도의 방향을 언급하지 않는 경우라 할지라도, 이 후에 수반되는 본 발명의 공정은 수평 방향과 수직 방향에 동일하게 적용될 수 있으며 그 결과물 또한 수평 방향 및 수직 방향에 대한 결과물이 생성될 수 있다는 점을 알려두고자 한다.
바람직하게, 상기 가우시안 미분 필터를 적용하는 단계(S41)에서는, 생성된 그래디언트 이미지에서 기설정된 임계값보다 작은 값을 갖는 픽셀들은 그 값을 0으로 재설정하는 과정을 수행할 수 있다. 상기 임계값은 그래디언트 이미지의 픽셀값 중 노이즈로 판단하여 무시할 수 있는 최대값에 해당하는 것으로, 이 임계값보다 작은 값을 갖는 픽셀의 값은 노이즈로 판단하여 그 값을 무시하기 위해 0으로 재설정하게 된다. 이를 통해 그래디언트 이미지 상에서 불필요한 노이즈 성분을 효과적으로 제거할 수 있고 유효한 값을 갖는 그래디언트 이미지를 생성할 수 있게 된다.
다음으로, 그래디언트 이미지에서 피크를 판별하고(S42) 판별된 피크에 대한 파라미터를 산출하는 단계(S42)에서는, 베이어 이미지의 녹색 채널, 적색 채널 및 청색 채널 중 하나를 기준 채널로 결정하고 나머지 색상 채널을 보정 채널로 결정한 후, 상기 기준 채널의 그래디언트 이미지와 상기 보정 채널의 그래디언트 이미지의 공통 위치에 존재하는 피크를 검출하고 상기 검출된 기준 채널 및 보정 채널의 피크가 갖는 파라미터를 계산한다.
바람직하게, 녹색 채널이 기준 채널이 되고 나머지 적색 채널 및/또는 청색 채널이 보정 채널이 될 수 있다. 이는, 상기 도 1을 통해 종래 기술에 대한 설명에서도 기술하였듯이, 통상적으로 카메라 모듈의 이미지 센서의 위치는 녹색 채널이 가장 초점이 잘 맞는 위치로 설계되기 때문이다. 상기 기준 채널은 상기 보정 채널을 보정하고자 하는 기준이 되는 것으로 이 후 결정되는 색수차 보정 마스크가 적용되지 않는 채널이다. 바람직하게, 보정 채널에 대한 최적의 보정이 이루어진 경우 상기 기준 채널과 보정 채널은 동일한 블러량을 가지게 될 것이다.
상기 그래디언트 이미지의 피크는 실제 이미지의 에지에 대응되는 것으로 에지가 존재하는 위치에 그래디언트 이미지의 피크가 존재하게 된다. 따라서, 그래디 언트 이미지의 피크를 탐색하고 이에 대한 파라미터들을 산출하는 과정은 원 이미지의 에지를 탐색하고 에지에 대한 파라미터를 산출하는 것에 대응된다.
도 5의 (a)는 보정 채널의 그래디언트 이미지의 피크에 대한 파라미터를 설명하기 위해 대략적으로 그래디언트 이미지의 피크 부분을 도시한 도면이다. 기준 채널의 그래디언트 이미지도 도 5의 (a)에 도시한 것과 유사한 형태를 갖는다. 본 단계(S42, S43)에서 산출되는 피크에 대한 파라미터는 보정 채널의 피크 크기 및 기준 채널과 보정 채널의 블러링 양이다. 도 5의 (a)에 도시한 바와 같이, 보정 채널의 피크 크기는 보정 채널의 피크가 갖는 높이(Mc)이며, 보정 채널의 블러링 양은 보정 채널의 피크가 갖는 폭(σc)에 해당하는 것으로, 통상 상기 피크의 크기(Mc)의 1/3 지점에서 보정 채널의 피크가 갖는 폭(σc)으로 정의될 수 있다. 마찬가지로 기준 채널의 블러링 양 또한 기준 채널 피크의 최대값의 1/3 지점에서 기준 채널의 피크가 갖는 폭으로 정의될 수 있다.
전술한 단계(S41)에서 수평 방향 및 수직 방향의 그래디언트 이미지를 생성한 경우, 본 단계(S42, S43)은 상기 녹색 채널, 적색 채널 및 청색 채널 중 하나를 기준 채널로 결정하고 나머지 색상 채널을 보정 채널로 결정하는 단계와, 상기 기준 채널의 수평방향 그래디언트 이미지와 상기 보정 채널의 수평방향 그래디언트 이미지의 공통 위치에 존재하는 수평방향 피크를 검출하고 상기 검출된 기준 채널 및 보정 채널의 수평방향 피크가 갖는 파라미터를 계산하는 단계; 및 상기 기준 채널의 수직방향 그래디언트 이미지와 상기 보정 채널의 수직방향 그래디언트 이미지 의 공통 위치에 존재하는 수직방향 피크를 검출하고 상기 검출된 기준 채널 및 보정 채널의 수직방향 피크가 갖는 파라미터를 계산하는 단계로 이루어질 수 있다.
다음으로, 피크에 대한 파라미터들을 이용하여 색수차 보정을 위한 색수차 보정 마스크를 구성하는 단계(S44)에서는, 상기 피크에 대해 산출된 파라미터인 보정 채널의 피크 크기 및 기준 채널과 보정 채널의 블러링 양을 이용하여 기준 채널과 보정 채널에 대한 블러링된 에지 함수를 구한다.
상기 기준 채널과 보정 채널에 대한 블러링된 에지 함수는 하기 식 1 및 식 2에 의해 결정될 수 있다.
[식 1]
Figure 112007018828301-pat00010
[식 2]
Figure 112007018828301-pat00011
상기 식 1 및 식 2에서, Er은 상기 기준 채널의 블러링된 에지함수, Ec은 상기 보정 채널의 블러링된 에지함수, E는 이상적인 에지함수, P는 가우시안 로우패스 필터,
Figure 112007018828301-pat00012
는 상기 기준 채널의 피크의 블러링 양,
Figure 112007018828301-pat00013
는 상기 보정 채널의 피크의 블러링 양,
Figure 112007018828301-pat00014
는 콘볼루션 연산을 나타낸다.
도 5의 (b)에 도시된 바와 같이, 이상적인 에지 함수(에지 프로파일)는 에지가 형성된 위치(x축의 0 지점)d에서 수직을 형성하는 형태를 나타낸다. 이 이상적인 에지 함수에 기준 채널 피크의 블러링 양(σr)을 표준편차로 갖는 가우시안 로우패스 필터를 콘볼루션 연산하면 도 5의 (c)에 도시한 바와 같이 기준 채널의 블러링 양(σr)에 상응하는 크기로 블러링된 기준 채널의 에지 함수(Er)를 구할 수 있다. 이와 마찬가지로, 이상적인 에지 함수에 보정 채널 피크의 블러링 양(σc)을 표준편차로 갖는 가우시안 로우패스 필터를 콘볼루션 연산하면 도 5의 (c)에 도시한 바와 같이 보정 채널의 블러링 양(σc)에 상응하는 크기로 블러링된 보정 채널의 에지 함수(Ec)를 구할 수 있다.
상기 식 1 및 식 2에 의해 연산된 기준 채널 및 보정 채널의 블러링된 에지 함수(Er, Ec)를 이용하여 하기 식 3과 같이 색수차 보정 마스크를 구성한다.
[식 3]
Figure 112007018828301-pat00015
상기 식 3에서, C는 색수차 보정 마스크, Er은 상기 기준 채널의 블러링된 에지함수, Ec은 상기 보정 채널의 블러링된 에지함수, Mc는 상기 보정 채널의 피크 크기, k는 보정상수를 나타낸다.
상기 기준 채널의 블러링된 에지 함수(Er)에서 보정 채널의 블러링된 에지 함수(Ec)를 감산하면 도 5의 (c) 하단에 도시한 것과 같은 형태의 곡선이 산출된다. 이는 기준 채널과 보정 채널이 갖는 블러링 양의 차이에 해당하며 이 차이에 상응하는 값을 보정 채널에 더하면 보정 채널과 기준 채널의 블러링 양의 차이를 제거할 수 있게 된다.
상기 식 3에서 상기 색수차 보정 마스크는, 기준 채널의 블러링된 에지 함수(Er)와 보정 채널의 블러링된 에지 함수(Ec)의 차에 보정 채널의 그래디언트 피크의 크기(Mc)와 보정상수(k)를 곱하여 결정된다. 이는 도 5의 (d)에 도시된다. 상기 블러링된 에지 함수(Er 및 Ec)는 높이가 1인 이상적인 에지 함수를 각각의 블러량만큼 블러시킨 에지 함수로 실제 에지 함수의 높이(1 보다 큰 값)와 차이가 나므로 실제 에지 함수를 미분한 그래디언트의 피크 크기(Mc)와 보정 상수(k)를 곱해서 이러한 차이를 보정하게 된다. 상기 보정상수(k)는 색수차 보정 마스크가 갖는 함수의 높이를 적절하게 결정하기 위한 것으로 실험적인 방법에 의해 카메라 모듈마다 적절한 값으로 설정될 수 있다.
전술한 단계(S41)에서 수평 방향 및 수직 방향의 그래디언트 이미지를 생성한 경우, 색수차 보정 마스크를 구성하는 본 단계(S44)는, 상기 검출된 기준 채널 및 보정 채널의 수평방향 피크가 갖는 파라미터를 이용하여 상기 기준 채널 및 보정 채널의 블러링된 수평방향 에지함수를 구하고, 상기 기준 채널 및 보정 채널의 블러링된 수평방향 에지함수를 이용하여 수평방향 색수차 보정 마스크를 구성하는 단계 및 상기 검출된 기준 채널 및 보정 채널의 수직방향 피크가 갖는 파라미터를 이용하여 상기 기준 채널 및 보정 채널의 블러링된 수직방향 에지함수를 구하고, 상기 기준 채널 및 보정 채널의 블러링된 수직방향 에지함수를 이용하여 수직방향 색수차 보정 마스크를 구성하는 단계를 포함할 수 있다.
다음으로 색수차 보정 마스크를 입력되는 베이어 이미지에 적용하는 단계(S45)에서는, 상기 색수차 보정 마스크를 베이어 이미지의 보정 채널에 적용하여 상기 보정 채널의 픽셀들의 값을 보정한다.
이 색수차 보정 마스크를 적용하는 단계(S45)는 하기 식 4와 같이 적용될 수 있다.
[식 4]
Figure 112007018828301-pat00016
상기 식 4에서, Ic'(x)는 보정 채널의 픽셀 x의 보정된 픽셀값, Ic(x)는 보정 채널의 픽셀 x의 보정 이전 픽셀값, C는 색수차 보정 마스크를 나타낸다. 즉, 보정 채널의 픽셀에 색수차 보정 마스크를 합산하는 방식으로 보정 채널의 블러링 크기를 기준 채널 수준으로 감소시켜 색수차를 현저하게 감소시킬 수 있게 된다.
전술한 단계(S41)에서 수평 방향 및 수직 방향의 그래디언트 이미지를 생성한 경우, 색수차 보정 마스크를 적용하는 본 단계(S45)는, 상기 수평방향 및 수직방향 색수차 보정 마스크를 각각 상기 보정 채널에 적용하여 상기 보정 채널의 픽 셀들의 값을 보정하는 단계일 수 있다.
이하에서는, 본 발명의 또 다른 선명도 향상 기법인 도 3의 선명도 개선부(324)에서 이루어지는 선명도 향상 기법에 대해 설명한다. 본 발명의 선명도 개선부(324)에서 이루어지는 선명도 향상 기법은, 종래 이미지 신호 처리부에서 고려하지 않았던 렌즈의 특성인 점확산 함수에 의한 영상의 블러링을 보정할 수 있도록 종래 이미지 신호 처리부의 선명도 개선부에 통상 적용되는 샤프닝(sharpening) 필터를 수정한 것이다. 본 발명의 선명도 개선부(324)에서 이루어지는 선명도 향상 기법은 렌즈의 임펄스 응답인 점확산 함수에 의한 블러링을 보정할 수 있는 것이므로, 본 명세서에서는 통상 점확산 함수의 역함수 필터로 알려진 디콘볼루션 필터(DeConvolution Filter: DCF)에서 그 명칭을 가져와서 DCF 선명도 향상 방법이라 명명하기로 한다.
도 6은 본 발명의 일실시형태에 따른 선명도 향상을 위한 이미지 처리 방법을 도시한 플로우 차트이다.
도 6을 참조하면, 본 발명의 DCF 선명도 향상 방법은, 이미지 센서가 흑백 라인에지를 촬상하여 생성되는 베이어 이미지를 컬러보간 하여 RGB 이미지로 변환하고 이를 컬러 처리 거친 후 다시 YCbCr 이미지로 변환한 이미지로부터 Y 채널의 에지 프로파일 곡선을 취득하는 단계(S61)와, 상기 Y 채널의 에지 프로파일 곡선으로부터 Y 채널의 블러링 곡선을 구하는 단계(S62)와, 상기 블러링 곡선을 이용하여 블러링 함수를 결정하는 단계(S63)와, 상기 블러링 함수를 이용하여 선명도 향상 계수를 계산하는 단계(S64)와, 이 선명도 향상 계수를 YCbCr 이미지에 적용하는 단계(S65)를 포함할 수 있다.
이에 더하여, 도 6에 도시된 실시형태는, 상기 Y 채널에 대한 선명도 향상 계수를 적용하여 선명도 향상 처리된 이미지의 에지 프로파일 곡선으로부터 선명도 향상 처리된 Y 채널의 스폿 크기를 구하는 단계(S66)와, 상기 선명도 향상 처리된 Y 채널의 스폿 크기 및 기설정된 목표 스폿 크기를 비교하고(S67), 상기 Y 채널의 스폿 크기와 기설정된 목표 스폿 크기가 실질적으로 동일해질 때까지 상기 선명도 향상 계수가 갖는 매개변수의 값을 조정하여(S68) Y 채널에 대한 선명도 향상 계수를 수정하고, 상기 Y 채널의 스폿 크기와 기설정된 목표 스폿 크기가 실질적으로 동일해지는 선명도 향상 계수를 최종 선명도 향상 계수로 결정(S69)하는 단계를 더 포함할 수 있다.
일반적으로 카메라 모듈을 이용해 검출한 이미지에서 임펄스 응답(점확산 함수)을 구하는 것은 매우 어려우므로 본 발명은 라인 에지 이미지를 이용해 임펄스 응답을 측정한다. 즉, 본 발명의 DCF 선명도 향상 방법은 카메라 모듈에 의한 해상도 저하를 해결하기 위해, 그 적용 이전에 카메라 모듈의 라인 에지 응답을 먼저 측정한다. 이러한 라인 에지 응답은 하기 식 7에서 나타난 바와 같이 이미지 신호 처리부(도 3의 32)에서 발생하는 이미지의 블러링 뿐만 아니라 렌즈의 점확산 함수에 의한 이미지의 블러링을 일반적으로 포함하는 것으로 이해될 수 있다.
[식 7]
Figure 112007018828301-pat00017
상기 식 7에서, s는 본 발명의 DCF 선명도 향상 방법을 적용하기 이전의 이미지를, h는 렌즈의 점확산 함수를, i는 이미지 신호 처리부(도 3의 32)에서 발생하는 영상의 블러링을 나타낸다. 따라서, 본 발명에 의한 DCF 선명도 향상 방법은 렌즈의 점확산 함수 및 이미지 신호 처리부에 의한 블러링까지 고려하여 선명도를 향상시키는 것으로 이해될 수 있다.
도 6에서 S61, S62, S63으로 표시된 단계는 Y 채널에 대한 블러링 함수를 구하는 단계이다. 이 블러링 함수를 구함으로써 Y 채널에 대한 블러링 양을 정의할 수 있으며, 선명도 향상 계수도 산출할 수 있다. 도 7은 이 블러링 함수를 구하는 구하는 과정을 더욱 상세하게 도시한 플로우 차트이다.
도 7을 참조하면, 블러링 함수를 구하기 위해 먼저, 흑백 라인 에지를 촬상한 경우 생성된 YCbCr 이미지에서 Y 채널의 측정 영역을 선택한 후 Y 채널의 에지 프로파일을 측정한다(S71). 이렇게 측정된 Y 채널의 에지 프로파일은 에지부분의 주위에서 경사를 갖는 형태를 나타낸다. 즉, Y 채널의 에지 프로파일은 도 2에 도시된 RGB 이미지의 에지 프로파일과 유사한 형태를 나타낸다. 이 때, 에지 프로파일의 최대값의 10 %에서 90 %까지 상승하는 대 소요되는 거리(이미지에서는 화소수가 됨)를 통상 스폿 크기로 정의할 수 있다. 블러링 양이 클수록 에지 프로파일의 경사는 완만하게 형성되어 스폿의 크기가 커진다. 이러한 흑백 라인에지로부터 에지 프로파일을 구하는 과정은 수직방향 및 수평방향 흑백 라인에지에 대해 모두 수행될 수 있다.
이어, Y 채널에 대한 에지 프로파일을 미분하여 Y 채널의 에지 프로파일에 대한 블러링 곡선을 구한다(S72). 상기 에지 프로파일 그 기울기가 점차 증가하다가 에지의 중심부에서부터 다시 기울기가 감소하는 곡선의 형태를 가지므로, 이 에지 프로파일 곡선을 미분하게 되면 가우스 분포 곡선을 형성하게 된다. 이 가우스 분포 곡선을 블러링 곡선이라 정의한다.
본 발명은, 수직방향 흑백 라인 에지에 대한 이미지를 이용하여 수평방향 블러링 곡선을 구하고, 수평방향 흑백 라인 에지에 대한 이미지를 이용하여 수직방향 블러링 곡선을 구할 수 있다.
전술한 에지 프로파일을 구하는 과정 및 에지 프로파일을 미분하여 블러링 곡선을 구하는 과정은 당업계에 잘 알려진 다양한 상용 컴퓨터 툴을 이용하여 이루어질 수 있다.
이어, 상기 Y 채널의 블러링 곡선을 표현하는 블러링 함수를 결정한다(S73). 이 블러링 함수 결정 과정은 상술한 블러링 곡선 즉, 가우스 분포 곡선이 나타내는 수학적인 식을 구하는 과정으로, 일반적으로 통용되는 함수 피팅(fitting) 과정을 통해 얻을 수 있다. 또한, 이 블러링 함수 결정 과정에서는, 수평방향 블러링 곡선으로부터 수평방향의 블러링 함수를 결정하는 과정 및 수직방향의 블러링 곡선으로 부터 수직방향 블러링 함수를 결정하는 과정이 각각 수행될 수 있다. 즉, 이 블러링 함수 결정과정은 수평방향 및 수직방향의 블러링 함수를 각각 결정하는 1차원 블러링 함수 결정 과정으로 이해될 수 있다.
예를 들어, 수평방향 블러링 함수는 하기 식 8과 같이 결정될 수 있다.
[식 8]
Figure 112007018828301-pat00018
(mc-Nx≤m≤mc+Nx)
상기 식 8에서, △x는 이미지 센서의 수평방향 화소 간격, Ax는 블러링 함수의 수평방향 높이, mc는 블러링 함수의 수평방향 중심 좌표, σx는 수평방향 블러링 양을 나타낸다.
상기 식 8에서 블러링 함수의 높이(Ax)와 수평방향 블러링 양(σx), 블러링 함수의 수평방향 중심 좌표(mc)는 블러링 곡선인 가우스 분포 곡선의 피팅(fitting)을 수행함으로써 간단히 구할 수 있다.
상기 식 8에서 △x는 이미지 센서의 수평방향 화소 간격이 되며, Ax는 블러링 곡선의 높이가 되며, mc는 수평방향 블러링 곡선의 중심화소의 좌표이고, Nx는 상기 블러링 함수를 구하기 위한 영역을 나타내는 것으로, 상기 에지 프로파일 곡선에서 최대값의 10%을 나타내는 지점 및 90%를 나타내는 지점으로부터 상기 수평 방향 블러링 곡선의 중심화소까지의 거리가 될 수 있다.
상기 식 8에서 σx는 블러링 곡선의 폭에 관련된 파라미터로써 이 값을 블러링 양으로 정의할 수 있다. 또한, 상기 식 8에서 블러링 곡선의 높이(Ax)는 최대값이 1이 되도록 정규화하여 사용할 수 있는 것으로 블러링 양을 구하기 위한 본 발명에서는 큰 의미를 갖지 않는다.
상기 식 8과 유사하게 수직방향의 블러링 함수도 결정될 수 있다.
이어, 상기 1차원 블러링 함수, 즉 수평방향 블러링 함수와 수직방향 블러링 함수 각각을 이용하여 수평,수직 방향의 블러링 양을 함께 나타낼 수 있는 2차원 블러링 함수를 구한다(S74). 실제 카메라 모듈에서 검출된 영상에 선명도 향상을 수행하기 위해서는 1차원 블러링 함수 하나만 적용되는 것은 의미가 없으며, 이 1차원 블러링 함수를 2차원 블러링 함수로 확장하여야 한다. 수평방향 및 수직방향의 블러링 양을 동시에 나타내는 2차원 블러링 함수는 상기 1차원 블러링 함수인 수평방향 블러링 함수와 수직방향 블러링 함수의 곱으로 구할 수 있다. 이 2차원 블러링 함수는, 하기 식 5와 같이 나타난다.
[식 5]
Figure 112007018828301-pat00019
(mc-Nx≤m≤mc+Nx, nc-Ny≤n≤nc+Ny)
상기 식 5에서, b는 블러링 함수, △x는 이미지 센서의 수평방향 화소 간격, △y는 이미지 센서의 수직방향 화소 간격, A는 블러링 함수의 높이(수평방향 블러링 함수의 높이와 수직방향 블러링 함수의 높이의 평균), mc는 블러링 함수의 수평방향 중심화소의 좌표, nc는 블러링 함수의 수직방향 중심화소의 좌표 , σx는 수평방향 블러링 양, σy는 수직방향 블러링 양을 나타낸다.
상술한 바와 같이 Y 채널에 대한 블러링 함수를 결정한 후, 본 발명의 DCF 선명도 향상 방법은 상기 블러링 함수를 이용하여 Y 채널에 대한 선명도 향상 계수를 연산한다(도 6의 S64). 상기 선명도 향상 계수는 하기 식 6와 같은 당업계에 잘 알려진 주파수 영역의 인버스(inverse) 필터 형태로 정의될 수 있다.
[식 6]
Figure 112007018828301-pat00020
(D: 선명도 향상 계수, B: 상기 식 5의 함수 b의 푸리에 변환, △u=1/△x, △v=1/△y, k: 매개변수)
상기 식 6에 표현된 'D'라는 함수는 선명도 향상 계수를 주파수 영역에서 표현한 것이며, 'B'는 블러링 함수, 즉 상기 식 5를 주파수 영역으로 변환하기 위해 푸리에(Fourier) 변환한 것이며, 이러한 주파수 영역으로의 변환에 의해 △u와 △v 는 주파수 영역에서 샘플링 간격, 즉 화소 사이의 간격을 주파수 영역에서 표현한 것이 된다. 구체적으로 △u는 1/△x과 같으며, △v는 1/△y와 같다. 또한, 상기 식 6에서 매개변수(k)는 상기 선명도 향상 계수를 수정하기 위한 것으로 최적의 선명도 향상 계수를 구하기 위해 그 값을 적절하게 결정할 수 있다. 상기 매개변수(k)의 값을 결정하는 구체적인 방법은 하기에 별도로 설명하기로 한다.
이어, 상기 식 6에 의해 결정된 선명도 향상 계수를 Y 채널에 적용하여 선명도 향상 처리된 Y 채널을 생성한다(S65). 상기 식 6에 표현된 'D'라는 함수는 선명도 향상 계수를 주파수 영역에서 표현한 것으로, 각 화소에 선명도 향상 계수를 적용하기 위해서는 함수 'D'를 결정한 후 이를 다시 역 푸리에 변환을 통해 공간 영역의 함수로 변환한다. 이렇게 공간 영역으로 변환된 선명도 향상 계수는 매트릭스 형태의 필터의 형태를 가지며, 이 공간 영역의 선명도 향상 계수를 YCbCr 이미지의 Y 채널의 각 화소마다 콘볼루션(convolution) 연산하여 각 화소에 대한 선명도 향상을 수행하게 된다.
한편, 선명도 향상의 효과를 더욱 향상시키기 위해, 상기 매개변수(k)의 값을 적절하게 결정할 필요가 있으며, 이를 위해 단계(S66, S67)에서는 선명도 향상 처리된 Y 채널에 대한 에지 프로파일을 구하고 이 에지 프로파일을 이용하여 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기를 비교한다. 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기가 동일하지 않은 경우 상기 식 6에 표현된 선명도 향상 계수의 매개변수(k)의 값을 조정하고(S68), 이 매 개변수(k)값이 조정된 선명도 향상 계수를 다시 계산하여 Y 채널에 적용한다. 이러한 반복과정은 바람직하게 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기가 동일하게 될 때까지 수행될 수 있다.
한편, 이상적으로는 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기가 정확하게 일치하도록 매개변수(k)의 값이 결정되는 것이 바람직하지만, 실제 적용에서는 정확하게 일치하는 것이 거의 불가능하므로, 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기의 차이가 최소가 되는 매개변수(k)의 값을 결정하여야 한다. 한편, 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기가 정확하게 일치하는 것은 실질적으로 불가능한 것이므로, 본 명세서 및 첨부된 특허청구범위에서 "선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기가 동일하다"라는 기재는 실질적으로 동일한 것으로 판단할 수 있는 균등한 범위를 모두 포함하는 것으로 이해되어야 할 것이다.
이하에서는, 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기의 차이가 최소가 되도록 선명도 향상 계수, 더욱 정확하게는 선명도 향상 계수의 매개변수(k)를 결정하는 방법에 대해 상세하게 설명하기로 한다.
도 8은 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기의 차이가 최소가 되도록 선명도 향상 계수의 매개변수를 결정하는 방법을 도시한 플로우 차트이다.
도 8을 참조하면, 먼저 선명도 향상 계수의 매개 변수(k)의 초기값을 결정하고(S81), 상기 초기 매개 변수값을 갖는 선명도 향상 계수를 이용하여 Y 채널에 대한 선명도 향상을 수행한다(S82). 상기 매개변수(k)의 초기값은 실험적으로 적절하게 결정될 수 있다. 또한, 이후 매개변수를 변경하여 적절한 선명도 향상 계수를 결정하는 과정에서 상기 매개변수(k)를 수정하기 위한 수정값 및 그 수정범위가 미리 설정될 수 있다.
이어, 선명도 향상된 Y 채널에서 수평방향 에지 프로파일 곡선을 구하고 이 수평방향 에지 프로파일 곡선으로부터 선명도 향상된 Y 채널의 수평방향 스폿크기를 산출한다(S831). 이와 마찬가지로, 선명도 향상된 Y 채널에서 수직방향 에지 프로파일 곡선을 구하고 이 수직방향 에지 프로파일 곡선으로부터 선명도 향상된 Y 채널의 수직방향 스폿크기를 산출한다(S841).
이어, 기설정된 목표 스폿크기와 선명도 향상된 Y 채널의 수평방향 스폿크기를 이용하여 선명도 향상된 Y 채널에 대한 수평방향 스코어를 계산하고(S832), 기설정된 목표 스폿크기와 선명도 향상된 Y 채널의 수직방향 스폿크기를 이용하여 선명도 향상된 Y 채널에 대한 수직방향 스코어를 계산한다(S842). 상기 수평방향 스코어는 비교의 대상이되는 기설정된 목표 스폿크기와 선명도 향상된 Y 채널의 수평방향 스폿크기의 차로 정의될 수 있다. 이와 마찬가지로, 상기 수직방향 스코어는 비교의 대상이되는 기설정된 목표 스폿크기와 선명도 향상된 Y 채널의 수직방향 스폿크기의 차로 정의될 수 있다.
이어, 상기 선명도 향상된 Y 채널에 대한 수평방향 스코어와 수직방향 스코 어를 합산하여 전체 스코어를 계산한 후 이 값을 저장한다(S85).
이어, 상기 매개변수(k)의 값을 최초 설정된 수정값만큼 수정하고(S86), 이 수정된 매개변수(k)의 값이 최초에 설정된 수정범위 이내인지 판단(S87)하여, 수정범위 이내이면 전술한 스코어 계산 및 저장 과정들을 반복하고, 수정범위를 벗어나면 상기 스코어 계산 과정을 종료한 후, 수정범위 내에서 매개변수(k)의 값을 수정하면서 계산 저장된 전체 스코어 중 스코어의 크기가 최소가 될 때의 매개변수(k)의 값을 선명도 향상 계수의 매개변수로 결정한다(S88). 이로써 수평방향 및 수직방향으로 기설정된 목표 스폿크기와의 차이가 가장 작도록 Y 채널의 선명도를 향상시킬 수 있는 선명도 향상 계수를 결정할 수 있게 된다.
도 9는 본 발명이 적용된 카메라 모듈과 적용되지 않은 카메라 모듈에 의해 촬상된 이미지의 에지 프로파일 및 공간 주파수 응답을 비교한 그래프이다. 도 9에 도시된 결과를 얻기 위해 본 발명의 발명자들은 E48R 플라스틱 렌즈 3매를 사용한 200만 화소급 카메라 모듈을 이용해 1m 거리에서 촬상한 라인 에지의 에지 프로파일과 공간 주파수 응답을(Spatial Frequency Response: SFR) 구하는 실험을 진행하였다.
도 9의 (a) 및 (b)에 도시된 에지 프로파일은 베이어 영상으로부터 각 색상 채널의 블러링 차이를 감소시킨 색수차 보정 방법만이 적용되고 DCF 선명도 향상 방법은 적용되지 않은 결과를 도시한 것으로, 청색 채널만을 보정채널로 하여 색수차 보정을 수행한 것이다. 도 9의 (b)에 도시된 색수차 보정 방법이 적용된 경우 청색 채널의 스폿크기는 2.92 픽셀로서, 도 9의 (a)에 도시된 색수차 보정 방법이 적용되지 않은 경우에 비해 현저하게 감소하는 것을 확인할 수 있다.
또한, 도 10(c)는 본 발명의 색수차 보정 방법을 수행한 영상에 대해 종래의 이미지 신호 처리부에서 쓰이는 샤프닝 필터를 그대로 적용한 경우의 공간 주파수 응답 그래프를 도시한 것이며, 도 10(d)는 본 발명의 색수차 보정을 수행한 영상에 대해 본 발명의 DCF 선명도 향상 방법을 적용한 경우의 공간 주파수 응답 그래프를 각각 나타낸다. 800 본(本)(line widths/picture height) 주파수에서 공간 주파수 응답값이 종래의 샤프닝 필터를 적용한 영상의 경우 20.6%에 불과하지만 본 발명의 DCF 선명도 향상 방법을 적용한 새로운 선명도 향상 필터를 적용한 영상의 경우 31.1%로 10% 이상 선명도가 향상되는 것을 확인할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따르면, 베이어 이미지에 색수차 보정 방법을 적용하여 적색 채널 및/또는 청색 채널의 스폿 크기를 녹색 채널 수준으로 감소시킴으로써 색수차에 의한 선명도 저하를 최소화할 수 있는 효과가 있다.
또한, 이를 통해 베이어 이미지를 처리하는 이미지 신호 처리부의 이미지 처리를 거치면서 발생할 수 있는 렌즈 색수차에 의한 색번짐 현상이 증폭되는 것을 최대한으로 억제할 수 있는 효과가 있다.
또한, 본 발명에 따르면, DFC 선명도 향상 방법을 통해 렌즈의 점확산 함수에 의한 해상력 저하 및 이미지 신호 처리부의 이미지 처리를 통한 블러링을 모두 고려해 이미지 선명도를 향상시키므로 선명도 향상의 효과를 더욱 증가시킬 수 있다.
또한, 렌즈 구성이 달라지거나 센서가 변경돼 색수차 량이 달라지는 경우에도 본 발명에 따른 색수차 보정 마스크 및 선명도 향상 계수를 다시 산출한 후 색수차 보정 및 DCF 선명도 향상 방법에 적용할 수 있으므로 서로 다른 카메라 모듈에 대해서도 프로그램 수정 없이 동일한 방법을 적용할 수 있게 되는 효과가 있다.

Claims (19)

  1. a) 이미지 센서로부터 출력되는 녹색 채널, 적색 채널 및 청색 채널을 포함하는 베이어(Bayer) 이미지의 각 색상 채널에 가우시안 미분 필터를 적용하여 각 색상 채널에 대한 그래디언트 이미지를 생성하는 단계;
    b) 상기 녹색 채널, 적색 채널 및 청색 채널 중 하나를 기준 채널로 결정하고 나머지 색상 채널을 보정 채널로 결정한 후, 상기 기준 채널의 그래디언트 이미지와 상기 보정 채널의 그래디언트 이미지의 공통 위치에 존재하는 피크를 검출하고 상기 검출된 기준 채널 및 보정 채널의 피크가 갖는 파라미터를 계산하는 단계;
    c) 상기 검출된 기준 채널 및 보정 채널의 피크가 갖는 파라미터를 이용하여 상기 기준 채널 및 보정 채널의 블러링된 에지함수를 구하고, 상기 기준 채널 및 보정 채널의 블러링된 에지함수를 이용하여 색수차 보정 마스크를 구성하는 단계; 및
    d) 상기 색수차 보정 마스크를 상기 보정 채널에 적용하여 상기 보정 채널의 픽셀들의 값을 보정하는 단계
    를 포함하는 선명도 향상을 위한 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 기준 채널은 녹색 채널인 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
  3. 제1항에 있어서, 상기 단계 a)는,
    상기 베이어(Bayer) 이미지의 각 색상 채널에 가우시안 미분 필터를 적용하여 각 색상 채널에 대한 그래디언트 이미지를 생성한 후, 상기 그래디언트 이미지에서 기설정된 임계값 미만의 값을 갖는 픽셀의 값을 0으로 설정하는 단계인 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
  4. 제1항에 있어서, 상기 단계 a)는,
    이미지 센서로부터 출력되는 녹색 채널, 적색 채널 및 청색 채널을 포함하는 베이어(Bayer) 이미지의 각 색상 채널에 수평방향 및 수직방향으로 각각 1차원 가우시안 미분 필터를 적용하여 각 색상 채널에 대한 수평방향 및 수직방향 그래디언트 이미지를 생성하는 단계인 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
  5. 제4항에 있어서, 상기 단계 b)는,
    상기 녹색 채널, 적색 채널 및 청색 채널 중 하나를 기준 채널로 결정하고 나머지 색상 채널을 보정 채널로 결정하는 단계;
    상기 기준 채널의 수평방향 그래디언트 이미지와 상기 보정 채널의 수평방향 그래디언트 이미지의 공통 위치에 존재하는 수평방향 피크를 검출하고 상기 검출된 기준 채널 및 보정 채널의 수평방향 피크가 갖는 파라미터를 계산하는 단계; 및
    상기 기준 채널의 수직방향 그래디언트 이미지와 상기 보정 채널의 수직방향 그래디언트 이미지의 공통 위치에 존재하는 수직방향 피크를 검출하고 상기 검출된 기준 채널 및 보정 채널의 수직방향 피크가 갖는 파라미터를 계산하는 단계를 포함하는 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
  6. 제5항에 있어서, 상기 단계 c)는,
    상기 검출된 기준 채널 및 보정 채널의 수평방향 피크가 갖는 파라미터를 이용하여 상기 기준 채널 및 보정 채널의 블러링된 수평방향 에지함수를 구하고, 상기 기준 채널 및 보정 채널의 블러링된 수평방향 에지함수를 이용하여 수평방향 색수차 보정 마스크를 구성하는 단계; 및
    상기 검출된 기준 채널 및 보정 채널의 수직방향 피크가 갖는 파라미터를 이용하여 상기 기준 채널 및 보정 채널의 블러링된 수직방향 에지함수를 구하고, 상기 기준 채널 및 보정 채널의 블러링된 수직방향 에지함수를 이용하여 수직방향 색수차 보정 마스크를 구성하는 단계를 포함하는 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
  7. 제6항에 있어서, 상기 단계 d)는,
    상기 수평방향 및 수직방향 색수차 보정 마스크를 각각 상기 보정 채널에 적용하여 상기 보정 채널의 픽셀들의 값을 보정하는 단계인 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
  8. 제1항에 있어서,
    상기 검출된 기준 채널 및 보정 채널의 피크가 갖는 파라미터는, 상기 기준 채널의 피크의 블러링 양, 상기 보정 채널의 피크의 블러링 양 및 상기 보정 채널의 피크 크기를 포함하는 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
  9. 제8항에 있어서,
    상기 기준 채널의 블러링된 에지함수 및 상기 보정 채널의 블러링된 에지함수는 각각 하기 식 1 및 식 2에 의해 결정되는 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
    [식 1]
    Figure 112007018828301-pat00021
    [식 2]
    Figure 112007018828301-pat00022
    (Er: 상기 기준 채널의 블러링된 에지함수, Ec: 상기 보정 채널의 블러링된 에지함수, E: 이상적인 에지함수, P: 가우시안 로우패스 필터,
    Figure 112007018828301-pat00023
    : 상기 기준 채 널의 피크의 블러링 양,
    Figure 112007018828301-pat00024
    : 상기 보정 채널의 피크의 블러링 양,
    Figure 112007018828301-pat00025
    : 콘볼루션 연산)
  10. 제9항에 있어서,
    상기 색수차 보정 마스크는 하기 식 3에 의해 결정되는 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
    [식 3]
    Figure 112007018828301-pat00026
    (C: 색수차 보정 마스크, Er: 상기 기준 채널의 블러링된 에지함수, Ec: 상기 보정 채널의 블러링된 에지함수, Mc: 상기 보정 채널의 피크 크기, k: 보정상수)
  11. 제10항에 있어서,
    상기 단계 d)는 하기 식 4에 의해 이루어지는 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
    [식 4]
    Figure 112007018828301-pat00027
    (Ic'(x): 보정 채널의 픽셀 x의 보정된 픽셀값, Ic(x): 보정 채널의 픽셀 x 의 보정 이전 픽셀값, C: 색수차 보정 마스크)
  12. 이미지 센서에서 검출된 베이어 이미지를 컬러 보간하여 RGB 이미지를 생성하고 상기 RGB 이미지를 컬러 처리하고 상기 컬러 처리된 RGB 이미지를 YCbCr 이미지로 변환한 후, 상기 변환된 YCbCr 이미지의 선명도를 향상시키는 선명도 향상을 위한 이미지 처리 방법에 있어서,
    상기 이미지 센서가 흑백 라인에지를 촬상하여 생성된 YCbCr 이미지에서 Y 채널의 에지 프로파일 곡선을 취득하는 단계;
    상기 Y 채널의 에지 프로파일 곡선을 미분하여 상기 Y 채널의 블러링 곡선을 구하고, 상기 블러링 곡선을 표현하는 블러링 함수를 결정하는 단계- 상기 블러링 함수는 가우스 분포 함수이며, 상기 가우스 분포 함수의 폭을 나타내는 파라미터를 블러링 양으로 정의함-;
    상기 Y 채널에 대한 블러링 함수를 이용하여 Y 채널에 대한 선명도 향상 계수를 구하는 단계; 및
    상기 Y 채널에 대한 선명도 향상 계수를 상기 Y 채널에 적용하는 단계
    를 포함하는 선명도 향상을 위한 이미지 처리 방법.
  13. 제12항에 있어서,
    상기 Y 채널에 대한 선명도 향상 계수는 각각 선명도 향상 크기를 조정하는 매개변수를 갖는 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
  14. 제13항에 있어서,
    상기 Y 채널에 대한 선명도 향상 계수를 적용하여 선명도 향상처리된 이미지의 에지 프로파일 곡선으로부터 선명도 향상처리된 Y 채널의 스폿 크기를 구하는 단계; 및
    상기 선명도 향상 처리된 Y 채널의 스폿 크기 및 기설정된 목표 스폿 크기를 비교하고, 상기 Y 채널의 스폿 크기와 기설정된 목표 스폿 크기가 실질적으로 동일해질 때까지 상기 매개변수의 값을 조정하여 Y 채널에 대한 선명도 향상 계수를 수정하는 단계를 더 포함하는 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
  15. 제12항에 있어서,
    상기 Y 채널에 대한 블러링 곡선을 표현하는 블러링 함수는 하기 식 5과 같은 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
    [식 5]
    Figure 112007018828301-pat00028
    (mc-Nx≤m≤mc+Nx, nc-Ny≤n≤nc+Ny)
    (b: 블러링 함수, △x: 이미지 센서의 수평방향 화소 간격, △y: 이미지 센 서의 수직방향 화소 간격, A: 블러링 함수의 높이(수평방향 블러링 함수의 높이와 수직방향 블러링 함수의 높이의 평균), mc: 블러링 함수의 수평방향 중심화소의 좌표, nc: 블러링 함수의 수직방향 중심화소의 좌표 , σx: 수평방향 블러링 양, σy: 수직방향 블러링 양)
  16. 제15항에 있어서,
    상기 선명도 향상 계수는 하기 식 6과 같은 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
    [식 6]
    Figure 112007018828301-pat00029
    (D: 선명도 향상 계수, B: 상기 식 1의 함수 b의 푸리에 변환, △u=1/△x, △v=1/△y, k: 매개변수)
  17. 제13항에 있어서,
    상기 Y 채널에 대한 선명도 향상 계수를 상기 Y 채널에 적용하는 단계에서 선명도 향상 계수가 적용되어 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기를 비교한 스코어를 산출 및 저장하는 단계;
    상기 선명도 향상 계수의 매개변수를 변경하여 선명도 향상 계수를 수정하 고, 수정된 선명도 향상 계수를 이용하여 상기 Y 채널의 선명도 향상 처리를 수행하고, 수정된 선명도 향상 계수에 의해 선명도 향상 처리된 Y채널의 스폿크기와 기설정된 목표 스폿크기를 비교한 스코어를 산출하는 단계- 이 단계는 상기 매개변수를 변경하여 반복적으로 수행됨-; 및
    상기 저장된 스코어 중 최소값을 갖는 스코어가 산출된 매개변수를 갖는 선명도 향상 계수를 최종 선명도 향상 계수로 결정하는 단계를 더 포함하는 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
  18. 제17항에 있어서,
    상기 선명도 향상 처리된 Y 채널의 스폿크기와 기설정된 목표 스폿크기를 비교한 스코어를 산출 및 저장하는 단계는,
    상기 선명도 향상 처리된 Y 채널의 수평방향 스폿크기와 상기 목표 스폿크기를 비교한 수평방향 스코어를 산출하는 단계;
    상기 선명도 향상 처리된 이미지의 Y 채널의 수직방향 스폿크기와 상기 목표 스폿크기를 비교한 수직방향 스코어를 산출하는 단계; 및
    상기 수평방향 스코어 및 상기 수직방향 스코어의 합을 산출하여 전체 스코어로 저장하는 단계를 포함하는 것을 특징으로 하는 선명도 향상을 위한 이미지 처리 방법.
  19. 녹색 채널, 적색 채널 및 청색 채널을 포함하는 베이어(Bayer) 이미지의 각 색상 채널에 가우시안 미분 필터를 적용하여 각 색상 채널에 대한 그래디언트 이미지를 생성하는 단계;
    상기 녹색 채널, 적색 채널 및 청색 채널 중 하나를 기준 채널로 결정하고 나머지 색상 채널을 보정 채널로 결정한 후, 상기 기준 채널의 그래디언트 이미지와 상기 보정 채널의 그래디언트 이미지의 공통 위치에 존재하는 피크를 검출하고 상기 검출된 기준 채널 및 보정 채널의 피크가 갖는 파라미터를 계산하는 단계;
    상기 검출된 기준 채널 및 보정 채널의 피크가 갖는 파라미터를 이용하여 상기 기준 채널 및 보정 채널의 블러링된 에지함수를 구하고, 상기 기준 채널 및 보정 채널의 블러링된 에지함수를 이용하여 색수차 보정 마스크를 구성하는 단계;
    상기 색수차 보정 마스크를 상기 보정 채널에 적용하여 상기 보정 채널의 픽셀들의 값을 보정하는 단계;
    상기 색수차 보정 마스크가 적용되어 보정된 이미지를 컬러 보간하여 RGB 이미지를 생성하고 상기 RGB 이미지를 컬러 처리하고 상기 컬러 처리된 RGB 이미지를 YCbCr 이미지로 변환하는 단계;
    상기 이미지 센서가 흑백 라인에지를 촬상하여 생성된 Y 채널의 에지 프로파일 곡선을 취득하는 단계;
    상기 Y 채널의 에지 프로파일 곡선을 미분하여 상기 Y 채널의 블러링 곡선을 구하고, 상기 블러링 곡선을 표현하는 블러링 함수를 결정하는 단계- 상기 블러링 함수는 가우스 분포 함수이며, 상기 가우스 분포 함수의 폭을 나타내는 파라미터를 블러링 양으로 정의함-;
    상기 Y 채널에 대한 블러링 함수를 이용하여 Y 채널에 대한 선명도 향상 계수를 구하는 단계; 및
    상기 Y 채널에 대한 선명도 향상 계수를 상기 Y 채널에 적용하는 단계
    를 포함하는 선명도 향상을 위한 이미지 처리 방법.
KR1020070022613A 2007-03-07 2007-03-07 선명도 향상을 위한 이미지 처리 방법 KR100818479B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070022613A KR100818479B1 (ko) 2007-03-07 2007-03-07 선명도 향상을 위한 이미지 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070022613A KR100818479B1 (ko) 2007-03-07 2007-03-07 선명도 향상을 위한 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR100818479B1 true KR100818479B1 (ko) 2008-04-02

Family

ID=39533459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070022613A KR100818479B1 (ko) 2007-03-07 2007-03-07 선명도 향상을 위한 이미지 처리 방법

Country Status (1)

Country Link
KR (1) KR100818479B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014065607A1 (ko) * 2012-10-26 2014-05-01 에스케이텔레콤 주식회사 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
KR101517407B1 (ko) 2008-11-06 2015-05-06 삼성전자주식회사 색수차 제거 방법 및 장치
KR101532605B1 (ko) * 2008-11-06 2015-07-01 삼성전자주식회사 색수차 제거 방법 및 장치
US9160998B2 (en) 2008-11-06 2015-10-13 Samsung Electronics Co., Ltd. Method and apparatus for canceling chromatic aberration
KR20160074337A (ko) * 2014-12-18 2016-06-28 삼성전자주식회사 컬러 프린지를 제거하기 위한 이미지 처리 장치
KR20180071810A (ko) * 2016-12-20 2018-06-28 엘지디스플레이 주식회사 투명 표시 장치 및 그 구동 방법
CN112116539A (zh) * 2020-09-08 2020-12-22 浙江大学 一种基于深度学习的光学像差模糊去除方法
US10979629B2 (en) 2018-06-19 2021-04-13 Samsung Display Co., Ltd. Image processing device and image processing method for correcting images obtained from a display surface of mass produced display device
US11107191B2 (en) 2019-02-18 2021-08-31 Samsung Electronics Co., Ltd. Apparatus and method for detail enhancement in super-resolution imaging using mobile electronic device
CN116228600A (zh) * 2023-05-08 2023-06-06 江苏慕藤光精密光学仪器有限公司 图像处理方法及相关设备
CN117808712A (zh) * 2024-02-28 2024-04-02 山东科技大学 一种基于水下相机的图像校正方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233144A (ja) * 1993-01-29 1994-08-19 Fujitsu Ltd カラー読取装置
JP2000092335A (ja) 1998-09-14 2000-03-31 Minolta Co Ltd 画像読取装置および色収差補正方法
JP2001203900A (ja) 2000-01-21 2001-07-27 Minolta Co Ltd 画像読み取り装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233144A (ja) * 1993-01-29 1994-08-19 Fujitsu Ltd カラー読取装置
JP2000092335A (ja) 1998-09-14 2000-03-31 Minolta Co Ltd 画像読取装置および色収差補正方法
JP2001203900A (ja) 2000-01-21 2001-07-27 Minolta Co Ltd 画像読み取り装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101532605B1 (ko) * 2008-11-06 2015-07-01 삼성전자주식회사 색수차 제거 방법 및 장치
US9160998B2 (en) 2008-11-06 2015-10-13 Samsung Electronics Co., Ltd. Method and apparatus for canceling chromatic aberration
KR101517407B1 (ko) 2008-11-06 2015-05-06 삼성전자주식회사 색수차 제거 방법 및 장치
KR101958910B1 (ko) 2012-10-26 2019-03-15 에스케이 텔레콤주식회사 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
US9691141B2 (en) 2012-10-26 2017-06-27 Sk Telecom Co., Ltd. Image correction device for accelerating image correction and method for same
WO2014065607A1 (ko) * 2012-10-26 2014-05-01 에스케이텔레콤 주식회사 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
KR20140053503A (ko) * 2012-10-26 2014-05-08 에스케이텔레콤 주식회사 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
KR102255218B1 (ko) * 2014-12-18 2021-05-24 삼성전자주식회사 컬러 프린지를 제거하기 위한 이미지 처리 장치
KR20160074337A (ko) * 2014-12-18 2016-06-28 삼성전자주식회사 컬러 프린지를 제거하기 위한 이미지 처리 장치
KR20180071810A (ko) * 2016-12-20 2018-06-28 엘지디스플레이 주식회사 투명 표시 장치 및 그 구동 방법
KR102642018B1 (ko) 2016-12-20 2024-02-28 엘지디스플레이 주식회사 투명 표시 장치 및 그 구동 방법
US10979629B2 (en) 2018-06-19 2021-04-13 Samsung Display Co., Ltd. Image processing device and image processing method for correcting images obtained from a display surface of mass produced display device
US11107191B2 (en) 2019-02-18 2021-08-31 Samsung Electronics Co., Ltd. Apparatus and method for detail enhancement in super-resolution imaging using mobile electronic device
CN112116539B (zh) * 2020-09-08 2023-10-31 浙江大学 一种基于深度学习的光学像差模糊去除方法
CN112116539A (zh) * 2020-09-08 2020-12-22 浙江大学 一种基于深度学习的光学像差模糊去除方法
CN116228600A (zh) * 2023-05-08 2023-06-06 江苏慕藤光精密光学仪器有限公司 图像处理方法及相关设备
CN116228600B (zh) * 2023-05-08 2023-08-25 江苏慕藤光精密光学仪器有限公司 图像处理方法及相关设备
CN117808712A (zh) * 2024-02-28 2024-04-02 山东科技大学 一种基于水下相机的图像校正方法
CN117808712B (zh) * 2024-02-28 2024-05-07 山东科技大学 一种基于水下相机的图像校正方法

Similar Documents

Publication Publication Date Title
KR100818479B1 (ko) 선명도 향상을 위한 이미지 처리 방법
US8941762B2 (en) Image processing apparatus and image pickup apparatus using the same
US9167216B2 (en) Image processing apparatus, image capture apparatus and image processing method
US8514304B2 (en) Image processing device and image pickup device using the same
US8565524B2 (en) Image processing apparatus, and image pickup apparatus using same
EP2342893B1 (en) Image processing method, image processing apparatus, and image pickup apparatus
JP4571670B2 (ja) 画像モデルにおける色成分の修復のための方法、システム、プログラムモジュールおよびコンピュータプログラム製品
JP5213670B2 (ja) 撮像装置及びぶれ補正方法
US9581436B2 (en) Image processing device, image capturing apparatus, and image processing method
US8730341B2 (en) Image processing apparatus, image pickup apparatus, control method for image processing apparatus, and storage medium storing control program therefor
US8866937B2 (en) Image processing apparatus, image processing method, and program
US8482659B2 (en) Image processing apparatus and image processing method
TWI538506B (zh) 影像處理裝置、資訊處理方法及電腦可讀取儲存媒體
JP2009260620A (ja) 画像処理装置及び画像処理方法
JP7234057B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
US8942477B2 (en) Image processing apparatus, image processing method, and program
KR100835058B1 (ko) 피사계 심도 확장을 위한 이미지 처리 방법
KR100843433B1 (ko) 소형 카메라 모듈의 블러링 양 측정 방법
KR100843432B1 (ko) 소형 카메라 모듈의 색수차 보정계수 산출 방법
KR100843437B1 (ko) 소형 카메라 모듈의 색수차 보정 방법
JP6238673B2 (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
KR100896572B1 (ko) 피사계 심도 확장을 위한 이미지 처리 방법
KR20080092585A (ko) 피사계 심도 확장을 위한 이미지 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee