KR101635101B1 - 렌즈 왜곡과 색수차를 보정하는 장치 및 방법 - Google Patents

렌즈 왜곡과 색수차를 보정하는 장치 및 방법 Download PDF

Info

Publication number
KR101635101B1
KR101635101B1 KR1020090112184A KR20090112184A KR101635101B1 KR 101635101 B1 KR101635101 B1 KR 101635101B1 KR 1020090112184 A KR1020090112184 A KR 1020090112184A KR 20090112184 A KR20090112184 A KR 20090112184A KR 101635101 B1 KR101635101 B1 KR 101635101B1
Authority
KR
South Korea
Prior art keywords
image
chromatic aberration
correction
lens
correcting
Prior art date
Application number
KR1020090112184A
Other languages
English (en)
Other versions
KR20110055242A (ko
Inventor
한호석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090112184A priority Critical patent/KR101635101B1/ko
Priority to US12/940,201 priority patent/US8872932B2/en
Publication of KR20110055242A publication Critical patent/KR20110055242A/ko
Application granted granted Critical
Publication of KR101635101B1 publication Critical patent/KR101635101B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Abstract

본 발명의 일 실시예에 따른 영상 처리 방법은, 복수의 색상 성분들을 갖는 데이터 포맷의 영상을 처리하고, 상기 복수의 색상 성분들에 각각 대응되는 복수의 색상 성분 영상들을 생성하는 단계; 상기 복수의 색상 성분 영상들 각각에 대하여, 렌즈 왜곡과 색수차를 보정하는 단계; 및 보정된 상기 복수의 색상 성분 영상들을 합성하여, 보정 영상을 생성하는 단계를 포함한다.

Description

렌즈 왜곡과 색수차를 보정하는 장치 및 방법{An apparatus and a method of removing lens distortion and chromatic aberration}
본 발명의 실시예들은 입력 영상으로부터 렌즈 왜곡과 색수차를 보정하는 영상 처리 장치, 영상 처리 방법, 및 상기 영상 처리 방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체에 관한 것이다.
촬영 장치를 이용하여 촬영된 영상들은, 렌즈를 통해 입사된 빛을 촬상 소자에서 전기적인 신호로 변환하여, 촬영된다. 렌즈는 촬상 소자에서 입사광의 초점이 맞도록 그 위치가 조절된다. 초점이 맞지 않는 경우, 피사체가 흐릿하게 촬영된다.
렌즈를 통과한 빛은 굴절되면서, 빛의 경로가 변하는데, 이때 초점이 맺히는 면은 평면이 아닌 곡면으로 나타난다. 따라서 평면이거나, 평면에 가까운 촬상 소자의 수광면에서는 렌즈에 의한 왜곡이 일어나며, 이러한 현상을 렌즈 왜곡이라고 한다.
입사광은 모든 파장의 빛을 포함하고, 빛은 파장에 따라서 렌즈에서의 굴절률이 다르다. 즉, 파장이 길수록 굴절률이 작아지고, 파장이 짧을수록 굴절률이 커진다. 이로 인해, 서로 다른 파장의 빛들은 렌즈를 통과하면서, 파장에 따라서 그 경로가 달라지고, 초점이 맞는 위치가 파장별로 달라진다. 이러한 현상으로 인하여, 촬영 영상에서 초점이 맞지 않거나 색이 번지는 현상이 나타날 수 있으며, 이를 색수차라고 한다.
본 발명의 실시예들은 렌즈 왜곡 보정 및 색수차 보정을 하나의 모듈에서 제공하기 위한 것이다. 나아가 본 발명의 실시예들은 렌즈 왜곡 보정 및 색수차 보정의 성능을 향상시키고, 배율 색수차(Lateral chromatic aberration) 및 축상 색수차(Longitudinal chromatic aberration)를 동시에 보정하기 위한 것이다.
본 발명의 일 실시예에 따른 영상 처리 방법은, 복수의 색상 성분들을 갖는 데이터 포맷의 영상을 처리하고, 상기 복수의 색상 성분들에 각각 대응되는 복수의 색상 성분 영상들을 생성하는 단계; 상기 복수의 색상 성분 영상들 각각에 대하여, 렌즈 왜곡과 색수차를 보정하는 단계; 및 보정된 상기 복수의 색상 성분 영상들을 합성하여, 보정 영상을 생성하는 단계를 포함한다.
이때, 상기 데이터 포맷은 RGB 데이터 포맷이고, 상기 복수의 색상 성분 영상들은, R 성분 영상, G 성분 영상, 및 B 성분 영상을 포함하며, 상기 보정하는 단계는, R 성분 영상의 렌즈 왜곡과 색수차를 보정하는 단계; G 성분 영상의 렌즈 왜곡과 색수차를 보정하는 단계; 및 B 성분 영상의 렌즈 왜곡과 색수차를 보정하는 단계를 포함할 수 있다.
상기 색수차 보정은 복수의 색상 성분들 중 어느 하나의 초점 거리를 기준으로 이루어지고, 상기 렌즈 왜곡과 색수차를 보정하는 단계는, 상기 기준이 된 초점 거리에 대응되는 색상 성분 영상에 대해서는, 색수차 보정을 수행하지 않을 수 있 다.
상기 렌즈 왜곡과 색수차를 보정하는 단계는, 상기 복수의 색상 성분 영상들 각각에 대하여, 서로 다른 보정 파라미터를 이용하여, 렌즈 왜곡과 색수차를 보정할 수 있다.
나아가, 상기 입력 영상은, 이동 가능한 렌즈를 구비한 촬영 장치에 의하여 촬영된 영상이고, 상기 영상 처리 방법은, 상기 렌즈의 종류 및/또는 상기 입력 영상 촬영 시의 상기 렌즈의 위치에 따라, 상기 복수의 색상 성분들 각각에 대한 복수의 보정 파라미터들을 결정하는 단계를 더 포함하고, 상기 렌즈 왜곡과 색수차를 보정하는 단계는, 상기 복수의 보정 파라미터들을 이용하여, 상기 복수의 색상 성분 영상들 각각에 대하여, 렌즈 왜곡과 색수차를 보정될 수 있다. 이때, 상기 복수의 색상 성분들 각각에 대한 상기 복수의 보정 파라미터들은, 상기 복수의 색상 성분들 각각에 대한 렌즈 왜곡 보정 파라미터들(LD 보정 파라미터들)과, 상기 복수의 색상 성분들 각각에 대한 색수차 보정 파라미터들(CA 보정 파라미터들)을 포함하고, 상기 영상 처리 방법은, 상기 렌즈의 종류 및/또는 상기 렌즈의 위치에 따라, 상기 복수의 색상 성분들 각각에 대하여 상기 LD 보정 파라미터들을 결정하는 단계; 및 상기 렌즈의 종류 및/또는 상기 렌즈의 위치에 따라, 상기 복수의 색상 성분들 각각에 대하여 상기 CA 보정 파라미터들을 결정하는 단계를 더 포함하며, 상기 렌즈 왜곡과 색수차를 보정하는 단계는, 상기 복수의 색상 성분들 각각에 대하여, 상기 복수의 생상 성분들 각각에 대한 상기 LD 보정 파라미터를 이용하여 렌즈 왜곡을 보정하는 단계; 및 상기 복수의 색상 성분들 각각에 대하여, 상기 복수의 색상 성분들 각각에 대한 상기 CA 보정 파라미터를 이용하여 색수차를 보정하는 단계를 포함할 수 있다.
또한, 상기 영상 처리 방법은, 상기 보정된 상기 복수의 색상 성분 영상들 중, 최소 크기를 갖는 색상 성분 영상을 기준으로, 상기 보정된 복수의 색상 성분 영상들의 크기를 동일하게 조절하는 단계를 더 포함하고, 상기 보정 영상을 생성하는 단계는, 상기 크기를 동일하게 조절하는 단계 이후에 수행될 수 있다.
본 발명의 일 실시예에 따른 영상 처리 장치는, 복수의 색상 성분들을 갖는 데이터 포맷의 영상을 처리하고, 상기 복수의 색상 성분들에 각각 대응되는 복수의 색상 성분 영상들을 생성하는 영상 생성부; 상기 복수의 색상 성분 영상들 각각에 대하여, 렌즈 왜곡과 색수차를 보정하는 보정부; 및 보정된 상기 복수의 색상 성분 영상들을 합성하여, 보정 영상을 생성하는 영상 합성부를 포함한다.
본 발명의 일 실시예에 따른 컴퓨터 판독가능 매체는, 복수의 색상 성분들을 갖는 데이터 포맷의 영상을 처리하는 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램은, 상기 복수의 색상 성분들에 각각 대응되는 복수의 색상 성분 영상들을 생성하는 코드 부분; 상기 복수의 색상 성분 영상들 각각에 대하여, 렌즈 왜곡과 색수차를 보정하는 코드 부분; 및 보정된 상기 복수의 색상 성분 영상들을 합성하여, 보정 영상을 생성하는 코드 부분을 포함한다.
본 발명의 실시예들에 따르면, 렌즈 왜곡 보정 및 색수차 보정을 하나의 모듈에서 제공하기 때문에, 처리되는 영상이 색수차 보정과 렌즈 왜곡 보정 사이에 메모리를 거칠 필요가 없어, 영상 처리 시간을 단축시키는 효과가 있다.
또한, 본 발명의 실시예들은 색상 성분별로, 서로 독립적으로 렌즈 왜곡 보정 및 색수차 보정을 수행하여, 렌즈 왜곡 보정과 색수차 보정의 성능을 향상시키고, Lateral 색수차 및 Longitudinal 색수차를 동시에 보정할 수 있는 효과가 있다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 예시적인 구조를 나타낸 도면이다.
본 발명의 일 실시예에 따른 영상 처리 장치(100)는 촬영 기능을 구비한 디지털 촬영 장치로서 구현될 수 있다. 또한, 영상 처리 장치(100)로 입력되는 영상은 디지털 촬영 장치에서 촬영된 영상일 수 있다. 도 1에서는 영상 처리 장치(100)가 디지털 촬영 장치로 구현된 경우, 본 발명의 일 실시예에 따른 영상 처리 장 치(100)의 개략적인 구조를 설명한다.
본 발명의 일 실시예에 따른 영상 처리 장치(100)는 조리개(111), 조리개 구동부(112), 렌즈(113), 렌즈 구동부(115), 촬상 소자(118), 촬상 소자 제어부(119), 아날로그 신호 처리부(120), 디지털 신호 처리부(130), 메모리(140), 저장/판독 제어부(150), 저장 매체(152), CPU(160), 조작부(180), 디스플레이 제어부(190), 및 디스플레이부(192)를 포함할 수 있다.
영상 처리 장치(100)의 전체 동작은 CPU(100)에 의해 통괄된다. CPU(100)는 조리개 구동부(112), 렌즈 구동부(115), 촬상 소자 제어부(119) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.
조리개(111)는 조리개 구동부(112)에 의해 그 개폐 정도가 조절되며, 촬상 소자(118)로 입사되는 광량을 조절한다.
렌즈(113)는 줌렌즈, 포커스 렌즈 등 복수의 렌즈들을 구비할 수 있다. 렌즈(113)는 렌즈 구동부(115)에 의해 그 위치가 조절된다. 렌즈 구동부(115)는 CPU(160)에서 제공된 제어 신호에 따라 렌즈(113)의 위치를 조절한다.
조리개(111) 및 렌즈(113)를 투과한 광학 신호는 촬상 소자(118)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(118)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 촬상 소자(118)는 촬상 소자 제어부(119)에 의해 감도 등이 조절될 수 있다. 촬상 소자 제어부(119)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(118)를 제어할 수 있다.
촬상 소자(118)의 노광 시간은 셔터(미도시)로 조절된다. 셔터(미도시)는 가리개를 이동시켜 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자(118)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다.
아날로그 신호 처리부(120)는 촬상 소자(118)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
아날로그 신호 처리부(120)에 의해 처리된 신호는 메모리(140)를 거쳐 디지털 신호 처리부(130)에 입력될 수도 있고, 메모리(140)를 거치지 않고 디지털 신호 처리부(130)에 입력될 수도 있으며, 필요에 따라 CPU(160)에도 입력될 수도 있다. 여기서 메모리(140)는 ROM 또는 RAM 등을 포함하는 개념이다. 디지털 신호 처리부(130)는 필요에 따라 감마(gamma) 보정, 화이트 밸런스 조정 등의 디지털 신호 처리를 할 수 있다.
디지털 신호 처리부(130)로부터 출력된 이미지 데이터는 메모리(140)를 통하여 또는 직접 디스플레이 제어부(190)에 전달된다. 디스플레이 제어부(190)는 디스플레이부(192)를 제어하여 디스플레이부(192)에 이미지를 디스플레이한다.
또한, 디지털 신호 처리부(130)로부터 출력된 이미지 데이터는 메모리(140)를 통하여 또는 직접 저장/판독 제어부(150)에 입력되는데, 저장/판독 제어부(150)는 사용자로부터의 신호에 따라 또는 자동으로 이미지 데이터를 저장매체(152)에 저장한다. 물론 저장/판독 제어부(150)는 저장매체(152)에 저장된 이미지 파일로부 터 이미지에 관한 데이터를 판독하고, 이를 메모리(140)를 통해 또는 다른 경로를 통해 디스플레이 제어부(150)에 입력하여 디스플레이부(192)에 이미지가 디스플레이되도록 할 수도 있다. 저장매체(152)는 탈착 가능한 것일 수도 있고 영상 처리 장치(100)에 영구장착된 것일 수 있다.
조작부(180)는 사용자가 제어 신호를 입력할 수 있는 곳이다. 조작부(180)는 정해진 시간 동안 촬상 소자(118)를 빛에 노출하여 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 모드, 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들을 포함할 수 있다. 조작부(180)는 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 예시적인 구조를 도시한 것이며, 영상 처리 장치(100)의 세부 구조는 실시예들에 따라 달라질 수 있다. 따라서 본 발명의 범위는 도 1에 도시된 영상 처리 장치(100)의 구조에 의하여 제한되지 않는다.
도 2a 및 도 2b는 렌즈 왜곡이 발생하는 원리를 나타낸 도면이다.
렌즈 왜곡(Lens distortion, LD)은 입사광이 렌즈를 통과하면서, 도 2a에 도시된 바와 같이 구면의 초점면이 생겨서, 촬영 영상에 렌즈로 인한 왜곡이 생기는 현상이다. 이때, 촬영 영상의 중심으로부터 가장자리로 갈수록 렌즈 왜곡으로 인해 영상이 휘어지는 정도가 심해진다. 또한, 광각 또는 망원 렌즈에서 일반 렌즈보다 렌즈 왜곡이 더 심하게 나타난다.
초점면은 도 2a에 도시된 바와 같이, 구면으로 나타나며, 구면의 초점면은 Petzval field surface라고 불린다. 그런데 광학 신호를 받아들이는 촬상 소자(118)는 평면이기 때문에, 촬상 소자(118)에서 생성된 영상에서 뒤틀림(curvature) 현상이 나타나, 렌즈 왜곡이 발생한다.
또한, 도 2b에 도시된 바와 같이, 파장에 따라 초점면이 다르게 나타난다. 파장이 짧을수록, 렌즈(113)에 대한 굴절률이 커지고, 이로 인해 초점면과 렌즈(113) 사이의 거리가 짧아지며, 초점면의 곡률이 커진다. 따라서 도 2b에 도시된 바와 같이, 파장이 짧은 블루(blue) 계열의 빛은, 파장이 긴 레드(red) 계열의 빛에 비해서 초점면과 렌즈(113) 사이의 거리가 짧고, 곡률이 크다.
도 3은 렌즈 왜곡 보정의 원리를 나타낸 도면이다.
렌즈 왜곡 보정(Lens distortion correction, LDC)은 렌즈 왜곡에 의해서 휘어진 영상을 펴주는 것이다. 도 3에 도시된 바와 같이, 렌즈 왜곡에 의해 휘어진 보정 전의 영상에, 아핀 변환(Affine transform)과 같은 처리를 적용하여, 각 픽셀을 이동시켜, 렌즈 왜곡을 보정할 수 있다. 렌즈 왜곡에 의해, 픽셀(X,Y)가 픽셀(X',Y')로 이동하였다고 가정하면, 렌즈 왜곡 보정 전과 보정 후의 영상에서 서로 대응되는 픽셀 사이의 관계는 수학식 1과 같이 나타낼 수 있다.
X' = f(X)
Y' = f(Y)
Pixel(X,Y) = Pixel(X',Y')
렌즈 왜곡을 보정하기 위해서, 함수 f의 역함수를 이용하여, 보정 전의 영상의 각 픽셀(Pixel(X',Y'))이, 보정 후의 영상에서 어느 픽셀에 대응되는지를 나타내는 좌표값(X,Y)을 구할 수 있다. 이를 위해 아핀 변환의 각 파라미터 값을 구하고, 보정 전의 픽셀 좌표들(X',Y')에 대해 아핀 변환을 적용하여, 보정 후의 영상을 구할 수 있다.
도 4a는 색수차가 발생하는 원리를 나타낸 도면이다.
색수차는 파장에 따른 굴절률의 차이에 의해 생기는 수차를 의미한다. 도 4a에 도시된 바와 같이, 파장이 길수록 렌즈(113)를 통과할 때 굴절률이 작아서, 초점 거리가 길어지고, 파장이 짧을수록 렌즈(113)를 통과할 때 굴절률이 커서, 초점 거리가 짧아진다. 이러한 초점 거리의 차이 때문에 색수차 현상이 일어난다. 일반적으로 색수차는 서로 다른 색을 갖는 두 영역 사이의 대비(contrast)가 크면 그 현상이 심해지고, 색수차가 발생하면, 보라색이 번지는 현상이 빈번하게 나타난다. 상기 색수차 현상은 파장에 따라 초점 거리가 서로 다르게 나타남으로 인해 발생하는 축상 색수차(Longitudinal CA) 현상과, 촬상 소자에서 파장에 따라 사이즈가 다르게 결상됨으로 인해 나타나는 배율 색수차(Lateral CA) 현상을 포함한다.
도 4b는 축상 색수차를 설명하기 위한 도면이고, 도 4c는 배율 색수차를 설명하기 위한 도면이다.
축상 색수차는 파장에 따른 굴절률 차이 때문에, 초점거리가 달라짐으로 인해 생기는 현상이다. 굴절률은 파장이 길수록 작아진다. 따라서 파장이 긴 레드 계열의 빛은 그린 계열의 빛에 비하여 초점이 렌즈에서 멀리 잡히고, 파장이 짧은 블루 계열의 빛은 그린 계열의 빛에 비하여 초점이 렌즈에 가깝게 잡힌다. 도 4b에 도시된 바와 같이, 촬상 소자(118)의 위치를 그린의 초점 거리에 맞춰서 결정하면, 블루 계열의 빛은 촬상 소자(118)보다 앞에서 초점이 잡혀서, 촬상 소자(118)에 역상이 생기거나 촬영된 영상에서 색이 번지게 된다. 또한 레드 계열의 빛은 촬상 소자(118)보다 뒤에 초점이 잡혀서, 촬영된 영상에서 색이 번지게 된다.
배율 색수차는 파장에 따라 굴절률이 서로 달라, 촬상 소자(118)에 결상되는 상의 크기가 달라지는 현상이다. 도 4c에 도시된 바와 같이 파장에 따라 굴절률이 서로 다름으로 인하여, 렌즈(113)를 통과한 각 파장의 빛들은 그 경로가 달라지고, 촬상 소자(115)에 도달했을 때, 결상된 피사체의 배율이 서로 달라, 촬영된 영상에서 피사체가 번지게 된다.
렌즈 왜곡과 색수차는 기본적으로 추가 보정 렌즈를 도입하여 보정될 수 있으나, 추가 보정 렌즈를 사용하는 경우, 비용이 증가하고 렌즈(113)의 두께가 두꺼워져 디지털 촬영 장치의 부피가 커지는 단점이 있다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
본 발명의 실시예들은 복수의 색상 성분들을 갖는 데이터 포맷의 영상에 대해서, 각 색상 성분들에 대해 서로 독립적으로 렌즈 왜곡 보정 및 색수차 보정을 위한 처리를 수행한다. 이하, RGB 데이터 포맷을 갖는 입력 영상을 처리하는 실시 예를 중심으로 설명한다. 그러나 본 발명의 범위는 RGB 데이터 포맷의 입력 영상을 처리하는 것으로 한정되지 않는다.
본 발명의 일 실시예에 따른 영상 처리 방법은, R, G, B 각각에 대한 렌즈 왜곡 보정 파라미터들(LD 보정 파라미터들) 및 색수차 보정 파라미터들(CA 보정 파라미터들)을 결정한다(S502). 즉, R에 대한 LD 보정 파라미터와 CA 보정 파라미터, G에 대한 LD 보정 파라미터와 CA 보정 파라미터, B에 대한 LD 보정 파라미터와 CA 보정 파라미터가 결정된다. 상기 LD 보정 파라미터들 및 상기 CA 보정 파라미터들은 룩업 테이블(Look-up table)의 형태로 미리 저장되어 있을 수 있다. 본 발명의 일 실시예에 따르면, R, G, B 각각에 대한 상기 LD 보정 파라미터들 및 상기 CA 보정 파라미터들은 렌즈 종류 및 줌단에 따라 결정될 수 있으며, 렌즈 종류 및 줌단에 따라 미리 저장된 정보, 예를 들면 룩업 테이블을 이용하여 결정될 수 있다.
도 6은 본 발명의 일 실시예에 따라, LD 보정 파라미터들 및 CA 보정 파라미터들이 저장된 예시적인 룩업 테이블을 나타낸 도면이다. 도 6에서 LD는 LD 보정 파라미터를 의미하고, CA는 CA 보정 파라미터를 의미한다. 도 6에 도시된 바와 같이 LD 보정 파라미터들 및 CA 보정 파라미터들은 R, G, B 각각에 대하여 미리 저장되어 있을 수 있다. 상기 룩업 테이블은 예를 들면 저장매체(152) 또는 메모리(140)에 미리 저장되어 있을 수 있다. 또한 LD 보정 파라미터들 및 CA 보정 파라미터들은 렌즈 종류 및 줌단에 따라서 달라질 수 있다. 따라서 상기 룩업 테이블은 렌즈 종류 및 줌단별로, R, G, B 각각에 대한 LD 보정 파라미터 및 CA 보정 파라미터를 포함할 수 있다. 각각의 LD 보정 파라미터 및 CA 보정 파라미터는 예를 들면, 행렬의 형태로 저장될 수 있다.
또한, 상기 영상 처리 방법은 입력 영상으로부터 R 성분 영상, G 성분 영상, 및 B 성분 영상을 생성한다(S504). 본 발명의 실시예들은 복수의 색상 성분들에 대하여 독립적으로 렌즈 왜곡 보정 및 색수차 보정을 위한 처리를 하기 때문에, 입력 영상을 색상 성분별로 분리한다. 입력 영상은 베이어 패턴(Bayer pattern) 영상, 또는 복수의 색상 성분들을 포함하는 데이터 포맷의 영상으로서 예를 들면 RGB 데이터 포맷의 영상일 수 있다.
도 5는 S502 단계 이후에 S504 단계가 수행되는 것으로 도시하였지만, S502 단계 및 S504 단계의 순서는 임의로 결정될 수 있고, 동시에 수행되는 것도 가능하다.
R, G, B 각각에 대한 LD 보정 파라미터 및 CA 보정 파라미터가 결정되고(S502), R 성분 영상, G 성분 영상, 및 B 성분 영상이 생성되면(S504), R 성분 영상, G 성분 영상, 및 B 성분 영상에 대해 각각 렌즈 왜곡 보정 및 색수차 보정 처리가 수행된다. 즉, B 성분 영상에 대해, B에 대한 LD 보정 파라미터를 이용하여 렌즈 왜곡 보정이 수행되고(S506), B에 대한 CA 보정 파라미터를 이용하여 색수차 보정이 수행되고(S508), G 성분 영상에 대해, G에 대한 LD 보정 파라미터를 이용하여 렌즈 왜곡 보정이 수행되며(S510), R 성분 영상에 대해, R에 대한 LD 보정 파라미터를 이용하여 렌즈 왜곡 보정(S512)이 수행되고, R에 대한 CA 보정 파라미터를 이용하여 색수차 보정(S514)이 수행된다.
본 발명의 일 실시예에 따르면, 복수의 색상 성분들 중, 촬상 소자(118)의 위치가 그 색상 성분의 초점 거리에 맞춰서 결정된 색상 성분에 대해서는, 색수차 보정 처리를 생략할 수 있다. 예를 들면, 촬상 소자(118)의 위치가 그린 계열의 광학 신호의 초점 거리에 맞춰져 결정된 경우, G 성분 영상에 대해서는 렌즈 왜곡 보정(S510)만을 수행하고, 색수차 보정이 수행되지 않을 수 있다.
렌즈 왜곡 보정은 예를 들면, 수학식 2에 나타낸 관계식을 이용하여, 픽셀들을 쉬프트(shift) 함으로써 수행될 수 있다.
X' = F(X) = Sx (1 + K1*R + K2*R*R) * (X - Cx) + Cx
Y' = F(Y) = Sy (1 + K1*R + K2*R*R) * (Y - Cy) + Cy
여기서 Sx, Sy, K1, K2는 스케일링(scaling) LD 보정 파라미터들이고, Cx, Cy는 광축 중심 위치를 나타내는 LD 보정 파라미터이다. R은 (X-Cx)2 + (Y-Cy)2으로 나타낼 수 있고, 해당 픽셀이 광축에서 얼마나 떨어져 있는지를 나타낸다.
색수차 보정은 예를 들면, 수학식 3에 나타낸 관계식을 이용하여, 픽셀들을 쉬프트 함으로써 수행될 수 있다.
X' = F(X) = S1 (X - Scx) + S2 + Scx
Y' = F(Y) = S3 (Y - Scy) + S4 + Scy
여기서 S1, S2는 스케일링 CA 보정 파라미터들이고, S3, S4는 쉬프트 CA 보정 파라미터들이며, Scx, Scy는 광축의 중심 위치를 나타내는 CA 보정 파라미터들 이다.
렌즈 왜곡 보정 및 색수차 보정이 완료되면, 보정된 R 성분 영상, G 성분 영상, 및 B 성분 영상의 크기를 맞추기 위하여, 클리핑(clipping) 처리를 수행한다(S516). 색수차 보정 과정은, 각 영상들을 확대 또는 축소하는 리사이징 과정을 포함하여, 색수차 보정이 완료되면, 보정된 R 성분 영상, G 성분 영상, 및 B 성분 영상이 유효하지 않은 픽셀들을 포함하기 때문에, 클리핑 처리에서는 유효하지 않은 픽셀들의 영역을 클리핑하여, 유효한 영역만을 포함하고, 동일한 크기를 갖는 R 성분 영상, G 성분 영상, 및 B 성분 영상을 얻는다. 클리핑은 가장 작은 크기를 갖는 영상을 기준으로, 그 크기에 맞춰서 다른 영상을 클리핑하도록 수행될 수 있고, 예를 들면, B 성분 영상의 크기에 맞춰서 클리핑 처리를 할 수 있다. 다음으로, 보정된 R 성분 영상, G 성분 영상, 및 B 성분 영상을 합성(integration)하여, 보정 영상을 출력한다(S518). 상기 보정 영상은 예를 들면 베이어 패턴의 영상일 수 있다.
도 7은 본 발명의 다른 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
본 발명의 다른 실시예에 따르면, 렌즈 왜곡 처리 및 색수차 보정 처리를 서로 다른 단계로 수행하지 않고, 하나의 단계로 수행한다. 렌즈 왜곡 처리 및 색수차 보정 처리는 모두 픽셀을 쉬프트 시키는 처리이기 때문에, 렌즈 왜곡 처리 및 색수차 보정 처리를 모두 반영한 보정 파라미터를 이용하면, 각 픽셀들에 대한 한번의 쉬프트 연산으로 렌즈 왜곡 보정 및 색수차 보정을 모두 수행할 수 있다.
따라서 본 발명의 다른 실시예에 따르면, R, G, B 각각에 대해, LD 보정 파 라미터 및 CA 보정 파라미터를 따로 구할 필요 없이, R, G, B 각각에 대해 하나의 보정 파라미터를 결정한다(S702). 즉, R에 대한 하나의 보정 파라미터, G에 대한 하나의 보정 파라미터, 및 B에 대한 하나의 보정 파라미터가 결정된다. 이러한 경우에도, 보정 파라미터는 렌즈 종류 및 줌단에 따라서 결정될 수 있다. 또한 상기 보정 파라미터들은 룩업 테이블의 형태로 미리 저장되어 있을 수 있다.
도 8은 본 발명의 다른 실시예에 따라, 보정 파라미터들이 저장된 예시적인 룩업 테이블을 나타낸 도면이다. 도 8에 도시된 바와 같이 보정 파라미터들은 R, G, B 각각에 대하여 미리 저장되어 있을 수 있다. 또한 상기 보정 파라미터들은 렌즈 종류 및 줌단에 따라서 달라질 수 있다. 따라서 상기 룩업 테이블은 렌즈 종류 및 줌단별로, R, G, B 각각에 대한 보정 파라미터들을 포함할 수 있다. 각각의 보정 파라미터들은 예를 들면, 행렬의 형태로 저장될 수 있다.
또한 앞서 설명한 바와 같이, 상기 영상 처리 방법은 R 성분 영상, G 성분 영상 및 B 성분 영상을 생성한다(S704).
R, G, B 각각에 대한 보정 파라미터들이 결정되고(S702), R 성분 영상, G 성분 영상, 및 B 성분 영상이 생성되면(S704), R 성분 영상, G 성분 영상, 및 B 성분 영상에 대해 각각 렌즈 왜곡 및 색수차 보정의 처리가 하나의 단계로 수행된다. 즉, B 성분 영상에 대한 렌즈 왜곡 및 색수차 보정이 수행되고(S706), G 성분 영상에 대한 렌즈 왜곡 및 색수차 보정이 수행되며(S708), R 성분 영상에 대한 렌즈 왜곡 및 색수차 보정이 수행된다(S710). 렌즈 왜곡 및 색수차 보정은 상기 R, G, B 각각에 대한 보정 파라미터들을 이용하여 수행된다.
렌즈 왜곡 및 색수차 보정이 완료되면, 보정된 R 성분 영상, G 성분 명상, 및 B 성분 영상의 크기를 맞추기 위하여, 클리핑(clipping) 처리를 수행한다(S712). 다음으로, 보정된 R 성분 영상, G 성분 영상, 및 B 성분 영상을 합성하여, RGB 데이터 포맷의 영상을 출력한다(S714).
도 9는 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 디지털 신호 처리부(130a)의 구조를 나타낸 도면이다.
본 발명의 일 실시예에 따른 영상 처리 장치(100)의 디지털 신호 처리부(130a)는 영상 생성부(910), 보정 파라미터 결정부(920a), 보정부(930a), 클리핑부(940), 및 영상 합성부(950)를 포함한다.
영상 생성부(910)는 입력 영상으로부터 R 성분 영상, G 성분 영상, 및 B 성분 영상을 생성한다. 입력 영상은 베이어 패턴(Bayer pattern) 영상, 또는 복수의 색상 성분들을 포함하는 데이터 포맷의 영상으로서 예를 들면 RGB 데이터 포맷의 영상일 수 있다. 입력 영상은 촬상 소자(118) 또는 아날로그 신호 처리부(120)로부터 입력될 수 있다. 영상 생성부(910)는 R 성분 영상, G 성분 영상, 및 B 성분 영상을 보정부(930a)로 출력한다.
본 발명의 일 실시예에 따른 보정 파라미터 결정부(920a)는 LD 보정 파라미터 결정부(922) 및 CA 보정 파라미터 결정부(924)를 포함할 수 있다. LD 보정 파라미터 결정부(922)는 R에 대한 LD 보정 파라미터, G에 대한 LD 보정 파라미터, 및 B에 대한 LD 보정 파라미터를 결정하여 각각 후술될 R LD 보정부(962), G LD 보정부(964), 및 B LD 보정부(966)로 출력한다. CA 보정 파라미터 결정부(924)는 R에 대한 CA 보정 파라미터 및 B에 대한 CA 보정 파라미터를 결정하여 각각 후술될 R CA 보정부(972) 및 B CA 보정부(974)로 출력한다. 상기 LD 보정 파라미터들 및 상기 CA 보정 파라미터들은 저장매체(152) 또는 메모리(140)에 룩업 테이블(Look-up table)의 형태로 미리 저장되어 있을 수 있다. 본 발명의 일 실시예에 따르면, R, G, B 각각에 대한 상기 LD 보정 파라미터들 및 상기 CA 보정 파라미터들은 렌즈 종류 및 줌단에 따라 결정될 수 있으며, 렌즈 종류 및 줌단에 따라 미리 저장된 정보, 예를 들면 룩업 테이블을 이용하여 결정될 수 있다. 룩업 테이블은 예를 들면 도 6에 도시된 바와 같이 저장될 수 있다.
보정부(930a)는 LD 보정부(960) 및 CA 보정부(970)를 포함할 수 있다. LD 보정부(960)는 R LD 보정부(962), G LD 보정부(964), 및 B LD 보정부(966)를 포함하고, CA 보정부(970)는 R CA 보정부(972) 및 B CA 보정부(974)를 포함할 수 있다.
영상 생성부(910)로부터 출력된 R 성분 영상은 R LD 보정부(962)로 입력된다. R LD 보정부(962)는 R에 대한 LD 보정 파라미터를 이용하여, R 성분 영상에 대한 렌즈 왜곡 보정 처리를 수행하고, 렌즈 왜곡 보정된 R 성분 영상을 R CA 보정부(972)로 출력한다. 이때, R 성분 영상은 메모리(140)를 거치지 않고 R LD 보정부(962)로부터 R CA 보정부(972)로 전달된다. R CA 보정부(972)는 R에 대한 CA 보정 파라미터를 이용하여, R LD 보정부(962)로부터 출력된 R 성분 영상에 대해 색수차 보정을 수행하고, 색수차 보정된 R 성분 영상을 클리핑부(940)로 출력한다.
영상 생성부(910)로부터 출력된 G 성분 영상은 G LD 보정부(964)로 입력된다. G LD 보정부(964)는 G에 대한 LD 보정 파라미터를 이용하여, G 성분 영상에 대 한 렌즈 왜곡 보정 처리를 수행하고, 렌즈 왜곡 보정된 G 성분 영상을 클리핑부(940)로 출력한다. 앞서 설명한 바와 같이, 촬상 소자(118)의 위치가 그린 계열의 광학 신호의 초점 거리에 맞춰져 결정된 경우, G 성분 영상에 대해서는 렌즈 왜곡 보정만을 수행하고, 색수차 보정이 수행되지 않을 수 있다.
영상 생성부(910)로부터 출력된 B 성분 영상은 B LD 보정부(966)로 입력된다. B LD 보정부(966)는 B에 대한 LD 보정 파라미터를 이용하여, B 성분 영상에 대한 렌즈 왜곡 보정 처리를 수행하고, 렌즈 왜곡 보정된 B 성분 영상을 B CA 보정부(974)로 출력한다. 이때, B 성분 영상은 메모리(140)를 거치지 않고 B LD 보정부(966)로부터 B CA 보정부(974)로 전달된다. B CA 보정부(974)는 B에 대한 CA 보정 파라미터를 이용하여, B LD 보정부(966)로부터 출력된 B 성분 영상에 대해 색수차 보정을 수행하고, 색수차 보정된 B 성분 영상을 클리핑부(940)로 출력한다.
R LD 보정부(962), G LD 보정부(964), 및 B LD 보정부(966)는 예를 들면, 앞서 설명한 수학식 2를 이용하여 렌즈 왜곡을 보정할 수 있다. R CA 보정부(972) 및 B CA 보정부(974)는 예를 들면, 앞서 설명한 수학식 3을 이용하여 색수차를 보정할 수 있다.
클리핑부(940)는 렌즈 왜곡 보정 및 색수차 보정이 완료된 R 성분 영상, G 성분 명상, 및 B 성분 영상의 크기를 맞추기 위하여, 보정된 R 성분 영상, G 성분 명상, 및 B 성분 영상에 대해 클리핑 처리를 수행한다.
영상 합성부(950)는 렌즈 왜곡 및 색수차 보정되고 클리핑된 R 성분 영상, G 성분 영상, 및 B 성분 영상을 합성하여, RGB 데이터 포맷의 영상을 출력한다.
도 10은 본 발명의 다른 실시예에 따른 영상 처리 장치(100)의 디지털 신호 처리부(130b)의 구조를 나타낸 도면이다.
본 발명의 다른 실시예에 다른 파라미터 결정부(920b)는 LD 보정 파라미터 및 CA 보정 파라미터를 따로 구하지 않고, R, G, B 각각에 대해 하나의 보정 파라미터를 결정한다. 즉, 파라미터 결정부(920b)는 R에 대한 하나의 보정 파라미터, G에 대한 하나의 보정 파라미터, 및 B에 대한 하나의 보정 파라미터를 결정한다. 이러한 경우에도, 파라미터 결정부(920b)는 보정 파라미터를 렌즈 종류 및 줌단에 따라서 결정할 수 있다. 또한 상기 보정 파라미터들은 룩업 테이블의 형태로 저장매체(152) 또는 메모리(140)에 미리 저장되어 있을 수 있으며, 예를 들면 도 8에 도시된 바와 같이 저장될 수 있다.
본 발명의 다른 실시예에 따른 보정부(930b)는 R 영상 보정부(1012), G 영상 보정부(1014), 및 B 영상 보정부(1016)를 포함할 수 있다. R 영상 보정부(1012)는 R에 대한 보정 파라미터를 이용하여 R 성분 영상에 대해 렌즈 왜곡 및 색수차를 보정하고, 클리핑부(940)로 출력한다. G 영상 보정부(1014)는 G에 대한 보정 파라미터를 이용하여 G 성분 영상에 대해 렌즈 왜곡 및 색수차를 보정하고, 클리핑부(940)로 출력한다. B 영상 보정부(1016)는 B에 대한 보정 파라미터를 이용하여 B 성분 영상에 대해 렌즈 왜곡 및 색수차를 보정하고, 클리핑부(940)로 출력한다.
한편, 본 발명은 컴퓨터 판독가능 매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 매체로부터 디지털 신호 처리부(130)에 의하여 독출되어 실행될 때, 본 발명에 따른 영상 처리 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.
컴퓨터 판독가능 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 예시적인 구조를 나타낸 도면이다.
도 2a 및 도 2b는 렌즈 왜곡이 발생하는 원리를 나타낸 도면이다.
도 3은 렌즈 왜곡 보정의 원리를 나타낸 도면이다.
도 4a는 색수차가 발생하는 원리를 나타낸 도면이다.
도 4b는 축상 색수차를 설명하기 위한 도면이고, 도 4c는 배율 색수차를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따라, LD 보정 파라미터들 및 CA 보정 파라미터들이 저장된 예시적인 룩업 테이블을 나타낸 도면이다.
도 7은 본 발명의 다른 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 8은 본 발명의 다른 실시예에 따라, 보정 파라미터들이 저장된 예시적인 룩업 테이블을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 디지털 신호 처리부(130a)의 구조를 나타낸 도면이다.
도 10은 본 발명의 다른 실시예에 따른 영상 처리 장치(100)의 디지털 신호 처리부(130b)의 구조를 나타낸 도면이다.

Claims (21)

  1. 복수의 색상 성분들을 갖는 데이터 포맷의 영상을 처리하는 영상 처리 방법에 있어서,
    입력 영상으로부터 상기 복수의 색상 성분들에 각각 대응되는 복수의 색상 성분 영상들을 생성하는 단계;
    상기 복수의 색상 성분 영상들 각각에 대해 보정된 좌표값을 산출함에 의해, 상기 복수의 색상 성분 영상들 각각에 대하여, 렌즈 왜곡과 색수차를 보정하는 단계;
    상기 복수의 보정된 색상 성분 영상들 중, 최소 크기를 갖는 보정된 색상 성분 영상을 기준으로, 상기 보정된 색상 성분 영상들의 크기를 변경하는 단계; 및
    상기 보정된 상기 복수의 색상 성분 영상들을 합성하여, 보정 영상을 생성하는 단계를 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 데이터 포맷은 RGB 데이터 포맷이고,
    상기 복수의 색상 성분 영상들은, R 성분 영상, G 성분 영상, 및 B 성분 영상을 포함하며,
    상기 보정하는 단계는,
    R 성분 영상의 렌즈 왜곡과 색수차를 보정하는 단계;
    G 성분 영상의 렌즈 왜곡과 색수차를 보정하는 단계; 및
    B 성분 영상의 렌즈 왜곡과 색수차를 보정하는 단계를 포함하는, 영상 처리 방법.
  3. 제1항에 있어서, 상기 색수차 보정은 복수의 색상 성분들 중 어느 하나의 초점 거리를 기준으로 이루어지고,
    상기 렌즈 왜곡과 색수차를 보정하는 단계는, 상기 기준이 된 초점 거리에 대응되는 색상 성분 영상에 대해서는, 색수차 보정을 수행하지 않는, 영상 처리 방법.
  4. 제1항에 있어서, 상기 렌즈 왜곡과 색수차를 보정하는 단계는, 상기 복수의 색상 성분 영상들 각각에 대하여, 서로 다른 보정 파라미터를 이용하여, 렌즈 왜곡과 색수차를 보정하는, 영상 처리 방법.
  5. 제1항에 있어서,
    상기 입력 영상은, 이동 가능한 렌즈를 구비한 촬영 장치에 의하여 촬영된 영상이고,
    상기 영상 처리 방법은, 상기 렌즈의 종류 및/또는 상기 입력 영상 촬영 시의 상기 렌즈의 위치에 따라, 상기 복수의 색상 성분들 각각에 대한 복수의 보정 파라미터들을 결정하는 단계를 더 포함하고,
    상기 렌즈 왜곡과 색수차를 보정하는 단계는, 상기 복수의 보정 파라미터들을 이용하여, 상기 복수의 색상 성분 영상들 각각에 대하여, 렌즈 왜곡과 색수차를 보정하는, 영상 처리 방법.
  6. 제5항에 있어서,
    상기 복수의 색상 성분들 각각에 대한 상기 복수의 보정 파라미터들은, 상기 복수의 색상 성분들 각각에 대한 렌즈 왜곡 보정 파라미터들(LD 보정 파라미터들)과, 상기 복수의 색상 성분들 각각에 대한 색수차 보정 파라미터들(CA 보정 파라미터들)을 포함하고, 상기 영상 처리 방법은,
    상기 렌즈의 종류 및/또는 상기 렌즈의 위치에 따라, 상기 복수의 색상 성분들 각각에 대하여 상기 LD 보정 파라미터들을 결정하는 단계; 및
    상기 렌즈의 종류 및/또는 상기 렌즈의 위치에 따라, 상기 복수의 색상 성분들 각각에 대하여 상기 CA 보정 파라미터들을 결정하는 단계를 더 포함하며,
    상기 렌즈 왜곡과 색수차를 보정하는 단계는,
    상기 복수의 색상 성분들 각각에 대하여, 상기 복수의 생상 성분들 각각에 대한 상기 LD 보정 파라미터를 이용하여 렌즈 왜곡을 보정하는 단계; 및
    상기 복수의 색상 성분들 각각에 대하여, 상기 복수의 색상 성분들 각각에 대한 상기 CA 보정 파라미터를 이용하여 색수차를 보정하는 단계를 포함하는, 영상 처리 방법.
  7. 제1항에 있어서,
    상기 크기를 변경하는 단계는, 상기 보정된 복수의 색상 성분 영상들의 크기를 동일하게 조절하는, 영상 처리 방법.
  8. 복수의 색상 성분들을 갖는 데이터 포맷의 영상을 처리하는 영상 처리 장치에 있어서,
    입력 영상으로부터 상기 복수의 색상 성분들에 각각 대응되는 복수의 색상 성분 영상들을 생성하는 영상 생성부;
    상기 복수의 색상 성분 영상들 각각에 대해 보정된 좌표값을 산출함에 의해, 상기 복수의 색상 성분 영상들 각각에 대하여, 렌즈 왜곡과 색수차를 보정하는 보정부;
    상기 보정된 상기 복수의 색상 성분 영상들 중, 최소 크기를 갖는 보정된 색상 성분 영상을 기준으로, 상기 보정된 복수의 색상 성분 영상들의 크기를 변경하는 클리핑(clipping)부; 및
    상기 클리핑부에서 보정된 상기 복수의 색상 성분 영상들을 합성하여, 보정 영상을 생성하는 영상 합성부를 포함하는, 영상 처리 장치.
  9. 제8항에 있어서,
    상기 데이터 포맷은 RGB 데이터 포맷이고,
    상기 복수의 색상 성분 영상들은, R 성분 영상, G 성분 영상, 및 B 성분 영상을 포함하며,
    상기 보정부는,
    R 성분 영상의 렌즈 왜곡과 색수차를 보정하는 R 영상 보정부;
    G 성분 영상의 렌즈 왜곡과 색수차를 보정하는 G 영상 보정부; 및
    B 성분 영상의 렌즈 왜곡과 색수차를 보정하는 B 영상 보정부를 포함하는, 영상 처리 장치.
  10. 제8항에 있어서, 상기 색수차 보정은 복수의 색상 성분들 중 어느 하나의 초점 거리를 기준으로 이루어지고,
    상기 보정부는, 상기 기준이 된 초점 거리에 대응되는 색상 성분 영상에 대해서는, 색수차 보정을 수행하지 않는, 영상 처리 장치.
  11. 제8항에 있어서, 상기 보정부는, 상기 복수의 색상 성분 영상들 각각에 대하여, 서로 다른 보정 파라미터를 이용하여, 렌즈 왜곡과 색수차를 보정하는, 영상 처리 장치.
  12. 제8항에 있어서,
    상기 입력 영상은, 이동 가능한 렌즈를 구비한 촬영 장치에 의하여 촬영된 영상이고,
    상기 영상 처리 장치는, 상기 렌즈의 종류 및/또는 상기 입력 영상 촬영 시의 상기 렌즈의 위치에 따라, 상기 복수의 색상 성분들 각각에 대한 복수의 보정 파라미터들을 결정하는 보정 파라미터 결정부를 더 포함하고,
    상기 보정부는, 상기 복수의 보정 파라미터들을 이용하여, 상기 복수의 색상 성분 영상들 각각에 대하여, 렌즈 왜곡과 색수차를 보정하는, 영상 처리 장치.
  13. 제12항에 있어서,
    상기 복수의 색상 성분들 각각에 대한 상기 복수의 보정 파라미터들은, 상기 복수의 색상 성분들 각각에 대한 렌즈 왜곡 보정 파라미터들(LD 보정 파라미터들)과, 상기 복수의 색상 성분들 각각에 대한 색수차 보정 파라미터들(CA 보정 파라미터들)을 포함하고, 상기 파라미터 결정부는,
    상기 렌즈의 종류 및/또는 상기 렌즈의 위치에 따라, 상기 복수의 색상 성분들 각각에 대하여 상기 LD 보정 파라미터들을 결정하는 LD 보정 파라미터 결정부; 및
    상기 렌즈의 종류 및/또는 상기 렌즈의 위치에 따라, 상기 복수의 색상 성분들 각각에 대하여 상기 CA 보정 파라미터들을 결정하는 CA 보정 파라미터 결정부를 포함하며,
    상기 보정부는,
    상기 복수의 색상 성분들 각각에 대하여, 상기 복수의 생상 성분들 각각에 대한 상기 LD 보정 파라미터를 이용하여 렌즈 왜곡을 보정하는 LD 보정부; 및
    상기 복수의 색상 성분들 각각에 대하여, 상기 복수의 색상 성분들 각각에 대한 상기 CA 보정 파라미터를 이용하여 색수차를 보정하는 CA 보정부를 포함하는, 영상 처리 장치.
  14. 제8항에 있어서, 상기 영상 처리 장치는,
    상기 클리핑부는, 상기 보정된 복수의 색상 성분 영상들의 크기를 동일하게 조절하는, 영상 처리 장치.
  15. 복수의 색상 성분들을 갖는 데이터 포맷의 영상을 처리하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체에 있어서, 상기 컴퓨터 프로그램은,
    입력 영상으로부터 상기 복수의 색상 성분들에 각각 대응되는 복수의 색상 성분 영상들을 생성하는 코드 부분;
    상기 복수의 색상 성분 영상들 각각에 대해 보정된 좌표값을 산출함에 의해, 상기 복수의 색상 성분 영상들 각각에 대하여, 렌즈 왜곡과 색수차를 보정하는 코드 부분;
    상기 복수의 보정된 색상 성분 영상들 중, 최소 크기를 갖는 보정된 색상 성분 영상을 기준으로, 상기 보정된 색상 성분 영상들의 크기를 변경하는 코드 부분; 및
    상기 보정된 상기 복수의 색상 성분 영상들을 합성하여, 보정 영상을 생성하는 코드 부분을 포함하는, 컴퓨터 판독가능 매체.
  16. 제15항에 있어서,
    상기 데이터 포맷은 RGB 데이터 포맷이고,
    상기 복수의 색상 성분 영상들은, R 성분 영상, G 성분 영상, 및 B 성분 영상을 포함하며,
    상기 보정하는 코드 부분은,
    R 성분 영상의 렌즈 왜곡과 색수차를 보정하는 코드 부분;
    G 성분 영상의 렌즈 왜곡과 색수차를 보정하는 코드 부분; 및
    B 성분 영상의 렌즈 왜곡과 색수차를 보정하는 코드 부분을 포함하는, 컴퓨터 판독가능 매체.
  17. 제15항에 있어서, 상기 색수차 보정은 복수의 색상 성분들 중 어느 하나의 초점 거리를 기준으로 이루어지고,
    상기 렌즈 왜곡과 색수차를 보정하는 코드 부분은, 상기 기준이 된 초점 거리에 대응되는 색상 성분 영상에 대해서는, 색수차 보정을 수행하지 않는, 컴퓨터 판독가능 매체.
  18. 제15항에 있어서, 상기 렌즈 왜곡과 색수차를 보정하는 코드 부분은, 상기 복수의 색상 성분 영상들 각각에 대하여, 서로 다른 보정 파라미터를 이용하여, 렌즈 왜곡과 색수차를 보정하는, 컴퓨터 판독가능 매체.
  19. 제15항에 있어서,
    상기 입력 영상은, 이동 가능한 렌즈를 구비한 촬영 장치에 의하여 촬영된 영상이고,
    상기 컴퓨터 프로그램은, 상기 렌즈의 종류 및/또는 상기 입력 영상 촬영 시의 상기 렌즈의 위치에 따라, 상기 복수의 색상 성분들 각각에 대한 복수의 보정 파라미터들을 결정하는 코드 부분을 더 포함하고,
    상기 렌즈 왜곡과 색수차를 보정하는 코드 부분은, 상기 복수의 보정 파라미터들을 이용하여, 상기 복수의 색상 성분 영상들 각각에 대하여, 렌즈 왜곡과 색수차를 보정하는, 컴퓨터 판독가능 매체.
  20. 제19항에 있어서,
    상기 복수의 색상 성분들 각각에 대한 상기 복수의 보정 파라미터들은, 상기 복수의 색상 성분들 각각에 대한 렌즈 왜곡 보정 파라미터들(LD 보정 파라미터들)과, 상기 복수의 색상 성분들 각각에 대한 색수차 보정 파라미터들(CA 보정 파라미터들)을 포함하고, 상기 컴퓨터 프로그램은,
    상기 렌즈의 종류 및/또는 상기 렌즈의 위치에 따라, 상기 복수의 색상 성분들 각각에 대하여 상기 LD 보정 파라미터들을 결정하는 코드 부분; 및
    상기 렌즈의 종류 및/또는 상기 렌즈의 위치에 따라, 상기 복수의 색상 성분들 각각에 대하여 상기 CA 보정 파라미터들을 결정하는 코드 부분을 더 포함하며,
    상기 렌즈 왜곡과 색수차를 보정하는 코드 부분은,
    상기 복수의 색상 성분들 각각에 대하여, 상기 복수의 생상 성분들 각각에 대한 상기 LD 보정 파라미터를 이용하여 렌즈 왜곡을 보정하는 코드 부분; 및
    상기 복수의 색상 성분들 각각에 대하여, 상기 복수의 색상 성분들 각각에 대한 상기 CA 보정 파라미터를 이용하여 색수차를 보정하는 코드 부분을 포함하는, 컴퓨터 판독가능 매체.
  21. 제15항에 있어서,
    상기 크기를 변경하는 코드 부분은, 상기 보정된 복수의 색상 성분 영상들의 크기를 동일하게 조절하는, 컴퓨터 판독가능 매체.
KR1020090112184A 2009-11-19 2009-11-19 렌즈 왜곡과 색수차를 보정하는 장치 및 방법 KR101635101B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090112184A KR101635101B1 (ko) 2009-11-19 2009-11-19 렌즈 왜곡과 색수차를 보정하는 장치 및 방법
US12/940,201 US8872932B2 (en) 2009-11-19 2010-11-05 Apparatus and method for removing lens distortion and chromatic aberration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090112184A KR101635101B1 (ko) 2009-11-19 2009-11-19 렌즈 왜곡과 색수차를 보정하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110055242A KR20110055242A (ko) 2011-05-25
KR101635101B1 true KR101635101B1 (ko) 2016-06-30

Family

ID=44011061

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090112184A KR101635101B1 (ko) 2009-11-19 2009-11-19 렌즈 왜곡과 색수차를 보정하는 장치 및 방법

Country Status (2)

Country Link
US (1) US8872932B2 (ko)
KR (1) KR101635101B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5704984B2 (ja) * 2011-03-22 2015-04-22 キヤノン株式会社 撮像装置
KR101428534B1 (ko) * 2012-12-13 2014-08-11 한국항공대학교산학협력단 렌즈 왜곡 보정 장치 및 방법
KR102114248B1 (ko) 2013-09-13 2020-05-22 삼성전자 주식회사 깊이 정보 기반 광학 왜곡 보상 장치 및 방법
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
US10212366B2 (en) * 2016-06-17 2019-02-19 Fotonation Limited Iris image acquisition system
KR102473840B1 (ko) 2017-11-21 2022-12-05 삼성전자주식회사 디스플레이 드라이버 및 모바일 전자 기기

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336106A (ja) * 2003-04-30 2004-11-25 Sony Corp 画像処理装置、画像処理方法ならびに撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2365646B (en) * 2000-07-31 2004-10-13 Sony Uk Ltd Image processor and method of processing images
US7289663B2 (en) * 2002-07-24 2007-10-30 Eastman Kodak Company Producing an extended color gamut luminance-chrominance digital image from a captured image
JP2004241991A (ja) * 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
JP4709084B2 (ja) * 2006-07-07 2011-06-22 キヤノン株式会社 画像処理装置及び画像処理方法
JP5078148B2 (ja) * 2008-03-10 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
JP4966894B2 (ja) * 2008-03-18 2012-07-04 株式会社リコー 画像撮像装置
JP5112238B2 (ja) * 2008-09-29 2013-01-09 株式会社リコー 撮像装置、設定値変更方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336106A (ja) * 2003-04-30 2004-11-25 Sony Corp 画像処理装置、画像処理方法ならびに撮像装置

Also Published As

Publication number Publication date
US8872932B2 (en) 2014-10-28
US20110115938A1 (en) 2011-05-19
KR20110055242A (ko) 2011-05-25

Similar Documents

Publication Publication Date Title
JP5132401B2 (ja) 画像処理装置及び画像処理方法
JP5300133B2 (ja) 画像表示装置及び撮像装置
JP5349790B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR101265358B1 (ko) 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법
US8175343B2 (en) Imaging device, image processing device, control method, and program
JP6906947B2 (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
KR101635101B1 (ko) 렌즈 왜곡과 색수차를 보정하는 장치 및 방법
JP6999802B2 (ja) ダブルカメラベースの撮像のための方法および装置
KR20110089665A (ko) 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체
JP4433883B2 (ja) ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置
JP5272699B2 (ja) 画像処理装置、撮像装置、プログラムおよび画像処理方法
KR101626447B1 (ko) 렌즈 왜곡과 색수차를 보정하는 장치, 방법, 및 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체
JP5183348B2 (ja) 撮像装置
JP6468868B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5173664B2 (ja) 画像処理装置及び画像処理方法
KR101750986B1 (ko) 영상 처리 장치, 방법, 및 컴퓨터 판독가능 저장매체
JP5284183B2 (ja) 画像処理装置およびその方法
JP2009033289A (ja) 撮像装置及び撮像方法
JP7134666B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2008053810A (ja) 撮像装置、および画像処理プログラム
JP6672043B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理システムおよび画像処理プログラム
JP7020387B2 (ja) 撮像制御装置、撮像装置及び撮像制御プログラム
KR101653270B1 (ko) 색수차를 보정하는 방법 및 장치
JP2012133492A (ja) 画像処理装置およびプログラム
JP2019197305A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 4