KR102179262B1 - 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서 - Google Patents
렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서 Download PDFInfo
- Publication number
- KR102179262B1 KR102179262B1 KR1020140071040A KR20140071040A KR102179262B1 KR 102179262 B1 KR102179262 B1 KR 102179262B1 KR 1020140071040 A KR1020140071040 A KR 1020140071040A KR 20140071040 A KR20140071040 A KR 20140071040A KR 102179262 B1 KR102179262 B1 KR 102179262B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- distorted image
- distorted
- distortion correction
- distortion
- Prior art date
Links
- 238000012937 correction Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 claims description 28
- 230000007423 decrease Effects 0.000 claims description 8
- 230000001965 increasing effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000007796 conventional method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009416 shuttering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/73—
-
- G06T5/80—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Abstract
본 발명의 하나의 실시형태에 따른 렌즈 왜곡 보정 장치(lens distortion correction device)는 왜곡된 이미지(distorted image)를 비왜곡된 이미지(undistorted image)로 보정하는 왜곡 보정부(distortion correction unit) 및 상기 왜곡된 이미지의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시키는 이미지 향상부(image enhancement unit)를 포함한다.
Description
본 발명은 렌즈 왜곡 보정 장치(lens distortion correction device)에 관한 것으로, 특히 가우시안 인터폴레이션 커널(gaussian interpolation kernel)을 이용하여 왜곡된 이미지를 비왜곡된 이미지로 보정하고, LSS(Local Self-Similarity)에 기반하여 상기 비왜곡된 이미지를 향상시키는 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서에 관한 것이다.
최근에 광각 렌즈(wide-angle lens)는 사진 찍기(photography)뿐만 아니라 다양한 디지털 이미지 장치들(digital imaging devices) 예를 들면, 보안 시스템들(surveillance systems), 차량 후방 카메라들(vehicle rearview cameras), 그리고 내시경들(endoscopes)에 활용될 수 있다.
많은 장점들(advantages)에도 불구하고, 싱글 카메라(single camera)에 의하여 얻어진 광각 뷰 이미지들(wide-angle view images)은 주변 영역(peripheral region) 내에서 상기 이미지 품질(the image quality)의 상당한 저하(significant degradation)를 야기할 수 있는 방사상의 왜곡(radial distortion)을 피할 수 없다.
본 발명의 목적은 공간가변적인 가우스의 인터폴레이션 커널(Space-Varying Gaussian Interpolation Kernel)을 이용하여 왜곡된 이미지를 비왜곡된 이미지로 보정하고, LSS(Local Self-Similarity)에 기반하여 상기 비왜곡된 이미지를 향상시키는 렌즈 왜곡 보정 장치(lens distortion correction device)를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 렌즈 왜곡 보정 장치를 포함하는 애플리케이션 프로세서(application processor)를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 애플리케이션 프로세서를 포함하는 모바일 장치(mobile device)를 제공하는 것이다.
본 발명의 다른 목적은 상기 렌즈 왜곡 보정 장치를 포함하는 이미지 센서 모듈(image sensor module)을 제공하는 것이다.
상기 목적을 달성하기 위하여 본 발명의 하나의 실시형태에 따른 렌즈 왜곡 보정 장치(lens distortion correction device)는 왜곡된 이미지(distorted image)를 비왜곡된 이미지(undistorted image)로 보정하는 왜곡 보정부(distortion correction unit) 및 상기 왜곡된 이미지의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시키는 이미지 향상부(image enhancement unit)를 포함한다.
하나의 실시 예에 있어서, 상기 왜곡 보정부는 상기 왜곡된 이미지 내 중심으로부터 거리와 상기 비왜곡된 이미지 내 중심으로부터 거리 사이의 왜곡 비율을 바탕으로 왜곡의 정도를 판단한다.
하나의 실시 예에 있어서, 상기 왜곡 보정부는 가우시안 인터폴레이션 커널(gaussian interpolation kernel)을 이용하여 상기 왜곡된 이미지를 상기 비왜곡된 이미지로 보정하고, 상기 왜곡의 정도에 따라 상기 가우시안 인터폴레이션 커널의 사이즈를 조절한다.
하나의 실시 예에 있어서, 상기 왜곡 보정부는 상기 왜곡 비율이 1보다 큰 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 증가시키고, 그리고 상기 왜곡 비율이 1보다 작은 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 감소시킨다.
하나의 실시 예에 있어서, 상기 왜곡된 이미지 및 비왜곡된 이미지 내 복수의 패치들 각각은 저주파 성분(low-frequency component) 및 고주파 성분(high-frequency component)을 포함한다.
하나의 실시 예에 있어서, 상기 이미지 향상부는 상기 비왜곡된 이미지 내 패치의 밝기값과 가장 가까운 밝기값을 가지는 패치를 상기 왜곡된 이미지 내 로컬라이즈드 영역으로부터 검색하고, 상기 검색된 패치의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시킨다.
하나의 실시 예에 있어서, 상기 이미지 향상부는 상기 비왜곡된 이미지 내 패치의 저주파 성분과 상기 검색된 패치의 고주파 성분을 결합하여 상기 비왜곡된 이미지로부터 블러링 아티팩트(blurring artifact)를 제거한다.
하나의 실시 예에 있어서, 상기 렌즈 왜곡 보정 장치는 초해상도(super resolution)에 적용된다.
본 발명의 다른 하나의 실시형태에 따른 애플리케이션 프로세서(application processor)는 이미지 센서(image sensor)로부터 영상 신호를 수신하는 렌즈 왜곡 보정 장치(lens distortion correction device)를 포함하며, 상기 렌즈 왜곡 보정 장치는 왜곡된 이미지(distorted image)를 비왜곡된 이미지(undistorted image)로 보정하는 왜곡 보정부(distortion correction unit) 및 상기 왜곡된 이미지의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시키는 이미지 향상부(image enhancement unit)를 포함한다.
하나의 실시 예에 있어서, 상기 왜곡 보정부는 상기 왜곡된 이미지 내 중심으로부터 거리와 상기 비왜곡된 이미지 내 중심으로부터 거리 사이의 왜곡 비율을 바탕으로 왜곡의 정도를 판단한다.
하나의 실시 예에 있어서, 상기 왜곡 보정부는 가우시안 인터폴레이션 커널을 이용하여 상기 왜곡된 이미지를 상기 비왜곡된 이미지로 보정하고, 상기 왜곡의 정도에 따라 상기 가우시안 인터폴레이션 커널의 사이즈를 조절하고, 상기 왜곡 비율이 1보다 큰 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 증가시키고, 그리고 상기 왜곡 비율이 1보다 작은 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 감소시킨다.
하나의 실시 예에 있어서, 상기 왜곡된 이미지 및 비왜곡된 이미지 내 복수의 패치들 각각은 저주파 성분 및 고주파 성분을 포함한다.
하나의 실시 예에 있어서, 상기 이미지 향상부는 상기 비왜곡된 이미지 내 패치의 밝기값과 가장 가까운 밝기값을 가지는 패치를 상기 왜곡된 이미지 내 로컬라이즈드 영역으로부터 검색하고, 상기 검색된 패치의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시킨다.
하나의 실시 예에 있어서, 상기 이미지 향상부는 상기 비왜곡된 이미지 내 패치의 저주파 성분과 상기 검색된 패치의 고주파 성분을 결합하여 상기 비왜곡된 이미지로부터 블러링 아티팩트를 제거한다.
본 발명의 또 다른 하나의 실시형태에 따른 모바일 장치(mobile device)는 광각 렌즈(wide-angle lens)를 통하여 영상을 수신하는 이미지 센서(image sensor) 및 상기 이미지 센서로부터 영상 신호를 수신하고, 상기 수신된 영상 신호를 영상 처리하는 애플리케이션 프로세서(application processor)를 포함하며, 상기 애플리케이션 프로세서는 왜곡된 이미지(distorted image)를 비왜곡된 이미지(undistorted image)로 보정하는 왜곡 보정부(distortion correction unit) 및 상기 왜곡된 이미지의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시키는 이미지 향상부(image enhancement unit)를 포함하는 렌즈 왜곡 보정 장치(lens distortion correction device)를 포함한다.
하나의 실시 예에 있어서, 상기 왜곡 보정부는 상기 왜곡된 이미지 내 중심으로부터 거리와 상기 비왜곡된 이미지 내 중심으로부터 거리 사이의 왜곡 비율을 바탕으로 왜곡의 정도를 판단한다.
하나의 실시 예에 있어서, 상기 왜곡 보정부는 가우시안 인터폴레이션 커널을 이용하여 상기 왜곡된 이미지를 상기 비왜곡된 이미지로 보정하고, 상기 왜곡의 정도에 따라 상기 가우시안 인터폴레이션 커널의 사이즈를 조절하고, 상기 왜곡 비율이 1보다 큰 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 증가시키고, 그리고 상기 왜곡 비율이 1보다 작은 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 감소시킨다.
하나의 실시 예에 있어서, 상기 왜곡된 이미지 및 비왜곡된 이미지 내 복수의 패치들 각각은 저주파 성분 및 고주파 성분을 포함한다.
하나의 실시 예에 있어서, 상기 이미지 향상부는 상기 비왜곡된 이미지 내 패치의 밝기값과 가장 가까운 밝기값을 가지는 패치를 상기 왜곡된 이미지 내 로컬라이즈드 영역으로부터 검색하고, 상기 검색된 패치의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시킨다.
하나의 실시 예에 있어서, 상기 이미지 향상부는 상기 비왜곡된 이미지 내 패치의 저주파 성분과 상기 검색된 패치의 고주파 성분을 결합하여 상기 비왜곡된 이미지로부터 블러링 아티팩트를 제거한다.
본 발명의 또 다른 하나의 실시형태에 따른 이미지 센서 모듈(image sensor module)은 광각 렌즈(wide-angle lens)를 통하여 영상을 수신하는 이미지 센서(image sensor) 및 상기 이미지 센서로부터 왜곡된 이미지(distorted image)를 수신하는 렌즈 왜곡 보정 장치(lens distortion correction device)를 포함하고, 상기 렌즈 왜곡 보정 장치는 상기 왜곡된 이미지를 비왜곡된 이미지(undistorted image)로 보정하는 왜곡 보정부(distortion correction unit) 및 상기 왜곡된 이미지의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시키는 이미지 향상부(image enhancement unit)를 포함한다.
하나의 실시 예에 있어서, 상기 왜곡 보정부는 상기 왜곡된 이미지 내 중심으로부터 거리와 상기 비왜곡된 이미지 내 중심으로부터 거리 사이의 왜곡 비율을 바탕으로 왜곡의 정도를 판단한다.
하나의 실시 예에 있어서, 상기 왜곡 보정부는 가우시안 인터폴레이션 커널을 이용하여 상기 왜곡된 이미지를 상기 비왜곡된 이미지로 보정하고, 상기 왜곡의 정도에 따라 상기 가우시안 인터폴레이션 커널의 사이즈를 조절하고, 상기 왜곡 비율이 1보다 큰 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 증가시키고, 그리고 상기 왜곡 비율이 1보다 작은 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 감소시킨다.
하나의 실시 예에 있어서, 상기 왜곡된 이미지 및 비왜곡된 이미지 내 복수의 패치들 각각은 저주파 성분 및 고주파 성분을 포함하고, 상기 이미지 향상부는 상기 비왜곡된 이미지 내 패치의 밝기값과 가장 가까운 밝기값을 가지는 패치를 상기 왜곡된 이미지 내 로컬라이즈드 영역으로부터 검색하고, 상기 검색된 패치의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시킨다.
하나의 실시 예에 있어서, 상기 이미지 향상부는 상기 비왜곡된 이미지 내 패치의 저주파 성분과 상기 검색된 패치의 고주파 성분을 결합하여 상기 비왜곡된 이미지로부터 블러링 아티팩트를 제거한다.
본 발명의 실시 예들에 따른 렌즈 왜곡 보정 장치는 광각 렌즈로 촬영한 영상의 왜곡을 보정하고, 보정된 이미지를 향상시킬 수 있다.
또한, 상기 렌즈 왜곡 보정 장치는 상기 보정된 영상에 있는 블러링 아티팩트(blurring artifact)를 제거할 수 있다.
도 1은 본 발명의 실시 예에 따른 렌즈 왜곡 보정 장치(wide-angle lens distortion correction device)를 포함하는 모바일 장치(mobile device)를 도시한 블록도이다.
도 2는 도 1에 도시된 렌즈 왜곡 보정 장치에 의하여 왜곡된 이미지를 보정하는 동작을 설명하기 위한 개념도이다.
도 3a는 비왜곡된 이미지(undistorted image)을 도시한다.
도 3b는 도 3a에 도시된 비왜곡된 이미지의 중심으로부터 거리에 따른 왜곡 비율인 α를 도시한 그래프이다.
도 4은 가우시안 인터폴레이션 커널 함수(Gaussian interpolation kernel)를 도시한다.
도 5는 도 1에 도시된 렌즈 왜곡 보정 장치에 의하여 상기 비왜곡된 이미지를 향상시키는 동작을 설명하기 위한 개념도이다.
도 6은 도 5에 도시된 왜곡된 이미지 내 패치와 비왜곡된 이미지 내 패치를 도시한다.
도 7a는 제1 왜곡된 이미지를 도시한다.
도 7b는 도 7a에 도시된 영상에 대하여 종래 기술인 bilinear interpolation를 적용하여 보정된 영상을 도시한다.
도 7c는 도 7a에 도시된 영상에 대하여 종래 기술인 high-order interpolation를 적용하여 보정된 영상을 도시한다.
도 8a는 제2 왜곡된 이미지를 도시한다.
도 8b는 도 8a에 도시된 영상 중 일부분에 대하여 종래 기술인 bilinear interpolation를 적용하여 보정된 영상을 도시한다.
도 8c는 도 8a에 도시된 중 일부분에 대하여 종래 기술인 high-order interpolation를 적용하여 보정된 영상을 도시한다.
도 9a는 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다.
도 9b는 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다.
도 9c는 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 9d는 도 9a에 도시된 영상 중 중심부를 확대한 영상이다.
도 9e는 도 9b에 도시된 영상 중 중심부를 확대한 영상이다.
도 9f는 도 9c에 도시된 영상 중 중심부를 확대한 영상이다.
도 10a는 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다.
도 10b는 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다.
도 10c는 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 10d는 도 10a에 도시된 영상 중 중심부를 확대한 영상이다.
도 10e는 도 10b에 도시된 영상 중 중심부를 확대한 영상이다.
도 10f는 도 10c에 도시된 영상 중 중심부를 확대한 영상이다.
도 11a는 광각 렌즈를 이용하여 촬영된 영상을 도시한다.
도 11b는 도 11a에 도시된 영상에 대하여 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다.
도 11c는 도 11a에 도시된 영상에 대하여 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다.
도 11d는 도 11a에 도시된 영상에 대하여 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 12a는 도 11b에 도시된 영상 중 중심부를 확대한 영상이다.
도 12b는 도 11c에 도시된 영상 중 중심부를 확대한 영상이다.
도 12c는 도 11d에 도시된 영상 중 중심부를 확대한 영상이다.
도 13a는 광각 렌즈를 이용하여 촬영된 영상을 도시한다.
도 13b는 도 13a에 도시된 영상에 대하여 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다.
도 13c는 도 13a에 도시된 영상에 대하여 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다.
도 13d는 도 13a에 도시된 영상에 대하여 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 14a는 도 13b에 도시된 영상 중 중간(middle)을 확대한 영상이다.
도 14b는 도 13c에 도시된 영상 중 중간을 확대한 영상이다.
도 14c는 도 13d에 도시된 영상 중 중간을 확대한 영상이다.
도 15a는 광각 렌즈를 이용하여 촬영된 영상을 도시한다.
도 15b는 도 15a에 도시된 영상에 대하여 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다.
도 15c는 도 15a에 도시된 영상에 대하여 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다.
도 15d는 도 15a에 도시된 영상에 대하여 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 16a는 도 15b에 도시된 영상 중 주변부를 확대한 영상이다.
도 16b는 도 15c에 도시된 영상 중 주변부를 확대한 영상이다.
도 16c는 도 15d에 도시된 영상 중 주변부를 확대한 영상이다.
도 17는 본 발명의 다른 실시 예에 따른 렌즈 왜곡 보정 장치를 포함하는 이미지 센서 모듈(image sensor module)를 도시한 블록도이다.
도 18은 도 1에 도시된 렌즈 왜곡 보정 장치를 포함하는 모바일 장치(210)의 일 실시 예를 나타낸다.
도 19은 도 1에 도시된 렌즈 왜곡 보정 장치를 포함하는 모바일 장치(220)의 다른 실시 예를 나타낸다.
도 20는 본 발명의 일 실시 예에 따른 카메라 시스템을 도시한 블록도이다. 그리고,
도 21은 도 17에 도시된 렌즈 왜곡 보정 장치를 포함하는 디스플레이 장치(400)를 나타낸다.
도 2는 도 1에 도시된 렌즈 왜곡 보정 장치에 의하여 왜곡된 이미지를 보정하는 동작을 설명하기 위한 개념도이다.
도 3a는 비왜곡된 이미지(undistorted image)을 도시한다.
도 3b는 도 3a에 도시된 비왜곡된 이미지의 중심으로부터 거리에 따른 왜곡 비율인 α를 도시한 그래프이다.
도 4은 가우시안 인터폴레이션 커널 함수(Gaussian interpolation kernel)를 도시한다.
도 5는 도 1에 도시된 렌즈 왜곡 보정 장치에 의하여 상기 비왜곡된 이미지를 향상시키는 동작을 설명하기 위한 개념도이다.
도 6은 도 5에 도시된 왜곡된 이미지 내 패치와 비왜곡된 이미지 내 패치를 도시한다.
도 7a는 제1 왜곡된 이미지를 도시한다.
도 7b는 도 7a에 도시된 영상에 대하여 종래 기술인 bilinear interpolation를 적용하여 보정된 영상을 도시한다.
도 7c는 도 7a에 도시된 영상에 대하여 종래 기술인 high-order interpolation를 적용하여 보정된 영상을 도시한다.
도 8a는 제2 왜곡된 이미지를 도시한다.
도 8b는 도 8a에 도시된 영상 중 일부분에 대하여 종래 기술인 bilinear interpolation를 적용하여 보정된 영상을 도시한다.
도 8c는 도 8a에 도시된 중 일부분에 대하여 종래 기술인 high-order interpolation를 적용하여 보정된 영상을 도시한다.
도 9a는 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다.
도 9b는 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다.
도 9c는 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 9d는 도 9a에 도시된 영상 중 중심부를 확대한 영상이다.
도 9e는 도 9b에 도시된 영상 중 중심부를 확대한 영상이다.
도 9f는 도 9c에 도시된 영상 중 중심부를 확대한 영상이다.
도 10a는 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다.
도 10b는 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다.
도 10c는 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 10d는 도 10a에 도시된 영상 중 중심부를 확대한 영상이다.
도 10e는 도 10b에 도시된 영상 중 중심부를 확대한 영상이다.
도 10f는 도 10c에 도시된 영상 중 중심부를 확대한 영상이다.
도 11a는 광각 렌즈를 이용하여 촬영된 영상을 도시한다.
도 11b는 도 11a에 도시된 영상에 대하여 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다.
도 11c는 도 11a에 도시된 영상에 대하여 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다.
도 11d는 도 11a에 도시된 영상에 대하여 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 12a는 도 11b에 도시된 영상 중 중심부를 확대한 영상이다.
도 12b는 도 11c에 도시된 영상 중 중심부를 확대한 영상이다.
도 12c는 도 11d에 도시된 영상 중 중심부를 확대한 영상이다.
도 13a는 광각 렌즈를 이용하여 촬영된 영상을 도시한다.
도 13b는 도 13a에 도시된 영상에 대하여 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다.
도 13c는 도 13a에 도시된 영상에 대하여 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다.
도 13d는 도 13a에 도시된 영상에 대하여 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 14a는 도 13b에 도시된 영상 중 중간(middle)을 확대한 영상이다.
도 14b는 도 13c에 도시된 영상 중 중간을 확대한 영상이다.
도 14c는 도 13d에 도시된 영상 중 중간을 확대한 영상이다.
도 15a는 광각 렌즈를 이용하여 촬영된 영상을 도시한다.
도 15b는 도 15a에 도시된 영상에 대하여 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다.
도 15c는 도 15a에 도시된 영상에 대하여 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다.
도 15d는 도 15a에 도시된 영상에 대하여 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 16a는 도 15b에 도시된 영상 중 주변부를 확대한 영상이다.
도 16b는 도 15c에 도시된 영상 중 주변부를 확대한 영상이다.
도 16c는 도 15d에 도시된 영상 중 주변부를 확대한 영상이다.
도 17는 본 발명의 다른 실시 예에 따른 렌즈 왜곡 보정 장치를 포함하는 이미지 센서 모듈(image sensor module)를 도시한 블록도이다.
도 18은 도 1에 도시된 렌즈 왜곡 보정 장치를 포함하는 모바일 장치(210)의 일 실시 예를 나타낸다.
도 19은 도 1에 도시된 렌즈 왜곡 보정 장치를 포함하는 모바일 장치(220)의 다른 실시 예를 나타낸다.
도 20는 본 발명의 일 실시 예에 따른 카메라 시스템을 도시한 블록도이다. 그리고,
도 21은 도 17에 도시된 렌즈 왜곡 보정 장치를 포함하는 디스플레이 장치(400)를 나타낸다.
본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 설명한다.
도 1은 본 발명의 실시 예에 따른 렌즈 왜곡 보정 장치(wide-angle lens distortion correction device)를 포함하는 모바일 장치(mobile device)를 도시한 블록도이다.
도 1를 참조하면, 모바일 장치(100)는 광각 렌즈(wide-angle lens; 10), 이미지 센서(image sensor; 20) 그리고 이미지 프로세서(image processor; 30)를 포함할 수 있다. 하나의 실시 예로서, 모바일 장치(100)는 디지털 카메라 장치(digital camera device), 스마트폰(smart-phone) 그리고 태블릿(tablet)을 포함할 수 있다.
광각 렌즈(10)의 초점 길이(focal length)는 표준 렌즈(standard lens)의 초점 길이보다 더 짧다. 광각 렌즈(10)는 사진 내에 포함될 더 많은 장면들 허용할 수 있고, 건축(architectural), 인테리어(interior) 및 풍경 사진(landscape photography)에 유용하다. 하나의 실시 예에 있어서, 광각 렌즈(20)는 어안 렌즈(fish-eye lens)를 포함할 수 있다.
이미지 센서(20)는 광각 렌즈(10)를 통하여 피사체(subject)에 대한 이미지를 획득(acquire)할 수 있다. 광각 렌즈(10)로 인하여 상기 이미지는 왜곡될 수 있다. 이미지 센서(20)는 왜곡된 이미지(distorted image; DI)를 이미지 프로세서(30)로 전송한다. 하나의 실시 예에 있어서, 이미지 센서(20)는 CMOS(Complementary metaloxidesemiconductor) 이미지 센서 또는 CCD(Charge Coupled Device) 이미지 센서를 포함할 수 있다.
이미지 프로세서(30)는 광각 렌즈(10)로 인하여 왜곡된 이미지(DI)를 보정하기 위한 렌즈 왜곡 보정 장치(wide-angle lens distortion correction device; 40)를 포함할 수 있다. 하나의 실시 예에 있어서, 이미지 프로세서(30)는 하나의 독립된 칩으로 제조될 수 있다. 또한, 이미지 프로세서(30)는 애플리케이션 프로세서(Application Processor) 내 하나의 기능 블록(functional block)으로 구현될 수 있다. 또한, 이미지 센서(20)는 이미지 프로세서(30)를 포함할 수 있다.
본 발명의 실시 예에 따른 렌즈 왜곡 보정 장치(40)는 스캐일러블 가우시안 인터폴레이션 커널(scalable Gaussian interpolation kernel)을 사용하여 왜곡(distortion)을 보정하고, LSS(local self-similarity)에 기초한 셀프-예제(self-example)를 이용하여 엣지(edge)를 향상시킬 수 있다. 이를 위하여, 렌즈 왜곡 보정 장치(40)는 왜곡 보정부(distortion correction unit; 41)와 이미지 개선부(image enhancement unit; 42)를 포함한다.
구체적으로, 왜곡 보정부(41)는 상기 왜곡된 이미지(DI)에 대하여 공간가변적 가우시안 인터폴레이션 커널(space-varying Gaussian interpolation kernels)을 적용하여 비왜곡된 이미지(undistorted image; UI)를 생성할 수 있다. 하나의 실시 예에 있어서, 렌즈 왜곡 보정 장치(40)는 초해상도(super-resolution)에 적용될 수 있다. 본 발명의 실시 예에 따른 왜곡 보정부(41)는 도 2에서 설명될 것이다.
그리고, 이미지 개선부(42)는 LSS(Local Self-Similarity)에 기초한 셀프-예제(self-example)를 이용하여 바운더리 라인(boundary line)를 향상시킬 수 있다. 본 발명의 실시 예에 따른 이미지 개선부(42)는 도 5 및 도 6에서 설명될 것이다.
도 2는 도 1에 도시된 렌즈 왜곡 보정 장치에 의하여 왜곡된 이미지를 보정하는 동작을 설명하기 위한 개념도이다.
도 1 및 도 2를 참조하면, 왜곡된 이미지(DI)의 중심부(A)는 너무 크게 확대되었고, 왜곡된 이미지(DI)의 주변부(B)는 축소되었다. 따라서, 왜곡 보정부(41)는 상대적으로 큰 왜곡을 가지는 왜곡된 이미지(DI)의 중심부(A)에 대하여 가우시안 인터폴레이션 커널(GIK)의 사이즈를 증가시킨다. 또한, 왜곡 보정부(41)는 상대적으로 작은 왜곡을 가지는 왜곡된 이미지(DI)의 주변부(B)에 대하여 가우시안 인터폴레이션 커널(GIK)의 사이즈를 감소시킨다.
왜곡 보정부(41)는 비왜곡된 이미지(UI) 내 픽셀들을 왜곡된 이미지(DI) 내 픽셀들로 매핑한다. 왜곡된 이미지(DI) 내 픽셀에 매핑되는 비왜곡된 이미지(UI) 내 픽셀은 비왜곡된 이미지(UI)를 생성하기 위한 픽셀로 사용될 수 있다.
그러나, 비왜곡된 이미지(UI) 내 오프-그리드 픽셀들(off-grid pixels)(즉, 왜곡된 이미지(DI) 내 픽셀과 매핑되지 않는 픽셀들)은 가우시안 인터폴레이션 커널(GIK)을 이용하여 계산될 수 있다. 예를 들면, 오프-그리드 픽셀들에는 A와 B 픽셀이 있다.
예를 들면, 비왜곡된 이미지(UI)의 중심부(A) 내 픽셀이 왜곡된 이미지(DI) 내 픽셀들 중 어느 하나와 대응되지 않는 경우, 왜곡 보정부(41)는 중심부(A) 주변의 픽셀들에 대하여 가우시안 인터폴레이션 커널(GIK)을 적용하여 매핑되지 않는 픽셀의 밝기값(integration value)을 계산할 수 있다.
이 경우, 가우시안 인터폴레이션 커널(GIK)은 중심부(A)의 주변에 위치한 픽셀들에 대한 가중치가 될 수 있다. 왜곡 보정부(41)는 중심부(A)의 주변에 위치한 픽셀들 각각에 대하여 가중된 평균(weighted average)을 계산할 수 있다. 상기 가중된 평균을 이용하여 왜곡 보정부(41)는 매핑되지 않은 픽셀의 밝기값을 계산할 수 있다.
도 3a는 비왜곡된 이미지(undistorted image)을 도시한다.
도 1 및 도 3a를 참조하면, 왜곡 보정부(41)는 광각 렌즈(10)로부터 왜곡된 이미지(DI)를 수신한다. 그리고, 왜곡 보정부(41)는 왜곡된 이미지(DI)를 보정하여 비왜곡된 이미지(UI)를 생성한다.
A 점은 비왜곡된 이미지(UI) 내 중심(center)에 위치한다. B 점은 비왜곡된 이미지(UI) 내 수직편의 중심(center of a vertical side)에 위치한다. 그리고 C 점은 비왜곡된 이미지(UI) 내 코너(corner)에 위치한다.
도 3b는 도 3a에 도시된 비왜곡된 이미지의 중심으로부터 거리에 따른 왜곡 비율인 α를 도시한 그래프이다.
도 1 내지 도 3b를 참조하면, 가로축(the abscissa)은 비왜곡된 이미지(UI)에서 중심으로부터 거리(rU)를 나타낸다. 그리고 세로축(the ordinate)은 비왜곡된 이미지(UI)에서 중심으로부터 거리(rU)와 왜곡된 이미지(DI)에서 중심으로부터 거리(rD) 사이의 왜곡 비율(α)로 나타낸다. 즉, α는 rD / rU 로 정의될 수 있다.
비왜곡된 이미지(UI)의 중심으로부터 거리(rU)가 증가함에 따라 α는 감소된다. 또한, α가 증가할수록, 영상의 왜곡은 증가된다. 그리고, α가 감소할수록, 영상의 왜곡은 감소된다. 예를 들면, 영상의 왜곡이 심한 지점(예를 들면, 영상의 중심부와 주변부)에서 α은 증가하고, 영상의 왜곡이 적은 지점에서, α은 감소한다.
이론적으로, 광각 렌즈의 왜곡은 방사적인 방법(radial method)에서 발생될 수 있다. 다른 말로, 왜곡은 이미지의 중심을 통과하는 광축(optical axis)과 대칭된다. 결과적으로, 왜곡의 양은 이미지 중심으로부터 거리에 의존된다.
수학식 1은 왜곡된 좌표와 비왜곡된 좌표 사이의 관계로 정의될 수 있다.
(xU, yU)는 비왜곡된 이미지(UI)에서 2차원 좌표(Cartesian coordinates)를 나타낸다. (xD, yD)는 왜곡된 이미지(DI)에서 2차원 좌표를 나타낸다. rU는 비왜곡된 이미지(UI)에서 영상의 중심으로부터 (xU, yU)까지의 거리를 나타낸다. rD는 왜곡된 이미지(DI)에서 영상의 중심으로부터 (xD, yD)까지의 거리를 나타낸다. α(rU)는 rD / rU 로 정의될 수 있다. 이 함수는 고차 다항식(high order polynomial) 또는 로그(logarithm)로 모델링될 수 있다.
왜곡된 이미지(DI)의 보정은 가중된 평균 필터(weighted mean filter)와 같은 인터폴레이션 커널(interpolation kernel)을 사용하여 오프-그리드 픽셀들의 밝기값(intensity values)을 찾아야 하는 기하학적 변환에 의하여 실행될 수 있다. 도 3b에 도시된 바에 따라, 상기 가우시안 인터폴레이션 커널(GIK)의 사이즈는 왜곡된 이미지(DI)의 중심으로부터 거리가 증가함에 따라 감소될 수 있다.
따라서, 본 발명의 실시 예에 따른 왜곡 보정부(41)는 α에 따라 가우시안 인터폴레이션 커널(GIK)의 사이즈를 결정할 수 있다. 하나의 실시 예에 있어서, 왜곡 보정부(41)는 α가 1보다 큰 경우, 상기 가우시안 인터폴레이션 커널(GIK)의 사이즈를 증가시키고, 그리고 α가 1보다 작은 경우, 가우시안 인터폴레이션 커널(GIK)의 사이즈를 감소시킨다.
비왜곡된 이미지(UI) 내 픽셀은 왜곡된 이미지(DI) 내 대응하는 픽셀들에 대하여 가우시안 인터폴레이션 커널(GIK)을 적용하여 생성될 수 있다. 구체적으로, 비왜곡된 이미지(UI)에서 어느 한 픽셀의 밝기값은 왜곡된 이미지(DI) 내 대응하는 픽셀들 각각의 위치에 가우시안 인터폴레이션 커널(GIK)을 적용하여 생성된 결과(즉, 가중치) 그리고 상기 왜곡된 이미지(DI) 내 대응하는 픽셀들 각각의 밝기값을 이용하여 계산될 수 있다.
만약 비왜곡된 이미지(UI) 내 픽셀이 중심부에 있다면, α이 증가될 수 있다. 따라서, 가우시안 인터폴레이션 커널(GIK)의 사이즈가 증가될 수 있다. 또한, 비왜곡된 이미지(UI) 내 픽셀이 주변부에 있다면, α이 감소되기 때문에, 가우시안 인터폴레이션 커널(GIK)의 사이즈가 감소될 것이다.
수학식 2은 비왜곡된 이미지(UI) 내 
픽셀의 밝기값을 계산하는 공식이다.
수학식 3은 가우시안 인터폴레이션 커널(GIK)을 나타낸다.
는 수학식 4에 도시된 α(rU)에 따라 변화될 수 있다.
K는 안티에일리어싱(anti-aliasing)의 양과 엣지(edge)의 흐릿함(fuzziness) 사이의 트레드-오프(trade-off)를 제어하는 상수(constant)이다. 하나의 실시 예에 있어서, K는 2일 수 있다.
본 발명의 실시 예에 따른 렌즈 왜곡 보정 장치(40)는 α에 따라 가우시안 인터폴레이션 커널(GIK)의 사이즈를 조절할 수 있다. 예를 들면, 비왜곡된 이미지(UI)의 중심부 내 픽셀은 가우시안 인터폴레이션 커널(GIK)의 사이즈를 증가시켜 생성될 수 있다. 또한, 비왜곡된 이미지(UI)의 주변부 내 픽셀은 가우시안 인터폴레이션 커널(GIK)의 사이즈를 감소시켜 생성될 수 있다.
도 4은 가우시안 인터폴레이션 커널 함수(Gaussian interpolation kernel)를 도시한다.
도 1 내지 도 4을 참조하면, 가우시안 인터폴레이션 커널(GIK) 함수가 도시된다.
왜곡 보정부(41)는 가우시안 인터폴레이션 커널(GIK) 함수를 이용하여 비왜곡된 이미지(UI) 내 매핑되지 않은 픽셀의 밝기값을 계산할 수 있다.
왜곡된 이미지(DI)의 보정은 가중된 평균 필터(weighted mean filter)와 같은 인터폴레이션 커널(interpolation kernel)을 사용하여 오프-그리드 픽셀들의 밝기값(intensity values)을 찾아야 하는 기하학적 변환에 의하여 실행될 수 있다. 도 3b에 도시된 바에 따라, 상기 가우시안 인터폴레이션 커널(GIK)의 사이즈는 왜곡된 이미지의 중심으로부터 거리가 증가함에 따라 감소될 수 있다.
도 5는 도 1에 도시된 렌즈 왜곡 보정 장치에 의하여 상기 비왜곡된 이미지를 향상시키는 동작을 설명하기 위한 개념도이다. 도 6은 도 5에 도시된 왜곡된 이미지 내 패치와 비왜곡된 이미지 내 패치를 도시한다.
왜곡된 이미지를 보정하기 위한 기하학적 변환 과정 내에서 이미지 리샘플링(image resampling)은 블러링 아티팩트(burring artifact)를 야기할 수 있다. 더 구체적으로, 보정된 이미지 내에서 재깅과 블러링 아티팩트 둘다 없는 최적의 인터폴레이션 방법을 찾는 것은 불가능하다. 이 문제를 해결하기 위한 실용적인 해결은 재깅 아티팩트를 최소화하기 위한 공간가변적 가우시안 인터폴레이션 커널을 사용하고, 그리고 나서, 추가적으로 블러링 아티팩트를 감소시키기 위한 이미지 향상 알고리즘을 사용하는 것이다.
LSS(local self-similarity)의 원래 개념은 이미지 초해상도(super-resolution)를 위하여 Suetake와 Freedman에 의하여 제안되었다. LSS의 기본적인 가정은 이미지 내 모든 패치(patch), 유사한 패치들은 동일한 관련 좌표들 주변의 로컬라이즈된 지역(localized region) 내에서 다운스케일드(down-scaled) 또는 스무드한(smoothed) 버전 내에서 찾는 것이다. 이러한 가정은 충분히 작은 패치들에 대한 기하학적으로 보정된 이미지를 향상시켜줄 수 있다.
도 1 내지 도 5를 참조하면, 본 발명의 실시 예에 따른 이미지 향상부(42)는 LSS에 기초하여 비왜곡된 이미지(UI)를 향상시킬 수 있다. 왜곡된 이미지(DI) 및 비왜곡된 이미지(UI) 각각은 복수의 패치들(patches)을 포함한다. 왜곡된 이미지(DI) 및 비왜곡된 이미지(UI) 내 복수의 패치들 각각은 저주파 성분(low-frequency component) 및 고주파 성분(high-frequency component)을 포함한다.
저주파 성분은 주요 이미지 또는 이미지의 배경을 포함한다. 그리고 고주파 성분은 이미지의 경계 라인을 포함한다.
이미지 향상부(42)는 비왜곡된 이미지(UI) 내 패치의 밝기값과 가장 가까운 밝기값을 가지는 패치를 상기 왜곡된 이미지(DI) 내 로컬라이즈드 영역(localized region)으로부터 검색할 수 있고, 상기 검색된 패치의 고주파 성분을 이용하여 비왜곡된 이미지(UI)를 향상시킬 수 있다.
이미지 향상부(42)는 비왜곡된 이미지(UI) 내 패치의 저주파 성분과 상기 검색된 패치의 고주파 성분을 결합하여 비왜곡된 이미지(UI)로부터 상기 블러링 아티팩트를 제거할 수 있다.
이미지 향상부(42)는 LSS에 기반하여 비왜곡된 이미지(UI) 내 패치의 밝기값과 가장 가까운 밝기값을 가지는 패치를 왜곡된 이미지(DI) 내 로컬라이즈드 지역(localized region)으로부터 검색하기 위하여 블록 매칭(block matching)을 실행한다.
수학식 5는 비왜곡된 이미지(UI) 내 패치(
)의 밝기값과 가장 가까운 밝기값을 가지는 왜곡된 이미지(DI) 내 패치(
)를 나타낸다.
이 때, 
는 (xU, yU)를 중심으로 하는 비왜곡된 이미지(UI) 내 패치이다.
BH BH는 패치 사이즈(patch size)이다. (i, j) 는 패치 단위의 변위 벡터(displacement vector)를 나타낸다.
수학식 6은 최적의 변위 벡터 (im, jm)를 계산하기 위한 공식이다. 최적의 변위 벡터는 sum of absolute difference (SAD)를 최소화하여 계산될 수 있다. 즉, 비왜곡된 이미지(UI) 내 패치(
)의 밝기값과 왜곡된 이미지(DI) 내 패치(
)의 밝기값 사이의 차를 최소화하는 변위 벡터는 수학식 6를 이용하여 구할 수 있다.
도 1, 도 5 및 도 6을 참조하면, 이미지 향상부(42)는 왜곡된 이미지(DI) 내 패치(PD)와 비왜곡된 이미지(UI) 내 패치(PU)를 디컴포지션(decomposition)할 수 있다. 디컴포지션을 통하여, 왜곡 이미지(DI) 내 패치(PD)는 저주파 성분(PD L)과 고주파 성분(PD H)로 나누어 질 수 있다. 또한, 디컴포지션을 통하여, 비왜곡된 이미지(UI) 내 패치(PU)는 저주파 성분(PU L)과 고주파 성분(PU H)로 나누어 질 수 있다.
비왜곡 이미지(UI)의 패치(PU)에 대한 저주파 성분(PU L)은 비왜곡 이미지(UI)의 패치(PU)에 대하여 1/α(rU) 분산을 가지는 가우시안 필터(Gaussian filter)를 적용하여 생성될 수 있다. 마찬가지로, 왜곡 이미지(DI)의 패치(PD)에 대한 저주파 성분(PD L)은 왜곡 이미지(DI)의 패치(PD)에 대하여 1/α(rU)의 분산을 가지는 가우시안 필터를 적용하여 생성될 수 있다.
비왜곡 이미지(UI)의 패치(PU)에 대한 고주파 성분(PU H)은 비왜곡 이미지(UI)의 패치(PU)로부터 비왜곡 이미지(UI)의 패치(PU)에 대한 저주파 성분(PU L)을 차분하여 계산될 수 있다. 마찬가지로, 왜곡 이미지(DI)의 패치(PD)에 대한 고주파 성분(PD H)은 왜곡 이미지(DI)의 패치(PD)로부터 왜곡 이미지(DI)의 패치(PD)에 대한 저주파 성분(PD L)을 차분하여 계산될 수 있다.
최종적으로 
는 모든 (xU, yU)에 대해 아래와 같이 계산된다.
왜곡 보정 과정(distortion correction process)으로 인하여, 비왜곡된 이미지(UI) 내 패치(PU)의 고주파 성분(PU H)에는 블러링 아티팩트가 증가될 수 있다. 따라서, 이미지 향상부(42)는 비왜곡된 이미지(UI) 내 패치(PU)의 고주파 성분(PU H) 대신에 왜곡 이미지(DI) 내 패치(PD)의 고주파 성분(PD H)을 사용한다. 즉, 이미지 향상부(42)는 비왜곡된 이미지(UI) 내 패치(PU)의 저주파 성분(PU L)과 왜곡 이미지 패치(PD)의 고주파 성분(PD H)을 컴포지션(composition)할 수 있다.
수학식 7은 최종적으로 생성된 패치(
)를 나타낸다.
이 때, 
는 왜곡된 이미지(DI) 내 선택된 패치(PD)에 대한 고주파 성분이다. 1/BH 2는 겹쳐지는 영역을 감쇄시켜주는 상수이다.
비왜곡된 이미지(UI)는 블러링 아트팩트를 포함한다. 따라서, 본 발명의 실시 예에 따른 렌즈 왜곡 보정 장치(40)는 상기 이미지 향상 방법을 이용하여 상기 비왜곡된 이미지(UI)로부터 블러링 아티팩트를 제거할 수 있다.
도 7a 내지 도 8c는 종래 기술에 따른 결과 이미지를 도시한다.
도 7a는 제1 왜곡된 이미지를 도시한다. 도 7b는 도 7a에 도시된 영상에 대하여 종래 기술인 bilinear interpolation를 적용하여 보정된 영상을 도시한다. 그리고 도 7c는 도 7a에 도시된 영상에 대하여 종래 기술인 high-order interpolation를 적용하여 보정된 영상을 도시한다.
종래의 방법(예를 들면, bilinear interpolation 또는 high-order interpolation)을 이용하여 광각 렌즈 영상의 기하학적 왜곡(geometric distortion)을 보정하는 과정에서
경계 라인이 불연속적으로 나타나는 현상인 에일리어싱(aliasing) 아티팩트(artifact), 대상이 흐려지는 현상인 블러링 아티팩트, 그리고 계단 현상(staircase phenomenon)인 재깅(jagging) 아티팩트가 발생할 수 있다.
도 7a에 도시된 제1 왜곡된 이미지와 도 7b 및 도 7c에 도시된 영상을 비교하면, 도 7b 및 도 7c에 도시된 이미지에는 에일리어싱 아티팩트(aliasing artifact)가 나타난다.
도 8a는 제2 왜곡된 이미지를 도시한다. 도 8b는 도 8a에 도시된 영상 중 일부분에 대하여 종래 기술인 bilinear interpolation를 적용하여 보정된 영상을 도시한다. 그리고 도 8c는 도 8a에 도시된 중 일부분에 대하여 종래 기술인 high-order interpolation를 적용하여 보정된 영상을 도시한다.
도 8a에 도시된 제2 왜곡된 이미지와 도 8b 및 도 8c에 도시된 영상을 비교하면, 도 8b 및 도 8c에 도시된 이미지에는 재깅 아티팩트(jagging artifact)가 나타난다.
도 9a 내지 도 10f에는 종래 기술과 본 발명을 비교하는 이미지들이 도시된다. 도 9a 내지 도 9f에서 세 개의 다른 보정 방법이 비교된다. 구체적으로, 도 9a 내지 도 9f에서 에일리어싱 제거의 성능을 평가하기 위한 이미지의 중심부가 도시된다.
도 9a는 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다. 도 9b는 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다. 도 9c는 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 9d는 도 9a에 도시된 영상 중 중심부를 확대한 영상이다. 도 9e는 도 9b에 도시된 영상 중 중심부를 확대한 영상이다. 그리고 도 9f는 도 9c에 도시된 영상 중 중심부를 확대한 영상이다.
도 9a 및 도 9d에 도시된 영상에는 에일리어싱 아티팩트가 관찰된다. 도 9d에 도시된 영상과 도 9e에 도시된 영상을 비교하면, 도 9e에 도시된 이미지에는 대부분의 에일리어싱 아티팩트가 부드러워졌다. 그러나, 도 9e에 도시된 이미지에는 블러링 아티팩트(burring artifact)가 증가한다. 도 9e에 도시된 영상과 도 9f에 도시된 영상을 비교하면, 도 9e에 도시된 이미지에는 대부분의 희미한 모서리들(blurry edges)이 오버슈팅(overshooting)없이 날카로워졌다.
도 10a 내지 도 10f에서 세 개의 다른 보정 방법이 비교된다. 구체적으로, 도 10a 내지 도 10f에서 블러링과 재깅 아티팩트 제거의 성능을 평가하기 위한 이미지의 주변부가 도시된다.
도 10a는 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다. 도 10b는 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다. 도 10c는 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 10d는 도 10a에 도시된 영상 중 주변부를 확대한 영상이다. 도 10e는 도 10b에 도시된 영상 중 주변부를 확대한 영상이다. 그리고 도 10f는 도 10c에 도시된 영상 중 주변부를 확대한 영상이다.
도 10a 및 도 10d에 도시된 영상에는 블러링과 재깅 아티팩트의 상당한 양이 관찰된다. 도 10d에 도시된 영상과 도 10e에 도시된 영상을 비교하면, 도 10e에 도시된 이미지에는 대부분의 재깅 아티팩트가 부드러워졌다. 그러나, 도 10e에 도시된 이미지에는 블러링 아티팩트가 증가한다. 도 10e에 도시된 영상과 도 10f에 도시된 영상을 비교하면, 도 10e에 도시된 이미지에는 대부분의 희미한 모서리들이 오버슈팅없이 날카로워졌다.
도 11a 내지 도 16c에서 종래 기술과 본 발명은 비교된다. 즉, 도 11a 내지 도 16c는 종래 기술에 따라 영상 처리된 결과와 본 발명의 실시 예에 따른 렌즈 왜곡 보정 장치에 의하여 영상 처리된 결과를 도시한다.
구체적으로, 도 11a 내지 도 12c에는 이미지의 중심부에 대하여 종래 기술과 본 발명을 비교하기 위한 이미지들이 도시된다. 도 13a 내지 도 14c는 이미지의 중간(middle)에 대하여 종래 기술과 본 발명을 비교하기 위한 이미지들이 도시된다. 도 15a 내지 도 16c는 이미지의 주변부에 대하여 종래 기술과 본 발명을 비교하기 위한 이미지들이 도시된다.
도 11a는 광각 렌즈를 이용하여 촬영된 영상을 도시한다. 도 11b는 도 11a에 도시된 영상에 대하여 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다. 도 11c는 도 11a에 도시된 영상에 대하여 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다. 도 11d는 도 11a에 도시된 영상에 대하여 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 11a 내지 도 11d를 참조하면, 도 11a에는 광각 렌즈로 인하여 발생된 왜곡된 이미지가 도시된다. 도 11b에 도시된 영상에는 에일리어싱 및 재깅 아티팩트가 나타날 수 있다. 도 11c에 도시된 영상에는 블러링 아티팩트가 나타날 수 있다. 도 11d에 도시된 영상에는 대부분의 희미한 모서리들이 날카로워졌다.
도 12a는 도 11b에 도시된 영상 중 중심부를 확대한 영상이다. 도 12b는 도 11c에 도시된 영상 중 중심부를 확대한 영상이다. 그리고 도 12c는 도 11d에 도시된 영상 중 중심부를 확대한 영상이다.
도 12a에 도시된 영상에는 블러링과 재깅 아티팩트의 상당한 양이 관찰된다. 도 12a에 도시된 영상과 도 12b에 도시된 영상을 비교하면, 도 12b에 도시된 이미지에는 대부분의 재깅 아티팩트가 부드러워졌다. 그러나, 도 12b에 도시된 이미지에는 블러링 아티팩트(burring artifact)가 증가한다. 도 12b에 도시된 영상과 도 12c에 도시된 영상을 비교하면, 도 12c에 도시된 이미지에는 희미한 모서리들이 오버슈팅없이 날카로워졌다.
도 13a는 광각 렌즈를 이용하여 촬영된 영상을 도시한다. 도 13b는 도 13a에 도시된 영상에 대하여 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다. 도 13c는 도 13a에 도시된 영상에 대하여 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다. 도 13d는 도 13a에 도시된 영상에 대하여 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 13a 내지 도 13d를 참조하면, 도 13a에는 광각 렌즈로 인하여 발생된 왜곡된 이미지가 도시된다. 도 13b에 도시된 영상에는 에일리어싱 및 재깅 아티팩트가 나타날 수 있다. 도 13c에 도시된 영상에는 블러 아티팩트가 나타날 수 있다. 도 13d에 도시된 영상에는 대부분의 희미한 모서리들이 날카로워졌다.
도 14a는 도 13b에 도시된 영상 중 중간(middle)을 확대한 영상이다. 도 14b는 도 13c에 도시된 영상 중 중간을 확대한 영상이다. 그리고 도 14c는 도 13d에 도시된 영상 중 중간을 확대한 영상이다.
도 14a에 도시된 영상에는 블러링과 재깅 아티팩트의 상당한 양이 관찰된다.
도 14a에 도시된 영상과 도 14b에 도시된 영상을 비교하면, 도 14b에 도시된 이미지에는 대부분의 재깅 아티팩트가 부드러워졌다. 그러나, 도 14b에 도시된 이미지에는 블러링 아티팩트(burring artifact)가 증가한다. 도 14b에 도시된 영상과 도 14c에 도시된 영상을 비교하면, 도 14c에 도시된 이미지에는 희미한 모서리들이 오버슈팅없이 날카로워졌다.
도 15a는 광각 렌즈를 이용하여 촬영된 영상을 도시한다. 도 15b는 도 15a에 도시된 영상에 대하여 종래 기술인 bilinear interpolation을 이용하여 보정된 영상을 도시한다. 도 15c는 도 15a에 도시된 영상에 대하여 가우시안 인터폴레이션 커널을 적용하여 보정된 영상을 도시한다. 도 15d는 도 15a에 도시된 영상에 대하여 본 발명의 실시 예에 따른 가우시안 인터폴레이션 커널과 이미지 향상 방법을 적용하여 보정된 영상을 도시한다.
도 15a 내지 도 15d를 참조하면, 도 13a에는 광각 렌즈로 인하여 발생된 왜곡된 이미지가 도시된다. 도 15b에 도시된 영상에는 에일리어싱 및 재깅 아티팩트가 나타날 수 있다. 도 15c에 도시된 영상에는 블러 아티팩트가 나타날 수 있다. 도 15d에 도시된 영상에는 블러 아티팩트가 개선된 것을 볼 수 있다.
도 16a는 도 15b에 도시된 영상 중 주변부를 확대한 영상이다. 도 16b는 도 15c에 도시된 영상 중 주변부를 확대한 영상이다. 그리고 도 16c는 도 15d에 도시된 영상 중 주변부를 확대한 영상이다.
도 16a에 도시된 영상에는 블러링과 재깅 아티팩트의 상당한 양이 관찰된다.
도 16a에 도시된 영상과 도 16b에 도시된 영상을 비교하면, 도 16b에 도시된 이미지에는 대부분의 재깅 아티팩트가 부드러워졌다. 그러나, 도 16b에 도시된 이미지에는 블러링 아티팩트(burring artifact)가 증가한다. 도 16b에 도시된 영상과 도 16c에 도시된 영상을 비교하면, 도 16c에 도시된 이미지에는 희미한 모서리들이 오버슈팅없이 날카로워졌다.
도 17는 본 발명의 다른 실시 예에 따른 렌즈 왜곡 보정 장치를 포함하는 이미지 센서 모듈(image sensor module)를 도시한 블록도이다.
도 17를 참조하면, 이미지 센서 모듈(200)은 이미지 센서(image sensor; 201) 그리고 광각 왜곡 보정 장치(lens distortion correction device; 202)를 포함할 수 있다. 하나의 실시 예에 있어서, 이미지 센서 모듈(200)은 디지털 카메라 장치(digital camera device), 스마트폰(smart-phone) 그리고 태블릿(tablet)에 장착될 수 있다.
이미지 센서(201)는 광각 렌즈(10)를 통하여 대상(object)에 대한 이미지 데이터를 획득(acquire)할 수 있다. 이미지 센서(201)는 상기 이미지 데이터를 광각 왜곡 보정 장치(202)로 전송한다. 하나의 실시 예에 있어서, 이미지 센서(201)는 CMOS (Complementary metaloxidesemiconductor) 이미지 센서 또는 CCD(Charge Coupled Device) 이미지 센서를 포함할 수 있다.
렌즈 왜곡 보정 장치(202)는 스캐일러블 가우시안 인터폴레이션 커널들(scalable Gaussian interpolation kernels)을 사용하여 왜곡(distortion)을 보정하고 LSS(local self-similarity)에 기초한 셀프-예제(self-example)를 사용하여 바운더리 라인(boundary line)을 향상시킬 수 있다. 하나의 실시 예에 있어서, 렌즈 왜곡 보정 장치(202)는 도 1에 도시된 렌즈 왜곡 보정 장치(40)를 포함할 수 있다.
도 18은 도 1에 도시된 렌즈 왜곡 보정 장치를 포함하는 모바일 장치(210)의 일 실시 예를 나타낸다.
도 18을 참조하면, 모바일 장치(210)는 스마트 폰(smart-phone), 테블릿(tablet) PC, UMPC(Ultra Mobile Personal Computer), PDA (personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 또는 MP4 플레이어로 구현될 수 있다.
모바일 장치(210)는 메모리 장치(211), 메모리 장치(211)을 제어하는 메모리 컨트롤러를 포함하는 애플리케이션 프로세서(212), 모뎀(213), 안테나(214) 및 디스플레이 장치(215)를 포함할 수 있다.
모뎀(213)은 안테나(214)를 통하여 무선 신호를 주거나 받을 수 있다. 예컨대, 모뎀(213)은 안테나(214)를 통하여 수신된 무선 신호를 애플리케이션 프로세서(212)에서 처리될 수 있는 신호로 변경할 수 있다. 하나의 실시 예에 있어서, 모뎀(213)은 LTE(long term evolution) 송수신기, HSDPA/WCDMA(high speed downlink packet access/wideband code division multiple access) 송수신기, 또는 GSM(global system for mobile communications) 송수신기일 수 있다.
따라서, 애플리케이션 프로세서(212)는 모뎀(213)으로부터 출력된 신호를 처리하고 처리된 신호를 디스플레이 장치(215)로 전송할 수 있다. 또한, 모뎀(213)은 애플리케이션 프로세서(212)으로부터 출력된 신호를 무선 신호로 변경하고 변경된 무선 신호를 안테나(214)를 통하여 외부 장치로 출력할 수 있다.
또한, 애플리케이션 프로세서(212)는 렌즈 왜곡 보정 장치(40)를 포함한다. 렌즈 왜곡 보정 장치(40)는 광각 렌즈로 인하여 발생된 왜곡된 이미지를 보정할 수 있고, 보정된 이미지를 향상시킬 수 있다. 하나의 실시 예에 있어서, 렌즈 왜곡 보정 장치(40)는 도 1에 도시된 렌즈 왜곡 보정 장치(40)를 포함할 수 있다.
도 19은 도 1에 도시된 렌즈 왜곡 보정 장치를 포함하는 모바일 장치(220)의 다른 실시 예를 나타낸다.
도 19을 참조하면, 모바일 장치(220)은 이미지 처리 장치(Image Process Device), 예컨대 디지털 카메라 또는 디지털 카메라가 부착된 이동 전화기, 또는 태블릿(tablet)으로 구현될 수 있다.
모바일 장치(220)은 메모리 장치(221)와 메모리 장치(221)의 데이터 처리 동작을 제어할 수 있는 메모리 컨트롤러를 포함하는 애플리케이션 프로세서(222), 입력 장치(223) 및 디스플레이 장치(224)를 포함한다.
입력 장치(223)는 애플리케이션 프로세서(222)의 동작을 제어하기 위한 제어 신호 또는 애플리케이션 프로세서(222)에 의하여 처리될 데이터를 입력할 수 있는 장치로서, 터치 패드(touch pad)와 컴퓨터 마우스(computer mouse)와 같은 포인팅 장치(pointing device), 키패드(keypad), 또는 키보드로 구현될 수 있다.
애플리케이션 프로세서(222)는 메모리 장치(221)에 저장된 데이터를 디스플레이 장치(224)를 통하여 디스플레이할 수 있다. 애플리케이션 프로세서(222)는 모바일 장치(220)의 전반적인 동작을 제어할 수 있다.
또한, 애플리케이션 프로세서(222)는 렌즈 왜곡 보정 장치(40)를 포함한다. 렌즈 왜곡 보정 장치(40)는 광각 렌즈로 인하여 발생된 왜곡된 이미지를 보정하고, 보정된 이미지를 향상시킬 수 있다. 하나의 실시 예에 있어서, 렌즈 왜곡 보정 장치(40)는 도 1에 도시된 렌즈 왜곡 보정 장치(40)를 포함할 수 있다.
도 20는 본 발명의 일 실시 예에 따른 카메라 시스템을 도시한 블록도이다.
도 1 및 도 20를 참조하면, 카메라 시스템(300)은 광각 렌즈(310), 이미지 센서(320), 모터부(330), 엔진부(340) 및 호스트/어플리케이션부(350)을 포함할 수 있다. 이때, 이미지 센서(320)는 도 1에 도시된 이미지 센서(20) 및 이미지 프로세서(30)를 포함할 수 있다. 하나의 실시 예에 있어서, 카메라 시스템(300)은 디지털 카메라 장치를 포함할 수 있다.
광각 렌즈(310)는 이미지 센서(320)의 수광 영역(integration region)(예컨대, 포토다이오드)으로 입사광을 집광시킨다.
이미지 센서(320)는 광각 렌즈(310)를 통하여 입사광에 기초한 이미지 데이터를 생성한다. 이미지 센서(320)는 클록 신호(CLK)에 기초하여 이미지 데이터를 제공할 수 있다. 하나의 실시 예에 있어서, 이미지 센서(320)는 MIPI(Mobile Industry Processor Interface) 및/또는 CSI(Camera Serial Interface)를 통하여 엔진부(340)와 인터페이싱할 수 있다.
모터부(330)는 엔진부(340)로부터 수신된 제어 신호(CTRL)에 응답하여 렌즈(310)의 포커스(Focus)를 조절하거나, 셔터링(Shuttering)을 수행할 수 있다.
엔진부(340)는 이미지 센서(320) 및 모터부(330)를 제어한다. 또한, 엔진부(340)는 이미지 센서(320)로부터 수신된 거리 및/또는 이미지 데이터에 기초하여 피사체(subject)로부터 거리, 휘도 성분(luminance component), 상기 휘도 성분과 청색 성분의 차, 및 휘도 성분과 적색 성분의 차를 포함하는 YUV 데이터(YUV)를 생성할 수 있거나, 압축 데이터, 예를 들어 JPEG(Joint Photography Experts Group) 데이터를 생성할 수 있다.
엔진부(340)는 호스트/어플리케이션(350)에 연결될 수 있다. 그리고 엔진부(340)는 마스터 클록(MCLK)에 기초하여 YUV 데이터(YUV) 또는 JPEG 데이터를 호스트/어플리케이션(350)에 제공할 수 있다. 또한, 엔진부(340)는 SPI(Serial Peripheral Interface) 및/또는 I2C(Inter Integrated Circuit)를 통하여 호스트/어플리케이션(350)과 인터페이싱할 수 있다.
하나의 실시 예에 있어서, 엔진부(340)는 이미지 센서(320)로부터 왜곡된 영상을 보정할 수 있고, 상기 보정된 영상을 향상시킬 수 있다. 그리고, 엔진부(340)는 도 1에 도시된 렌즈 왜곡 보정 장치(40)를 포함할 수 있다.
도 21은 도 17에 도시된 렌즈 왜곡 보정 장치를 포함하는 디스플레이 장치(400)를 나타낸다.
도 21을 참조하면, 디스플레이 장치(400)는 스마트 TV, 모니터(monitor) 또는 각종 모바일 장치에 장착된 디스플레이 장치(display device)로 구현될 수 있다.
디스플레이 장치(400)는 카메라 장치(410)를 포함할 수 있다. 디스플레이 장치(400)가 스마트 TV라고 하면, 디스플레이 장치(400)에는 다양한 애플리케이션들이 설치될 수 있다.
예를 들면, 사용자(user)는 디스플레이 장치(400)에 장착된 카메라 장치(410)를 이용하여 영상 통화 애플리케이션(video call application)을 실행할 수 있다. 하나의 실시 예에 있어서, 카메라 장치(410)는 도 17에 도시된 이미지 센서 모듈(image sensor module; 200)을 포함할 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서와 모바일 장치에 적용할 수 있다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 광각 렌즈
20 : 이미지 센서
30. 이미지 프로세서
40: 렌즈 왜곡 보정 장치
41 : 왜곡 보정부
42 : 이미지 향상부
200 : 이미지 센서 모듈
201 : 이미지 센서
202 : 렌즈 왜곡 보정 장치
210 : 모바일 장치의 제1 실시 예
220 : 모바일 장치의 제2 실시 예
300 : 디지털 카메라 장치
400 : 디스플레이 장치.
410 : 카메라 장치.
20 : 이미지 센서
30. 이미지 프로세서
40: 렌즈 왜곡 보정 장치
41 : 왜곡 보정부
42 : 이미지 향상부
200 : 이미지 센서 모듈
201 : 이미지 센서
202 : 렌즈 왜곡 보정 장치
210 : 모바일 장치의 제1 실시 예
220 : 모바일 장치의 제2 실시 예
300 : 디지털 카메라 장치
400 : 디스플레이 장치.
410 : 카메라 장치.
Claims (20)
- 왜곡된 이미지(distorted image)를 비왜곡된 이미지(undistorted image)로 보정하는 왜곡 보정부(distortion correction unit); 및
상기 왜곡된 이미지의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시키는 이미지 향상부(image enhancement unit)를 포함하되,
상기 왜곡 보정부는 상기 왜곡된 이미지 내 중심으로부터 거리와 상기 비왜곡된 이미지 내 중심으로부터 거리 사이의 왜곡 비율을 바탕으로 왜곡의 정도를 판단하며,
상기 왜곡 보정부는 가우시안 인터폴레이션 커널(gaussian interpolation kernel)을 이용하여 상기 왜곡된 이미지를 상기 비왜곡된 이미지로 보정하고, 상기 왜곡의 정도에 따라 상기 가우시안 인터폴레이션 커널의 사이즈를 조절하는 렌즈 왜곡 보정 장치(lens distortion correction device). - 삭제
- 삭제
- 제 1 항에 있어서,
상기 왜곡 보정부는,
상기 왜곡 비율이 1보다 큰 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 증가시키고, 그리고
상기 왜곡 비율이 1보다 작은 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 감소시키는 렌즈 왜곡 보정 장치. - 제 1 항에 있어서,
상기 왜곡된 이미지 및 비왜곡된 이미지 내 복수의 패치들 각각은 저주파 성분(low-frequency component) 및 고주파 성분(high-frequency component)을 포함하는 렌즈 왜곡 보정 장치. - 제 5 항에 있어서,
상기 이미지 향상부는 상기 비왜곡된 이미지 내 패치의 밝기값과 가장 가까운 밝기값을 가지는 패치를 상기 왜곡된 이미지 내 로컬라이즈드 영역으로부터 검색하고, 상기 검색된 패치의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시키는 렌즈 왜곡 보정 장치(lens distortion correction device). - 제 6 항에 있어서,
상기 이미지 향상부는 상기 비왜곡된 이미지 내 패치의 저주파 성분과 상기 검색된 패치의 고주파 성분을 결합하여 상기 비왜곡된 이미지로부터 블러링 아티팩트(blurring artifact)를 제거하는 렌즈 왜곡 보정 장치. - 제 1 항에 있어서,
상기 렌즈 왜곡 보정 장치는 초해상도(super resolution)에 적용되는 렌즈 왜곡 보정 장치. - 이미지 센서(image sensor)로부터 영상 신호를 수신하는 렌즈 왜곡 보정 장치(lens distortion correction device)를 포함하며,
상기 렌즈 왜곡 보정 장치는,
왜곡된 이미지(distorted image)를 비왜곡된 이미지(undistorted image)로 보정하는 왜곡 보정부(distortion correction unit); 및
상기 왜곡된 이미지의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시키는 이미지 향상부(image enhancement unit)를 포함하되,
상기 왜곡 보정부는,
상기 왜곡된 이미지 내 중심으로부터 거리와 상기 비왜곡된 이미지 내 중심으로부터 거리 사이의 왜곡 비율을 바탕으로 왜곡의 정도를 판단하고,
가우시안 인터폴레이션 커널을 이용하여 상기 왜곡된 이미지를 상기 비왜곡된 이미지로 보정하고,
상기 왜곡의 정도에 따라 상기 가우시안 인터폴레이션 커널의 사이즈를 조절하고,
상기 왜곡 비율이 1보다 큰 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 증가시키고, 그리고
상기 왜곡 비율이 1보다 작은 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 감소시키는 애플리케이션 프로세서(application processor). - 삭제
- 삭제
- 제 9 항에 있어서,
상기 왜곡된 이미지 및 비왜곡된 이미지 내 복수의 패치들 각각은 저주파 성분 및 고주파 성분을 포함하는 애플리케이션 프로세서. - 제 12 항에 있어서,
상기 이미지 향상부는 상기 비왜곡된 이미지 내 패치의 밝기값과 가장 가까운 밝기값을 가지는 패치를 상기 왜곡된 이미지 내 로컬라이즈드 영역으로부터 검색하고, 상기 검색된 패치의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시키는 애플리케이션 프로세서. - 제 13 항에 있어서,
상기 이미지 향상부는 상기 비왜곡된 이미지 내 패치의 저주파 성분과 상기 검색된 패치의 고주파 성분을 결합하여 상기 비왜곡된 이미지로부터 블러링 아티팩트를 제거하는 애플리케이션 프로세서. - 광각 렌즈(wide-angle lens)를 통하여 영상을 수신하는 이미지 센서(image sensor); 및
상기 이미지 센서로부터 영상 신호를 수신하고, 상기 수신된 영상 신호를 영상 처리하는 애플리케이션 프로세서(application processor)를 포함하며,
상기 애플리케이션 프로세서는,
왜곡된 이미지(distorted image)를 비왜곡된 이미지(undistorted image)로 보정하는 왜곡 보정부(distortion correction unit); 및
상기 왜곡된 이미지의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시키는 이미지 향상부(image enhancement unit)를 포함하는 렌즈 왜곡 보정 장치(lens distortion correction device)를 포함하되,
상기 왜곡 보정부는,
상기 왜곡 보정부는 상기 왜곡된 이미지 내 중심으로부터 거리와 상기 비왜곡된 이미지 내 중심으로부터 거리 사이의 왜곡 비율을 바탕으로 왜곡의 정도를 판단하고,
가우시안 인터폴레이션 커널을 이용하여 상기 왜곡된 이미지를 상기 비왜곡된 이미지로 보정하고,
상기 왜곡의 정도에 따라 상기 가우시안 인터폴레이션 커널의 사이즈를 조절하고,
상기 왜곡 비율이 1보다 큰 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 증가시키고, 그리고
상기 왜곡 비율이 1보다 작은 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 감소시키는 모바일 장치(mobile device). - 삭제
- 삭제
- 광각 렌즈(wide-angle lens)를 통하여 영상을 수신하는 이미지 센서(image sensor); 및
상기 이미지 센서로부터 왜곡된 이미지(distorted image)를 수신하는 렌즈 왜곡 보정 장치(lens distortion correction device)를 포함하고,
상기 렌즈 왜곡 보정 장치는,
상기 왜곡된 이미지를 비왜곡된 이미지(undistorted image)로 보정하는 왜곡 보정부(distortion correction unit); 및
상기 왜곡된 이미지의 고주파 성분을 이용하여 상기 비왜곡된 이미지를 향상시키는 이미지 향상부(image enhancement unit)를 포함하되,
상기 왜곡 보정부는,
상기 왜곡 보정부는 상기 왜곡된 이미지 내 중심으로부터 거리와 상기 비왜곡된 이미지 내 중심으로부터 거리 사이의 왜곡 비율을 바탕으로 왜곡의 정도를 판단하고,
가우시안 인터폴레이션 커널을 이용하여 상기 왜곡된 이미지를 상기 비왜곡된 이미지로 보정하고, 상기 왜곡의 정도에 따라 상기 가우시안 인터폴레이션 커널의 사이즈를 조절하고,
상기 왜곡 비율이 1보다 큰 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 증가시키고, 그리고 상기 왜곡 비율이 1보다 작은 경우, 상기 가우시안 인터폴레이션 커널의 사이즈를 감소시키는 이미지 센서 모듈(image sensor module). - 삭제
- 삭제
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140071040A KR102179262B1 (ko) | 2014-06-11 | 2014-06-11 | 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서 |
| JP2014155472A JP2016001453A (ja) | 2014-06-11 | 2014-07-30 | レンズ歪曲補正装置及びこれを含むアプリケーションプロセッサ |
| US14/605,173 US9633419B2 (en) | 2014-06-11 | 2015-01-26 | Lens distortion correction device and application processor having the same |
| US15/405,613 US9986183B2 (en) | 2014-06-11 | 2017-01-13 | Lens distortion correction device and application processor having the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140071040A KR102179262B1 (ko) | 2014-06-11 | 2014-06-11 | 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150142812A KR20150142812A (ko) | 2015-12-23 |
| KR102179262B1 true KR102179262B1 (ko) | 2020-11-16 |
Family
ID=54836577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140071040A KR102179262B1 (ko) | 2014-06-11 | 2014-06-11 | 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US9633419B2 (ko) |
| JP (1) | JP2016001453A (ko) |
| KR (1) | KR102179262B1 (ko) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9672593B2 (en) | 2014-06-25 | 2017-06-06 | International Business Machines Corporation | Lens distortion correction using a neurosynaptic system |
| USRE49930E1 (en) | 2015-03-26 | 2024-04-23 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
| EP3284252B1 (en) | 2015-04-13 | 2021-07-21 | Universidade De Coimbra | Methods and systems for camera characterization in terms of response function, color, and vignetting under non-uniform illumination |
| EP3174007A1 (en) | 2015-11-30 | 2017-05-31 | Delphi Technologies, Inc. | Method for calibrating the orientation of a camera mounted to a vehicle |
| KR101795271B1 (ko) | 2016-06-10 | 2017-11-07 | 현대자동차주식회사 | 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법 |
| KR101807090B1 (ko) | 2016-06-20 | 2017-12-08 | 현대오트론 주식회사 | 영상 왜곡 보정 장치 및 방법 |
| CN106780758B (zh) * | 2016-12-07 | 2019-12-13 | 歌尔科技有限公司 | 用于虚拟现实设备的成像方法、装置及虚拟现实设备 |
| US10796499B2 (en) | 2017-03-14 | 2020-10-06 | Universidade De Coimbra | Systems and methods for 3D registration of curves and surfaces using local differential information |
| US10440396B2 (en) * | 2017-03-28 | 2019-10-08 | Qualcomm Incorporated | Filter information sharing among color components |
| EP3534333A1 (en) * | 2018-02-28 | 2019-09-04 | Aptiv Technologies Limited | Method for calibrating the position and orientation of a camera relative to a calibration pattern |
| CN108764041B (zh) * | 2018-04-25 | 2021-09-14 | 电子科技大学 | 用于下部遮挡人脸图像的人脸识别方法 |
| DE112020003269T5 (de) * | 2019-07-09 | 2022-05-19 | Immervision Inc. | Verfahren zum Entwerfen von Miniaturobjektiven mit zweckmäßiger Verzerrung |
| US10909668B1 (en) | 2019-07-31 | 2021-02-02 | Nxp Usa, Inc. | Adaptive sub-tiles for distortion correction in vision-based assistance systems and methods |
| US11483547B2 (en) | 2019-12-04 | 2022-10-25 | Nxp Usa, Inc. | System and method for adaptive correction factor subsampling for geometric correction in an image processing system |
| US11475545B2 (en) | 2020-05-28 | 2022-10-18 | Nxp Usa, Inc. | System and method for correcting geometric distortion in images |
| US11443411B2 (en) | 2020-07-08 | 2022-09-13 | Nxp Usa, Inc. | Method and system for image distortion correction using quarter and tangential lookup tables |
| KR102450166B1 (ko) * | 2021-05-21 | 2022-10-11 | 아주대학교산학협력단 | 이미지의 편위 수정 방법 및 시스템 |
| WO2022239907A1 (ko) * | 2021-05-10 | 2022-11-17 | 아주대학교산학협력단 | 이미지의 편위 수정 방법 및 시스템 |
| KR102440898B1 (ko) * | 2021-05-10 | 2022-09-06 | 아주대학교산학협력단 | 이미지의 편위 수정 방법 및 시스템 |
| US11756171B1 (en) * | 2021-07-07 | 2023-09-12 | Gopro, Inc. | Systems and methods for increasing image fidelity |
| US11798151B1 (en) * | 2022-04-25 | 2023-10-24 | Rivian Ip Holdings, Llc | Systems and methods for determining image capture degradation of a camera sensor |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005286482A (ja) * | 2004-03-29 | 2005-10-13 | Sanyo Electric Co Ltd | 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置 |
| JP2009003953A (ja) | 2008-08-04 | 2009-01-08 | Olympus Corp | 画像処理装置 |
| JP2009043060A (ja) | 2007-08-09 | 2009-02-26 | Canon Inc | 画像データに歪曲収差補正を施す画像処理方法、プログラム、および、記録媒体 |
| US20100238313A1 (en) | 2008-09-08 | 2010-09-23 | Mitsuharu Ohki | Imaging Apparatus and Method, and Program |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7084905B1 (en) * | 2000-02-23 | 2006-08-01 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for obtaining high dynamic range images |
| US7149367B2 (en) | 2002-06-28 | 2006-12-12 | Microsoft Corp. | User interface for a system and method for head size equalization in 360 degree panoramic images |
| US7184609B2 (en) | 2002-06-28 | 2007-02-27 | Microsoft Corp. | System and method for head size equalization in 360 degree panoramic images |
| US7058237B2 (en) | 2002-06-28 | 2006-06-06 | Microsoft Corporation | Real-time wide-angle image correction system and method for computer image viewing |
| JP4864295B2 (ja) * | 2003-06-02 | 2012-02-01 | 富士フイルム株式会社 | 画像表示システム、画像表示装置およびプログラム |
| JP2007318596A (ja) | 2006-05-29 | 2007-12-06 | Opt Kk | 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム |
| WO2009013845A1 (ja) | 2007-07-20 | 2009-01-29 | Techwell Japan K.K. | 画像処理装置及びカメラシステム |
| KR101014572B1 (ko) | 2007-08-27 | 2011-02-16 | 주식회사 코아로직 | 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치 |
| JP5197447B2 (ja) | 2009-03-12 | 2013-05-15 | 三菱電機株式会社 | 画像処理装置及び撮像装置 |
| JP2011049733A (ja) | 2009-08-26 | 2011-03-10 | Clarion Co Ltd | カメラキャリブレーション装置および映像歪み補正装置 |
| JP4991887B2 (ja) * | 2010-01-13 | 2012-08-01 | シャープ株式会社 | 撮像画像処理システム、撮像画像処理システムの制御方法、プログラムおよび記録媒体 |
| KR101053464B1 (ko) | 2010-05-27 | 2011-08-03 | (주) 에투시스템 | 광각 카메라의 광학정보 획득 장치, 광각영상 보정 장치 및 그 방법 |
-
2014
- 2014-06-11 KR KR1020140071040A patent/KR102179262B1/ko active IP Right Grant
- 2014-07-30 JP JP2014155472A patent/JP2016001453A/ja active Pending
-
2015
- 2015-01-26 US US14/605,173 patent/US9633419B2/en active Active
-
2017
- 2017-01-13 US US15/405,613 patent/US9986183B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005286482A (ja) * | 2004-03-29 | 2005-10-13 | Sanyo Electric Co Ltd | 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置 |
| JP2009043060A (ja) | 2007-08-09 | 2009-02-26 | Canon Inc | 画像データに歪曲収差補正を施す画像処理方法、プログラム、および、記録媒体 |
| JP2009003953A (ja) | 2008-08-04 | 2009-01-08 | Olympus Corp | 画像処理装置 |
| US20100238313A1 (en) | 2008-09-08 | 2010-09-23 | Mitsuharu Ohki | Imaging Apparatus and Method, and Program |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150363921A1 (en) | 2015-12-17 |
| US9986183B2 (en) | 2018-05-29 |
| US9633419B2 (en) | 2017-04-25 |
| JP2016001453A (ja) | 2016-01-07 |
| KR20150142812A (ko) | 2015-12-23 |
| US20170126996A1 (en) | 2017-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102179262B1 (ko) | 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서 | |
| CN107278314B (zh) | 用于非局部均值图像去噪的装置、移动计算平台和方法 | |
| JP5374700B2 (ja) | 信号に対して所望のエフェクトを得るために、信号にカーネルを適用するエフェクトを調整するための技術 | |
| JP4898761B2 (ja) | オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置および方法 | |
| JP5204165B2 (ja) | 画像復元装置および画像復元方法 | |
| US20160028966A1 (en) | Methodology for generating high fidelity digital zoom for mobile phone cameras | |
| WO2010098054A1 (ja) | 画像補正装置及び画像補正方法 | |
| JP2013513318A (ja) | オプティカル効果を生成させるためのデジタル画像合成 | |
| WO2017113917A1 (zh) | 成像方法、成像装置和终端 | |
| US9538076B2 (en) | Image processing devices for suppressing color fringe, and image sensor modules and electronic devices including the same | |
| EP3213256B1 (en) | Global matching of multiple images | |
| US9672599B2 (en) | Image processing devices for suppressing color fringe, and image sensor modules and electronic devices including the same | |
| CN106960413A (zh) | 一种图像虚化的方法及终端 | |
| US9843711B2 (en) | Image processing device, image processing method, and image processing program | |
| US20100226590A1 (en) | Apparatus and method for reducing noise from an image | |
| Luo et al. | Real‐time digital image stabilization for cell phone cameras in low‐light environments without frame memory | |
| JP5927265B2 (ja) | 画像処理装置及びプログラム | |
| WO2017184224A1 (en) | Processing images based on generated motion data | |
| KR20240031246A (ko) | 다수의 관심 영역들을 갖는 장면들에서 선택적으로 증가하는 피사계 심도 | |
| CN111416937B (zh) | 图像处理方法、装置、存储介质及移动设备 | |
| JP7262940B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
| WO2009156329A1 (en) | Image deblurring and denoising system, device and method | |
| JP6852536B2 (ja) | 情報処理装置、画像処理方法、プログラム | |
| KR100889935B1 (ko) | 렌즈 왜곡 보정으로 흐려진 영상의 선명화 방법 및 장치 | |
| JP2023160661A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |