KR101205833B1 - 디지털 줌 시스템을 위한 영상 처리 장치 및 방법 - Google Patents
디지털 줌 시스템을 위한 영상 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR101205833B1 KR101205833B1 KR1020110014622A KR20110014622A KR101205833B1 KR 101205833 B1 KR101205833 B1 KR 101205833B1 KR 1020110014622 A KR1020110014622 A KR 1020110014622A KR 20110014622 A KR20110014622 A KR 20110014622A KR 101205833 B1 KR101205833 B1 KR 101205833B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- original image
- pixel
- digital zoom
- fisheye lens
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 title claims abstract description 19
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 230000002093 peripheral effect Effects 0.000 claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 238000003702 image correction Methods 0.000 claims abstract description 5
- 238000012937 correction Methods 0.000 claims description 20
- 230000004075 alteration Effects 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 7
- 238000013041 optical simulation Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 claims 2
- 238000002474 experimental method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
디지털 줌 시스템을 위한 영상 처리 장치 및 방법이 개시된다. 영상 입력부는 중심부의 해상도가 주변부에 비해 높은 어안렌즈를 구비한 촬상장치로 촬영된 원본영상을 입력받는다. 영상 보정부는 원본영상의 중심을 중점으로 하는 극좌표 형태의 좌표공간에서 원본영상의 각 화소에 대응하는 좌표를 선형화하기 위해 사전에 설정된 파라미터들로 이루어진 좌표변환맵을 원본영상에 적용하여 보정영상을 생성한다. 이때 영상 보정부는 원본영상의 복수의 컬러채널을 구성하는 각 화소에 대응하여 설정된 파라미터들로 이루어진 복수의 좌표변환맵을 원본영상의 각각의 컬러채널에 각각 적용한 후 융합하여 보정영상을 생성한다. 본 발명에 따르면, 디지털 줌에 있어서 중요시되는 영상의 중심부의 해상도가 높은 어안렌즈에 의해 촬영된 영상을 사용함으로써 고품질의 확대영상을 생성할 수 있다.
Description
본 발명은 디지털 줌 시스템을 위한 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는, 디지털 줌 시스템에 있어서 어안렌즈를 사용하여 얻어진 입력 영상을 처리하여 확대된 영상을 출력하는 장치 및 방법에 관한 것이다.
영상 획득 장치의 발전에 따라 해상도 및 화각을 용이하게 조절 가능한 주밍(zooming) 기능이 일반적인 카메라에 구비되었으며, 한편으로 광학 줌 시스템으로 인하여 카메라의 소형화가 저해되기도 하였다. 광학 줌 시스템을 사용함에 따른 이와 같은 문제를 해결하기 위해 디지털 신호 처리 기법만을 사용하여 입력 영상을 확대하는 디지털 줌 시스템이 제안되었다.
디지털 줌 시스템은 많은 부피를 차지하고 소비 전력이 큰 광학 및 기계 부품을 채용하지 않기 때문에, 특히 작은 크기의 저가 카메라에 적합하다. 그러나 이러한 장점에도 불구하고, 디지털 줌에 의해 확대된 영상에는 근본적으로 저해상도인 입력 영상의 불충분한 화소 정보에 의한 열화 현상 및 보간(interpolation) 과정에서의 에일리어싱 현상(aliasing artifact)이 나타나게 된다.
디지털 줌에 있어서의 관심영역(Region of Interest : ROI)은 영상의 중심에 위치하며, 영상의 가장자리 영역은 덜 중요하게 취급된다. 따라서 이러한 특성을 이용함으로써 디지털 줌 시스템의 성능을 향상시킬 수 있는 방법이 요구된다.
본 발명이 이루고자 하는 기술적 과제는, 공간 가변적인 해상도의 어안렌즈를 사용하여 얻어진 영상을 확대함으로써 디지털 줌 시스템을 구현할 수 있는 디지털 줌 시스템을 위한 영상 처리 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 공간 가변적인 해상도의 어안렌즈를 사용하여 얻어진 영상을 확대함으로써 디지털 줌 시스템을 구현할 수 있는 디지털 줌 시스템을 위한 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 디지털 줌 시스템을 위한 영상 처리 장치는, 중심부의 해상도가 주변부에 비해 높은 어안렌즈를 구비한 촬상장치로 촬영된 원본영상을 입력받는 영상 입력부; 및 상기 원본영상의 중심을 중점으로 하는 극좌표 형태의 좌표공간에서 상기 원본영상의 각 화소에 대응하는 좌표를 선형화하기 위해 사전에 설정된 파라미터들로 이루어진 좌표변환맵을 상기 원본영상에 적용하여 보정영상을 생성하는 영상 보정부;를 포함하되, 상기 영상 보정부는 상기 원본영상의 복수의 컬러채널을 구성하는 각 화소에 대응하여 설정된 파라미터들로 이루어진 복수의 좌표변환맵을 상기 원본영상의 각각의 컬러채널에 각각 적용한 후 융합하여 상기 보정영상을 생성한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 디지털 줌 시스템을 위한 영상 처리 방법은, (a) 중심부의 해상도가 주변부에 비해 높은 어안렌즈를 구비한 촬상장치로 촬영된 원본영상을 입력받는 단계; 및 (b) 상기 원본영상의 중심을 중점으로 하는 극좌표 형태의 좌표공간에서 상기 원본영상의 각 화소에 대응하는 좌표를 선형화하기 위해 사전에 설정된 파라미터들로 이루어진 좌표변환맵을 상기 원본영상에 적용하여 보정영상을 생성하는 단계;를 포함하되, 상기 (b) 단계에서, 상기 원본영상의 복수의 컬러채널을 구성하는 각 화소에 대응하여 설정된 파라미터들로 이루어진 복수의 좌표변환맵을 상기 원본영상의 각각의 컬러채널에 각각 적용한 후 융합하여 상기 보정영상을 생성한다.
본 발명에 따른 디지털 줌 시스템을 위한 영상 처리 장치 및 방법에 의하면, 디지털 줌에 있어서 중요시되는 영상의 중심부의 해상도가 높은 어안렌즈에 의해 촬영된 영상을 사용함으로써 고품질의 확대영상을 생성할 수 있다. 나아가 색수차 보정 및 비네팅 보정을 통해 확대영상의 품질을 더욱 향상시킬 수 있다.
도 1은 본 발명에 따른 디지털 줌 시스템을 위한 영상 처리 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 영상 처리 장치가 휴대용 기기의 하나인 스마트폰에 디지털 신호 프로세서로서 구현된 예를 도시한 도면,
도 3은 어안렌즈가 채용된 카메라의 수동 교정에 사용된 패턴 영상을 나타낸 도면,
도 4는 본 발명에 따른 디지털 줌 시스템을 위한 영상 처리 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 5는 실험에 사용된 영상 및 실험 결과 얻어진 영상을 나타낸 도면,
도 6은 bicubic 보간법과 본 발명의 성능을 비교하기 위한 도면,
도 7은 어안렌즈에 의해 얻어진 원본영상의 각 좌표를 선형화한 결과를 나타낸 도면,
도 8은 본 발명을 사용한 색수차 보정의 결과를 나타낸 도면,
도 9는 본 발명을 사용한 비네팅 보정의 결과를 나타낸 도면,
도 10은 동일한 장면을 어안렌즈와 일반렌즈로 각각 촬영하여 얻어진 영상을 나타낸 도면,
도 11은 도 10의 영상의 일부를 확대한 영상을 나타낸 도면,
도 12는 도 10의 영상의 가장자리 부분을 확대하여 나타낸 도면, 그리고,
도 13은 도 10의 영상의 가장자리 부분을 확대하여 나타낸 도면이다.
도 2는 본 발명에 따른 영상 처리 장치가 휴대용 기기의 하나인 스마트폰에 디지털 신호 프로세서로서 구현된 예를 도시한 도면,
도 3은 어안렌즈가 채용된 카메라의 수동 교정에 사용된 패턴 영상을 나타낸 도면,
도 4는 본 발명에 따른 디지털 줌 시스템을 위한 영상 처리 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 5는 실험에 사용된 영상 및 실험 결과 얻어진 영상을 나타낸 도면,
도 6은 bicubic 보간법과 본 발명의 성능을 비교하기 위한 도면,
도 7은 어안렌즈에 의해 얻어진 원본영상의 각 좌표를 선형화한 결과를 나타낸 도면,
도 8은 본 발명을 사용한 색수차 보정의 결과를 나타낸 도면,
도 9는 본 발명을 사용한 비네팅 보정의 결과를 나타낸 도면,
도 10은 동일한 장면을 어안렌즈와 일반렌즈로 각각 촬영하여 얻어진 영상을 나타낸 도면,
도 11은 도 10의 영상의 일부를 확대한 영상을 나타낸 도면,
도 12는 도 10의 영상의 가장자리 부분을 확대하여 나타낸 도면, 그리고,
도 13은 도 10의 영상의 가장자리 부분을 확대하여 나타낸 도면이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 디지털 줌 시스템을 위한 영상 처리 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 디지털 줌 시스템을 위한 영상 처리 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 디지털 줌 시스템을 위한 영상 처리 장치는 영상 입력부(110) 및 영상 보정부(120)를 구비하며, 디지털 줌을 수행하기 위한 영상 확대부(130)를 더 구비할 수 있다.
영상 입력부(110)는 중심부의 해상도가 주변부에 비해 높은 어안렌즈를 구비한 촬상장치로 촬영된 원본영상을 입력받는다.
앞에서 디지털 줌에 있어서 확대하고자 하는 관심영역은 보통 영상의 중심에 위치하며, 영상의 가장자리 영역은 덜 중요하게 취급된다는 점을 언급한 바 있다. 어안렌즈에 의해 촬영된 영상은 중심 부분에 더 많은 정보가 포함되어 있으므로, 본 발명에서는 어안렌즈를 사용하여 디지털 줌 시스템을 구현함으로써 영상 확대에 따른 열화 현상을 방지하고자 하였다.
도 2는 본 발명에 따른 영상 처리 장치가 휴대용 기기의 하나인 스마트폰에 디지털 신호 프로세서로서 구현된 예를 도시한 도면이다. 도 2를 참조하면, 스마트폰의 소형 카메라에는 어안렌즈가 채용되고, 소형 카메라의 디지털 줌 동작을 실행시키는 경우에는 본 발명이 스마트폰 내부의 디지털 신호 프로세서로서 영상 확대의 기능을 수행하게 된다.
도 2와 같이 본 발명이 일반적인 스마트폰에 채용되는 경우에는 스마트폰에 기본적으로 구비되어 있는 소형 카메라의 일반렌즈 대신 어안렌즈가 사용된다. 이때 어안렌즈를 사용하는 디지털 줌 시스템을 구현하기 위한 첫 번째 단계로서 카메라 교정(calibration)이 요구된다. 카메라 교정은 어안렌즈의 자동 교정에 관한 기존의 방법들을 사용하여 수행될 수도 있으나, 수동으로 정확하게 교정된 어안렌즈를 사용하는 것이 고화질의 디지털 줌 영상을 획득하기 위하여 더 바람직하다. 이러한 수동 교정은 도 3에 도시된 것과 같은 패턴 영상을 사용하여 수행될 수 있다.
본 발명에 따른 영상 처리 장치는 이상과 같이 카메라 교정 후 어안렌즈를 사용하여 촬영된 원본영상을 디지털 줌에 의한 영상 확대에 사용하며, 가장 먼저 어안렌즈의 비선형 특성을 포함하는 원본영상을 선형화하는 처리가 필요하다.
영상 보정부(120)는 원본영상의 중심을 중점으로 하는 극좌표 형태의 좌표공간에서 원본영상의 각 화소에 대응하는 좌표를 선형화하기 위해 사전에 설정된 파라미터들로 이루어진 좌표변환맵을 원본영상에 적용하여 보정영상을 생성한다.
어안렌즈에 의해 얻어진 영상은 공통적으로 배럴 디스토션(barrel distortion) 현상을 포함하고 있으므로, 일반렌즈에 의해 촬영된 것과 같은 영상을 획득하기 위해서는 어안렌즈에 의해 촬영된 원본영상으로부터 배럴 디스토션 형상을 제거하여야 한다.
원본영상에 포함된 배럴 디스토션을 제거하는 과정은 원본영상의 중심을 중점으로 하는 극좌표 형태의 좌표공간에서 다음의 수학식 1과 같이 표현될 수 있다.
여기서, (ρU,θU)는 배럴 디스토션이 나타나지 않은 영상의 각 화소를 극좌표 형태로 나타낸 것이고, (ρD,θD)는 배럴 디스토션을 포함하는 영상의 각 화소를 극좌표 형태로 나타낸 것이다.
좌표공간의 중점이 원본영상의 중심에 대응하므로, 원본영상의 각 화소에 대응하는 좌표를 다음의 수학식 2와 같이 변환하면 원본영상으로부터 배럴 디스토션 현상을 제거할 수 있다.
여기서 α는 원본영상의 각 화소에 대응하는 좌표를 선형화하기 위한 파라미터로서, 그 값은 사전에 설정된다.
즉, 영상 보정부는 원본영상의 각 화소에 대응하여 설정된 값의 파라미터들로 이루어진 좌표변환맵을 사전에 저장하고, 어안렌즈에 의해 촬영된 새로운 영상이 입력되면 즉시 선형화 과정을 수행할 수 있다. 좌표변환맵의 각 파라미터 값은 어안렌즈의 비선형 특성을 사용하여 결정될 수 있으며, 예를 들면, 도 3의 좌측 도면과 같은 패턴 영상을 광학 시뮬레이션에 의해 어안렌즈의 비선형 특성이 나타나도록 변형한 후, 두 영상의 각 화소의 좌표를 대비함으로써 좌표변환맵을 생성할 수 있다.
나아가 본 발명에 따른 영상 처리 장치는 확대영상의 품질을 보다 향상시키기 위하여 색수차 보정 및 비네팅(vignetting) 보정을 수행할 수 있다.
먼저 색수차는 파장에 따른 굴절률의 차이로 인하여 나타나는 현상으로, 어안렌즈는 높은 굴절률 특성 때문에 더 많은 색수차를 나타낸다. 따라서 영상 보정부(120)는 원본영상으로부터 보정영상을 생성할 때 영상의 각 컬러 채널, 즉 적색, 녹색 및 청색의 RGB 컬러 채널에 대하여 각각 별도로 설정된 좌표변환맵을 사용한다. 그 결과 보정영상은 원본영상의 각 컬러 채널에 대하여 각각 좌표변환맵을 적용하여 얻어진 복수의 영상을 융합함으로써 생성된다.
또한 비네팅은 영상의 중심부에 비하여 가장자리 부분의 밝기 내지 채도가 감소하는 현상으로, 영상 보정부(120)는 보정영상에서 나타나는 비네팅을 보정하기 위해 어안렌즈로 촬영된 영상으로부터 추정된 중심부와 주변부 사이의 휘도비를 이용한다. 이러한 휘도비 역시 사전에 추정되어 저장된 후 어안렌즈에 의해 촬영된 영상이 입력될 때마다 사용될 수 있다.
비네팅 보정을 위해 사용되는 휘도비는 순백색 차트(solid white chart)를 어안렌즈가 채용된 카메라로 촬영하여 얻어진 견본영상의 각 화소의 중심으로부터의 거리에 따라 밝기값을 평균하고, 그에 따라 평균 휘도비를 산출함으로써 얻어진다. 영상 보정부는 평균 휘도비를 보정영상의 각 화소의 밝기값에 곱하여 비네팅 보정된 보정영상을 출력된다.
디지털 줌 시스템에서의 영상 확대는 이상에서 설명한 과정에 의해 얻어진 보정영상을 확대함으로써 수행된다. 영상 확대부(130)는 보정영상에서 선택된 지점을 중심으로 사전에 설정된 확대비율에 따라 결정되는 크기의 영역을 확대하여 확대영상을 생성한다. 앞에서 설명한 바와 같이 디지털 줌에서는 주로 영상의 중심 부분이 확대되기 때문에 많은 정보가 포함된 보정영상의 중심부로부터 고품질의 확대영상을 생성할 수 있다.
도 4는 본 발명에 따른 디지털 줌 시스템을 위한 영상 처리 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 4를 참조하면, 영상 입력부(110)는 중심부의 해상도가 주변부에 비해 높은 어안 렌즈를 구비한 촬상장치로 촬영된 원본영상을 입력받고(S1010), 영상 보정부(120)는 원본영상의 중심을 중점으로 하는 극좌표 형태의 좌표평면에서 원본영상의 각 화소에 대응하는 좌표를 선형화하기 위해 사전에 설정된 파라미터들로 이루어진 좌표변환맵을 원본영상에 적용하여 보정영상을 생성한다(S1020).
이때 영상 보정부(120)는 원본영상의 각 컬러 채널에 대응하여 별개로 설정된 복수의 좌표변환맵을 각각 적용하여 생성된 복수의 영상을 융합하여 보정영상을 생성함으로써 색수차 보정을 수행할 수 있으며, 보정영상의 각 화소의 밝기값에 사전에 추정된 평균 휘도비를 곱함으로써 비네팅 보정을 수행할 수 있다.
영상 확대부(130)는 보정영상에서 선택된 지점을 중심으로 사전에 설정된 확대비율에 따라 결정되는 크기의 영역을 확대하여 확대영상을 생성한다(S1030).
본 발명의 성능을 평가하기 위한 실험을 수행하였다. 성능 평가를 위해 먼저 보통의 테스트 영상들의 스택(stack)에 의하여 고해상도 영상을 생성하였다. 도 5는 실험에 사용된 영상 및 실험 결과 얻어진 영상을 나타낸 도면으로, 도 5의 (a)는 실험에 사용하기 위하여 생성된 고해상도 테스트 영상을 나타낸 것이다. 실험을 위해 생성된 초고해상도의 테스트 영상은 광속의 반경이 매우 작은 것을 가정하기 때문에 필요하다. 다음으로 테스트 영상으로부터 광학 시뮬레이션을 위한 소프트웨어를 사용하여 어안렌즈의 출력영상을 산출하였다. 시뮬레이션된 어안렌즈의 출력영상에는 도 5의 (b)와 같이 배럴 디스토션(barrel distortion)이 나타난다.
도 5의 (c) 내지 (h)는 다양한 확대 비율 및 확대 위치에 의한 서로 다른 보간 방법을 사용하는 디지털 줌 영상을 나타낸 것이다. 각 도면의 확대영상이 생성된 영상의 확대 위치는 도 5의 (a)에 표시되어 있다. 또한 본 발명에 의한 영상 확대 방식의 성능과 대비하기 위하여 bicubic 보간법을 사용하였다. 도 5의 (c) 및 (d)는 각각 본 발명과 bicubic 보간법에 의해 도 5의 (b)의 영상을 두 배 확대한 결과이며, (e) 및 (f)는 각각 본 발명과 bicubic 보간법에 의해 도 5의 (b)의 영상을 네 배 확대한 결과, 그리고 도 5의 (g) 및 (h)는 도 5의 (b)의 다른 위치에서 본 발명과 bicubic 보간법을 각각 사용하여 영상을 두 배 확대한 결과를 나타낸 것이다.
도 5의 (c) 내지 (f)를 참조하면 본 발명은 영상의 중심 부분을 확대하는 경우에는 기존의 bicubic 보간법에 의해 확대된 영상에 비해 더 좋은 결과를 얻을 수 있으나, 도 5의 (g) 및 (h)와 같이 영상의 가장자리에 가까운 부분을 확대하는 경우에는 기존의 방법에 비해 확대된 영상의 품질이 떨어지는 것을 확인할 수 있다. 이러한 실험을 통하여 디지털 줌 시스템에 어안렌즈를 채용함으로써 영상의 확대 위치에 따라 서로 다른 디지털 줌 성능이 얻어진다는 것을 확인할 수 있다.
도 6은 bicubic 보간법과 본 발명의 성능을 비교하기 위한 도면으로, 도 6의 (a)는 본 발명과 bicubic 보간법에 의하여 각각 얻어진 확대영상의 각 지점에서의 PSNR 값의 차를 나타낸 도면이며, (b)는 본 발명과 bicubic 보간법에서 배율에 따른 평균 제곱 오차(Mean Square Error : MSE)를 도시한 그래프이다. 도 6을 참조하면, 본 발명의 성능이 영상의 중심 부분에서 더 우수한 것을 확인할 수 있다.
이하는 시뮬레이션된 어안렌즈의 출력영상이 아닌 실제 어안렌즈로 촬영된 영상을 사용한 실험 결과이다.
먼저, 도 7은 어안렌즈에 의해 얻어진 원본영상의 각 좌표를 선형화한 결과를 나타낸 도면이다. 도 7의 (a)는 어안렌즈로 촬영된 원본영상들이며, (b)는 극좌표계의 각 지점에 대응하는 원본영상의 각 화소의 좌표값을 선형화하여 얻어진 영상이다. 도 7의 (a)에서 구부러진 형태로 나타난 직선들이 도 7의 (b)에서는 실제 직선의 형태로 나타나는 것을 확인할 수 있다.
도 8은 본 발명을 사용한 색수차 보정의 결과를 나타낸 도면이다. 도 8의 (a)는 도 7의 (b)와 같이 고정된 파라미터를 사용하여 각 화소의 좌표를 보정한 결과이며, 도 8의 (b)는 색수차 보정을 위하여 지역 가변적인 파라미터를 사용한 결과를 나타낸 것이다. 또한 도 8의 (c) 및 (d)는 각각 (a) 및 (b)의 채도 성분을 나타낸 것으로, 도 8로부터 지역 가변적인 파라미터로 구성된 좌표변환맵을 사용함으로써 영상 변환으로 인해 나타나는 색수차가 보정됨을 확인할 수 있다.
도 9는 본 발명을 사용한 비네팅 보정의 결과를 나타낸 도면으로, 도 9의 (a)는 저노출의 원본 솔리드 화이트 차트, (b)는 그로부터 추정된 비네팅 맵, (c)는 비네팅 보정이 수행되지 않은 선형화된 영상들, 그리고 (d)는 (b)의 비네팅 맵을 사용하여 보정된 영상들이다. 도 9를 참조하면, 비네팅 보정에 의하여 영상의 가장자리 영역에서 나타나는 밝기 저하 현상이 제거되었음을 알 수 있다.
도 10은 동일한 장면을 어안렌즈와 일반렌즈로 각각 촬영하여 얻어진 영상을 나타낸 도면으로, 도 10의 (a)는 어안렌즈로 촬영된 영상을 본 발명에 의해 보정한 결과를 나타낸 것이다. 도 10의 (a) 및 (b)의 영상을 시각적으로 대비하여 보면, 영상의 가장자리 부분을 제외하고는 어안렌즈 및 일반렌즈로부터 얻어진 영상에 차이가 없는 것을 확인할 수 있다.
도 11은 도 10의 영상의 일부를 확대한 영상을 나타낸 도면으로, 영상의 중심 부분을 네 배 확대한 결과이다. 도 11의 (a)는 어안렌즈에 의해 얻어진 도 10의 (a)의 영상이 확대된 결과로서, 일반렌즈에 의해 얻어진 도 10의 (b)가 확대된 도 11의 (b)와 대비하였을 때 우수한 품질의 확대영상이 얻어진다.
도 12 및 도 13은 도 10의 영상의 가장자리 부분을 확대하여 나타낸 도면으로, 도 12의 (a) 및 (b)는 각각 도 10의 (a) 및 (b)의 가장자리 부분을 중심으로 두 배 확대된 영상을 나타낸 것이고, 도 13의 (a) 및 (b)는 각각 도 10의 (a) 및 (b)에서 점선으로 표시된 영역을 확대한 결과이다. 도 12 및 도 13을 참조하면, 어안렌즈를 사용하여 얻어진 영상의 가장자리 부분을 확대하는 경우에도 본 발명에 의해 색수차 보정 및 비네팅 보정이 이루어짐에 따라 화질 저하가 없는 우수한 품질의 확대영상이 얻어짐을 확인할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 영상 입력부
120 - 영상 보정부
130 - 영상 확대부
120 - 영상 보정부
130 - 영상 확대부
Claims (9)
- 중심부의 해상도가 주변부에 비해 높은 어안렌즈를 구비한 촬상장치로 촬영된 원본영상을 입력받는 영상 입력부; 및
상기 원본영상의 중심을 중점으로 하는 극좌표 형태의 좌표공간에서 상기 원본영상의 각 화소에 대응하는 좌표를 선형화하기 위해 사전에 설정된 파라미터들로 이루어진 좌표변환맵을 상기 원본영상에 적용하여 보정영상을 생성하는 영상 보정부;를 포함하되,
상기 영상 보정부는 상기 원본영상에서 나타나는 색수차를 보정하기 위해 상기 원본영상의 복수의 컬러채널을 구성하는 각 화소에 대응하여 설정된 파라미터들로 이루어진 복수의 좌표변환맵을 상기 원본영상의 각각의 컬러채널에 각각 적용한 후 융합하여 상기 보정영상을 생성하는 것을 특징으로 하는 디지털 줌 시스템을 위한 영상 처리 장치. - 제 1항에 있어서,
상기 영상 보정부는 상기 촬상장치로 순백색 차트를 촬영한 견본영상의 각 화소의 밝기값을 상기 견본영상의 중심으로부터의 거리를 기초로 평균하여 얻어진 평균 휘도비를 상기 보정영상의 각 화소에 곱하여 비네팅 효과를 제거하는 것을 특징으로 하는 디지털 줌 시스템을 위한 영상 처리 장치. - 제 1항 또는 제 2항에 있어서,
상기 좌표변환맵은 규칙적인 패턴을 포함하는 제1영상의 각 지점과 상기 어안렌즈의 비선형 특성이 나타나도록 상기 제1영상을 광학 시뮬레이션에 의해 변형하여 얻어진 제2영상의 각 지점을 상기 극좌표 형태의 좌표공간 상에서 대비하여 얻어진 스케일링 파라미터들로 이루어진 것을 특징으로 하는 디지털 줌 시스템을 위한 영상 처리 장치. - 제 1항 또는 제 2항에 있어서,
상기 보정영상에서 선택된 지점을 중심으로 사전에 설정된 확대비율에 따라 결정되는 크기의 영역을 확대하여 확대영상을 생성하는 영상 확대부를 더 포함하는 것을 특징으로 하는 디지털 줌 시스템을 위한 영상 처리 장치. - (a) 중심부의 해상도가 주변부에 비해 높은 어안렌즈를 구비한 촬상장치로 촬영된 원본영상을 입력받는 단계; 및
(b) 상기 원본영상의 중심을 중점으로 하는 극좌표 형태의 좌표공간에서 상기 원본영상의 각 화소에 대응하는 좌표를 선형화하기 위해 사전에 설정된 파라미터들로 이루어진 좌표변환맵을 상기 원본영상에 적용하여 보정영상을 생성하는 단계;를 포함하되,
상기 (b) 단계에서, 상기 원본영상에서 나타나는 색수차를 보정하기 위해 상기 원본영상의 복수의 컬러채널을 구성하는 각 화소에 대응하여 설정된 파라미터들로 이루어진 복수의 좌표변환맵을 상기 원본영상의 각각의 컬러채널에 각각 적용한 후 융합하여 상기 보정영상을 생성하는 것을 특징으로 하는 디지털 줌 시스템을 위한 영상 처리 방법. - 제 5항에 있어서,
상기 (b) 단계에서, 상기 촬상장치로 순백색 차트를 촬영한 견본영상의 각 화소의 밝기값을 상기 견본영상의 중심으로부터의 거리를 기초로 평균하여 얻어진 평균 휘도비를 상기 보정영상의 각 화소에 곱하여 비네팅 효과를 제거하는 것을 특징으로 하는 디지털 줌 시스템을 위한 영상 처리 방법. - 제 5항 또는 제 6항에 있어서,
상기 좌표변환맵은 규칙적인 패턴을 포함하는 제1영상의 각 지점과 상기 어안렌즈의 비선형 특성이 나타나도록 상기 제1영상을 광학 시뮬레이션에 의해 변형하여 얻어진 제2영상의 각 지점을 상기 극좌표 형태의 좌표공간 상에서 대비하여 얻어진 스케일링 파라미터들로 이루어진 것을 특징으로 하는 디지털 줌 시스템을 위한 영상 처리 방법. - 제 5항 또는 제 6항에 있어서,
(c) 상기 보정영상에서 선택된 지점을 중심으로 사전에 설정된 확대비율에 따라 결정되는 크기의 영역을 확대하여 확대영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 디지털 줌 시스템을 위한 영상 처리 방법. - 제 5항 또는 제 6항에 기재된 디지털 줌 시스템을 위한 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110014622A KR101205833B1 (ko) | 2011-02-18 | 2011-02-18 | 디지털 줌 시스템을 위한 영상 처리 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110014622A KR101205833B1 (ko) | 2011-02-18 | 2011-02-18 | 디지털 줌 시스템을 위한 영상 처리 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120095132A KR20120095132A (ko) | 2012-08-28 |
| KR101205833B1 true KR101205833B1 (ko) | 2012-11-28 |
Family
ID=46885768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110014622A KR101205833B1 (ko) | 2011-02-18 | 2011-02-18 | 디지털 줌 시스템을 위한 영상 처리 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101205833B1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160127945A (ko) | 2015-04-28 | 2016-11-07 | (주) 씨앤피 | 고령자 시각인지 특성을 고려한 Full HD급 고속 영상처리 알고리즘 및 스마트 영상 확대 장치 |
| CN114095644B (zh) * | 2020-08-24 | 2023-08-04 | 武汉Tcl集团工业研究院有限公司 | 一种图像校正的方法和计算机设备 |
| WO2022055273A1 (en) * | 2020-09-09 | 2022-03-17 | Samsung Electronics Co., Ltd. | Method and electronic device for applying adaptive zoom on an image |
-
2011
- 2011-02-18 KR KR1020110014622A patent/KR101205833B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120095132A (ko) | 2012-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111353948B (zh) | 一种图像降噪方法、装置及设备 | |
| JP5284537B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 | |
| CN109644230B (zh) | 图像处理方法、图像处理装置、图像拾取装置和存储介质 | |
| US8659672B2 (en) | Image processing apparatus and image pickup apparatus using same | |
| JP5188651B2 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
| US9041833B2 (en) | Image processing method, image processing apparatus, and image pickup apparatus | |
| KR101536162B1 (ko) | 화상처리장치 및 방법 | |
| US8571308B2 (en) | Image processing for aberration correction | |
| JP2013051598A (ja) | 画像処理装置及び画像処理方法 | |
| JP2009260620A (ja) | 画像処理装置及び画像処理方法 | |
| JP2013062587A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
| JP2012065187A (ja) | 撮像装置及び復元ゲインデータ生成方法 | |
| WO2011121763A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
| JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| KR101257946B1 (ko) | 영상의 색수차를 제거하는 장치 및 그 방법 | |
| KR101205833B1 (ko) | 디지털 줌 시스템을 위한 영상 처리 장치 및 방법 | |
| GB2460241A (en) | Correction of optical lateral chromatic aberration | |
| JP2015115733A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
| JP6682184B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
| JP6415108B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
| JP6436840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| JP2018067868A (ja) | 撮像装置 | |
| JP5278421B2 (ja) | 撮像装置 | |
| JP6238673B2 (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| JP2015198380A (ja) | 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20151028 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20171011 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190110 Year of fee payment: 7 |