KR100956228B1 - 왜곡 영상 보정 기능을 갖는 영상처리 장치 - Google Patents
왜곡 영상 보정 기능을 갖는 영상처리 장치 Download PDFInfo
- Publication number
- KR100956228B1 KR100956228B1 KR1020070116535A KR20070116535A KR100956228B1 KR 100956228 B1 KR100956228 B1 KR 100956228B1 KR 1020070116535 A KR1020070116535 A KR 1020070116535A KR 20070116535 A KR20070116535 A KR 20070116535A KR 100956228 B1 KR100956228 B1 KR 100956228B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- correction
- distortion
- signal
- image signal
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 42
- 238000012937 correction Methods 0.000 claims abstract description 158
- 238000012805 post-processing Methods 0.000 claims abstract description 15
- 230000015654 memory Effects 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000003705 background correction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000007547 defect Effects 0.000 claims description 2
- 238000003702 image correction Methods 0.000 abstract description 10
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 239000003638 chemical reducing agent Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
이미지 센서로 이용하여 촬상된 영상에서 발생하는 왜곡을 보정할 수 있는 왜곡 영상 보정 기능을 갖는 영상처리 장치가 개시된다. 상기 왜곡 영상 보정 기능을 갖는 영상처리 장치는, 초광각렌즈를 통해 이미지 센서에서 검출된 영상의 왜곡을 보정하는 영상처리 장치에 있어서, 상기 이미지 센서에서 출력되는 베이어 포멧의 영상신호를 보간하고 상기 이미지 센서로부터 검출된 영상신호의 왜곡, 오차 등을 수정하여 RGB 영상 신호를 생성하는 영상신호 전처리부; 상기 RGB 영상 신호를 색상처리 함으로써 색채 조정을 수행한 후 YCbCr 영상 신호로 변환하는 색신호 처리부; 상기 YCbCr 영상 신호를 이용하여 영상의 왜곡을 보정하는 왜곡보정부; 및 상기 왜곡 보정된 영상신호의 Y 영상 신호를 이용하여 노이즈 제거 및 윤곽선 강조처리를 수행하고, 상기 왜곡 보정된 영상신호의 CbCr 영상 신호를 이용하여 색상 조정처리를 수행하는 영상신호 후처리부를 포함할 수 있다.
초광각 렌즈, 왜곡, 영상 전처리, 영상 후처리
Description
본 발명은 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)와 같은 고체 촬상 소자를 이미지 센서로 이용하여 촬상된 영상의 왜곡을 보정할 수 있는 왜곡 영상 보정 기능을 갖는 영상처리 장치에 관한 것으로, 더욱 상세하게는 차량의 전,후방 시야 확보를 위한 감시 카메라 시스템에 초광각 렌즈의 사용으로 인한 화상의 왜곡을 보정하여 고화질의 영상을 제공할 수 있는 왜곡 영상 보정 기능을 갖는 영상처리 장치에 관한 것이다.
일반적으로 자동차에 탑재된 전방 또는 후방 시야 확보를 위한 카메라 시스템은 일반적인 카메라 영상보다 넓은 시야각의 확보가 필요하며, 이를 위하여 동방향으로 1대 이상의 카메라를 설치하거나, 1대의 카메라에 프리즘 등을 조합시켜 화각을 확대하는 기술들이 알려져 있다. 그러나 이러한 종래의 전장용 카메라 시스템의 경우, 두 대의 카메라를 사용하거나 카메라의 화각을 향상시키기 위한 외부 부가 장치 등을 필요로 하므로, 카메라 장치의 외형적인 크기가 커지는 문제점과 추 가적인 비용이 소요되는 단점이 있다.
이러한 단점을 해결하기 위해, 최근에는 카메라 자체의 렌즈로서 시야각이 매우 넓은 초광각 렌즈를 채용하여 넓은 화각의 화상을 확보하는 방법이 제안되고 있다. 하지만, 초광각 렌즈를 이용하여 얻어진 영상의 경우, 렌즈 특성상 영상의 바깥부분이 중심부 쪽으로 휘어지는 왜곡 현상이 발생하게 되어, 영상의 크기 및 원근감이 실제와는 크게 차이가 나고, 카메라 사용자는 불균일한 영상을 전송받게 된다. 따라서, 이러한 초광각 렌즈를 사용한 카메라 시스템에는 영상의 왜곡 현상을 보정하기 위한 수단이 필수적으로 요구되고 있다.
초광각 렌즈를 사용한 카메라 시스템에서 발생하는 영상의 왜곡 현상을 보정하기 위한 영상처리 장치를 제공하는 것을 기술적 과제로 한다.
상기 기술적 과제르 해결하기 위한 수단으로서 본 발명은,
초광각렌즈를 통해 이미지 센서에서 검출된 영상의 왜곡을 보정하는 영상처리 장치에 있어서,
상기 이미지 센서에서 출력되는 베이어 포멧의 영상신호로부터 RGB 영상 신호를 생성하는 영상신호 전처리부;
상기 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 색신호 처리부;
상기 YCbCr 영상 신호를 이용하여 영상의 왜곡을 보정하는 왜곡보정부; 및
상기 왜곡 보정된 영상신호의 Y 영상 신호를 이용하여 노이즈 제거 및 윤곽선 강조처리를 수행하고, 상기 왜곡 보정된 영상신호의 CbCr 영상 신호를 이용하여 색상 조정처리를 수행하는 영상신호 후처리부를 포함하는 영상처리 장치를 제공한다.
본 발명의 바람직한 실시형태는, 상기 영상신호 후처리부에서 출력되는 영상신호의 해상도를 디스플레이 출력방식 또는 사용자의 설정에 따라 변환하는 해상도 변환부 및 상기 해상도 변환된 영상신호를 디스플레이 출력 방식에 따른 아날로그 신호로 변환하는 인코더를 더 포함할 수 있다.
바람직하게, 상기 해상도 변환부는 상기 디스플레이 출력 방식 또는 상기 사용자의 설정에 따라, 상기 영상신호 후처리부에서 출력되는 영상신호를 소정 범위로 자르거나 확대하며, 디스플레이에 필요한 영역을 선택 또는 확대할 수 있다.
또한, 본 발명의 바람직한 실시형태에서, 상기 영상신호 전처리부는, 상기 이미지 센서에서 출력되는 베이어 포멧의 영상신호에 대해 렌즈 쉐이딩 보정, 검정색 레벨 보정, 결함픽셀 보정 및 색보간을 수행하여 RGB 영상 신호를 생성할 수 있다.
또한, 본 발명의 바람직한 실시형태에서, 상기 색신호 처리부는, 상기 영상신호 전처리부에서 생성된 RGB 영상신호에 대해 RGB 매트릭스, 오토 화이트 밸런스, 감마 보정, 오토 콘트라스트를 수행하며, 상기 RGB 영상 신호를 YCbCr 영상신호로 변환할 수 있다.
또한, 본 발명의 일실시형태에서, 상기 왜곡 보정부는, 복수의 라인메모리를 포함하는 라인메모리부-상기 라인메모리에는 상기 색신호 처리부에서 변환된 YCbCr 영상신호의 행(row)이 순차적으로 저장되며, 상기 YCbCr 영상신호의 한 행에서 짝수 열에 속한 픽셀과 홀수 열에 속한 픽셀이 구분되어 각각 하나의 라인 메모리에 저장됨-;; 영상에서 왜곡보정이 수행될 위치의 수평 및 수직 방향에 대해 영상의 중심 좌표를 기준으로 한 거리 좌표에 따른 수평방향 보정 파라미터 및 수직방향 보정 파라미터를 저장하는 왜곡보정 테이블; 상기 영상에서 왜곡보정이 수행될 위치의 수평 및 수직 방향에 대해 영상의 중심 좌표를 기준으로 한 거리 좌표를 산출하는 좌표산출부; 상기 좌표산출부에서 산출된 거리 좌표를 이용하여 상기 왜곡보정 테이블로부터 수평방향 보정 파라미터 및 수직방향 보정 파라미터를 구하는 보정 파라미터 산출부; 상기 보정 파라미터 산출부에서 구한 수평방향 보정 파라미터 및 수직방향 보정 파라미터를 이용하여 영상에서 왜곡보정이 수행될 위치에 대한 수평방향 보정량 및 수직방향 보정량을 산출하는 보정량 산출부; 상기 수직방향 보정량의 정수부를 이용하여 보정에 사용될 픽셀이 저장된 연속된 4 개의 라인메모리를 결정하고, 상기 왜곡보정이 수행될 위치의 수평 좌표와 상기 수평방향 보정량을 합산하고 합산 결과의 정수부의 1/2에 해당하는 값을 갖는 상기 선택된 라인메모리의 어드레스에 저장된 값을 읽어들이는 데이터 취득부; 및 상기 데이터 취득부로부터 읽어들인 네 개의 값에 대해 상기 수평방향 보정량의 소수부를 가중치로 이용하여 수평방향 보간을 수행하고, 상기 수직방향 보정량의 소수부를 가중치로 이용하여 수직방향 보간을 수행하여 상기 왜곡보정이 수행될 위치의 YCbCr값을 결정하는 데이터 보간부를 포함할 수 있다.
본 발명에 따르면, 초광각 렌즈를 사용하여 촬상된 왜곡 발생 영상에서 왜곡 을 보정함으로써 우수한 품질의 영상을 제공할 수 있다.
또한, 본 발명에 따르면 영상의 후처리 수행 이전에 왜곡 영상의 왜곡을 보정할 수 있으므로, 영상의 왜곡 보정 처리에서 발생하는 영상의 열화를 개선할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다는 점을 유념해야 할 것이다.
도 1은 본 발명의 일실시형태에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치를 도시한 블록 구성도이다.
도 1을 참조하면, 본 발명의 일실시형태에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치는, 초광각렌즈(11)를 통해 이미지 센서(12)에서 검출되어 출력되는 베이어 포멧의 영상신호로부터 RGB 영상 신호를 생성하는 영상신호 전처리부(13)와, 상기 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 색신호 처리부(14)와, 상기 YCbCr 영상 신호를 이용하여 영상의 왜곡을 보정하는 왜곡보정부(15) 및 상기 왜곡 보정된 영상신호의 Y 영상 신호를 이용하여 노이즈 제거 및 윤곽선 강조처리를 수행하고, 상기 왜곡 보정된 영상신호의 CbCr 영상 신호를 이용하여 색상 조정처리를 수행하는 영상신호 후처리부(16)를 포함할 수 있다.
이에 더하여, 상기 영상신호 후처리부(16)에서 출력되는 영상신호의 해상도를 디스플레이 출력방식에 따라 변환하는 해상도 변환부(17) 및 상기 해상도 변환된 영상신호를 디스플레이 출력 방식에 따른 아날로그 신호로 변환하는 인코더(18)을 더 포함할 수 있다. 본 발명에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치의 구성요소들, 즉, 영상신호 전처리부(13), 색신호 처리부(14), 왜곡보정부(15), 영상신호 후처리부(16), 해상도 변환부(17) 및 인코드(18)는 하나의 집적회로로 구현되는 것이 바람직하다.
상기 영상신호 전처리(13)부는 이미지 센서로부터 출력되는 베이어 포맷의 디지털 영상 신호를 처리할 수 있다. 예를 들어, 상기 영상신호 전처리부(13)는, 화상의 주변부 광량 저하 현상을 보정하기 위한 렌즈 쉐이딩 보정 회로, 이미지 센서의 다크 픽셀에 의한 영상 열화를 보정하기 위한 검정색 레벨 보정 회로, 오류가 발생한 픽셀을 보상하기 위한 결함 픽셀 보상 회로, 주변 화소들과의 색상을 고려하여 베이어 포맷의 영상을 RGB 포맷의 영상으로 변환하는 색보간 회로 등을 포함할 수 있다.
상기 색신호 처리부(14)는 RGB 매트릭스(RGB Matrix), 오토 화이트 밸런스(Auto White Balance), 감마 보정 회로, 오토 콘트라스트 회로(Auto RGB Contrast)와 같은 영상의 색을 재현하기 위한 회로들을 포함할 수 있다. 또한, 상기 색신호 처리부(14)는 RGB 영상 신호를 휘도 신호(Y)와 색 신호(CbCr)가 분리된 YCbCr 데이터로 변환하여 출력할 수 있다. 상기 색신호 처리부(14)에서 출력되는 YCbCr 신호는 Y:Cb:Cr을 4:2:2 포맷으로 작성하여 색신호의 데이터량을 감소시킴으로써 이 후 왜곡 보정부에서 수행되는 영상의 왜곡 보정에 소요되는 연산량을 감소시키는 것이 바람직하다.
상기 색신호 처리부(14)에 포함된 오토 콘트라스트 회로는 통상적인 영상 처리 회로에 포함되지 않은 영상처리 회로로서, 전장용 카메라 시스템에 있어서 역광 환경이나 야간 저조도 환경에서도 사용자가 영상을 인지 할 수 있도록 영상의 밝기와 색을 보정하는 기능을 수행할 수 있다. 예를 들어, 상기 오토 콘트라스트 회로는 입력되는 RGB 영상 신호로 얻어진 휘도 신호(Y)의 히스토그램을 분석하고, 분석된 히스토그램의 분포에 따라서 사전에 설정된 색보정을 위한 보정 데이터 테이블을 변경할 수 있다. 이어, 상기 오토 콘트라스트 회로는, 입력되는 영상 신호에 대해 상기 수정된 보정 데이터 테이블을 참조하여 색레벨 보정(Color Level Correcction)과 색대비 보정(Color Contrast)의 두가지 영상처리를 수행하고, 상기 색레벨 및 색대비가 보정된 영상 신호를 출력할 수 있다. 이를 통해, 다양한 조도 환경에서도 선명하고 고품질의 영상을 확보할 수 있다.
상기 왜곡 보정부(15)는, 색신호 처리부(14)에서 출력되는 YCbCr 영상 신호를 이용하여 영상의 왜곡을 보정할 수 있다. 도 2는 상기 왜곡 보정부(15)를 더욱 상세하게 도시한 블록구성도이다.
도 2를 참조하면, 상기 왜곡 보정부(15)는 입력된 휘도와 채도 신호를 저장하는 라인 메모리(line Memory)를 포함하는 라인 메모리부(152)와, 미리 결정된 왜곡 보정 파라미터를 기록한 왜곡보정 테이블(155)과, 영상에서 보정하고자 하는 위치의 좌표를 산출하는 거리좌표 산출부(151), 보정 테이블로부터 왜곡 정보를 산출하여 해당 좌표의 보정 파라미터를 연산하는 보정 파라미터 산출부(154)와, 보정 파라미터를 이용하여 보정하고자 하는 위치의 보정량을 산출하는 보정량 산출부(156)와, 상기 보정량을 참조하여 상기 라인 메모리부(152)로부터 데이터를 취득하는 데이터 취득부(157) 및 취득한 데이터를 이용하여 보정하고자 하는 위치에 대한 보간을 수행하여 보정 데이터를 산출 및 출력하는 데이터 보간부(158)을 포함할 수 있다.
상기 왜곡보정 테이블(155)은 미리 결정된 왜곡 보정 파라미터를 기록할 수 있다. 일반적으로 보정에 사용되는 테이블은, 영상의 전 화소에 대응되는 보정 파라미터를 테이블에 저장하고 있으며, 왜곡 보정 알고리듬을 통해 보정 테이블에 저장된 보정 정보를 이용하여 화상 메모리로부터 필요한 영상 신호를 취득하여 보간하는 방식으로 왜곡을 보정이 수행된다. 이러한 일반적인 방식은 보정 테이블에 저 장되어야 하는 데이터 양이 방대하여 보정 테이블을 구성하기 위한 회로 규모가 커지고 테이블을 갱신하는 데에 어려움이 있다. 그러나, 본 발명에 따른 왜곡보정 테이블(155)에 저장되는 왜곡 보정을 위한 파라미터는 영상의 중심점을 기준으로 각 (x,y)좌표와의 거리에 따른 수직과 수평 방향의 렌즈의 왜곡 변화율을 고려하여 미리 측정되어지고, 측정된 왜곡 보정 파라미터는 수평과 수직 방향에 대하여 고정 분할(Fixed Partitioning) 방법으로 기록함으로써 보정 테이블을 위한 회로 규모를 최소화 할 수 있다.
상기 라인메모리부(152)는 복수의 라인 메모리를 포함할 수 있다. 도 4는 상기 라인 메모리부의 구조를 더욱 상세하게 도시한 도면이다. 도 4를 참조하면, 상기 라인 메모리는 영상신호가 갖는 YCbCr 데이터를 저장하기 위한 것으로 SPSRAM(Single Port SRAM)을 이용하여 라인 메모리 형태로 구성함으로써 회로 규모 축소와 함께 실시간 처리가 가능할 수 있다. 일반적으로, 라인 메모리의 수는 수직 방향으로의 최대 왜곡 보정량(MAX △y)이 가지는 크기와 동일할 수 있다. 즉, 수직 방향으로 왜곡 보정이 수행될 입력 영상신호의 행(row) 수와 동일할 수 있다. 하지만, 도 3에 도시된 바와 같이 영상 중심의 수직 좌표보다 보정할 수직 좌표가 더 큰 경우,왜곡 보정을 위하여 필요한 라인 메모리의 참조 방향은 역방향이 됨으로 왜곡 보정의 실시간 처리가 불가능해질 수 있다. 이러한 문제의 해결을 위하여, 본 발명은 최대 왜곡 보정량(MAX △y)의 2배의 라인 메모리를 사용하도록 설계할 수 있다. 더하여, 왜곡 데이터들의 수평 방향 좌표, 즉 열(colume)이 짝수 또는 홀수 인지에 따라서 서로 다른 라인 메모리에 저장하도록 설계할 수 있다. 이를 통해, 이후 수행되는 데이터 취득부(157) 데이터 취득 시, 하나의 동작 클럭(CLK)에서 지연없이 동시에 데이터 보간에 필요한 4개의 데이터를 취득할 수 있다. 다시 설명하면, 하나의 동일한 수직 좌표에 해당하는 데이터들은 2개의 라인 메모리를 사용하여 저장된다. 결론적으로, 라인 메모리의 총 갯수는 수직 방향으로의 최대 왜곡 보정량의 4배가 될 수 있으며, 각각의 라인 메모리는 FIFO(First Input First Output) 메모리 형태로 메모리 제어부(153)에 의해 제어되어 필요한 메모리만이 선택되고 동시에 쓰기와 읽기 동작을 수행할 수 있다.
상기 거리좌표 산출부(151)는 상기 영상에서 왜곡보정이 수행될 위치의 수평 및 수직 방향에 대해 영상의 중심 좌표를 기준으로 한 거리 좌표를 산출한다.
상기 보정파라미터 산출부(154)는, 상기 거리좌표 산출부(151)에 의해 산출된 좌표 정보를 이용하여 상기 왜곡보정 테이블(155)로부터 수평 방향의 보정 파라미터 테이블과 수직 방향의 보정 파라미터 테이블에서 수평방향 보정 파라미터 및 수직방향 보정 파라미터를 구한다.
상기 보정량 산출부(156)는 상기 보정 파라미터 산출부(154)에서 구한 수평방향 보정 파라미터 및 수직방향 보정 파라미터를 이용하여 영상에서 왜곡보정이 수행될 위치에 대한 수평방향 보정량(△x) 및 수직방향 보정량(△y)을 산출한다. 상기 산출된 수평, 수직방향 보정량은, 이후에 설명되는 데이터 취득부(157)가 상기 라인메모리부(152)로부터 데이터 취득하는데 사용되는 라인메모리 위치 및 라인메모리 주소를 산출하는데 이용될 수 있다.
상기 데이터 취득부(157)는, 상기 수직방향 보정량의 정수부를 이용하여 보정에 사용될 픽셀(보정하고자 하는 위치에 수평방향 및 수직방향으로 각각 인접한 2 개씩의 픽셀)이 저장된 연속된 4 개의 라인메모리를 결정하고, 상기 왜곡보정이 수행될 위치의 수평 좌표와 상기 수평방향 보정량을 합산하고 합산 결과의 정수부의 1/2에 해당하는 값을 갖는 상기 선택된 라인메모리의 어드레스에 저장된 값을 읽어들인다.
예를 들어, 영상에서 보정하고자 하는 위치(보정값을 산출하고자 하는 위치)의 x좌표(수평좌표)가 1.0, y좌표(수직좌표)가 3.0이라고 하고, 보정량 산출부(156)에서 산출된 수평방향 보정량(△x)이 3.45, 수직방향 보정량(△y)이 2.25가 산출되었다고 한다. 이 경우, 보정값을 얻고자 하는 위치에 대응하는 보정 이전 영상에서의 위치는 상기 x좌표에 △x를 가산한 4.45가 요구된다. 이 보정 이전 영상에서 대응되는 위치의 x좌표의 정수 성분인 4.0을 2로 나눈 값이 라인 메모리에 보정 전 화상에 있어서 그 데이터가 저장되어 있는 주소값이 될 수 있으며, 소수 성분인 0.45는 이후 데이터 보간부(158)의 수평방향 데이터 보간에 사용되는 가중치가 될 수 있다. 또한, 보정 이전 영상에서 대응되는 위치의 y좌표는 △y의 정수 성분인 2.0을 이용하여 보정 전 화상에 대응되는 라인 메모리를 포함한 연속된 4개의 라인 메모리 선택 신호를 출력할 수 있으며, 소수 성분인 0.25는 이후 데이터 보간부(158)의 수직방향 데이터 보간에 사용되는 가중치가 될 수 있다. 즉, 보정값을 찾고자 하는 좌표 (1,3)에 대응되는 보정 데이터는, 수직방향 보정량에 의해 결정되는 라인 메모리 선택 신호와 x좌표와 수평방향 보정량에 의해 결정되는 어드레스에 의해 출력되는 4개의 보정 전 데이터를 이후 데이터 보간부에서 가중치 연산을 통해 산출될 수 있다.
상기 데이터 보간부(158)는, 상기 데이터 취득부(157)로부터 읽어들인 네 개의 값에 대해 상기 수평방향 보정량의 소수부를 가중치로 이용하여 수평방향 보간을 수행하고, 상기 수직방향 보정량의 소수부를 가중치로 이용하여 수직방향 보간을 수행하여 상기 왜곡보정이 수행될 위치의 YCbCr값을 결정한다.
도 5을 참조하여 상기 데이터 보간부(158)의 보간 연산 방법에 대해 설명한다. 도 5에 도시된 것과 같이, 보정하고자 하는 위치, 즉 보정값을 산출하고자 하는 위치의 보정값이 Y이고, 상기 데이터 취득부(157)에 의해 읽어들인 네 개의 데이터가 A, B, C, D 이며, 수평방향 보정량의 소수부가 a이고, 수직방향 보정량의 소수부가 b라고 한다. 도 5에서 도시된 것과 같은 예시에서, 상기 보정값을 산출하고자 하는 위치의 보정값 Y는 하기 식 1과 같이 산출될 수 있다.
[식 1]
다시, 도 1을 참조하면, 영상신호 후처리부(16)는 왜곡 보정된 영상을 입력받아서 휘도 신호(Y신호)와 채도 신호(CbCr신호)을 분리하여 처리한다. 휘도 신호 처리부는 왜곡 보정된 영상의 노이즈를 제거하는 노이즈 저감기와 영상의 윤곽선을 보정하고 강조하는 윤곽선 강조 장치를 포함할 수 있으며, 채도 신호 처리부는 색 신호의 노이즈와 위조 신호를 제거하는 위조색 신호 저감기와 색상을 가변하는 색조(Hue)/포화(Saturation) 조정기 등을 포함할 수 있다.
일반적인, 왜곡 보정 기법은 상기와 같은 영상신호 후처리부의 최종 출력 신호를 받아서 왜곡 보정을 수행하고 화면 표시장치에 출력하는 방식을 채택하였다. 이에 따라, 영상의 왜곡을 보정하면서 발생하는 노이즈와 위색 신호를 제거하지 못하고 데이터를 보간하는 과정에서 영상이 흐려지거나 몽롱해지는 현상이 발생하는 문제점이 발생할 수 있다. 이에 비해, 본 발명은 왜곡 보정 회로로부터 출력되는 영상신호에 대해 영상 신호 후처리를 수행함으로써, 왜곡 보정 과정에서 발생하는 문제점을 개선할 수 있으며, 이를 통해 우수한 고화질의 영상을 출력할 수 있다.
상기 해상도 변환부(17)는, 상기 영상신호 후처리부(16)에서 출력되는 영상 신호의 해상도를 디스플레이 출력방식에 따라 변환할 수 있다. 도 6은 상기 해상도 변환부(17)의 출력 예를 도시한 도면이다. 본 발명에서는 영상의 확대와 변형시 영상의 화질 열화를 방지하기 위하여 통상의 해상도를 갖는 이미지 센서보다 더욱 고화소인 160만 화소 이상의 센서를 사용할 수 있다. 따라서 최종 데이터 처리를 위한 출력방식에 따른 인코더, 예를 들어 NTSC 인코더의 입력을 위하여 720×480 해상도로 변환이 필요할 수 있다. 도 6의 (a)는 초광각렌즈를 통해 이미지 센서에 검출된 왜곡 영상을 나타낸다. 도 6의 (b)는 본 발명의 왜곡보정 기능을 갖는 영상처리 장치에 의하여 왜곡 보정을 수행하고 스케일러를 거쳐 화면을 3분할 하여 표시한 영상이다. 도시한 바와 같이 영상은 180°이상의 시야각을 가진다. 영상의 왜곡 보정시, 영상의 중심 영역은 왜곡 보정을 모두 수행하나 좌/우 주변부는 사용자의 시각 인지의 편의성을 도모하기 위하여 수직 방향의 왜곡은 70% 정도 보정할 수 있다. 도 6의 (c)는 카메라에서 촬영되는 영상을 해상도 변환부를 거쳐 시야각 140°영상만을 화면에 표시한 영상이다. 사용자의 요구나 표시장치의 형식에 따라 해상도 변환부는 시야각 120°내지 180°범위에서 영상을 자르거나 확대하여 필요한 영역만을 표시할 수 있으며 중심 영역의 영상을 제외한 좌/우 주변부 화상만을 선택하여 표시하거나 사용자가 필요한 일부 영역을 확대하여 표시할 수 있다. 도 6의 (d), (e)는 촬영된 영상의 좌,우 영역만을 화면에 표시하고 또한 필요한 영역만을 확대하여 표현하였다. 도시한 바와 같이 좌,우의 작고 왜곡된 영상은 크고 왜곡이 없는 영상이 얻어지기 때문에 사용자는 대상물을 보다 정확히 파악할 수 있고 차량과 대상물과의 거리도 정확히 파악이 가능하다.
상기 인코더(18)는, 상기 해상도 변환된 영상신호를 디스플레이 출력 방식에 따른 아날로그 신호로 변환할 수 있다. 예를 들어, 디스플레이 출력 방식이 NTSC 방식인 경우 해상도 변환부에 의하여 720×480 크기로 변환되어 출력되는 휘도 및 채도 데이터가 최종 처리 회로인 NTSC 인코터의 입력으로 들어가 동기신호 및 아날로그 신호로 디스플레이(Display) 장치에 전송될 수 있다.
도 7의 (a)와 (b)는 차량에 통상의 전장용 카메라 장치와 전술한 본 발명의 영상처리 장치가 적용된 전장용 카메라 장치를 설치예이다. 도 7의 (b)에서 도시한 바와 같이 본 발명의 영상처리 장치가 적용된 카메라 장치는 차량의 전방 및 후방과 함께 좌,우측에 구비하였을 때 사각 지대 없이 자동차 전 방향의 시야 확보가 가능하고 그 사용 목적에 따라 시야각을 조정할 수 있다. 또한 본 발명의 카메라 장치는 영상 신호 처리 회로와 왜곡 보정 회로, NTSC 인코터 등이 하나의 집적회로 구성되어 카메라 장치 후단의 화상 제어 장치의 부하를 줄일 수 있다.
이상에서 설명한 바와 같이 본 발명은 초광각 렌즈를 구비한 고해상도의 센서와 왜곡 보정 회로를 포함하는 영상 신호 처리 집적회로의 구현을 통하여 고품질, 저비용, 실시간의 화상 왜곡 보정 처리가 가능한 영상처리 장치를 제공할 수 있다. 본 발명의 왜곡 보정 기능을 갖는 영상처리 장치는 화상 왜곡 보정 처리 후, 영상 신호 후처리를 수행하여 왜곡 보정에 의하여 발생하는 영상의 열화를 개선하였으며 인코터를 포함하고 있어 종래 왜곡 보정을 위한 전송 신호 변환과정에서 생 기는 화질 저하를 방지하여 고화질을 실현하였다. 또한 영상의 확대시 화질 열화가 적고 시야각에 따른 다양한 화면 표시가 가능하며 카메라 장치의 회로 규모의 단순화를 이루어 차량용 카메라 용도 외에도 다양한 분야에서의 응용이 가능하다.
도 1은 본 발명의 일실시형태에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치를 도시한 블록 구성도이다.
도 2는 본 발명의 일실시형태에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치에 포함된 왜곡 보정부를 더욱 상세하게 도시한 블록구성도이다.
도 3은 본 발명의 일실시형태에 따른 왜곡 영상 보정이 수행되기 위한 좌표의 일례를 도시한 예시도이다.
도 4는 본 발명의 일실시형태에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치에 포함된 왜곡 보정부 내의 라인 메모리부의 구조를 더욱 상세하게 도시한 구성도이다.
도 5는 본 발명의 왜곡보정 기법이 적용되는 일례를 설명하기 위한 보정대상 위치와 보정에 사용되는 주변 데이터의 배치를 도시한 예시도이다.
도 6은 본 발명의 일실시형태에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치에 포함된 해상도 변환부의 출력을 예시적으로 도시한 도면이다.
도 7의 (a)와 (b)는 각각 차량에 통상의 전장용 카메라 장치와 전술한 본 발명의 영상처리 장치가 적용된 전장용 카메라 장치를 설치예이다.
Claims (6)
- 초광각렌즈를 통해 검출된 영상의 왜곡을 보정하는 영상처리 장치에 있어서,상기 영상처리 장치의 사전 설정된 최종 출력 영상의 화소보다 더 많은 수의 화소로 영상을 검출하여 출력하는 이미지 센서;상기 이미지 센서에서 출력되는 베이어 포멧의 영상신호로부터 RGB 영상 신호를 생성하는 영상신호 전처리부;상기 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 색신호 처리부;상기 YCbCr 영상 신호를 이용하여 영상의 왜곡을 보정하는 왜곡보정부;상기 왜곡 보정된 영상신호의 Y 영상 신호를 이용하여 노이즈 제거 및 윤곽선 강조처리를 수행하고, 상기 왜곡 보정된 영상신호의 CbCr 영상 신호를 이용하여 색상 조정처리를 수행하는 영상신호 후처리부; 및상기 영상신호 후처리부에서 출력되는 영상 신호를 상기 사전 설정된 최종 출력 영상의 화소수로 변환하는 해상도 변환부를 포함하는 영상처리 장치.
- 제1항에 있어서,상기 해상도 변환부에 의해 변환된 영상신호를 디스플레이 출력 방식에 따른 아날로그 신호로 변환하는 인코더를 더 포함하는 것을 특징으로 하는 영상처리 장치.
- 제1항에 있어서, 상기 해상도 변환부는,디스플레이 출력 방식 또는 사용자의 설정에 따라, 상기 영상신호 후처리부에서 출력되는 영상신호를 소정 범위로 자르거나 확대하여서 상기 사전 설정된 최종 출력 영상의 화소수로 변환하는 것을 특징으로 하는 영상처리 장치.
- 제1항에 있어서, 상기 영상신호 전처리부는,상기 이미지 센서에서 출력되는 베이어 포멧의 영상신호에 대해 렌즈 쉐이딩 보정, 검정색 레벨 보정, 결함픽셀 보정 및 색보간을 수행하여 RGB 영상 신호를 생성하는 것을 특징으로 하는 영상처리 장치.
- 제1항에 있어서, 상기 색신호 처리부는,상기 영상신호 전처리부에서 생성된 RGB 영상신호에 대해 RGB 매트릭스, 오토 화이트 밸런스, 감마 보정, 오토 콘트라스트를 수행하며, 상기 RGB 영상 신호를 YCbCr 영상신호로 변환하는 것을 특징으로 하는 영상처리 장치.
- 제1항에 있어서, 상기 왜곡 보정부는,복수의 라인메모리를 포함하는 라인메모리부-상기 라인메모리에는 상기 색신호 처리부에서 변환된 YCbCr 영상신호의 행(row)이 순차적으로 저장되며, 상기 YCbCr 영상신호의 한 행에서 짝수 열에 속한 픽셀과 홀수 열에 속한 픽셀이 구분되어 각각 하나의 라인 메모리에 저장됨-;영상에서 왜곡보정이 수행될 위치의 수평 및 수직 방향에 대해 영상의 중심 좌표를 기준으로 한 거리 좌표에 따른 수평방향 보정 파라미터 및 수직방향 보정 파라미터를 저장하는 왜곡보정 테이블;상기 영상에서 왜곡보정이 수행될 위치의 수평 및 수직 방향에 대해 영상의 중심 좌표를 기준으로 한 거리 좌표를 산출하는 좌표산출부;상기 좌표산출부에서 산출된 거리 좌표를 이용하여 상기 왜곡보정 테이블로부터 수평방향 보정 파라미터 및 수직방향 보정 파라미터를 구하는 보정 파라미터 산출부;상기 보정 파라미터 산출부에서 구한 수평방향 보정 파라미터 및 수직방향 보정 파라미터를 이용하여 영상에서 왜곡보정이 수행될 위치에 대한 수평방향 보정량 및 수직방향 보정량을 산출하는 보정량 산출부;상기 수직방향 보정량의 정수부를 이용하여 보정에 사용될 픽셀이 저장된 연속된 4 개의 라인메모리를 결정하고, 상기 왜곡보정이 수행될 위치의 수평 좌표와 상기 수평방향 보정량을 합산하고 합산 결과의 정수부의 1/2에 해당하는 값을 갖는 상기 결정된 라인메모리의 어드레스에 저장된 값을 읽어들이는 데이터 취득부; 및상기 데이터 취득부로부터 읽어들인 네 개의 값에 대해 상기 수평방향 보정량의 소수부를 가중치로 이용하여 수평방향 보간을 수행하고, 상기 수직방향 보정량의 소수부를 가중치로 이용하여 수직방향 보간을 수행하여 상기 왜곡보정이 수행될 위치의 YCbCr값을 결정하는 데이터 보간부를 포함하는 것을 특징으로 하는 영상처리 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070116535A KR100956228B1 (ko) | 2007-11-15 | 2007-11-15 | 왜곡 영상 보정 기능을 갖는 영상처리 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070116535A KR100956228B1 (ko) | 2007-11-15 | 2007-11-15 | 왜곡 영상 보정 기능을 갖는 영상처리 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090050223A KR20090050223A (ko) | 2009-05-20 |
| KR100956228B1 true KR100956228B1 (ko) | 2010-05-04 |
Family
ID=40858718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070116535A KR100956228B1 (ko) | 2007-11-15 | 2007-11-15 | 왜곡 영상 보정 기능을 갖는 영상처리 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100956228B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101719595B1 (ko) | 2016-09-26 | 2017-04-05 | 주식회사 우주공간정보 | 영상정보의 오류를 보정하는 영상처리장치 |
| KR101836477B1 (ko) | 2017-11-10 | 2018-03-09 | 동아항업주식회사 | 항공촬영된 영상이미지의 보정과 합성을 위한 영상처리시스템 |
| KR101894571B1 (ko) | 2018-03-08 | 2018-09-04 | 동아항업주식회사 | 촬영 후 왜곡된 영상의 보정기능을 갖는 영상처리장치 |
| KR102671331B1 (ko) | 2024-02-15 | 2024-05-31 | (주)웨이버스 | 왜곡된 영상 이미지를 처리하는 영상처리 시스템 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101217476B1 (ko) * | 2011-03-07 | 2013-01-02 | 주식회사 코아로직 | 이미지 신호 처리를 위한 장치 및 방법 |
| KR101807090B1 (ko) | 2016-06-20 | 2017-12-08 | 현대오트론 주식회사 | 영상 왜곡 보정 장치 및 방법 |
| KR101850503B1 (ko) * | 2016-09-27 | 2018-04-19 | 주식회사 켐트로닉스 | Svm 시스템을 위한 카메라 영상 왜곡보정 시스템 및 그의 보정방법 |
| KR101947097B1 (ko) * | 2017-09-26 | 2019-02-12 | (주)참메드 | 스트로보스코프 상에서 토탈 셔터 이미지 센서 모듈 제어를 위한 ｉｓｐ |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005038046A (ja) | 2003-07-16 | 2005-02-10 | Olympus Corp | シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、シェーディング補正装置に用いる補間演算装置、補間演算方法、補間演算プログラム、並びにその応用装置 |
| JP2005102134A (ja) | 2003-09-05 | 2005-04-14 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2005175913A (ja) | 2003-12-11 | 2005-06-30 | Olympus Corp | 画像処理装置 |
| KR20070069449A (ko) * | 2005-12-28 | 2007-07-03 | 엠텍비젼 주식회사 | 렌즈 셰이딩 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서 |
-
2007
- 2007-11-15 KR KR1020070116535A patent/KR100956228B1/ko not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005038046A (ja) | 2003-07-16 | 2005-02-10 | Olympus Corp | シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、シェーディング補正装置に用いる補間演算装置、補間演算方法、補間演算プログラム、並びにその応用装置 |
| JP2005102134A (ja) | 2003-09-05 | 2005-04-14 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2005175913A (ja) | 2003-12-11 | 2005-06-30 | Olympus Corp | 画像処理装置 |
| KR20070069449A (ko) * | 2005-12-28 | 2007-07-03 | 엠텍비젼 주식회사 | 렌즈 셰이딩 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101719595B1 (ko) | 2016-09-26 | 2017-04-05 | 주식회사 우주공간정보 | 영상정보의 오류를 보정하는 영상처리장치 |
| KR101836477B1 (ko) | 2017-11-10 | 2018-03-09 | 동아항업주식회사 | 항공촬영된 영상이미지의 보정과 합성을 위한 영상처리시스템 |
| KR101894571B1 (ko) | 2018-03-08 | 2018-09-04 | 동아항업주식회사 | 촬영 후 왜곡된 영상의 보정기능을 갖는 영상처리장치 |
| KR102671331B1 (ko) | 2024-02-15 | 2024-05-31 | (주)웨이버스 | 왜곡된 영상 이미지를 처리하는 영상처리 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090050223A (ko) | 2009-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100956228B1 (ko) | 왜곡 영상 보정 기능을 갖는 영상처리 장치 | |
| US7760252B2 (en) | Shading compensation device, shading compensation value calculation device and imaging device | |
| US8441538B2 (en) | Image generation apparatus and image generation method | |
| CN104980652B (zh) | 图像处理设备和图像处理方法 | |
| US6778216B1 (en) | Method and apparatus for digital camera real-time image correction in preview mode | |
| US7529424B2 (en) | Correction of optical distortion by image processing | |
| JP4806476B2 (ja) | 画像処理装置、画像生成システム、方法、およびプログラム | |
| US20080062409A1 (en) | Image Processing Device for Detecting Chromatic Difference of Magnification from Raw Data, Image Processing Program, and Electronic Camera | |
| JP6326180B1 (ja) | 画像処理装置 | |
| US7181092B2 (en) | Imaging apparatus | |
| JP2004208336A (ja) | 輝度勾配を用いたフルカラーイメージ適応的補間装置 | |
| JP5411786B2 (ja) | 撮影装置および画像統合プログラム | |
| US20090167917A1 (en) | Imaging device | |
| US20090256928A1 (en) | Method and device for detecting color temperature | |
| JP4862321B2 (ja) | 車載カメラ装置 | |
| JP5195841B2 (ja) | 車載カメラ装置および車両 | |
| KR20050106919A (ko) | 영상 신호의 에지 검출 방법 | |
| EP1045594A2 (en) | Programmable real-time image processing | |
| US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
| JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
| JP2009302960A (ja) | 映像信号処理装置並びにプログラム及び方法 | |
| US20080316343A1 (en) | Method and Apparatus For Allowing Access to Individual Memory | |
| US20060209199A1 (en) | Pixel interpolation method | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| CN113905185A (zh) | 图像处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130403 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20140325 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170102 Year of fee payment: 8 |
|
| LAPS | Lapse due to unpaid annual fee |