KR100562334B1 - 씨모스 영상 센서 왜곡 보정 방법 및 장치 - Google Patents

Abstract

일반적인 동영상 촬영 카메라에 있어서 카메라의 외부적인 요소에 의한 떨림, 즉 손떨림 혹은 차량탑재 등에 의한 진동에 의하여 불안정하게 떨리는 영상이 촬영되는 경우가 있다. 이러한 불안정한 영상을 기계적으로 보상을 하는 기구와 전자식으로 보정하는 방법이 있는데 전자식 방법은 소형화가 가능하여 캠코더 등의 응용에 널리 활용되고 있다.

상기한 카메라는 전자식 CCD 센서 (Charge Coupled Device Sensor)등과 같은 촬상소자의 영상으로부터 플레임간의 움직임 벡터를 검출하는 움직임 벡터 검출기가 내장되어 있다. 움직임의 보정은 움직임 정보를 이용하여 입력영상의 위치를 제어하는 방식이 주로 사용되며, 이때 프레임메모리를 이용하여 읽어 들이는 영상의 위치 어드레스를 제어하는 방법이 가장 효과적이다.

그러나 상기한 CCD 촬상소자와는 달리 CMOS Image Sensor (complementary metal-oxide-semiconductor Image Sensor) 등의 영상에 대한 움직임 보정시에는 수평방향의 기울어짐과 수직방향의 확대축소와 같은 왜곡이 수반된다. 그 이유는 한 장의 영상을 촬상함에 있어서, CCD 촬상소자가 영상 전체에 대하여 동일한 시점에서 영상을 촬상하는 반면, CMOS Image Sensor는 각 화소 (Pixel)의 위치에 따라 읽어내는 순서에 맞추어 영상의 노출 시각이 달라지게 되어 한 화면에서 먼저 읽어내는 화소와 나중에 읽어 내는 화소와 일정 시간 간격이 생기고, 이때 카메라가 움직이게 될 때에 상기한 영상의 왜곡이 초래된다.

일반적인 동영상을 촬영할 시는 그 흐름이 너무 빨라 화면의 왜곡을 인간이 느낄 수 없으나 정지화로 보거나 손떨림 보정을 하게 되면 영상의 왜곡이 매우 심화되어 보여지게 되며, 이것은 특히 CMOS 영상센서를 사용할 시에 영상의 품질을 저하시키는 원인이 된다.

본 발명은 이러한 CMOS Image Sensor 영상을 움직임의 속도와 변화량에 응하여 손떨림 보정과 동시에 수평방향의 기울어짐과 수직방향의 확대축소를 보정하는 방법과 장치에 관한 것이다.

움직임 검출, 영상 안정화, 메모리 보정, 캠코더, 카메라

Description

씨모스 영상 센서 왜곡 보정 방법 및 장치 {Image distortion compensation method and devices for CMOS Image Sensor}

도면 1은 입력영상의 예시도 이다.

도면 2는 도면 1의 영상에 대한 왜곡된 결과를 나타낸 것으로,

도면 2의 ㄱ)은 카메라가 하향으로 움직일 때의 영상의 예시도 이며,

도면 2의 ㄴ)은 카메라가 상향으로 움직일 때의 영상의 예시도 이며,

도면 2의 ㄷ)은 카메라가 좌향으로 움직일 때의 영상의 예시도 이며,

도면 2의 ㄹ)은 카메라가 우향으로 움직일 때의 영상의 예시도 이다.

도면 3은 본 발명의 기본 구성을 나타내는 구성도이다.

CCD 센서와 CMOS 센서는 동영상 및 정지영상을 촬영하는 2차원 센서의 일종이며 전자식 카메라를 구성하는데 핵심적인 역할을 하고 있다. 특히 CCD센서는 화질면에서 CMOS 센서 보다 우수한 특성을 내나, 전력 및 복잡한 구성의 단점 때문에 CMOS 영상센서가 그 시장의 비율을 높여 가고 있으며 최근에 와서는 CMOS 센서도 화질면에서도 개선이 따르고 있다.

상기한 센서들을 이용한 일반적인 동영상 촬영 카메라에 있어서 카메라의 외부적인 요소에 의한 떨림, 즉 손떨림 혹은 차량탑재등에 의한 진동에 의하여 불안정하게 떨리는 영상이 촬영되는 경우가 많다. 이러한 불안정한 영상을 해소하기 위하여 그 움직임을 보상하는 장치 등이 제안되었다. 이러한 움직임 안정화 장치는 움직임 검출부와 움직임 보정 부분으로 나누어진다.

움직임 검출부는 Gyro Sensor등에 의한 기구의 움직임을 예측하는 방법과 영상신호처리에 의하여 영상의 움직임부분을 매 프레임 검출하는 방법이 제안되고 사용된다. 또한, 검출된 움직임 정보를 이용하여 기계적 혹은 전자적으로 영상을 보상한다. 기계식으로 보상하는 방법으로는 굴절가능한 렌즈 (액티브 프리즘)를 사용하여 입사광을 임의로 굴절시키는 방법이다. 전자식으로 보정하는 방법은 주로 센서의 입력위치를 제어하는 방법과 일단 메모리에 저장한 후 읽어 내는 번지를 제어하는 방법으로 나누어지며, 후자의 메모리로 보정하는 방법은 소형화가 가능하여 캠코더 등의 응용에 널리 활용되고 있다.

상기한 움직임 안정화 장치는 주로 캠코더에 많이 사용되고 있으며 주로 CCD센서를 기반으로하는 카메라에 활용되어 왔다. 이러한 영상 안정화 장치는 소형화의 발달로 캠코더 카메라뿐만 아니라 소형 카메라 시스템 또는 휴대폰 일체형 카메 라 (일명 카메라폰)등에 널리 활용되기 시작하고 있으며, 또한 CMOS센서가 그 화질 특성이 개선됨과 아울러 소형카메라 시스템에 동시에 적용되고 있다.

그러나 상기한 CCD 촬상소자와는 달리 CMOS Image Sensor등의 영상에 대한 움직임 보정결과는 수평방향의 기울어짐과 수직방향의 확대축소와 같은 왜곡이 나타난다. 그 이유는 한 프레임의 영상을 촬상함에 있어서, CCD 촬상소자가 영상 전체에 대하여 동일한 시점에서 영상을 촬상하는 전 영상 전자셔터방식인 반면, CMOS Image Sensor는 각 화소 (Pixel)의 위치에 따라 읽어내는 순서에 맞추어 영상의 노출 시각이 순차적으로 지연되어 한 화면에서 먼저 읽어내는 화소와 나중에 읽어 내는 화소와 일정 시간 간격이 생기고, 이때 카메라가 움직이게 될 때에 상기한 영상의 왜곡이 초래된다.

상기와 같은 영상의 왜곡을 설명하기 위하여 입력영상의 예시를 도면 1에 나타내고, 왜곡된 출력영상의 예시를 도면 2와 같이 나타낼 수 있다. 먼저 입력된 카메라의 영상을 도면 1라고 가정한다. 카메라가 하향으로 이동시 촬영된 피사체의 모양은 도면 2의 ㄱ)과 같다. 도면 2의 ㄴ)은 카메라가 상향으로 움직이며 촬영된 영상의 예시도이다. 도면 2의 ㄷ)은 카메라가 좌향으로 움직이며 촬영된 영상의 예시도이다. 도면 2의 ㄹ)은 카메라가 우향으로 움직이며 촬영된 영상의 예시도이다.

본 발명은 상기한 CMOS Image Sensor 영상을 움직임의 속도와 변화량에 응하 여 손떨림 보정과 동시에 수평방향의 기울어짐과 수직방향의 확대축소를 보정하는 방법과 장치에 관한 것이다.

먼저 기존의 움직임 안정화 방법의 구성을 설명하면 다음과 같다.

먼저 움직임 검출부는 입력영상으로부터 프레임간 움직임벡터 v 를 검출하고, 그 프레임간 움직임벡터 v 를 매 프레임 n 누적하여 실제 보정 해야 할 변위벡터 u 를 산출한다. 이 변위벡터를 다음과 같이 식으로 나타낸다.

영상보정부에서는 상기한 변위벡터를 참조하여 메모리에 들어있는 이전 프레임의 영상의 읽는 위치를 제어하여 그 움직임이 보상되도록 한다. 또한 더욱 정밀하게 보정하기 위하여 소수점단위의 픽셀위치를 보정한다. 이것은 수평과 수직의 인접한 픽셀을 보간함으로서 가능하게 한다.

상기한 움직임 보정방법에 있어서 그 변위벡터는 매 프레임 주기로 갱신되므로 프레임내의 영상에 대해서는 동일하게 위치 보정벡터가 결정되게 된다. 이로 인하여 시간차에 의한 영상의 공간적 왜곡이 그대로 출력될 수 밖에 없다.

상기한 문제점을 해결하기 위해서 화면의 시점과 종점에서의 시간차에 의한 움직임을 화면내에서도 보상해 주어야 한다. 이것은 프레임간의 속도벡터 v 에 화면내의 위치행렬 p 와 내적하여 그 시간차 만큼 위치를 보상한다. 이것을 보상하기위해서는 화소와 화소사이의 값으로 보간신호처리를 해야하므로 수평레지스터와 수직라인메모리를 별도로 추가한다. 상기한 내용을 식으로 표현하면 각 화소별 보정 해야하는 변위벡터 u'는 다음과 같다.

여기서 위치 행렬는 다음과 같다.

또한 X, Y 는 영상의 최대 수평 화소수 와 최대 수직라인수를 의미하며 x, y 는 현재 표현하고 있는 화소에 대한 수평 수직위치를 각각 의미하게 되며 각 화소별 보정해야하는 변위벡터 u'는 프레임 수 n 뿐 만아니라 화소의 위치 (x, y)의 함수가 된다.

상기한 내용을 순서도로 나타내면 도면 3과 같이 나타낼 수 있으며 그 구성은 다음과 같다.

1. 영상의 입력으로부터 움직임을 검출하는 움직임 검출부

2. 입력 영상을 최소 1장 이상 저장할 수 있는 프레임 메모리

3. 움직임 검출부로부터의 카메라의 움직임 정보로 보정할 변위를 계산하여 프레임 메모리의 읽는 번지를 결정하는 메모리 제어부

4. 서브화소 단위로 수직방향의 각 위치를 보간하기위하여 한 라인분의 영상을 저장할 수직 라인메모리

5. 영상의 화면 내 위치에 따른 수직방향과 수평방향의 보간계수를 연산하는 왜곡 보정 계수 연산부

6. 상기 프레임 메모리의 출력과 수직라인메모리의 출력으로 수직방향의 서브화소를 제어할 수직방향 보간부

7. 상기 수직방향 보간부의 출력을 한 화소이상 지연하여 수평방향으로 보간하기 위한 수평방향 보간부

CMOS 센서 카메라에 있어서 방위각의 변화에 의한 동영상을 정지영상 혹은 손떨림 보정영상으로 보면 수평, 수직 방향으로 속도에 따라 왜곡되게 된다. 일반적인 동영상을 촬영할 시는 그 흐름이 너무 빨라 화면의 왜곡을 인간이 느낄 수 없으나 정지화로 보거나 손떨림 보정을 하게되면 영상의 왜곡이 매우 심화되어 보여지게 되며, 이것은 특히 CMOS 영상센서를 사용할시에 문제가 되고 있다.

본 발명은 이러한 불안정한 영상에 대하여 그 움직임을 추정하여 프레임간 뿐 만 아니라 프레임 내에서도 보정함으로서 정지화 또는 손떨림 보정영상에서도 공간적인 왜곡이 없는 영상으로 변환시켜주어 안정된 영상출력을 할 수 있게된다.

특히 이러한 기술은 화면의 분해능이 높아지는 카메라일수록 그 기능이 효과적이며 메가픽셀이상의 CMOS영상에서는 필수 불가결한 기술이다.

Claims (3)

1. 영상 센서의 운동에 따른 왜곡을 보정하는 보정방법에 있어서,

   상기 보정방법은 씨모스 영상센서에 적용되고,

   상기 보정은 화소별로 이루어지며, 각 화소별 보간계수의 수평성분에는 (해당화소의 수평 화소좌표)/(영상의 최대 수평 화소수)×(해당 프레임의 수평속도)가, 수직성분에는 (해당화소의 수직 화소좌표)/(영상의 최대 수직 화소수)×(해당 프레임의 수직속도)가 포함되는 것을 특징으로 하는 씨모스 영상 센서 왜곡 보정방법.
2. 영상 센서의 운동에 따른 왜곡을 보정하는 보정장치에 있어서,

   상기 영상센서는 씨모스 영상센서이고,

   상기 보정장치는 화소별로 보간계수를 연산하고, 각 화소별 보간계수의 수평성분에는 (해당화소의 수평 화소좌표)/(영상의 최대 수평 화소수)×(해당 프레임의 수평속도)를, 수직성분에는 (해당화소의 수직 화소좌표)/(영상의 최대 수직 화소수)×(해당 프레임의 수직속도)를 포함하도록 하는 왜곡 보정 계수 연산부를 포함하는 것을 특징으로 하는 씨모스 영상 센서 왜곡 보정장치.
3. 제2항에 있어서,

   상기 보정장치는 영상의 입력으로부터 움직임을 검출하는 움직임 검출부와, 입력영상을 최소 1장 이상 저장할 수 있는 프레임 메모리와, 상기 움직임 검출부로부터의 카메라의 움직임 정보로 보정할 변위를 계산하여 프레임 메모리의 읽는 번지를 결정하는 메모리 제어부와, 메모리의 출력으로부터 서브화소 단위로 수직방향의 각 위치를 보간하기 위하여 한 라인분의 영상을 저장할 수직 라인 메모리와, 상기 프레임 메모리의 출력과 수직라인 메모리의 출력에 상기 왜곡보정 계수 연산부의 보간계수를 적용하여 수직방향의 서브화소를 제어할 수직방향 보간부와, 상기 수직방향 보간부의 출력을 한 화소이상 지연하고, 상기 왜곡보정 계수 연산부의 보간계수를 적용하여 수평방향으로 보간하기 위한 수평방향 보간부를 더 포함하는 것을 특징으로 하는 씨모스 영상 센서 왜곡 보정장치.

Images