KR101457385B1

KR101457385B1 - 스테레오영상의 기울어짐 보정 방법

Info

Publication number: KR101457385B1
Application number: KR1020120151946A
Authority: KR
Inventors: 김희석; 고원기
Original assignee: 청주대학교 산학협력단
Priority date: 2012-12-24
Filing date: 2012-12-24
Publication date: 2014-11-04
Also published as: KR20140083116A

Abstract

본 발명은 스테레오영상의 기울어짐 보정 방법에 관한 것으로, 보다 상세하게는 삼각함수 테이블을 이용하지 않고 덧셈, 뺄셈 및 쉬프트(Shift) 연산만을 이용하여, 스테레오영상의 틀어짐(기울어짐)을 보정할 수 있도록 한 것이다.
특히, 본 발명은 영상 보정 방법을 하드웨어로 구현이 가능하도록 함으로써, 촬영되는 스테레오영상을 실시간으로 보정하여 입체영상을 제작할 수 있도록 한 스테레오영상의 기울어짐 보정 방법에 관한 것이다.
특히, 본 발명은 파이프라인방식(Pipelined architecture)의 연산처리 및 라인버퍼(Line buffer)를 이용한 영상분할 보정방식을 이용하여, 스테레오영상의 보정에 소요되는 시간을 최소화할 수 있다.
따라서, 영상처리분야, 특히 스테레오영상을 이용한 입체영상제작 분야는 물론, 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

스테레오영상의 기울어짐 보정 방법{Tilt correction method of stereo image}

본 발명은 스테레오영상의 기울어짐 보정 방법에 관한 것으로서, 보다 상세하게는 복잡한 연산이나 삼각함수 테이블을 이용하지 않고 덧셈, 뺄셈 및 쉬프트(Shift) 연산만을 이용하여, 스테레오영상의 틀어짐(기울어짐)을 보정할 수 있도록 한 것이다.

특히, 본 발명은 영상 보정 방법을 하드웨어로 구현이 가능하도록 함으로써, 촬영되는 스테레오영상을 실시간으로 보정하여 입체영상을 제작할 수 있도록 한 스테레오영상의 기울어짐 보정 방법에 관한 것이다.

사람이 시각적으로 입체감을 느끼는 이유는, 두 눈의 거리에 의한 양안시차, 특히 정신물리학 이론의 하나인 Ross 현상에 의한 양안의 시간적인 지연에 의한 것으로 알려져 있으며, 최근에는 다양한 컨텐츠들이 이러한 양안시차에 의한 원리에 의해 입체영상으로 제작되고 있다.

입체영상을 제작하는 방법은 크게 2D영상을 3D영상(입체영상)으로 변환하는 방법과, 스테레오카메라에 의해 촬영된 스테레오영상으로 3D영상을 제작하는 방법이 있다.

그러나, 2D영상을 변형하여 3D영상으로 제작하는 방법은, 화질이 크게 저하되고 영상에 포함된 객체의 운동정보 및 깊이정보를 정확히 반영하지 못한다는 단점이 있다.

따라서, 대부분의 입체영상들은 스테레오카메라에 의해 촬영된 스테레오영상으로 제작되고 있다.

스테레오카메라를 이용하는 방법은, 두 눈의 시차(간격)와 동일한 거리로 이격된 2대의 카메라를 이용하여 스테레오영상을 촬영하고, 촬영된 좌측영상 및 우측영상을 합성하여 입체영상을 제작하게 된다.

한편, 스테레오카메라와 같이 2대 이상의 카메라에서 영상을 촬영하게 되면, 카메라의 물리적 특성으로 인해 입력된 영상에 틀어짐(기울어짐)이 발생하게 되며, 스테레오영상으로 입체영상을 제작하게 위해서는 이러한 틀어짐을 보정하는 과정이 요구된다.

이러한 영상의 틀어짐을 보정하기 위하여 다양한 방법들이 제시되고 있으나, 대부분의 보정방법들은 매우 복잡한 연산과정을 거치기 때문에, 임베디드시스템(Embedded system)과 같은 하드웨어적 구현이 매우 어렵다.

따라서, 영상의 틀어짐을 보정하는 방법들은 대부분 소프트웨어로 제작되며, 이로 인해 소프트웨어를 실행하기 위한 고사양의 하드웨어가 별도로 요구될 뿐만 아니라, 스테레오카메라로 촬영된 스테레오영상을 별도의 시스템에서 보정하는 과정을 거쳐야 하므로, 입체영상의 제작을 실시간으로 처리하지 못하는 문제점이 있었다.

이와 같이, 입체영상을 생성하기 위한 영상처리 알고리즘을 하드웨어적으로 처리하지 못하고, 이로 인해 실시간 영상처리를 수행하지 못하는 문제점은, 하기의 선행기술에서도 해결하지 못하고 있다.

하기의 종래 특허문헌에서도 입체영상을 생성하기 위한 영상처리방법에 대해 연구되었으나, 영상처리 알고리즘을 하드웨어적으로 처리하지 못하고, 이로 인해 실시간 영상처리를 수행하지 못하는 문제점을 해결하지는 못하고 있다.

대한민국 등록특허공보 제10-0930722호 '계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된 기록매체'

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여, 복잡한 연산과정이나 삼각함수 테이블과 같이 많은 양의 데이터를 요구하는 알고리즘이 아니라, 간단한 덧셈, 뺄셈 및 쉬프트연산만을 이용하여 스테레오영상의 틀어짐(기울어짐)을 보정할 수 있는 스테레오영상의 기울어짐 보정 방법을 제공하는데 목적이 있다.

또한, 본 발명은 영상을 보정하는 방법(알고리즘)을 하드웨어로 구현이 가능하도록 함으로써, 촬영되는 스테레오영상을 실시간으로 보정하여 입체영상을 제작할 수 있도록 한 스테레오영상의 기울어짐 보정 방법을 제공하는데 목적이 있다.

특히, 본 발명은 파이프라인방식(Pipelined architecture)의 연산처리 및 라인버퍼(Line buffer)를 이용한 영상분할 보정방식을 이용하여, 스테레오영상의 보정에 소요되는 시간을 최소화할 수 있는 스테레오영상의 기울어짐 보정 방법을 제공하는데 목적이 있다.

상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 스테레오영상의 기울어짐 보정 방법은, 스테레오카메라에 의해 촬영된 스테레오영상의 수직 및 수평 윤곽선을 확인하는 윤곽선확인단계; 상기 스테레오영상의 좌측영상과 우측영상의 윤곽선을 비교하고, 상기 스테레오영상 중 어느 하나의 영상을 기준으로 다른 하나의 영상에 대한 기울어짐 정도를 확인하는 주각검출단계; 및 상기 다른 하나의 영상에 대하여, 기울어짐보정 이후의 픽셀별 위치정보에 기초하여 원영상의 픽셀데이터를 호출하고, 호출된 상기 원영상의 픽셀데이터를 기울어짐보정 이후의 픽셀별 위치정보에 매핑(Mapping)하여 상기 다른 하나의 영상을 보정하는 영상보정단계를 포함하고, 상기 기울어짐보정단계는, 기울어짐보정 이후의 픽셀별 보정좌표값으로부터 기울어짐보정 전의 원좌표값을 산출하는 역좌표산출과정; 상기 원좌표값에 해당하는 원영상의 픽셀데이터를 호출하는 픽셀데이터 확인과정; 및 상기 원영상의 픽셀데이터를 상기 보정좌표값의 픽셀에 매핑하는 픽셀매핑과정을 포함하며, 상기 역좌표산출과정은, 복수 개의 서브프로세서에 의해 덧셈, 뺄셈 및 쉬프트연산을 동시에 수행하여 처리하는 파이프라인 방식으로 산출된 사인값(sinθ)과 코사인값(cosθ) 중 적어도 하나를 이용하여 보정좌표값으로부터 원좌표값을 산출한다.

또한, 상기 역좌표산출과정은, 상기 코사인값을 '1'로 설정할 수 있다.

또한, 상기 주각검출단계는, 상기 어느 하나의 영상을 기준으로 다른 하나의 영상에 대한 주각을 복수 개의 분할각으로 분할하는 주각분할과정; 상기 분할각별로 직교좌표계의 좌표값으로부터 극좌표계의 회전각 및 회전방향을 산출하는 좌표변환과정; 및 상기 복수 개의 부분각에 대한 극좌표계의 회전각 및 회전방향을 모두 합하여 주각을 산출하는 주각산출과정을 포함할 수 있다.

상기와 같은 해결수단에 의해, 본 발명은 복잡한 연산과정이나 삼각함수 테이블과 같이 많은 양의 데이터를 요구하는 알고리즘이 아니라, 간단한 덧셈, 뺄셈 및 쉬프트연산만을 이용하여 스테레오영상의 틀어짐(기울어짐)을 보정할 수 있는 장점이 있다.

특히, 스테리오영상의 보정에 필요한 코사인값(cosθ)을 '1'로 고정시킴으로써, 연산량을 크게 감소시킬 수 있다.

한편, 연산량을 감소시키기 위하여 코사인값(cosθ)값을 고정하게 되면, 영상보정시 오류가 발생될 수 있다.

본 발명은 보정 후 픽셀의 위치정보를 역추적하여 원영상의 해당 픽셀 위치정보를 확인하고, 이를 통해 원영상의 픽셀데이터를 보정 후 영상의 픽셀에 적용함으로써, 코사인값(cosθ)의 고정에 따른 오류를 방지할 수 있다.

결과적으로, 본 발명은 정확한 영상보정은 물론 이를 위한 연산량을 크게 감소시킬 수 있는 효과가 있다.

또한, 본 발명은 영상을 보정하는 방법(알고리즘)을 하드웨어로 구현이 가능하도록 함으로써, 촬영되는 스테레오영상을 실시간으로 보정하여 입체영상을 제작할 수 있는 장점이 있다.

특히, 본 발명은 파이프라인방식(Pipelined architecture)의 연산처리 및 라인버퍼(Line buffer)를 이용한 영상분할 보정방식을 이용하여, 스테레오영상의 보정에 소요되는 시간을 최소화할 수 있다.

따라서, 영상처리분야, 특히 스테레오영상을 이용한 입체영상제작 분야는 물론, 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

도 1은 본 발명에 의한 스테레오영상의 기울어짐 보정 방법을 설명하는 흐름도이다.
도 2는 스테레오영상의 기울어짐을 설명하는 그림이다.
도 3은 도 1의 단계 'S200'에 대한 실시예를 설명하는 그림이다.
도 4는 도 1의 단계 'S300'에 대한 실시예를 설명하는 흐름도이다.
도 5는 도 1의 단계 'S300'을 구현한 파이프라인 아키텍처 구조의 실시예를 나타낸 도면이다.
도 6은 도 1의 단계 'S400'에 대한 실시예를 설명하는 흐름도이다.
도 7은 보정될 영상을 픽셀단위로 나타낸 개념도이다.
도 8은 도 7의 영상이 회전되는 과정에서 발생하는 오류의 예를 설명하는 도면이다.
도 9는 본 발명에 의한 영상의 회전보정방법을 설명하는 블록도이다.
도 10은 도 9가 적용된 회전보정모듈의 실시예를 설명하는 블록도이다.
도 11은 도 7의 영상을 도 10에 의해 보정한 결과를 나타낸 도면이다.
도 12는 도 1의 단계 'S400'을 구현한 실시예를 나타낸 RTL 회로도이다.
도 13은 도 2의 영상을 회전보정한 결과를 나타낸 도면이다.
도 14는 원영상과 원영상을 소프트웨어로 보정한 결과 및 본 발명에 의한 보정 방법이 적용된 하드웨어로 보정한 결과를 비교한 도면이다.

본 발명에 따른 스테레오영상의 기울어짐 보정 방법에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.

도 1은 본 발명에 의한 스테레오영상의 기울어짐 보정 방법을 설명하는 흐름도이다.

도 1을 참조하면, 먼저 양안의 거리만큼 이격되어 설치되는 좌측카메라 및 우측카메라를 포함하는 스테레오카메라에 의해 촬영된 좌우영상을 입력받는다(단계 S100). 여기서, 스테레오카메라에 의해 촬영된 좌우영상은, 도 2의 (a)와 같은 좌측영상을 기준으로 도 2의 (b)와 같이 우측영상에 틀어짐(기울어짐)이 발생하게 된다.

이를 보정하기 위하여, 스테레오영상의 수직 및 수평 윤곽선을 확인한다(단계 S200). 여기서, 수직 및 수평 윤곽선(Edge)의 확인은 도 3의 (a)와 같이 원영상을 그레이스케일 영상으로 변환한 후, 윤곽선 추출 알고리즘을 이용하여 도 3의 (b)와 같은 수평 윤곽선 및 도 3의 (c)와 같은 수직 윤곽선을 추출할 수 있다. 예를 들어, 윤곽선 추출 알고리즘은 2차 미분 연산자인 'Sobel mask'를 이용하여 X축과 Y축을 각각 미분하는 방식으로 수행될 수 있다.

스테레오영상의 수직 및 수평 윤곽선이 확인되면, 확인된 스테레오영상의 좌측영상과 우측영상의 윤곽선을 비교하고, 스테레오영상 중 어느 하나의 영상(예를 들어, 좌측영상)을 기준으로 다른 하나의 영상(예를 들어, 우측영상)에 대한 기울어짐 정도를 확인한다(단계 S300). 이러한 기울어짐 정도를 주각이라고 하며, 주각을 검출하는 방법으로는 직교좌표계(Rectangular coordinates)와 극좌표계(Polar coordinates) 간의 좌표변환을 이용할 수 있다. 예를 들어, 직교좌표계와 극좌표계 간의 좌표변환은 'CORDIC Vector Mode'를 이용하여 순차적인 덧셈, 뺄셈 및 쉬프트 연산으로 수행될 수 있다.

주각이 확인되면 다른 하나의 영상에 대하여, 기울어짐보정 이후의 픽셀별 위치정보에 기초하여 원영상의 픽셀데이터를 호출하고, 호출된 상기 원영상의 픽셀데이터를 기울어짐보정 이후의 픽셀별 위치정보에 매핑(Mapping)하여 다른 하나의 영상을 보정한다(단계 S400).

이상에서 설명된 단계 'S300' 및 단계 'S400'에 대해서는 하기에서 보다 상세히 설명하기로 한다.

도 4는 도 1의 단계 'S300'에 대한 실시예를 설명하는 흐름도로서, 도 4를 참조하면, 주각검출단계(단계 S300)는 어느 하나의 영상을 기준으로 다른 하나의 영상에 대한 주각을 복수 개의 분할각으로 분할하는 주각분할단계(단계 S310), 분할각별로 직교좌표계의 좌표값으로부터 극좌표계의 회전각 및 회전방향을 산출하는 좌표변환단계(단계 S320) 및 복수 개의 부분각에 대한 극좌표계의 회전각 및 회전방향을 모두 합하여 주각을 산출하는 주각산출단계(단계 S320)를 포함할 수 있다.

이러한 과정을 수식으로 살펴보면 다음과 같다.

'CORDIC Vector Mode'는 회전각 'θ'를 여러 개의 각으로 나누고, 나누어진 각에 대하여 부분회전(Sub rotation)으로 벡터를 회전시킨 후, 이를 합하여 전체 회전각 'θ'를 산출할 수 있다.

나누어진 각에 대한 부분회전 계산과정은 수학식 1과 같으며, 수학시 2와 같이 매트릭스(Matrix)로 간략화될 수 있다.

(수학식 1)

(수학식 2)

i번째 단계에서, x값과 y값은 각각 수학식 3과 같으며, 수학식 4와 같이 zi를 정의하면, zi만큼 회전한 후의 x값 및 y값은 수학식 5와 같다.

(수학식 3)

(수학식 4)

(수학식 5)

여기서, Si는 수학식 6과 같으며, S가 -1이면 시계 방향으로 회전함을 의미하고, S가 +1이면 반시계 방향으로 회전함을 의미한다.

(수학식 6)

수학식 5에 나타난 바와 같이, 본 발명에 의하면 주각을 검출하는 연산에서, 덧셈, 뺄셈 및 쉬프트 연산만이 사용됨을 알 수 있다.

전체 회전각 'θ'를 n개의 부분회전으로 나누고, zi를 수학식 7과 같이 정의하면, n이 충분히 클 때, -180°≤θ≤180°의 범위에서 수학식 8을 만족시킬 수 있다.

(수학식 7)

(수학식 8)

이와 같은 연산과정은, 복수 개의 서브프로세서에 의해 덧셈, 뺄셈 및 쉬프트연산을 동시에 수행하여 처리하는 파이프라인 방식으로 산출할 수 있으며, 이러한 파이프라인 방식의 구조는 도 5에 나타난 바와 같다.

도 6은 도 1의 단계 'S400'에 대한 실시예를 설명하는 흐름도로서, 도 6을 참조하면, 기울어짐보정단계(단계 S400)는, 기울어짐보정 이후의 픽셀별 보정좌표값으로부터 기울어짐보정 전의 원좌표값을 산출하는 역좌표산출단계(단계 S410), 원좌표값에 해당하는 원영상의 픽셀데이터를 호출하는 픽셀데이터 확인단계(단계 S420) 및 원영상의 픽셀데이터를 상기 보정좌표값의 픽셀에 매핑하는 픽셀매핑단계(단계 S430)를 포함할 수 있다.

이러한 과정을 수식으로 살펴보면 다음과 같다.

먼저, 영상의 회전보정은 수학식 9와 같이 나타낼 수 있다.

(수학식 9)

한편, 스테레오영상에서 발생되는 틀어짐에 대한 주각의 크기는 매우 작기 때문에(예를 들어, 1.5°이하), cosθ는 '1'로 수렴할 수 있다. 다시 말해, cosθ을 1로 고정하고 sinθ만을 이용하여 영상보정을 수행할 수 있으며, 이를 통해 전체 연산량을 크게 감소시킬 수 있다.

다만, cosθ을 1로 고정하는 경우, 도 7와 같은 원영상의 픽셀데이터가 도 8과 같이 보정되면서 오류가 발생될 수 있다. 도 8에서 오류가 발생한 픽셀은 굵은 선으로 표시하였다.

이와 같이, 영상에 오류가 발생하게 되면, 'Interpolation' 블록(과정)을 이용하여 보정하는 절차가 요구되며, 이는 연산량의 증가를 발생시키기 때문에, 상기한 cosθ의 고정에 따른 연산량 감소효과를 무산시키는 결과를 초래하게 된다.

따라서, 본 발명에서는 'Interpolation' 블록(과정)을 이용하지 않고서도 회전보정에 따른 오류를 방지할 수 있는 방법을 제시한다.

도 8과 같은 보정오류는 도 7의 원영상을 그대로 회전시킴에 따라 발생되므로, 본 발명에서는 원영상을 회전시키지 않고, 수학식 10과 같이 보정 이후의 픽셀별 위치정보를 이용하여 원영상에서 픽셀데이터를 호출하는 방법을 적용하여, 회전보정에 따른 오류를 미연에 방지할 수 있다.

(수학식 10)

이러한 수학식 10은, 수학식 9의 매트릭스 형태인 수학식 11에 나타난 행렬의 역행렬로 구할 수 있다.

(수학식 11)

수학식 11의 역행렬은 수학식 12와 같으며, 수학식 12에 의해 수학식 13과 같은 결과를 얻을 수 있다.

(수학식 12)

(수학식 13)

이와 같은 수식에 의한 영상의 회전 알고리즘은 도 9와 같이 구현될 수 있다.

도 9는 보정될 영상을 픽셀단위로 나타낸 개념도로서, 회전되는 영상(보정 후 영상)으로부터 영상의 픽셀위치 정보를 입력받고, X' 값과 Y' 값을 증가시킨 후, 그에 해당하는 X, Y값을 출력으로 내보낸다. cosθ은 1로 고정되었기 때문에 sinθ값에 의해서 X, Y값은 변하게 된다. 이때, 원본 영상의 X, Y값을 어드레스 값으로 변환해 주고 해당하는 어드레스의 픽셀 데이터를 불러와 회전된 영상의 픽셀 위치 정보에 넣게 된다.

따라서, 본 발명의 방법을 이용하면, 도 8에 나타난 바와 같은 빈 픽셀이나 픽셀데이터의 왜곡을 방지할 수 있으므로, 별도의 보정 알고리즘을 사용하지 않고서도, 회전(보정)이 끝난 영상을 이용하여 입체영상을 제작할 수 있다.

도 10은 도 9가 적용된 회전보정모듈의 실시예를 설명하는 블록도이고, 도 11은 도 7의 영상을 도 10에 의해 보정한 결과를 나타낸 도면이다.

도 10에 나타난 바와 같이, 보정 후 픽셀의 위치정보를 역추적하여 원영상의 해당 픽셀 위치정보를 확인하고, 이를 통해 원영상의 픽셀데이터를 보정 후 영상의 픽셀에 적용함으로써, 코사인값(cosθ)의 고정에 따른 오류를 방지할 수 있으며, 도 11과 같은 결과를 얻을 수 있다.

한편, 도 10에 나타난 블록도에 기초하여 영상을 회전시킨 후, 입체영상이 안정된 깊이(Depth, 객체의 거리감)를 갖도록 하기 위해서는, 기준이 되는 영상(예를 들어, 좌측영상)과 회전보정한 영상(예를 들어, 우측영상)의 초점을 매칭하는 과정을 수행할 수 있다.

이를 위하여, 본 발명은 도 1의 단계 'S400'에서, 어느 하나의 영상(예를 들어, 좌측영상) 및 보정된 다른 하나의 영상(예를 들어, 우측영상)의 특징부를 확인하는 특징부확인단계 및 두 영상의 특징부가 일치되도록 다른 하나의 영상을 이동시키는 초점매칭단계를 더 포함할 수 있다.

한편, 도 10에 의해 영상의 한 프레임(Frame)을 입력받아 회전보정을 수행하는 경우, 해당 프레임의 영상데이터를 수신하여 회전보정을 수행하는 동안에는 다른 연산을 수행하지 못할 수 있으며, 이는 전체 시스템의 속도를 저하시키는 요인이 될 수 있다.

따라서, 본 발명은 도 12에 나타난 바와 같이, 한 프레임의 영상을 보두 받아 회전시키는 프레임 버퍼(Buffer)를 사용하지 않고 한 영상의 프레임 중 세로라인의 일부분을 잘라 회전 보정하는 라인 버퍼(Line buffer)를 사용하여, 다른 하나의 영상(예를 들어, 보정할 좌측 영상)에 대한 프레임을 복수 개의 서브영역으로 분할하고, 분할된 서브영역별로 기울어짐보정 및 초점매칭을 각각 수행할 수 있으며, 이를 통해 전체 시스템의 속도를 향상시킬 수 있다.

여기서, 도 12는 도 1의 단계 'S400'을 구현한 실시예를 나타낸 RTL 회로도이다.

이상에서 살펴본 바와 같이, 도 12를 이용하여 영상을 보정하면, 도 13과 같은 결과를 얻을 수 있으며, 도 14의 (a)와 같은 원영상을 소프트웨어로 보정한 결과(도 14의 (b))와 본 발명에 의한 보정 방법이 적용된 하드웨어로 보정한 결과(도 14의 (c))가 동일함을 확인할 수 있다.

결과적으로, 본 발명에 의한 보정방법 및 이를 적용한 임베디드 시스템의 경우, 복잡한 알고리즘의 소프트웨어와 동일한 결과를 얻을 수 있을 뿐만 아니라, 임베디드 시스템의 특성상 종래의 소프트웨어를 이용한 보정방법에 비하여 월등히 향상된 처리속도를 얻을 수 있음을 알 수 있다.

이상에서 본 발명에 의한 스테레오영상의 기울어짐 보정 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지는 것이므로, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

스테레오카메라에 의해 촬영된 스테레오영상의 수직 및 수평 윤곽선을 확인하는 윤곽선확인단계;
상기 스테레오영상의 좌측영상과 우측영상의 윤곽선을 비교하고, 상기 스테레오영상 중 어느 하나의 영상을 기준으로 다른 하나의 영상에 대한 기울어짐 정도인 주각을 확인하는 주각검출단계; 및
상기 주각이 확인되는 경우 상기 다른 하나의 영상을 회전시켜 보정하는 기울어짐보정단계를 포함하고,
상기 기울어짐보정단계는,
기울어짐보정후 보정영상의 픽셀별 보정좌표값으로부터 기울어짐보정전 원영상의 원좌표값을 산출하는 역좌표산출과정;
상기 원좌표값에 해당하는 원영상의 픽셀데이터를 호출하는 픽셀데이터 확인과정; 및
상기 원영상의 픽셀데이터를 상기 보정좌표값의 픽셀에 매핑하는 픽셀매핑과정을 포함하며,
상기 역좌표산출과정은,
복수 개의 서브프로세서에 의해 덧셈, 뺄셈 및 쉬프트연산을 동시에 수행하여 처리하는 파이프라인 방식으로 산출된 사인값(sinθ)과 코사인값(cosθ) 중 적어도 하나를 이용하여 보정좌표값으로부터 원좌표값을 산출하는 것을 특징으로 하는 스테레오영상의 기울어짐 보정 방법.
제 1항에 있어서,
상기 역좌표산출과정은,
상기 코사인값을 '1'로 설정하는 것을 특징으로 하는 스테레오영상의 기울어짐 보정 방법.
제 1항에 있어서,
상기 주각검출단계는,
상기 어느 하나의 영상을 기준으로 다른 하나의 영상에 대한 주각을 복수 개의 분할각으로 분할하는 주각분할과정;
상기 분할각별로 직교좌표계의 좌표값으로부터 극좌표계의 회전각 및 회전방향을 산출하는 좌표변환과정; 및
상기 복수 개의 분할각에 대한 극좌표계의 회전각 및 회전방향을 모두 합하여 주각을 산출하는 주각산출과정을 포함하는 것을 특징으로 하는 스테레오영상의 기울어짐 보정 방법.