KR20190033322A

KR20190033322A - 영상 변환 시스템 및 방법

Info

Publication number: KR20190033322A
Application number: KR1020170121956A
Authority: KR
Inventors: 최진욱; 송병철; 최지훈; 최동윤
Original assignee: 현대자동차주식회사; 인하대학교 산학협력단; 기아자동차주식회사
Priority date: 2017-09-21
Filing date: 2017-09-21
Publication date: 2019-03-29
Also published as: KR102406513B1

Abstract

본 발명의 일 실시예에 따른 영상 변환 시스템은 광각 영상의 프레임 간의 모션을 양방향으로 추정하는 모션 추정부, 상기 양방향으로 추정된 모션을 이용하여 상기 광각 영상의 픽셀을 증가시키는 픽셀 증가부, 상기 광각 영상의 그리드의 픽셀의 위치를 룩업 테이블을 이용하여 협각 영상의 그리드의 픽셀의 위치로 변환하는 픽셀 위치 변환부, 상기 광각 영상의 복수의 프레임의 픽셀들을 상기 협각 영상의 단수의 프레임의 픽셀에 매핑하는 픽셀 매핑부 및 상기 협각 영상의 매핑된 픽셀을 필터링하는 필터부를 포함한다.

Description

영상 변환 시스템 및 방법{Image transforming System and Method for transforming Image}

본 발명은 영상 변환 시스템 및 방법에 관한 것으로, 보다 상세하게는 광각 영상을 협각 영상으로 변환하는 기술에 관한 것이다.

일반적으로, 차량 내부에 탑승한 운전자의 시계는 주로 전방을 향하게 되고, 운전자의 좌우측과 후방 시계는 차체에 의하여 상당 부분 가려져 매우 한정된 시계를 가진다.

이러한 문제를 해결하기 위하여, 사이드 미러 등의 시계 보조수단이 차량에 구비되어 사용되고 있으며, 최근에는 차량의 외부 영상을 촬영하여 운전자에게 제공하는 카메라 수단을 포함하는 기술들이 차량에 적용되고 있다.

최근에는 차량 주위에 복수의 카메라를 설치하여 차량 주변의 360도 전방향의 영상을 보여주는 어라운드 뷰 모니터링(AVM, Around View Monitoring)(이하, AVM이라 칭함) 시스템도 적용되고 있다. AVM 시스템은 차량 주변을 촬영하는 복수의 카메라를 통하여 촬상된 차량 주변의 영상을 조합하여 운전자가 하늘에서 차량을 바라보는 듯한 탑 뷰(Top View) 이미지(즉, AVM 영상)를 제공함으로써, 운전자가 차량 주변 장애물이 화면상에 확인할 수 있도록 한다.

즉, AVM 시스템은 차량의 차량 주변을 촬영하는 복수의 카메라를 통하여 촬상된 차량 주변의 광각 영상을 이용하여 운전자가 하늘에서 차량을 바라보는 듯한 탑 뷰 이미지가 제공되도록 다른 시점의 협각 영상으로 변환할 수 있다.

그러나, 이러한 광각 영상을 협각 영상으로 변환하는 경우에, 광각 영상의 외곽 영역은 픽셀 정보가 많지 않기 때문에 변환된 협각 영상의 화질이 열화되는 문제점이 지속적으로 발생하고 있다.

[특허문헌]한국공개특허 2017-0043104호.

본 발명의 목적은 입력된 광각 영상의 현재의 프레임의 픽셀 정보 및 현재의 프레임과 인접한 프레임들의 픽셀 정보를 이용하여 협각 영상으로 변환하는 영상 변환 시스템 및 방법을 제공하는 데 있다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

일 실시예에서, 상기 협각 영상에 남아 있는 블러(blur)를 제거하는 후처리부를 포함할 수 있다.

일 실시예에서, 상기 모션 추정부는, 상기 옵티컬 플로우 알고리즘을 이용하여 상기 광각 영상의 프레임 간 픽셀의 모션을 추정할 수 있다.

일 실시예에서, 상기 모션 추정부는, 상기 광각 영상 또는 AVM 영상에서의 모션 벡터를 산출할 수 있다.

일 실시예에서, 상기 모션 추정부는, 상기 광각 영상의 프레임 간 모든 픽셀의 모션을 누적하여 누적된 모션을 추정할 수 있다.

일 실시예에서, 상기 픽셀 증가부는, 상기 양방향으로 추정된 모션을 이용하여 단수의 정수 위치의 픽셀을 복수의 비정수 위치에 매핑하여 픽셀을 증가시킬 수 있다.

일 실시예에서, 상기 픽셀 위치 변환부는, 상기 광각 영상의 그리드의 비정수 위치의 픽셀을 상기 협각 영상의 그리드의 비정수 위치의 픽셀로 매핑할 수 있다.

일 실시예에서, 상기 픽셀 위치 변환부는, 상기 광각 영상의 그리드의 정수 위치의 픽셀을 포함하는 룩업 테이블을 이용하여 상기 광각 영상의 그리드의 비정수 위치의 픽셀을 추정하고, 추정된 상기 광각 영상의 그리드의 비정수 위치의 픽셀을 상기 협각 영상의 그리드의 비정수 위치의 픽셀로 매핑할 수 있다.

일 실시예에서, 상기 픽셀 매핑부는, 상기 광각 영상의 현재의 프레임의 픽셀 및 상기 현재의 프레임의 픽셀과 인접한 프레임의 픽셀들을 상기 협각 영상의 현재의 프레임의 픽셀에 매핑할 수 있다.

일 실시예에서, 상기 필터부는, 상기 협각 영상의 그리드의 비정수 위치에 매핑된 픽셀에 가중치 합을 이용하여 상기 협각 영상의 그리드의 정수 위치의 픽셀을 계산할 수 있다.

본 발명의 일 실시예에 따른 영상 변환 방법은 광각 영상의 프레임 간의 모션을 양방향으로 추정하는 단계, 상기 양방향으로 추정된 모션을 이용하여 상기 광각 영상의 픽셀을 증가시키는 단계, 상기 광각 영상의 그리드의 픽셀의 위치를 룩업 테이블을 이용하여 협각 영상의 그리드의 픽셀의 위치로 변환하는 단계, 상기 광각 영상의 복수의 프레임의 픽셀들을 상기 협각 영상의 단수의 프레임의 픽셀에 매핑하는 단계 및 상기 협각 영상의 매핑된 픽셀을 필터링하는 단계를 포함한다.

일 실시예에서, 상기 필터링하는 단계 이후, 상기 협각 영상에서 남아 있는 블러(blur)를 제거하는 단계를 포함할 수 있다.

일 실시예에서, 상기 모션을 양방향으로 추정하는 단계는, 상기 옵티컬 플로우 알고리즘을 이용하여 상기 광각 영상의 프레임 간 픽셀의 모션을 추정할 수 있다.

일 실시예에서, 상기 모션을 양방향으로 추정하는 단계는, 상기 광각 영상 또는 AVM 영상에서의 모션 벡터를 산출하는 단계를 포함할 수 있다.

일 실시예에서, 상기 모션을 양방향으로 추정하는 단계는, 상기 광각 영상의 프레임 간 모든 픽셀의 모션을 누적하여 누적된 모션을 추정할 수 있다.

일 실시예에서, 상기 픽셀을 증가시키는 단계는, 상기 양방향으로 추정된 모션을 이용하여 단수의 정수 위치의 픽셀을 복수의 비정수 위치에 매핑하여 픽셀을 증가시키는 단계를 포함할 수 있다.

일 실시예에서, 상기 픽셀의 위치로 변환하는 단계는, 상기 광각 영상의 그리드의 비정수 위치의 픽셀을 상기 협각 영상의 그리드의 비정수 위치의 픽셀로 매핑하는 단계를 포함할 수 있다.

일 실시예에서, 상기 픽셀의 위치로 변환하는 단계는, 상기 광각 영상의 그리드의 정수 위치의 픽셀을 포함하는 룩업 테이블을 이용하여 상기 광각 영상의 그리드의 비정수 위치의 픽셀을 추정하는 단계 및 추정된 상기 광각 영상의 그리드의 비정수 위치의 픽셀을 상기 협각 영상의 그리드의 비정수 위치의 픽셀로 매핑하는 단계를 포함할 수 있다.

일 실시예에서, 상기 픽셀에 매핑하는 단계는, 상기 광각 영상의 현재의 프레임의 픽셀 및 상기 현재의 프레임의 픽셀과 인접한 프레임의 픽셀들을 상기 협각 영상의 현재의 프레임의 픽셀에 매핑하는 단계를 포함할 수 있다.

일 실시예에서, 상기 필터링하는 단계는, 상기 협각 영상의 그리드의 비정수 위치에 매핑된 픽셀에 가중치 합을 이용하여 상기 협각 영상의 그리드의 정수 위치의 픽셀을 계산하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 변환 시스템 및 방법에 따르면 광각 영상의 현재의 프레임의 픽셀 정보 및 현재의 프레임과 인접한 프레임들의 픽셀 정보를 이용함으로써, 변환된 협각 영상의 화질을 개선할 수 있다.

본 발명의 일 실시예에 따른 영상 변환 시스템 및 방법에 따르면 광각 영상을 협각 영상으로 변환 시, 광각 영상의 적은 픽셀 정보를 이용하여 많은 협각 영상의 픽셀 정보를 계산하는 문제점을 방지할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 변환 시스템을 설명하는 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 변환 시스템의 모션 추정부를 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 변환 시스템의 픽셀 증가부를 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 변환 시스템의 픽셀 위치 변환부를 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 변환 시스템의 픽셀 매핑부를 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 변환 시스템의 픽셀이 증가되기 전/후의 실제 광각 영상을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 변환 방법을 실행하는 컴퓨팅 시스템을 보여주는 도면이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명의 일 실시예에 따른 영상 변환 시스템은 광각 카메라로 촬영한 동영상 정보를 이용하여 광각 영상의 프레임 간의 모션(움직임 정보)을 양방향으로 추정하고, 광각 영상의 프레임 간에 추정된 양방향 모션을 이용하여 픽셀을 증가시키며, 광각 영상의 모션(광각 영상의 그리드의 픽셀의 위치)을 룩업 테이블을 이용하여 협각 영상의 모션(협각 영상의 그리드의 픽셀의 위치)으로 변환하고, 증가된 픽셀을 포함하는 복수의 광각 영상의 프레임을 단수의 협각 영상의 프레임에 매핑하며, 협각 영상의 프레임에 매핑되어 있는 픽셀을 필터링하여 협각 영상을 생성하고, 후처리 과정을 이용하여 생성된 협각 영상에서 남아 있는 블러(blur)를 제거할 수 있는 시스템이다.

도 1은 본 발명의 일 실시예에 따른 영상 변환 시스템을 설명하는 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 변환 시스템(10)은 모션 추정부(100), 픽셀 증가부(200), 픽셀 위치 변환부(300), 픽셀 매핑부(400), 필터부(500) 및 후처리부(600)를 포함한다.

모션 추정부(100)는 입력된 광각 영상(1)에서 프레임 간의 모션을 추정한다. 예를 들어, 모션 추정부(100)는 모션을 추정하기 위하여 옵티컬 플로우(Optical flow) 알고리즘 등을 이용하여 입력된 광각 영상(1)의 프레임의 변환 영역에 해당하는 모든 픽셀의 모션 정보를 추정할 수 있으며, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않는다.

이러한 옵티컬 플로우 알고리즘은 AVM 영상 또는 광각 영상(1)에서의 모션 벡터(motion vetor)를 산출할 수 있다.

모션 추정부(100)는 입력된 광각 영상(1)에서 프레임 간의 양방향 모션을 추정한다. 여기서, 모션 추정부(100)에서 모션을 추정하는 구체적인 방법은 도 2에서 자세하게 설명한다.

픽셀 증가부(200)는 광각 영상(1)의 프레임 간에 추정된 양방향 모션을 이용하여 픽셀을 증가시킨다. 예를 들어, 픽셀 증가부(200)는 추정된 양방향 모션을 이용하여 하나의 픽셀을 두 개의 위치에 매핑하여 유효 픽셀(픽셀 수)을 증가시킬 수 있다. 여기서, 픽셀 증가부(200)에서 픽셀을 증가시키는 구체적인 방법은 도 3에서 자세하게 설명한다.

픽셀 위치 변환부(300)는 광각 영상(1)의 모션(광각 영상의 그리드의 픽셀의 위치)을 룩업 테이블을 이용하여 협각 영상(2)의 모션(협각 영상의 그리드의 픽셀의 위치)으로 변환한다. 여기서, 픽셀 위치 변환부(300)에서 픽셀의 위치를 변환시키는 구체적인 방법은 도 4에서 자세하게 설명한다.

픽셀 매핑부(400)는 증가된 픽셀을 포함하는 복수의 광각 영상(1)의 프레임을 단수의 협각 영상(2)의 프레임에 매핑한다. 여기서, 픽셀 매핑부(400)에서 픽셀을 매핑하는 구체적인 방법은 도 5에서 자세하게 설명한다.

필터부(500)는 협각 영상(2)의 그리드의 비정수 위치에 매핑된 픽셀을 필터링(예를 들어, 양방향 필터(bilateral filter))하여 협각 영상(2)의 그리드의 정수 위치의 픽셀을 계산함으로써, 협각 영상(2)을 최종적으로 생성한다. 예를 들어, 필터부(500)는 하기 수학식 1 내지 4와 같이, 비정수 위치에 매핑된 픽셀의 인접한 픽셀의 가중치의 합(Wsum)을 이용하여 협각 영상(2)의 그리드의 정수 위치의 픽셀을 계산할 수 있다. 여기서, 픽셀의 가중치(weight, w)는 거리(distance, dist)에 따른 가중치와 모션 추정 시 에러(error)에 따른 가중치를 포함할 수 있으며, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않는다.

예를 들어, 비정수 위치에 매핑된 픽셀(xi, yj)과 정수 위치의 픽셀(x, y) 사이의 거리에 따른 가중치를 하기 수학식 3을 이용하여 계산할 수 있고, 비정수 위치에 매핑된 픽셀(xi, yj)과 정수 위치의 픽셀(x, y)의 모션 추정 시 에러에 따른 가중치를 하기 수학식 4를 이용하여 계산할 수 있으며, I는 픽셀의 밝기(Intensity) 값이고, 정수 위치의 픽셀(x, y)은 필터링된 픽셀 또는 필터링된 픽셀의 밝기값으로 나타낼 수 있다.

[수학식 1]

[수학식 2]

[수학식 3]

[수학식 4]

후처리부(600)는 후처리 과정을 이용하여 생성된 협각 영상(2)에서 남아 있는 블러(blur)를 제거한다.

도 2는 본 발명의 일 실시예에 따른 영상 변환 시스템의 모션 추정부를 설명하는 도면이다.

도 2를 참조하면, 모션 추정부(100)는 입력된 광각 영상(1)에서 현재의 프레임(예를 들어, 제 1 프레임) 및 현재의 프레임과 인접한 프레임들(예를 들어, 제 2 프레임부터 n 프레임 등) 사이의 모션을 추정한다.

예를 들어, 모션 추정부(100)는 제 1 프레임(기준 프레임)과 제 2 프레임(참조 프레임 또는 제 1 프레임의 이전 프레임) 간의 각 모션을 추정하거나, 제 1 프레임(기준 프레임)과 제 n 프레임(참조 프레임) 간의 모든 모션을 누적하여 누적된 모션을 추정할 수 있다.

예를 들어, 모션 추정부(100)는 제 1 프레임(fk, 기준 프레임)과 제 2 프레임(fk-1, 참조 프레임) 간의 모션 Mk-1, k으로 추정할 수 있고, 다른 모션(Mk-2, k-1), (Mk-n, k-2) 등으로 추정할 수 있다.

또한, 모션 추정부(100)는 제 1 프레임(fk, 기준 프레임)과 제 n 프레임(fk-n, 참조 프레임) 간의 모든 누적된 모션 Mk-n, k으로 추정할 수 있다.

즉, 모션 추정부(100)는 하기 수학식 5 및 6과 같이, 양방향으로 누적된 모션 Mk-n, k 또는 Mk, k-n으로 추정할 수 있다.

[수학식 5]

[수학식 6]

모션 추정부(100)는 모션을 추정하기 위하여 옵티컬 플로우(Optical flow) 알고리즘 등을 이용하여 입력된 광각 영상(1)의 프레임의 변환 영역에 해당하는 모든 픽셀의 모션 정보를 추정할 수 있으며, 옵티컬 플로우 알고리즘은 AVM 영상 또는 광각 영상(1)에서의 모션 벡터(motion vetor)를 산출할 수 있다.

모션 추정부(100)는 입력된 광각 영상(1)에서 프레임 간의 양방향 모션을 추정한다. 예를 들어, 모션 추정부(100)는 기준 프레임이 fk 이고, 참조 프레임이 fk-1인 경우에, 모션을 Mk-1, k으로 추정할 수 있으며, 기준 프레임이 fk-1이고, 참조 프레임이 fk인 경우에, 모션을 Mk, k-1로 추정함으로써, 광각 영상(1)의 프레임 간의 양방향 모션을 추정할 수 있다.

도 3은 본 발명의 일 실시예에 따른 영상 변환 시스템의 픽셀 증가부를 설명하는 도면이다.

도 3의 (a) 및 (b)를 참조하면, 픽셀 증가부(200)는 광각 영상(1)의 프레임 간에 추정된 양방향 모션을 이용하여 픽셀을 증가시킨다.

픽셀 증가부(200)는 추정된 양방향 모션을 이용하여 하나의 픽셀을 두 개의 위치에 매핑하여 유효 픽셀을 증가시킬 수 있다. 예를 들어, 픽셀 증가부(200)는 제 2 프레임(fk-1, 참조 프레임)에서의 픽셀 정보(pk-1)를 제 1 프레임(fk, 기준 프레임)에서의 픽셀 정보(pk)에 매핑한다.

픽셀 증가부(200)는 제 2 프레임(fk-1, 참조 프레임)에서의 픽셀 정보(pk-1)는 그리드(grid)의 정수 위치 정보를 포함하고, 제 1 프레임(fk, 기준 프레임)에서의 픽셀 정보(pk)는 그리드의 비정수 위치에 관한 정보를 포함할 수 있다.

픽셀 증가부(200)는 제 2 프레임(fk-1, 참조 프레임)에서의 픽셀 정보(pk-1)를 제 1 프레임(fk, 기준 프레임)에서의 픽셀 정보(pk)에 매핑 시, 제 2 프레임(fk-1, 참조 프레임)에서의 픽셀 정보(pk-1)로부터 제 1 프레임(fk, 기준 프레임)에서의 픽셀 정보(pk)까지의 추정된 모션 Mk-1, k을 통해 픽셀의 구체적인 위치 정보를 알 수 있다.

다른 예를 들어, 픽셀 증가부(200)는 제 2 프레임(fk, 참조 프레임)에서의 픽셀 정보(p' k)를 제 1 프레임(fk-1, 기준 프레임)에서의 픽셀 정보(p' k-1)에 매핑한다.

픽셀 증가부(200)는 제 2 프레임(fk, 참조 프레임)에서의 픽셀 정보(p' k)는 그리드(grid)의 정수 위치 정보를 포함하고, 제 1 프레임(fk-1, 기준 프레임)에서의 픽셀 정보(p' k-1)는 그리드의 비정수 위치에 관한 정보를 포함할 수 있다.

픽셀 증가부(200)는 제 2 프레임(fk, 참조 프레임)에서의 픽셀 정보(p' k)를 제 1 프레임(fk-1, 기준 프레임)에서의 픽셀 정보(p' k-1)에 매핑 시, 제 2 프레임(fk, 참조 프레임)에서의 픽셀 정보(p' k)로부터 제 1 프레임(fk-1, 기준 프레임)에서의 픽셀 정보(p' k-1)까지의 추정된 모션 Mk, k-1을 통해 픽셀의 구체적인 위치 정보를 알 수 있다.

픽셀 증가부(200)는 제 1 프레임(fk-1, 기준 프레임)에서의 픽셀 정보(p' k-1)에서 가장 근접한 그리드(grid)의 정수 위치 정보(p" k-1)를 추정할 수 있다.

픽셀 증가부(200)는 제 1 프레임(fk-1, 기준 프레임)에서의 픽셀 정보(p" k-1)를 제 2 프레임(fk, 참조 프레임)에서의 픽셀 정보(p" k)에 매핑 시, 제 1 프레임(fk-1, 기준 프레임)에서의 픽셀 정보(p" k-1)로부터 제 2 프레임(fk, 참조 프레임)에서의 픽셀 정보(p" k)까지의 추정된 모션 -Mk, k-1을 통해 픽셀의 구체적인 위치 정보를 알 수 있다.

예를 들어, 제 2 프레임(fk-1, 참조 프레임)에서의 픽셀 정보(pk-1)와 제 1 프레임(fk-1, 기준 프레임)에서의 픽셀 정보(p" k-1)가 동일한 픽셀 정보를 갖는 경우에, 추정된 모션 Mk-1, k과 추정된 모션 -Mk, k-1은 크기가 서로 다르기 때문에 픽셀 정보(pk)와 픽셀 정보(p" k)가 일치하지 않을 수 있다. 즉, 픽셀 증가부(200)는 이러한 추정된 양방향 모션을 이용하여 하나의 픽셀을 두 개의 다른 위치(비정수 위치)에 매핑하여 유효 픽셀 수를 증가시킬 수 있다.

도 4는 본 발명의 일 실시예에 따른 영상 변환 시스템의 픽셀 위치 변환부를 설명하는 도면이다.

도 4를 참조하면, 픽셀 위치 변환부(300)는 광각 영상(1)의 그리드(grid, A)의 픽셀의 위치(B)를 룩업 테이블(Look Up Table, LUT)을 이용하여 협각 영상(2)의 그리드(C)의 픽셀의 위치(D)로 변환한다.

예를 들어, 광각 영상(1)의 그리드(A)의 픽셀의 위치(B)를 협각 영상(2)의 그리드(C)의 픽셀의 위치(D)로 변환하는(매핑하는) 방법은 광각 영상(1)과 협각 영상(2)의 변환 관계를 모델링(modeling)하여 룩업 테이블(LUT)에 저장하여 이용할 수 있다.

예를 들어, 룩업 테이블(LUT)은 광각 영상(1)의 그리드(A)의 픽셀의 위치(B)를 협각 영상(2)의 그리드(C)의 픽셀의 위치(D)에 매핑하는 포워드 워핑 룩업 테이블(Forward Warping Lookup table)을 주로 이용한다. 이러한 포워드 워핑 룩업 테이블은 광각 영상(1)의 그리드에서 정수 위치(예를 들어, x1, y1)에 존재하는 픽셀에 대하여 매핑되는 위치의 정보를 제공한다.

그러나, 룩업 테이블(LUT)은 광각 영상(1)의 그리드(A)에서 비정수 위치(x', y')에 존재하는 픽셀에 관한 위치 정보가 존재하지 않기 때문에 광각 영상(1)의 그리드(A)에서 비정수 위치(x', y')의 대응하는 협각 영상(2)의 그리드(C)에서 비정수 위치(

,

) 또는 매핑 위치는 광각 영상(1)의 그리드(A)에서 정수 위치(예를 들어, (x1, y1), (x1, y2), (x2, y1) 및 (x2, y2))에 기초하는 룩업 테이블(LUT)을 이용하여 추정될 수 있고, 양방향 보간법(bilinear interpolation)을 수행하여 추정될 수 있으며, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않는다.

여기서, 광각 영상(1)의 그리드(A)에서 비정수 위치(x', y')의 대응하는 협각 영상(2)의 그리드(C)에서 비정수 위치(

,

)는 하기 수학식 7을 이용하여 계산할 수 있고, 하기 수학식 8은 정수 위치 및 비정수 위치를 포함하는 픽셀 간의 거리에 따른 가중치 값을 개시한다.

[수학식 7]

[수학식 8]

도 5는 본 발명의 일 실시예에 따른 영상 변환 시스템의 픽셀 매핑부를 설명하는 도면이다.

도 5를 참조하면, 픽셀 매핑부(400)는 광각 영상(1)의 현재의 프레임(fk)의 픽셀 및 현재의 프레임(fk)과 인접한 프레임(fk-2, fk-1, fk+1, fk+2 등)의 픽셀들을 협각 영상(2)의 현재의 프레임(Fk)의 픽셀에 매핑한다. 예를 들어, 픽셀 매핑부(400)는 복수의 프레임(fk-2, fk-1, fk, fk+1, fk+2 등)에 존재하는 다수의 픽셀을 협각 영상(2)의 단수의 프레임(Fk)의 픽셀에 매핑할 수 있다.

도 6은 본 발명의 일 실시예에 따른 영상 변환 시스템의 픽셀이 증가되기 전/후의 실제 광각 영상을 설명하는 도면이다.

도 6의 (a)를 참조하면, 도 6의 (a)는 픽셀 증가부(200)에서 광각 영상(1)의 픽셀이 증가되기 전의 도면으로써, 검은색 홀(hole, h)이 다수 존재하기 때문에 광각 영상(1)에서 협각 영상(2)으로 변환 시에 화질이 감소될 수 있다.

도 6의 (b)를 참조하면, 도 6의 (b)는 픽셀 증가부(200)에서 광각 영상(1)의 픽셀이 증가된 후의 도면으로써, 검은색 홀(hole, h)이 감소되기 때문에 광각 영상(1)에서 협각 영상(2)으로 변환 시에 화질이 향상될 수 있다.

도 7은 본 발명의 일 실시예에 따른 영상 변환 방법을 실행하는 컴퓨팅 시스템을 보여주는 도면이다.

도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

1: 광각 영상
2: 협각 영상
10: 영상 변환 시스템
100: 모션 추정부
200: 픽셀 증가부
300: 픽셀 위치 변환부
400: 픽셀 매핑부
500: 필터부
600: 후처리부
1000: 컴퓨팅 시스템
1100: 프로세서
1200: 시스템 버스
1300: 메모리
1310: ROM
1320: RAM
1400: 사용자 인터페이스 입력장치
1500: 사용자 인터페이스 출력장치
1600: 스토리지
1700: 네트워크 인터페이스

Claims

광각 영상의 프레임 간의 모션을 양방향으로 추정하는 모션 추정부;
상기 양방향으로 추정된 모션을 이용하여 상기 광각 영상의 픽셀을 증가시키는 픽셀 증가부;
상기 광각 영상의 그리드의 픽셀의 위치를 룩업 테이블을 이용하여 협각 영상의 그리드의 픽셀의 위치로 변환하는 픽셀 위치 변환부;
상기 광각 영상의 복수의 프레임의 픽셀들을 상기 협각 영상의 단수의 프레임의 픽셀에 매핑하는 픽셀 매핑부; 및
상기 협각 영상의 매핑된 픽셀을 필터링하는 필터부
를 포함하는 것을 특징으로 하는 영상 변환 시스템.
청구항 1에 있어서,
상기 협각 영상에 남아 있는 블러(blur)를 제거하는 후처리부를 포함하는 것을 특징으로 하는 영상 변환 시스템.
청구항 1에 있어서,
상기 모션 추정부는,
상기 옵티컬 플로우 알고리즘을 이용하여 상기 광각 영상의 프레임 간 픽셀의 모션을 추정하는 것을 특징으로 하는 영상 변환 시스템.
청구항 1에 있어서,
상기 모션 추정부는,
상기 광각 영상 또는 AVM 영상에서의 모션 벡터를 산출하는 것을 특징으로 하는 영상 변환 시스템.
청구항 1에 있어서,
상기 모션 추정부는,
상기 광각 영상의 프레임 간 모든 픽셀의 모션을 누적하여 누적된 모션을 추정하는 것을 특징으로 하는 영상 변환 시스템.
청구항 1에 있어서,
상기 픽셀 증가부는,
상기 양방향으로 추정된 모션을 이용하여 단수의 정수 위치의 픽셀을 복수의 비정수 위치에 매핑하여 픽셀을 증가시키는 것을 특징으로 하는 영상 변환 시스템.
청구항 1에 있어서,
상기 픽셀 위치 변환부는,
상기 광각 영상의 그리드의 비정수 위치의 픽셀을 상기 협각 영상의 그리드의 비정수 위치의 픽셀로 매핑하는 것을 특징으로 하는 영상 변환 시스템.
청구항 7에 있어서,
상기 픽셀 위치 변환부는,
상기 광각 영상의 그리드의 정수 위치의 픽셀을 포함하는 룩업 테이블을 이용하여 상기 광각 영상의 그리드의 비정수 위치의 픽셀을 추정하고, 추정된 상기 광각 영상의 그리드의 비정수 위치의 픽셀을 상기 협각 영상의 그리드의 비정수 위치의 픽셀로 매핑하는 것을 특징으로 하는 영상 변환 시스템.
청구항 1에 있어서,
상기 픽셀 매핑부는,
상기 광각 영상의 현재의 프레임의 픽셀 및 상기 현재의 프레임의 픽셀과 인접한 프레임의 픽셀들을 상기 협각 영상의 현재의 프레임의 픽셀에 매핑하는 것을 특징으로 하는 영상 변환 시스템.
청구항 1에 있어서,
상기 필터부는,
상기 협각 영상의 그리드의 비정수 위치에 매핑된 픽셀에 가중치 합을 이용하여 상기 협각 영상의 그리드의 정수 위치의 픽셀을 계산하는 것을 특징으로 하는 영상 변환 시스템.
광각 영상의 프레임 간의 모션을 양방향으로 추정하는 단계;
상기 양방향으로 추정된 모션을 이용하여 상기 광각 영상의 픽셀을 증가시키는 단계;
상기 광각 영상의 그리드의 픽셀의 위치를 룩업 테이블을 이용하여 협각 영상의 그리드의 픽셀의 위치로 변환하는 단계;
상기 광각 영상의 복수의 프레임의 픽셀들을 상기 협각 영상의 단수의 프레임의 픽셀에 매핑하는 단계; 및
상기 협각 영상의 매핑된 픽셀을 필터링하는 단계;
를 포함하는 것을 특징으로 하는 영상 변환 방법.
청구항 11에 있어서,
상기 필터링하는 단계 이후,
상기 협각 영상에서 남아 있는 블러(blur)를 제거하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
청구항 11에 있어서,
상기 모션을 양방향으로 추정하는 단계는,
상기 옵티컬 플로우 알고리즘을 이용하여 상기 광각 영상의 프레임 간 픽셀의 모션을 추정하는 것을 특징으로 하는 영상 변환 방법.
청구항 11에 있어서,
상기 모션을 양방향으로 추정하는 단계는,
상기 광각 영상 또는 AVM 영상에서의 모션 벡터를 산출하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
청구항 11에 있어서,
상기 모션을 양방향으로 추정하는 단계는,
상기 광각 영상의 프레임 간 모든 픽셀의 모션을 누적하여 누적된 모션을 추정하는 것을 특징으로 하는 영상 변환 방법.
청구항 11에 있어서,
상기 픽셀을 증가시키는 단계는,
상기 양방향으로 추정된 모션을 이용하여 단수의 정수 위치의 픽셀을 복수의 비정수 위치에 매핑하여 픽셀을 증가시키는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
청구항 11에 있어서,
상기 픽셀의 위치로 변환하는 단계는,
상기 광각 영상의 그리드의 비정수 위치의 픽셀을 상기 협각 영상의 그리드의 비정수 위치의 픽셀로 매핑하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
청구항 11에 있어서,
상기 픽셀의 위치로 변환하는 단계는,
상기 광각 영상의 그리드의 정수 위치의 픽셀을 포함하는 룩업 테이블을 이용하여 상기 광각 영상의 그리드의 비정수 위치의 픽셀을 추정하는 단계; 및
추정된 상기 광각 영상의 그리드의 비정수 위치의 픽셀을 상기 협각 영상의 그리드의 비정수 위치의 픽셀로 매핑하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
청구항 11에 있어서,
상기 픽셀에 매핑하는 단계는,
상기 광각 영상의 현재의 프레임의 픽셀 및 상기 현재의 프레임의 픽셀과 인접한 프레임의 픽셀들을 상기 협각 영상의 현재의 프레임의 픽셀에 매핑하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
청구항 11에 있어서,
상기 필터링하는 단계는,
상기 협각 영상의 그리드의 비정수 위치에 매핑된 픽셀에 가중치 합을 이용하여 상기 협각 영상의 그리드의 정수 위치의 픽셀을 계산하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.