KR20190112561A - 크로스 오버랩을 이용한 화질 보정 방법 및 이를 위한 장치 - Google Patents

Abstract

크로스 오버랩을 이용한 화질 보정 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 화질 보정 방법은 광각 렌즈를 장착한 두 개의 카메라들을 기반으로 360도에 상응하는 영상을 획득하는 단계; 및 상기 두 개의 카메라들 각각에 대한 화소 위치를 기반으로 상기 영상의 엣지 부분 화소가 서로 엇갈리도록 오버랩하여 파노라마로 복원하는 단계를 포함한다.

Description

크로스 오버랩을 이용한 화질 보정 방법 및 이를 위한 장치 {METHOD FOR CORRECTING IMAGE QUALITY USING CROSS OVERLAP AND APPARATUS USING THE SAME}

본 발명은 영상 복원 시 화질 보정 기술에 관한 것으로, 특히 카메라간 화소가 엇갈리도록 오버랩하여 복원된 영상의 화질을 향상시킬 수 있는 크로스 오버랩을 이용한 화질 보정 방법 및 이를 위한 장치에 관한 것이다.

VR(Virtual Reality) 컨텐츠는 1인칭의 시점에서 주위의 모든 공간, 즉 360도 공간을 볼 수 있어야 한다. 그러므로 사용자의 위치에서 360도의 공간 전체를 촬영해야 한다. 이 때, 360도의 공간을 촬영하기 위해서는 360도의 화각을 구현할 수 있어야 하는데, 카메라 한 대만으로 360도의 화각을 구현할 수 있는 방법은 현재로선 존재하지 않는다. 그래서 고안해낸 방법이 여러 대의 카메라를 연결하여 넓은 360도 화각을 구현하는 것이다

그러나, 이러한 구현 방식은 다수의 카메라를 사용하다 보니 장비의 가격이 올라가고, 부피가 커져 휴대성이 떨어진다는 문제가 발생한다. 이와 같은 초기 360도 카메라의 단점을 보완하기 위하여, 최근에는 2개의 카메라를 이용하여 360도 영상을 촬영할 수 있는 360도 카메라가 등장하였다. 2개의 카메라만을 이용하여도 360도의 공간 촬영이 가능한 이유는, 각각의 카메라가 화각이 180도가 넘는 광각렌즈 또는 어안렌즈를 사용하기 때문이다.

이렇듯 화각이 큰 광각렌즈를 이용함으로써 360도 카메라를 저렴하고 작게 만들 수는 있었지만, 광각렌즈에서 획득한 영상은 통형 왜곡이 심해서 동일크기의 물체가 일정한 움직임을 보이더라도 획득하는 위치에 따라서 상이한 차이가 발생하였다. 특히, 광각렌즈의 엣지(edge) 부분은 중앙 부분에 비해 동일 면적에 할당되는 화소의 수가 급감하는 현상이 발생하게 된다.

이와 같은 광각렌즈의 특징에 의해, 360도 카메라로 촬영된 영상은 렌즈의 중심에서 촬영된 영상과 렌즈의 엣지에서 촬영된 영상 간의 화질 차이가 발생할 수 밖에 없다. 엣지 부분의 왜곡 및 화질 저하를 감소시키기 위한 다양한 방법들이 제안되고 있지만, 화소의 부족에서 오는 근본적인 원인의 해결이 없는 한 그 한계가 명확할 수 밖에 없다.

한국 공개 특허 제10-2014-0117808호, 2014년 10월 8일 공개(명칭: 감시카메라의 영상 왜곡 보정장치 및 왜곡 보정방법)

본 발명의 목적은 360도 카메라에서 엣지 부분의 화소를 증가시켜 엣지 부분의 화질이 저하되는 근본적인 원인을 해결하는 것이다.

또한, 본 발명의 목적은 360도 카메라의 부피를 간소화시키고 비용을 절약하는 방법을 제공하는 것이다.

또한, 본 발명의 목적은 광각 렌즈에 의해 왜곡된 영상을 효과적으로 보정할 수 있는 방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 크로스 오버랩을 이용한 화질 보정 방법은 광각 렌즈를 장착한 두 개의 카메라들을 기반으로 360도에 상응하는 영상을 획득하는 단계; 및 상기 두 개의 카메라들 각각에 대한 화소 위치를 기반으로 상기 영상의 엣지 부분 화소가 서로 엇갈리도록 오버랩하여 파노라마로 복원하는 단계를 포함한다.

이 때, 복원하는 단계는 상기 두 개의 카메라들 각각의 화소 위치가 일치하는 경우, 상기 두 개의 카메라들 중 제1 카메라에 의해 촬영된 제1 영상의 엣지 부분 화소와 상기 두 개의 카메라들 중 제2 카메라에 의해 촬영된 제2 영상의 엣지 부분 화소가 서로 엇갈리도록 화소간 위치 매핑을 수행하는 단계; 및 상기 화소간 위치 매핑을 기반으로 상기 제1 영상의 엣지 부분과 상기 제2 영상의 엣지 부분을 오버랩하는 단계를 포함할 수 있다.

이 때, 복원하는 단계는 상기 화소 위치를 기반으로 상기 두 개의 카메라들 각각에 대한 엣지 위치를 산출하고, 상기 엣지 위치를 고려하여 오버랩 영역을 산출할 수 있다.

이 때, 광각 렌즈는 화각이 180도를 초과하는 렌즈에 상응할 수 있다.

이 때, 오버랩 영역의 화소 개수는 상기 제1 영상의 엣지 부분 화소 개수 또는 상기 제2 영상의 엣지 부분 화소 개수의 두 배에 상응할 수 있다.

이 때, 영상은 통형 왜곡된 영상에 상응하고, 상기 파노라마는 상기 영상이 정방형으로 복원된 영상에 상응할 수 있다.

이 때, 화질 보정 방법은 기설정된 주기마다 상기 엣지 위치를 산출하여 상기 오버랩 영역을 업데이트하는 단계를 더 포함할 수 있다.

또한, 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 장치는, 광각 렌즈를 장착한 두 개의 카메라들을 기반으로 360도에 상응하는 영상을 획득하고, 상기 두 개의 카메라들 각각에 대한 화소 위치를 기반으로 상기 영상의 엣지 부분 화소가 서로 엇갈리도록 오버랩하여 파노라마로 복원하는 프로세서; 및 상기 영상 및 상기 화소 위치 중 적어도 하나를 저장하는 메모리를 포함한다.

이 때, 프로세서는 상기 두 개의 카메라들 각각의 화소 위치가 일치하는 경우, 상기 두 개의 카메라들 중 제1 카메라에 의해 촬영된 제1 영상의 엣지 부분 화소와 상기 두 개의 카메라들 중 제2 카메라에 의해 촬영된 제2 영상의 엣지 부분 화소가 서로 엇갈리도록 화소간 위치 매핑을 수행하고, 상기 화소간 위치 매핑을 기반으로 상기 제1 영상의 엣지 부분과 상기 제2 영상의 엣지 부분을 오버랩 할 수 있다.

이 때, 프로세서는 상기 화소 위치를 기반으로 상기 두 개의 카메라들 각각에 대한 엣지 위치를 산출하고, 상기 엣지 위치를 고려하여 오버랩 영역을 산출할 수 있다.

이 때, 광각 렌즈는 화각이 180도를 초과하는 렌즈에 상응할 수 있다.

이 때, 오버랩 영역의 화소 개수는 상기 제1 영상의 엣지 부분 화소 개수 또는 상기 제2 영상의 엣지 부분 화소 개수의 두 배에 상응할 수 있다.

이 때, 영상은 통형 왜곡된 영상에 상응하고, 상기 파노라마는 상기 영상이 정방형으로 복원된 영상에 상응할 수 있다.

이 때, 프로세서는 기설정된 주기마다 상기 엣지 위치를 산출하여 상기 오버랩 영역을 업데이트할 수 있다.

본 발명에 따르면, 360도 카메라에서 엣지 부분의 화소를 증가시켜 엣지 부분의 화질이 저하되는 근본적인 원인을 해결할 수 있다.

또한, 본 발명은 360도 카메라의 부피를 간소화시키고 비용을 절약하는 방법을 제공할 수 있다.

또한, 본 발명은 광각 렌즈에 의해 왜곡된 영상을 효과적으로 보정할 수 있는 방법을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 방법을 나타낸 동작 흐름도이다.
도 2는 360도 카메라의 일 예를 나타낸 도면이다.
도 3은 본 발명에 따른 360도 카메라의 일 예를 나타낸 도면이다.
도 4는 본 발명에 따른 360도 카메라에 장착된 광각렌즈에 맺힌 상의 일 예를 나타낸 도면이다.
도 5는 도 4에 도시된 상을 정방형 파노라마 영상으로 복원한 일 예를 나타낸 도면이다.
도 6은 본 발명에 따른 두 개의 카메라들 각각의 화소 위치가 일치하는 경우의 일 예를 나타낸 도면이다.
도 7는 본 발명에 따른 두 개 의 카메라들 각각의 화소 위치가 일치하지 않는 경우의 일 예를 나타낸 도면이다.
도 8 내지 도 12는 본 발명에 따른 360도 카메라를 이용하여 촬영하는 과정과 그에 따른 오버랩 영역의 일 예를 나타낸 도면이다.
도 13은 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 시스템을 나타낸 도면이다.
도 14는 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 장치를 나타낸 블록도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 방법을 나타낸 동작 흐름도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 방법은 광각 렌즈를 장착한 두 개의 카메라들을 기반으로 360도에 상응하는 영상을 획득한다(S110).

종래에 306도의 공간을 촬영하기 위해서는 도 2에 도시된 것과 같이 여러 대의 카메라를 연결하여 360도의 화각을 구현한 360도 카메라를 이용할 수 있었다. 그러나, 도 2에 도시된 카메라의 경우에는 많은 수의 카메라들을 구비해야 하므로 장비의 가격이 비싸고, 부피가 커서 휴대하기 어렵다는 문제점이 존재하였다.

따라서, 본 발명에서는 도 3에 도시된 것과 같이 화각이 큰 광각렌즈 또는 어안렌즈를 구비한 2개의 카메라들을 이용한 360도 카메라를 통해 360도 공간을 촬영할 수 있는 방안을 제시하고자 한다.

이 때, 360도에 상응하는 영상은 화각이 180도를 초과하는 두 개의 영상들의 엣지(edge) 부분을 이어 붙여 생성된 것일 수 있으며, 두 개의 영상들은 서로 반대 방향의 공간을 촬영한 것일 수 있다. 즉, 두 개의 카메라들이 서로 등을 맞대고 서로 반대 방향을 동시에 촬영함으로써 360도에 상응하는 영상을 획득할 수 있다.

이 때, 두 개의 카메라들에 각각 장착된 광각 렌즈는 화각이 180도를 초과하는 렌즈에 상응할 수 있다. 본 발명에 따른 360도 카메라에 구비된 두 개의 카메라들은 서로 반대 방향을 바라보도록 고정될 수 있으므로, 각각의 카메라의 화각이 360도의 절반인 180도를 촬영할 수 있어야 한다.

또한, 도 4를 참조하면, 알 수 있듯이, 화각이 큰 광각 렌즈에 맺힌 상은 통형 왜곡이 심하기 때문에, 본 발명에 따라 360도에 상응하게 촬영된 영상에서는 동일크기의 물체가 일정한 움직임을 보이더라도 획득하는 위치에 따라서 상이한 차이를 보일 수 있다. 특히, 광각 렌즈의 엣지(edge) 부분은 중앙 부분에 비해서 동일 면적에 할당되는 화소의 수가 현저히 감소하는 현상이 발생하게 된다.

따라서, 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 방법은 두 개의 카메라들 각각에 대한 화소 위치를 기반으로 영상의 엣지 부분 화소가 서로 엇갈리도록 오버랩하여 파노라마로 복원한다(S120).

이 때, 본 발명에 따른 두 개의 카메라들에 장착된 광각 렌즈의 화각이 180도를 초과하기 때문에 영상의 엣지 부분이 오버랩 되어도 360도에 상응하는 모든 영역의 영상이 존재할 수 있다.

이 때, 영상은 통형 왜곡된 영상에 상응하고, 파노라마는 영상이 정방형으로 복원된 영상에 상응할 수 있다.

예를 들어, 도 4에 도시된 화면이 두 개의 카메라들에 의해 촬영된 영상의 화면이라고 가정한다면, 복원 과정을 통해 도 5에 도시된 것과 같이 영상을 정방형의 파노라마로 생성할 수 있다.

이 때, 도 5를 참조하면, 광각 렌즈의 중심에서 촬영된 부분에 비해 광각 렌즈의 엣지에서 촬영된 부분의 화질이 떨어지는 것을 확인할 수 있다. 이러한 차이는 광각 렌즈의 특성상 피할 수 없는 문제이므로, 카메라가 고정된 방향만 촬영한다면 엣지 부분에서 촬영되는 영상의 화질은 중앙 부분에서 촬영되는 영상에 비하여 계속 떨어질 수밖에 없다. 그러나, 사고의 발생이 어떤 곳에서 일어날지 모르는 산업 안전 감시의 경우, 이러한 문제점은 심각한 사고의 발생으로 이어질 수도 있으므로 신속히 해결해야 한다.

이 때, 두 개의 카메라들 각각의 화소 위치가 일치하는 경우, 두 개의 카메라들 중 제1 카메라에 의해 촬영된 제1 영상의 엣지 부분 화소와 두 개의 카메라들 중 제2 카메라에 의해 촬영된 제2 영상의 엣지 부분 화소가 서로 엇갈리도록 화소간 위치 매핑을 수행할 수 있다.

예를 들어, 두 개의 카메라들 각각의 화소 위치가 일치한다면, 도 6에 도시된 것과 같이 제1 카메라에 의해 촬영된 제1 영상(610)에서의 화소 위치(611)와 제2 카메라에 의해 촬영된 제2 영상(620)에서의 화소 위치(621)가 일치할 수 있다. 이와 같은 경우, 제1 영상(610)과 제2 영상(620)의 엣지 부분을 오버랩하여 화소에 대해 보다 정확한 정보를 얻을 확률은 상승할 수 있다. 그러나, 2개의 카메라들을 통해 얻는 정보의 차이는 미미할 확률이 크기 때문에 두 개의 영상들을 연결할 수 있다는 점 말고는 별다른 이득이 존재하지 않는다.

그러나, 만약 두 개의 카메라들 각각의 화소 위치가 일치하지 않고 엇갈린다면, 도 7에 도시된 것과 같이 제1 카메라에 의해 촬영된 제1 영상(710)에서의 화소 위치(711)와 제2 카메라에 의해 촬영된 제2 영상(720)에서의 화소 위치(721)도 엇갈리게 위치할 수 있다. 즉, 이러한 경우, 제1 영상(710)과 제2 영상(720)의 엣지 부분을 오버랩 한다면 오버랩 되는 부분의 화수 개수가 2배가 되는 효과가 발생하여 화질이 개선될 수 있다.

따라서, 본 발명에서는 이러한 화질 개선 효과를 위해, 제1 영상의 엣지 부분 화소와 제2 영상의 엣지 부분이 화소가 서로 일치하는 경우, 이를 엇갈리도록 위치 매핑을 수행하여 파노라마 복원 시 사용하도록 할 수 있다.

이 때, 화소간 위치 매핑을 기반으로 제1 영상의 엣지 부분과 제2 영상의 엣지 부분을 오버랩 할 수 있다. 이와 같이 화소가 엇갈린 상태에서 엣지 부분을 오버랩 함으로써 복원된 파노라마 전체의 화질이 상승하는 효과를 얻을 수 있다.

예를 들어, 도 8에 도시된 것과 같이 360도 카메라에 포함된 두 개의 카메라들 중 제1 카메라의 광각 범위(810)에 상응하게 촬영된 제1 영상은 도 9에 도시된 것처럼 통형 왜곡될 수 있다. 따라서, 도 9에 도시된 영역들 중 엣지 부분에 해당하는 B 영역은 영상을 정방형의 파노라마로 복원할 경우에 화질이 저하될 수 있다.

또한, 도 10에 도시된 것과 같이 360도 카메라에 포함된 두 개의 카메라들 중 제2 카메라의 광각 범위(1010)에 상응하게 촬영된 제2 영상도 도 11에 도시된 것처럼 통형 왜곡되기 때문에 엣지 부분에 해당하는 A 영역의 화질이 저하될 수 있다.

따라서, 본 발명에서는 도 12에 도시된 것처럼 제1 카메라로 촬영된 제1 영상의 엣지 부분과 제2 카메라로 촬영된 제2 영상의 엣지 부분의 화소가 엇갈리도록 오버랩하여, 각각의 엣지 부분에 해당하는 오버랩 영역(1210, 1220)의 화질 저하를 방지할 수 있다.

이 때, 엣지 부분은 두 개의 카메라들에 장착된 광각 렌즈의 화각과 본 발명의 일실시예에 따른 시스템의 관리자의 설정에 따라 결정될 수 있다. 예를 들어, 광각 렌즈의 화각이 클수록 제1 영상과 제2 영상 간에 오버랩 가능한 영역이 넓어질 수 있다.

이 때, 화소 위치를 기반으로 두 개의 카메라들 각각에 대한 엣지 위치를 산출하고, 엣지 위치를 고려하여 오버랩 영역을 산출할 수 있다.

예를 들어, 두 개의 카메라들 각각에 대한 화소 위치가 동일한 경우에는 오버랩되는 부분의 화소를 서로 비교함으로써 오버랩 영역이 어느 부분까지인지 판단할 수 있다, 그러나, 두 개의 카메라들 각각에 대한 화소 위치가 동일하지 않은 경우에는 화소의 비교만으로 오버랩 영역을 판단하기 어려울 수 있다.

따라서, 두 개의 카메라들 각각에 대한 화소 위치가 동일하지 않은 경우, 두 개의 카메라들 중 어느 하나의 카메라가 나머지 하나의 카메라의 화소 위치를 기반으로 자신의 화소 위치와 동일한 나머지 카메라의 화소 위치의 데이터를 계산할 수 있다. 이러한 과정을 통해 두 개의 카메라들이 촬영한 영상이 오버랩되는 오버랩 영역을 산출할 수 있다.

이 때, 오버랩 영역의 화소 개수는 제1 영상의 엣지 부분 화소 개수 또는 제2 영상의 엣지 부분 화소 개수의 두 배에 상응할 수 있다. 즉, 제1 영상의 엣지 부분을 구성하는 화소들 사이사이에 제2 영상의 엣지 부분을 구성하는 화소가 엇갈려 포함되기 때문에 오버랩 영역의 화소 개수는 두 개의 카메라들로 촬영된 영상들의 엣지 부분 화소 개수의 2배에 상응할 수 있다.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 방법은 기설정된 주기마다 엣지 위치를 산출하여 오버랩 영역을 업데이트한다.

예를 들어, 본 발명의 일실시예에 따른 360도 카메라가 출시되는 경우, 360도 카메라를 구성하는 두 개의 카메라들에 대한 화소 위치를 기반으로 엣지 위치를 최초로 산출하여 오버랩 영역을 결정할 수 있다. 이 후부터는 기설정된 주기마다 산출된 엣지 위치를 고정시켜 오버랩 영역을 산출하는데 사용할 수 있다.

이와 같은 업데이트 과정을 통해 지속적으로 360도 카메라의 엣지 위치를 보정함으로써 화질 보정 시 오류가 발생하지 않도록 관리할 수 있다.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 방법은 네트워크와 같은 통신망을 통해 화질 보정을 위해 필요한 정보를 송수신할 수 있다. 특히, 두 개의 카메라들을 통해 영상을 수신하거나, 화소 위치 정보를 수신할 수도 있다.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 화질 보정을 위한 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장할 수 있다.

이와 같은 크로스 오버랩을 이용한 화질 보정 방법을 이용함으로써, 360도 카메라에서 엣지 부분의 화소를 증가시켜 엣지 부분의 화질이 저하되는 근본적인 원인을 해결할 수 있다.

또한, 360도 카메라의 부피를 간소화시키고 비용을 절약하는 방법을 제공할 수 있으며, 광각 렌즈에 의해 왜곡된 영상을 효과적으로 보정할 수 있는 방법을 제공할 수 있다.

도 13은 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 시스템을 나타낸 도면이다.

도 13을 참조하면, 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 시스템은 두 개의 카메라들을 포함하는 360도 카메라(1310), 화질 보정 장치(1320) 및 네트워크(1330)를 포함한다.

360도 카메라(1310)는 화각이 180도를 초과하는 광각 렌즈를 장착한 두 개의 카메라들을 포함하는 것으로, 360도의 공간을 촬영할 수 있다. 이 때, 두 개의 카메라들은 서로 반대 방향을 촬영할 수 있도록 고정될 수 있다.

화질 보정 장치(1320)는 360도 카메라(1310)를 구성하는 광각 렌즈를 장착한 두 개의 카메라들을 기반으로 360도에 상응하는 영상을 획득한다.

이 때, 광각 렌즈는 화각이 180도를 초과하는 렌즈에 상응할 수 있다.

또한, 화질 보정 장치(1320)는 두 개의 카메라들 각각에 대한 화소 위치를 기반으로 영상의 엣지 부분 화소가 서로 엇갈리도록 오버랩하여 파노라마로 복원한다.

이 때, 두 개의 카메라들 각각의 화소 위치가 일치하는 경우, 두 개의 카메라들 중 제1 카메라에 의해 촬영된 제1 영상의 엣지 부분 화소와 두 개의 카메라들 중 제2 카메라에 의해 촬영된 제2 영상의 엣지 부분 화소가 서로 엇갈리도록 화소간 위치 매핑을 수행할 수 있다.

이 때, 화소간 위치 매핑을 기반으로 제1 영상의 엣지 부분과 제2 영상의 엣지 부분을 오버랩 할 수 있다.

이 때, 화소 위치를 기반으로 두 개의 카메라들 각각에 대한 엣지 위치를 산출하고, 엣지 위치를 고려하여 오버랩 영역을 산출할 수 있다.

이 때, 오버랩 영역의 화소 개수는 제1 영상의 엣지 부분 화소 개수 또는 제2 영상의 엣지 부분 화소 개수의 두 배에 상응할 수 잇다.

이 때, 영상은 통형 왜곡된 영상에 상응하고, 파노라마는 영상이 정방형으로 복원된 영상에 상응할 수 있다.

또한, 화질 보정 장치(1320)는 기설정된 주기마다 엣지 위치를 산출하여 오버랩 영역을 업데이트한다.

네트워크(1330)는 360도 카메라(1310)와 화질 보정 장치(1320) 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.

도 14는 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 장치를 나타낸 블록도이다.

도 14를 참조하면, 본 발명의 일실시예에 따른 크로스 오버랩을 이용한 화질 보정 장치는 통신부(1410), 프로세서(1420) 및 메모리(1430)를 포함한다.

통신부(1410)는 네트워크와 같은 통신망을 통해 화질 보정을 위해 필요한 정보를 송수신하는 역할을 한다. 특히, 본 발명의 일실시예에 따른 통신부(1410)는 360도 카메라를 구성하는 두 개의 카메라들을 통해 영상을 수신하거나, 화소 위치에 관련된 정보를 수신할 수도 있다.

프로세서(1420)는 광각 렌즈를 장착한 두 개의 카메라들을 기반으로 360도에 상응하는 영상을 획득한다.

종래에 306도의 공간을 촬영하기 위해서는 도 2에 도시된 것과 같이 여러 대의 카메라를 연결하여 360도의 화각을 구현한 360도 카메라를 이용할 수 있었다. 그러나, 도 2에 도시된 카메라의 경우에는 많은 수의 카메라들을 구비해야 하므로 장비의 가격이 비싸고, 부피가 커서 휴대하기 어렵다는 문제점이 존재하였다.

따라서, 본 발명에서는 도 3에 도시된 것과 같이 화각이 큰 광각렌즈 또는 어안렌즈를 구비한 2개의 카메라들을 이용한 360도 카메라를 통해 360도 공간을 촬영할 수 있는 방안을 제시하고자 한다.

이 때, 360도에 상응하는 영상은 화각이 180도를 초과하는 두 개의 영상들의 엣지(edge) 부분을 이어 붙여 생성된 것일 수 있으며, 두 개의 영상들은 서로 반대 방향의 공간을 촬영한 것일 수 있다. 즉, 두 개의 카메라들이 서로 등을 맞대고 서로 반대 방향을 동시에 촬영함으로써 360도에 상응하는 영상을 획득할 수 있다.

이 때, 두 개의 카메라들에 각각 장착된 광각 렌즈는 화각이 180도를 초과하는 렌즈에 상응할 수 있다. 본 발명에 따른 360도 카메라에 구비된 두 개의 카메라들은 서로 반대 방향을 바라보도록 고정될 수 있으므로, 각각의 카메라의 화각이 360도의 절반인 180도를 촬영할 수 있어야 한다.

또한, 도 4를 참조하면, 알 수 있듯이, 화각이 큰 광각 렌즈에 맺힌 상은 통형 왜곡이 심하기 때문에, 본 발명에 따라 360도에 상응하게 촬영된 영상에서는 동일크기의 물체가 일정한 움직임을 보이더라도 획득하는 위치에 따라서 상이한 차이를 보일 수 있다. 특히, 광각 렌즈의 엣지(edge) 부분은 중앙 부분에 비해서 동일 면적에 할당되는 화소의 수가 현저히 감소하는 현상이 발생하게 된다.

따라서, 프로세서(1420)는 두 개의 카메라들 각각에 대한 화소 위치를 기반으로 영상의 엣지 부분 화소가 서로 엇갈리도록 오버랩하여 파노라마로 복원한다.

이 때, 본 발명에 따른 두 개의 카메라들에 장착된 광각 렌즈의 화각이 180도를 초과하기 때문에 영상의 엣지 부분이 오버랩 되어도 360도에 상응하는 모든 영역의 영상이 존재할 수 있다.

이 때, 영상은 통형 왜곡된 영상에 상응하고, 파노라마는 영상이 정방형으로 복원된 영상에 상응할 수 있다.

예를 들어, 도 4에 도시된 화면이 두 개의 카메라들에 의해 촬영된 영상의 화면이라고 가정한다면, 복원 과정을 통해 도 5에 도시된 것과 같이 영상을 정방형의 파노라마로 생성할 수 있다.

이 때, 도 5를 참조하면, 광각 렌즈의 중심에서 촬영된 부분에 비해 광각 렌즈의 엣지에서 촬영된 부분의 화질이 떨어지는 것을 확인할 수 있다. 이러한 차이는 광각 렌즈의 특성상 피할 수 없는 문제이므로, 카메라가 고정된 방향만 촬영한다면 엣지 부분에서 촬영되는 영상의 화질은 중앙 부분에서 촬영되는 영상에 비하여 계속 떨어질 수밖에 없다. 그러나, 사고의 발생이 어떤 곳에서 일어날지 모르는 산업 안전 감시의 경우, 이러한 문제점은 심각한 사고의 발생으로 이어질 수도 있으므로 신속히 해결해야 한다.

이 때, 두 개의 카메라들 각각의 화소 위치가 일치하는 경우, 두 개의 카메라들 중 제1 카메라에 의해 촬영된 제1 영상의 엣지 부분 화소와 두 개의 카메라들 중 제2 카메라에 의해 촬영된 제2 영상의 엣지 부분 화소가 서로 엇갈리도록 화소간 위치 매핑을 수행할 수 있다.

예를 들어, 두 개의 카메라들 각각의 화소 위치가 일치한다면, 도 6에 도시된 것과 같이 제1 카메라에 의해 촬영된 제1 영상(610)에서의 화소 위치(611)와 제2 카메라에 의해 촬영된 제2 영상(620)에서의 화소 위치(621)가 일치할 수 있다. 이와 같은 경우, 제1 영상(610)과 제2 영상(620)의 엣지 부분을 오버랩하여 화소에 대해 보다 정확한 정보를 얻을 확률은 상승할 수 있다. 그러나, 2개의 카메라들을 통해 얻는 정보의 차이는 미미할 확률이 크기 때문에 두 개의 영상들을 연결할 수 있다는 점 말고는 별다른 이득이 존재하지 않는다.

그러나, 만약 두 개의 카메라들 각각의 화소 위치가 일치하지 않고 엇갈린다면, 도 7에 도시된 것과 같이 제1 카메라에 의해 촬영된 제1 영상(710)에서의 화소 위치(711)와 제2 카메라에 의해 촬영된 제2 영상(720)에서의 화소 위치(721)도 엇갈리게 위치할 수 있다. 즉, 이러한 경우, 제1 영상(710)과 제2 영상(720)의 엣지 부분을 오버랩 한다면 오버랩 되는 부분의 화수 개수가 2배가 되는 효과가 발생하여 화질이 개선될 수 있다.

따라서, 본 발명에서는 이러한 화질 개선 효과를 위해, 제1 영상의 엣지 부분 화소와 제2 영상의 엣지 부분이 화소가 서로 일치하는 경우, 이를 엇갈리도록 위치 매핑을 수행하여 파노라마 복원 시 사용하도록 할 수 있다.

이 때, 화소간 위치 매핑을 기반으로 제1 영상의 엣지 부분과 제2 영상의 엣지 부분을 오버랩 할 수 있다. 이와 같이 화소가 엇갈린 상태에서 엣지 부분을 오버랩 함으로써 복원된 파노라마 전체의 화질이 상승하는 효과를 얻을 수 있다.

예를 들어, 도 8에 도시된 것과 같이 360도 카메라에 포함된 두 개의 카메라들 중 제1 카메라의 광각 범위(810)에 상응하게 촬영된 제1 영상은 도 9에 도시된 것처럼 통형 왜곡될 수 있다. 따라서, 도 9에 도시된 영역들 중 엣지 부분에 해당하는 B 영역은 영상을 정방형의 파노라마로 복원할 경우에 화질이 저하될 수 있다.

또한, 도 10에 도시된 것과 같이 360도 카메라에 포함된 두 개의 카메라들 중 제2 카메라의 광각 범위(1010)에 상응하게 촬영된 제2 영상도 도 11에 도시된 것처럼 통형 왜곡되기 때문에 엣지 부분에 해당하는 A 영역의 화질이 저하될 수 있다.

따라서, 본 발명에서는 도 12에 도시된 것처럼 제1 카메라로 촬영된 제1 영상의 엣지 부분과 제2 카메라로 촬영된 제2 영상의 엣지 부분의 화소가 엇갈리도록 오버랩하여, 각각의 엣지 부분에 해당하는 오버랩 영역(1210, 1220)의 화질 저하를 방지할 수 있다.

이 때, 엣지 부분은 두 개의 카메라들에 장착된 광각 렌즈의 화각과 본 발명의 일실시예에 따른 시스템의 관리자의 설정에 따라 결정될 수 있다. 예를 들어, 광각 렌즈의 화각이 클수록 제1 영상과 제2 영상 간에 오버랩 가능한 영역이 넓어질 수 있다.

이 때, 화소 위치를 기반으로 두 개의 카메라들 각각에 대한 엣지 위치를 산출하고, 엣지 위치를 고려하여 오버랩 영역을 산출할 수 있다.

예를 들어, 두 개의 카메라들 각각에 대한 화소 위치가 동일한 경우에는 오버랩되는 부분의 화소를 서로 비교함으로써 오버랩 영역이 어느 부분까지인지 판단할 수 있다, 그러나, 두 개의 카메라들 각각에 대한 화소 위치가 동일하지 않은 경우에는 화소의 비교만으로 오버랩 영역을 판단하기 어려울 수 있다.

따라서, 두 개의 카메라들 각각에 대한 화소 위치가 동일하지 않은 경우, 두 개의 카메라들 중 어느 하나의 카메라가 나머지 하나의 카메라의 화소 위치를 기반으로 자신의 화소 위치와 동일한 나머지 카메라의 화소 위치의 데이터를 계산할 수 있다. 이러한 과정을 통해 두 개의 카메라들이 촬영한 영상이 오버랩되는 오버랩 영역을 산출할 수 있다.

이 때, 오버랩 영역의 화소 개수는 제1 영상의 엣지 부분 화소 개수 또는 제2 영상의 엣지 부분 화소 개수의 두 배에 상응할 수 있다. 즉, 제1 영상의 엣지 부분을 구성하는 화소들 사이사이에 제2 영상의 엣지 부분을 구성하는 화소가 엇갈려 포함되기 때문에 오버랩 영역의 화소 개수는 두 개의 카메라들로 촬영된 영상들의 엣지 부분 화소 개수의 2배에 상응할 수 있다.

또한, 프로세서(1420)는 기설정된 주기마다 엣지 위치를 산출하여 오버랩 영역을 업데이트한다.

예를 들어, 본 발명의 일실시예에 따른 360도 카메라가 출시되는 경우, 360도 카메라를 구성하는 두 개의 카메라들에 대한 화소 위치를 기반으로 엣지 위치를 최초로 산출하여 오버랩 영역을 결정할 수 있다. 이 후부터는 기설정된 주기마다 산출된 엣지 위치를 고정시켜 오버랩 영역을 산출하는데 사용할 수 있다.

메모리(1430)는 360도에 상응하는 영상 및 두 개의 카메라들 각각에 대한 화소 위치 중 적어도 하나를 저장한다.

또한, 메모리(1430)는 상술한 바와 같이 본 발명의 실시예에 따른 화질 보정을 위한 기능을 지원할 수 있다. 이 때, 메모리(1430)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.

한편, 화질 보정 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

이와 같은 화질 보정 장치를 통해, 360도 카메라에서 엣지 부분의 화소를 증가시켜 엣지 부분의 화질이 저하되는 근본적인 원인을 해결할 수 있다.

또한, 360도 카메라의 부피를 간소화시키고 비용을 절약하는 방법을 제공할 수 있다.

또한, 광각 렌즈에 의해 왜곡된 영상을 효과적으로 보정할 수 있는 방법을 제공할 수 있다.

이상에서와 같이 본 발명에 따른 크로스 오버랩을 이용한 화질 보정 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

300, 800, 1000, 1310: 360도 카메라 610, 710: 제1 영상
611, 711, 621, 721: 화소 위치 620, 720: 제2 영상
810, 1010: 광각 범위 1210, 1220: 오버랩 영역
1320: 화질 보정 장치 1330: 네트워크
1410: 통신부 1420: 프로세서
1430: 메모리

Claims (1)

1. 광각 렌즈를 장착한 두 개의 카메라들을 기반으로 360도에 상응하는 영상을 획득하는 단계; 및
   상기 두 개의 카메라들 각각에 대한 화소 위치를 기반으로 상기 영상의 엣지 부분 화소가 서로 엇갈리도록 오버랩하여 파노라마로 복원하는 단계
   를 포함하는 것을 특징으로 하는 크로스 오버랩을 이용한 화질 보정 방법.

Images