KR101606539B1 - 360도 원형 디스플레이의 3차원 영상 렌더링 방법 - Google Patents

Abstract

본 발명은 360도 원형 디스플레이의 3차원 영상 렌더링 방법에 관한 것으로서, 360도의 원형으로 배치되어 어라운드뷰를 출력하는 복수개의 디스플레이에 3차원 영상을 렌더링하기 위한 방법으로, 360도 어라운드뷰 영상을 생성하여 하나의 렌더링장치에 저장하는 영상저장단계와; 상기 360도 어라운드뷰 영상을 상기 디스플레이의 개수에 맞게 세로로 분할하는 제1영상분할단계와; 상기 제1영상분할단계에서 분할된 영상을 가로로 분할하는 제2영상분할단계; 및 상기 가로로 분할된 영상을 각각 개별로 3차원 렌더링하는 렌더링단계;를 포함하는 것을 기술적 요지로 한다. 이에 따른 본 발명은 360도로 배치된 복수개의 디스플레이에 렌더링장치를 하나만 사용하여 3차원 영상을 원활하게 렌더링할 수 있는 효과가 있다. 이에 따라 원형 디스플레이의 구축 비용을 크게 절감할 수 있는 효과가 있다.

Description

360도 원형 디스플레이의 3차원 영상 렌더링 방법{METHOD FOR RENDERING THREE DIMENSIONAL IMAGE OF CIRCLE TYPE DISPLAY}

본 발명은 360도 원형 디스플레이의 3차원 영상 렌더링 방법에 관한 것으로서, 더욱 상세하게는 360도의 원형으로 배치되어 어라운드뷰를 출력하는 복수개의 디스플레이에 3차원 영상을 렌더링하는 방법에 관한 것이다.

일반적으로 기존의 3차원 영상 체험관은 대상물이 가능한 물리적으로 보이는 방식의 3차원 영상을 단순히 2차원의 평면 스크린에 대상물을 디스플레이하여 관람자에게 3차원 영상을 제공하였다.

하지만, 이러한 3차원 영상 체험관은 2차원의 평면 스크린을 통해서 3차원 영상이 제공되므로 관람자의 뇌는 공간적인 측면의 인지가 낮아 3차원 영상을 느끼는 효과가 낮다는 문제점이 있었다.

이러한 문제점을 해결하고자 종래에는 도1과 같이 복수개의 디스플레이를 360도 원형으로 배치하고, 360도 파노라마 영상을 각각의 디스플레이에 분할 출력시켜 어라운드뷰를 제공하였다. 이에 따라 관람자는 원형으로 배치된 디스플레이의 중심에서 3차원 영상을 360도 모든 각도에서 볼 수 있도록 하여 관람자의 뇌는 공간적인 측면의 인지가 높아져 3차원 영상이 현실성 있게 느낄 수 있도록 한다.

그러나 상기와 같은 종래기술은 운영체제와 소프트웨어가 지원하는 픽셀 수에 제한이 있기 때문에 360도로 배치된 복수개의 디스플레이에 3차원 영상을 렌더링하기 위해서는 각각의 디스플레이마다 렌더링장치(컴퓨터)가 연결되어 있어야만 하는 문제점이 있다. 이에 따라 많은 수의 랜더링장치가 필요하게 되므로 360도 원형 디스플레이의 구축 비용이 크게 상승하는 문제점이 있다.

KR 10-0942765 B1 KR 10-2013-0107263 A

앞선 배경기술에서 도출된 문제점을 해결하기 위한 본 발명의 목적은, 360도로 배치된 복수개의 디스플레이에 연결되는 렌더링장치의 개수를 최소화한 상태에서 3차원 영상을 렌더링할 수 있도록 하는 360도 원형 디스플레이의 3차원 영상 렌더링 방법을 제공하는 것이다.

상기한 목적은, 본 발명의 실시예에 따라, 360도의 원형으로 배치되어 어라운드뷰 영상을 출력하는 복수개의 디스플레이에 3차원 영상을 렌더링하는 방법에 있어서, 360도 어라운드뷰 영상을 생성하여 하나의 렌더링장치에 저장하는 영상저장단계와; 상기 360도 어라운드뷰 영상을 상기 디스플레이의 개수에 맞게 세로로 분할하는 제1영상분할단계와; 상기 제1영상분할단계에서 분할된 영상을 가로로 분할하는 제2영상분할단계; 및 상기 가로로 분할된 영상을 각각 개별로 3차원 렌더링하는 렌더링단계;를 포함하는 것을 특징으로 하는 360도 원형 디스플레이의 3차원 영상 렌더링 방법에 의해 달성된다.

바람직하게는, 상기 렌더링장치에는 복수개의 그래픽카드가 장착되며, 상기 복수개의 그래픽카드는 상기 분할된 영상을 각각 개별로 3차원 렌더링하는 것을 특징으로 한다.

바람직하게는, 상기 제2영상분할단계에서 가로로 분할되는 영상의 개수는 2개 또는 3개인 것을 특징으로 한다.

바람직하게는, 상기 렌더링단계에서는 분할된 영상이 각각 일정 시간차를 두고 3차원 렌더링되는 것을 특징으로 한다.

상기한 실시예에 따른 본 발명에 의하면, 360도로 배치된 복수개의 디스플레이에 렌더링장치를 하나만 사용하여 3차원 영상을 원활하게 렌더링할 수 있는 효과가 있다. 이에 따라 원형 디스플레이의 구축 비용을 크게 절감할 수 있는 효과가 있다.

도1은 복수개의 디스플레이가 360도 원형으로 배치된 상태의 3차원 영상 체험관을 도시하는 예시도이고,
도2 내지 도5는 본 발명의 실시예에 따른 360도 원형 디스플레이의 3차원 영상 렌더링 방법을 설명하기 위한 개념도이다.

이하, 첨부된 도면들을 참조하면서 본 발명의 바람직한 실시예에 대해 상세히 설명하기로 한다. 한편, 해당 기술분야의 통상적인 지식을 가진자로부터 용이하게 알 수 있는 구성과 그에 대한 작용 및 효과에 대한 도시 및 상세한 설명은 간략히 하거나 생략하고 본 발명과 관련된 부분들을 중심으로 상세히 설명하도록 한다.

본 발명은 360도의 원형으로 배치되어 어라운드뷰 영상을 출력하는 복수개의 디스플레이에 3차원 영상을 렌더링하는 것을 전제로 한다.

그리고, 상세한 설명에 앞서 상기 어라운드뷰 영상의 생성 방법에 대해 구체적으로 설명하기로 한다.

본 발명의 실시예에 따른 어라운드뷰 영상 생성 방법은, 순차적으로 촬영된 복수의 영상들로부터 임의로 선택된 이웃하는 한 쌍의 영상을 이용하여 공통 카메라 파라메타(초점거리, 렌즈의 왜곡률, 이웃하는 영상 사이의 회전각)들을 산출하는 단계와, 상기 산출된 공통 카메라 파라메타들을 이용하여 각각의 이웃하는 영상들 사이의 상대적인 카메라 회전각들을 산출하는 단계와, 상기 산출된 공통 카메라 파라메타 및 이웃하는 영상들 사이의 상대적인 카메라 회전각을 이용하여 각 영상에 대응하는 카메라 투영 행렬을 산출하는 단계와, 상기 산출된 카메라 파라메타들을 이용하여 이웃하는 영상들 사이의 밝기 차이를 보정하는 단계와, 상기 산출된 카메라 투영 행렬을 이용하여 밝기 차이가 보장된 각 영상을 단일 원통에 투영하는 단계와, 상기 투영 결과 겹치는 영역에서 영상 블렌딩을 실시하여 미완성 파노라마 영상을 형성하는 단계와, 입력 영상들에서 첫 번째 영상과 상기 미완성 파노라마 영상을 이용하여 360도 파노라마 영상을 완성하는 단계를 포함할 수 있다.

상기 공통 카메라 파라메타를 산출하는 단계는, 주어진 입력 영상들에서 임의의 이웃하는 한 쌍의 영상을 선택하는 단계와, 상기 선택된 한 쌍의 영상에 대하여 영상 피라미드를 생성하는 단계와, 상기 영상 피라미드 상에서 템플리트 매칭을 통해 두 영상 사이의 평행이동량을 계산하는 단계와, 상기 영상 피라미드 상에서 비용 함수에 대한 LM 최소화를 통해 두 영상 사이의 회전각을 계산하는 단계와, 상기 영상 피라미드 상에서 비용 함수에 대한 LM 최소화를 통해 렌즈의 왜곡률 및 두 영상 사이의 8-파라메타 호모그라피를 계산하는 단계와, 상기 8-파라메타 호모그라피로부터 카메라의 초점거리를 계산하는 단계를 포함할 수 있다.

상기 각각의 이웃하는 영상들 사이의 상대적인 카메라 회전각들을 산출하는 단계는, 각각의 이웃하는 영상 쌍에 대하여 상기 산출된 렌즈 왜곡률 값을 이용하여 렌즈 왜곡이 보정된 영상을 생성하는 단계와, 상기 렌즈 왜곡이 보정된 영상을 이용하여 원통 투영 영상을 생성하는 단계와, 상기 원통 투영 영상으로부터 영상 피라미드를 생성하는 단계와, 상기 영상 피라미드 상에서 상기 공통 카메라 파라메타로써 산출한 회전각을 이용하여 영상 회전 후 템플리트 매칭을 통해 두 영상 상이의 평행이동량을 계산하는 단계와, 상기 영상 피라미드 상에서 비용 함수에 대한 LM 최소화를 통하여 두 영상 사이의 3-파라메타 호모그라프를 계산하는 단계를 포함할 수 있다.

상기 영상들의 첫 번째 영상과 미완성 파노라마 영상으로부터 완전한 360도 파노라마 영상을 생성하는 단계는, 템플리트 매칭을 통해 첫 번째 영상의 원통 투영 영상과 미완성 파노라마 영상 사이의 평행이동량을 계산하는 단계와, 두 영상을 합체한 후, 수직 방향으로 비틀어 파노라마 영상의 양쪽 끝이 일치하도록 변형하는 단계를 포함할 수 있다.

상술한 바와 같이 생성될 수 있는 360도 어라운드뷰 영상을 이용한 본 발명의 실시예에 따른 360도 원형 디스플레이의 3차원 영상 렌더링 방법은, 도2 내지 도5를 참조로 하여, 360도 어라운드뷰 영상을 생성하여 하나의 렌더링장치에 저장하는 영상저장단계와, 상기 360도 어라운드뷰 영상을 상기 디스플레이의 개수에 맞게 세로로 분할하는 제1영상분할단계와, 상기 제1영상분할단계에서 분할된 영상을 가로로 분할하는 제2영상분할단계와, 상기 가로로 분할된 영상을 각각 개별로 3차원 렌더링하는 렌더링단계를 포함한다.

상기 영상저장단계에서는 도2와 같이 360도 파노라마로 촬영된 영상을 가로로 길게 펼친다. 여기서, 렌더링장치는 통상 그래픽카드가 장착된 컴퓨터일 수 있다. 이러한 렌더링장치에는 복수개의 디스플레이와 연결되어야 하기 때문에 복수개의 출력단자가 형성되거나, 하나의 출력단자에서 출력을 분배하는 분배기가 연결될 수 있다. 그리고, 상기 렌더링장치에는 복수개의 그래픽카드가 장착될 수 있으며, 상기 복수개의 그래픽카드는 상기 제2영상분할단계에서 분할된 영상을 각각 개별로 3차원 렌더링한다.

상기 제1영상분할단계에서는 도3과 같이 디스플레이의 개수에 맞게 화면을 세로로 분할한다.

상기 제2영상분할단계에서는 도4와 같이 세로로 분할된 영상을 다시 가로로 분할하여 각각의 디스플레이에 출력될 수 있도록 한다. 하나의 디스플레이에는 운영체제와 소프트웨어가 지원하는 픽셀 수 제한으로 인해 여러 문제점을 야기한다. 따라서 하나의 디스플레이에 출력되는 영상을 다시 가로로 분할하므로 픽셀 수 제한을 극복할 수 있어 3차원 영상 렌더링이 용이하다. 여기서, 가로로 분할되는 영상의 개수는 2개 또는 3개인 것이, 영상의 왜곡을 최소화하면서 3차원 영상을 용이하게 렌더링하는데에 바람직하다.

한편, 상기 렌더링단계에서는 도5와 같이 분할된 영상이 각각 일정 시간차를 두고 3차원 렌더링되어 출력된다. 이는 렌더링 효율을 극대화하기 위해서인데, 하나의 디스플레이에서 가로로 분할된 영상들이 동시에 렌더링될 경우 그래픽카드 등의 성능 문제로 인해 렌더링 효율이 저하되는 경우가 발생한다. 따라서 가로로 분할된 영상은 일정 시간차를 두고 렌더링되는 것이 바람직한데, 이때 분할된 영상이 렌더링되는 시간차는 사람의 눈이 식별 불가능한 정도이며, 이러한 시간차는 당업자에 의해 적절히 선택될 수 있다.

지금까지 설명한 본 발명에 따르면, 360도로 배치된 복수개의 디스플레이에 렌더링장치를 하나만 사용하여 3차원 영상을 원활하게 렌더링할 수 있는 효과가 있다. 이에 따라 원형 디스플레이의 구축 비용을 크게 절감할 수 있는 효과가 있다.

전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 장점을 다소 폭넓게 상술하였다. 상술한 실시예들은 해당 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상의 범위에서 다양한 수정 및 변경이 가능할 것이다. 이러한 다양한 수정 및 변경 또한 본 발명의 기술적 사상의 범위 내라면 하기에서 기술되는 본 발명의 청구범위에 속한다 할 것이다.

Claims (4)

1. 360도의 원형으로 배치되어 어라운드뷰 영상을 출력하는 복수개의 디스플레이에 3차원 영상을 렌더링하는 방법에 있어서,
   360도 어라운드뷰 영상을 생성하여 하나의 렌더링장치에 저장하는 영상저장단계;
   상기 360도 어라운드뷰 영상을 상기 디스플레이의 개수에 맞게 세로로 분할하는 제1영상분할단계;
   상기 제1영상분할단계에서 분할된 영상을 가로로 분할하는 제2영상분할단계; 및
   상기 가로로 분할된 영상을 각각 개별로 3차원 렌더링하는 렌더링단계;를 포함하되,
   상기 영상저장단계는,
   순차적으로 촬영된 복수의 영상들로부터 임의로 선택된 이웃하는 한 쌍의 영상을 이용하여 공통 카메라 파라메타들을 산출하는 단계와, 상기 산출된 공통 카메라 파라메타들을 이용하여 각각의 이웃하는 영상들 사이의 상대적인 카메라 회전각들을 산출하는 단계와, 상기 산출된 공통 카메라 파라메타 및 이웃하는 영상들 사이의 상대적인 카메라 회전각을 이용하여 각 영상에 대응하는 카메라 투영 행렬을 산출하는 단계와, 상기 산출된 카메라 파라메타들을 이용하여 이웃하는 영상들 사이의 밝기 차이를 보정하는 단계와, 상기 산출된 카메라 투영 행렬을 이용하여 밝기 차이가 보장된 각 영상을 단일 원통에 투영하는 단계와, 상기 투영 결과 겹치는 영역에서 영상 블렌딩을 실시하여 미완성 파노라마 영상을 형성하는 단계와, 입력 영상들에서 첫 번째 영상과 상기 미완성 파노라마 영상을 이용하여 360도 파노라마 영상을 완성하는 단계를 포함하는 것이고,
   상기 렌더링장치에는 복수개의 그래픽카드가 장착되고, 상기 복수개의 그래픽카드는 상기 분할된 영상을 각각 개별로 3차원 렌더링하는 것이며,
   상기 제2영상분할단계에서 가로로 분할되는 영상의 개수는 2개 또는 3개인 것이고,
   상기 렌더링단계에서는 분할된 영상이 각각 일정 시간차를 두고 3차원 렌더링되는 것
   인 360도 원형 디스플레이의 3차원 영상 렌더링 방법.
2. 삭제
3. 삭제
4. 삭제

Images