KR20180108967A - 멀티비전 화면 영상 렌더링 시스템, 장치 및 방법 - Google Patents

Abstract

본 발명은 멀티비전 화면 영상 렌더링 시스템, 장치 및 방법에 관한 것으로서, 입력 영상의 해상도에 따라 단일 화면의 렌더링을 위한 처리 시간을 계산하고, 계산된 처리 시간과 입력 영상의 초당 프레임수(Frame Per Second, FPS)에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산하며, 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정하고, 결정된 렌더링 순서에 따라 화면 각각의 렌더링을 진행하여, 렌더링이 완료된 화면의 영상 데이터를 대응하는 디스플레이 장치로 전송하며, 이를 통해 멀티비전 화면에 재생되는 영상 사이의 동기 불일치를 최소화할 수 있다.

Description

멀티비전 화면 영상 렌더링 시스템, 장치 및 방법 {Multi-vision screen image rendering system, device and method}

본 발명은 화면에 표시되는 영상의 렌더링 방법에 관한 것으로, 더욱 상세하게는 멀티비전 화면 간의 동기 불일치를 줄이기 위한 멀티비전 화면 영상 렌더링 시스템, 장치 및 방법에 관한 것이다.

멀티비전 시스템은 전체 화면을 복수개의 화면으로 분할하고, 분할된 화면을 복수의 디스플레이 장치에 분배하여 전체화면을 표현하는 시스템으로, 일반적으로 고해상도의 영상을 복수의 저해상도 디스플레이 장치를 이용하여 분할 표현한다. 예를 들어 멀티비전 시스템은 전체 화면을 4개 화면(2x2)이나 9개 화면(3x3) 등으로 분할하고, 분할된 화면 각각을 저해상도 디스플레이 장치를 이용해 표현한다.

멀티비전 시스템은 디스플레이 장치와 렌더링 장치, 제어 장치 등 시스템을 구성하는 하드웨어 장비 특성으로 인해 개별 디스플레이 장치 간 동기화 문제가 발생하게 되며, 복수의 디스플레이 장치 간의 동기가 맞지 않으면 시간적으로 다른 화면을 보여주게 되는 문제가 발생한다.

예를 들어 4K UHD(Ultra High Definition, 3840x2160 화소) 이상의 해상도를 가진 고해상도 영상의 경우, 하나의 렌더링 장치에서 전체영상을 렌더링하기에는 처리해야할 데이터양이 많기 때문에, 영상의 생성 단계부터 디스플레이 장치의 개수를 고려해 영상을 분할하여 압축 생성한다. 그리고 고해상도 영상을 표현하기 위한 멀티비전 시스템은 분할된 입력 영상을 순차적으로 렌더링한 후, 영상 데이터를 순차적으로 디스플레이 장치로 전달해 표시한다.

만일 4개 화면(2x2)을 가진 멀티비전 시스템에서 첫번째로 영상을 표시하는 디스플레이 장치의 화면과 세번째 또는 네번째로 영상을 표시하는 디스플레이 장치의 화면은, 영상 표시를 위한 시간적인 간격을 갖게 되고 이에 따라 미세한 동기 불일치 현상이 발생하게 된다.

공개특허공보 제10-2014-0088462호 (2014.07.10. 공개)

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 멀티비전 화면의 동기 불일치를 줄일 수 있도록 영상의 렌더링 순서를 결정하여 자연스러운 멀티비전 영상을 재생할 수 있는 멀티비전 화면 영상 렌더링 시스템, 장치 및 방법을 제공하기 위한 것이다.

상기와 같은 목적을 달성하기 위한 본 발명의 멀티비전 화면 렌더링 시스템은, 입력 영상의 해상도에 따라 단일 화면의 렌더링을 위한 처리 시간을 계산하고, 계산된 처리 시간과 상기 입력 영상의 초당 프레임수(Frame Per Second, FPS)에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산하며, 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정하고, 결정된 렌더링 순서에 따라 화면 각각의 렌더링을 진행하여, 렌더링이 완료된 화면의 영상 데이터를 대응하는 디스플레이 장치로 전송하는 영상 렌더링 장치, 및 상기 영상 렌더링 장치로부터 영상 데이터를 수신하여 화면에 표시하는 복수의 디스플레이 장치를 포함하는 것을 특징으로 한다.

본 발명의 멀티비전 화면 렌더링 시스템에 있어서, 상기 영상 렌더링 장치는, 복수의 디스플레이 장치에 대응하는 모든 화면에 대한 한 주기의 렌더링 순서가 결정되면, 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하여, 다음 화면의 재생 전까지의 전체 렌더링 순서를 결정하는 것을 특징으로 한다.

본 발명의 멀티비전 화면 렌더링 시스템에 있어서, 상기 영상 렌더링 장치는, 시간적으로 더 멀리 떨어지도록 렌더링 순서가 결정된 화면들이 우선적으로 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 멀티비전 화면 렌더링 장치는, 입력 영상의 해상도에 따라 단일 화면의 렌더링을 위한 처리 시간을 계산하고, 계산된 처리 시간과 상기 입력 영상의 초당 프레임수에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산하며, 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정하는 제어 모듈, 및 상기 제어 모듈에서 결정한 렌더링 순서에 따라 화면 각각의 렌더링을 진행하고, 렌더링이 완료된 화면의 영상 데이터를 대응하는 디스플레이 장치로 전송하는 렌더링 모듈을 포함하는 것을 특징으로 한다.

본 발명의 멀티비전 화면 렌더링 장치에 있어서, 상기 제어 모듈은, 복수의 디스플레이 장치에 대응하는 모든 화면에 대한 한 주기의 렌더링 순서가 결정되면, 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하여, 다음 화면의 재생 전까지의 전체 렌더링 순서를 결정하는 것을 특징으로 한다.

본 발명의 멀티비전 화면 렌더링 장치에 있어서, 상기 제어 모듈은, 시간적으로 더 멀리 떨어지도록 렌더링 순서가 결정된 화면들이 우선적으로 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하는 것을 특징으로 한다.

본 발명의 멀티비전 화면 렌더링 장치에 있어서, 상기 제어 모듈은, 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산한 결과 복수의 디스플레이 장치에 대응하는 모든 화면에 대한 한 주기의 렌더링만이 가능한 경우, 다음 화면의 렌더링 순서를 결정할 때 이전 화면에서 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 렌더링 순서를 결정하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 멀티비전 화면 렌더링 방법은, 영상 렌더링 장치가 입력 영상의 해상도에 따라 단일 화면의 렌더링을 위한 처리 시간을 계산하는 단계, 상기 영상 렌더링 장치가 계산된 처리 시간과 상기 입력 영상의 초당 프레임수에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산하는 단계, 및 상기 영상 렌더링 장치가 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 멀티비전 화면 렌더링 방법에 있어서, 상기 렌더링 순서를 결정하는 단계는, 복수의 디스플레이 장치에 대응하는 모든 화면에 대한 한 주기의 렌더링 순서가 결정되면, 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하여, 다음 화면의 재생 전까지의 전체 렌더링 순서를 결정하는 것을 특징으로 한다.

본 발명의 멀티비전 화면 렌더링 방법에 있어서, 상기 렌더링 순서를 결정하는 단계는, 시간적으로 더 멀리 떨어지도록 렌더링 순서가 결정된 화면들이 우선적으로 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하는 것을 특징으로 한다.

본 발명의 멀티비전 화면 렌더링 방법에 있어서, 상기 렌더링 횟수를 계산하는 단계에서 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산한 결과 복수의 디스플레이 장치에 대응하는 모든 화면에 대한 한 주기의 렌더링만이 가능한 경우, 다음 화면의 렌더링 순서를 결정할 때 이전 화면에서 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 렌더링 순서를 결정하는 단계를 더 포함하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 멀티비전 화면 렌더링 시스템은, 입력 영상의 해상도에 따라 단일 화면의 렌더링을 위한 처리 시간을 계산하고, 계산된 처리 시간과 상기 입력 영상의 초당 프레임수에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산하며, 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정하고, 렌더링 시점에 대한 동기 신호를 전송하며, 결정된 렌더링 순서에 따라 화면 각각의 렌더링을 진행하여, 렌더링이 완료된 화면의 영상 데이터를 대응하는 디스플레이 장치로 전송하는 마스터 영상 렌더링 장치, 입력 영상의 해상도에 따라 단일 화면의 렌더링을 위한 처리 시간을 계산하고, 계산된 처리 시간과 상기 입력 영상의 초당 프레임수에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산하며, 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정하고, 결정된 렌더링 순서에 따라 상기 마스터 영상 렌더링 장치로부터 수신한 동기 신호에 맞게 화면 각각의 렌더링을 진행하여, 렌더링이 완료된 화면의 영상 데이터를 대응하는 디스플레이 장치로 전송하는 슬레이브 영상 렌더링 장치, 및 상기 마스터 영상 렌더링 장치와 상기 슬레이브 영상 렌더링 장치로부터 영상 데이터를 수신하여 화면에 표시하는 복수의 디스플레이 장치를 포함하는 것을 특징으로 한다.

본 발명의 멀티비전 화면 영상 렌더링 시스템, 장치 및 방법에 따르면 다음 화면의 재생 전까지 렌더링이 가능한 횟수를 판단하고 멀티비전 화면의 동기 불일치를 줄이는 방향으로 렌더링 순서를 결정하여 렌더링을 진행함으로써, 멀티비전 화면에 표시되는 영상의 동기 불일치 현상을 최소화할 수 있다.

이때 시간적으로 서로 떨어지도록 렌더링 순서가 먼저 결정된 화면들에 대해 이후 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정할 수 있고, 더하여 시간적으로 더 멀리 떨어지도록 렌더링 순서가 결정된 화면들이 우선적으로 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정함으로써, 동기 불일치를 효과적으로 줄일 수 있다.

또한 다음 화면의 재생 전까지 추가 렌더링을 할 수 없는 경우라면 다음 화면의 렌더링 순서를 결정할 때 이전 화면에서 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 함으로써, 동기가 일치된 것과 같은 자연스러운 영상을 표시할 수 있다.

도 1은 본 발명의 일 실시예에 따른 멀티비전 화면 영상 렌더링 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 멀티비전 화면의 모습을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 결정된 렌더링 순서를 나타낸 도면이다.
도 4는 본 발명의 도 3의 실시예에서 렌더링 순서가 추가적으로 결정된 일 실시예를 나타낸 도면이다.
도 5는 본 발명의 도 3의 실시예에서 렌더링 순서가 추가적으로 결정된 다른 일 실시예를 나타낸 도면이다.
도 6은 본 발명의 또 다른 실시예에 따라 결정된 렌더링 순서를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 멀티비전 화면 영상 렌더링 방법의 과정을 나타낸 도면이다.
도 8은 본 발명의 차별화된 일 실시예에 따른 멀티비전 화면 영상 렌더링 시스템의 구성을 나타낸 도면이다.

하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명은 멀티비전 화면에 표시되는 영상의 동기 불일치를 줄이기 위한 렌더링 방안에 대한 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 멀티비전 화면 영상 렌더링 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 멀티비전 화면의 모습을 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따라 결정된 렌더링 순서를 나타낸 도면이고, 도 4는 본 발명의 도 3의 실시예에서 렌더링 순서가 추가적으로 결정된 일 실시예를 나타낸 도면이고, 도 5는 본 발명의 도 3의 실시예에서 렌더링 순서가 추가적으로 결정된 다른 일 실시예를 나타낸 도면이며, 도 6은 본 발명의 또 다른 실시예에 따라 결정된 렌더링 순서를 나타낸 도면이다.

도 1 내지 도 6을 참조하면, 도 1에서 멀티비전(multivision) 화면 영상 렌더링 시스템은 영상 렌더링 장치(100)와 분할 화면을 표시하는 복수의 디스플레이 장치(200)를 포함하여 구성된다.

본 실시예에서 멀티비전 화면 영상 렌더링 시스템은 4개의 화면(2x2)을 이용해 멀티비전 영상을 표시하며, 복수의 디스플레이 장치(200)는 멀티비전 영상을 표시하는 화면(1 내지 4)을 각각 포함한다.

영상 렌더링 장치(100)는 입력 영상에 대해 렌더링(rendering)을 수행하고, 렌더링 결과인 영상 데이터를 복수의 디스플레이 장치(200)에 각각 전송하여 화면(1 내지 4)을 이용해 멀티비전 영상이 표시되도록 하는 장치이다. 영상 렌더링 장치(100)는 3차원 공간 영상 데이터를 2차원 영상으로 투영하여 2차원의 화면(1 내지 4)에 영상이 시각적으로 표시되도록 한다.

그런데 영상 렌더링 장치(100)가 렌더링하여 복수의 디스플레이 장치(200)로 전송하는 영상 데이터의 경우, 순차적인 화면 표시에 따른 동기의 불일치가 발생할 수 있다. 즉, 도 2에 도시된 바와 같이 입력 영상을 복수의 영상으로 분할하여 멀티비전 형태로 표시하는 경우, 화면(1), 화면(2), 화면(3), 화면(4)의 순서로 각 화면(1 내지 4)에 표시되는 영상 사이의 동기가 불일치하여 사용자가 시각적으로 인식하는 영상이 부자연스럽게 느껴질 수 있다.

이와 관련하여 도 3에 도시된 바를 참조하면, 입력 영상이 초당 30프레임으로 재생되는 경우를 나타내는데, 첫번째 화면의 재생을 위해 화면(1), 화면(2), 화면(3), 화면(4)에 표시되는 영상의 순서로 렌더링이 진행되고, 1/30초가 경과한 후 두번째 화면의 재생을 위해 이와 역순인 화면(4), 화면(3), 화면(2), 화면(1)의 순서로 렌더링이 진행된다. 그런데 첫번째 화면의 렌더링 순서에서 화면(1)과 화면(4) 사이, 화면(1)과 화면(3) 사이, 화면(2)과 화면(4) 사이에는 시간적인 거리가 존재하여, 멀티비전 화면(1 내지 4)에 영상을 순차적으로 표시할 때 시간적 차이에 따른 동기 불일치가 발생하게 된다. 그리고 1/30초가 경과한 후 재생되는 두번째 화면의 렌더링 순서에서도, 화면(4)과 화면(1) 사이, 화면(4)과 화면(2) 사이, 화면(3)과 화면(1) 사이에는 시간적인 거리가 존재하여, 멀티비전 화면(1 내지 4)에 영상을 순차적으로 표시할 때 시간적 차이에 따른 동기 불일치가 발생하게 된다.

이에 따라 영상 렌더링 장치(100)는 화면(1 내지 4)에 재생되는 영상의 동기 불일치를 완화하기 위한 렌더링을 수행하며, 이를 위한 제어 모듈(10) 및 렌더링 모듈(20)을 포함하여 구성된다.

제어 모듈(10)은 연산처리 능력이 있는 CPU(Central Processing Unit), 메모리, 프로그램 저장소 등을 포함하며, 압축된 입력 영상을 디코딩하거나 복수의 디스플레이 장치(200)의 영상 표시 동작을 제어하는 역할을 한다. 제어 모듈(10)은 멀티비전을 위해 화면(1 내지 4)에 순차적으로 표시되는 영상의 동기 불일치를 줄이는 방향으로 렌더링 모듈(20)의 렌더링 순서를 결정한다.

렌더링 모듈(20)은 3D(3-dimensional) 가속 기능을 갖춘 GPU(Graphic Processing Unit), 메모리, 프로그램 저장소 등을 포함하며, 제어 모듈(10)이 결정한 렌더링 순서에 따라 입력 영상에 대한 렌더링을 진행한다. 그리고 렌더링 모듈(20)은 렌더링이 완료된 화면(1 내지 4)의 영상 데이터를 대응하는 복수의 디스플레이 장치(200)로 각각 전송한다. 렌더링은 컴퓨터 프로그램을 사용해서 모델로부터 2차원 영상 데이터를 만들어내는 과정을 의미하며, 렌더링 모듈(20)은 각 화면(1 내지 4)에 표시되는 영상 데이터를 복수의 디스플레이 장치(200)로 전송해 표시되도록 한다. 렌더링 모듈(20)은 렌더링 결과물인 영상 데이터를 복수의 디스플레이 장치(200)로 전송하기 위한 통신 인터페이스를 구비한다.

이때 제어 모듈(10)은 화면(1 내지 4)에 표시되는 멀티비전 영상의 동기 불일치를 개선하기 위해, 재생 대상인 입력 영상의 압축된 비트스트림으로부터 입력 영상의 해상도와 초당 프레임수(Frame Per Second, FPS)를 분석한다.

그리고 제어 모듈(10)은 입력 영상의 해상도에 따라 단일 화면(1 내지 4)에 재생될 분할 영상의 렌더링을 위한 개별 처리 시간을 계산한다.

또한 제어 모듈(10)은 계산된 처리 시간과 입력 영상의 초당 프레임수(FPS)에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 최대 렌더링 횟수를 계산한다.

그리고 제어 모듈(10)은 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정한다.

이후 렌더링 모듈(20)은 제어 모듈(10)이 결정한 렌더링 순서에 따라 화면 각각의 렌더링을 진행하여, 렌더링이 완료된 영상 데이터를 복수의 디스플레이 장치(200)로 전송해, 화면(1 내지 4)에 멀티비전 형식의 영상이 표시되도록 한다.

이에 따라 화면(1 내지 4)에는 화면의 재생 간격에 따라 최대 횟수로 렌더링이 이루어진 영상이 재생된다.

한편 제어 모듈(10)이 화면의 재생 간격에 따른 최대 렌더링 횟수에 따라 전체 렌더링 순서를 결정할 때에는, 복수의 디스플레이 장치(200)에 대응하는 모든 화면(1 내지 4)에 대한 한 주기의 렌더링 순서를 일단 결정한 후, 기 결정된 렌더링 순서에 따라 시간적으로 서로 떨어지도록 거리를 두고 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정함으로써, 다음 화면의 재생 전까지의 전체 렌더링 순서를 결정한다.

도 4에 도시된 바를 참조하면, 입력 영상이 초당 30프레임으로 재생되는 경우를 나타내며, 화면(1), 화면(2), 화면(3), 화면(4)에 표시되는 영상의 순서로 렌더링 순서가 결정되고 다음 화면의 재생 전까지 4회의 추가 렌더링이 가능하다. 이때 제어 모듈(10)은 기 결정된 렌더링 순서에 따라 화면(1)과 화면(4) 사이, 화면(1)과 화면(3) 사이, 화면(2)과 화면(4) 사이에는 시간적인 거리가 존재함을 확인하고, 서로 떨어지도록 렌더링 순서가 결정된 화면들이 서로 인접하여 추가 렌더링이 진행되도록 결정한다. 즉 화면(1), 화면(2), 화면(3), 화면(4) 순으로 렌더링 순서가 결정된 후, 기 결정된 순서에 따라 마지막으로 렌더링이 진행되는 화면(4)과 시간적으로 떨어진 화면(1)의 추가 렌더링을 결정하고, 기 결정된 순서에 따라 화면(1)과 시간적으로 떨어진 화면(3)의 추가 렌더링을 결정하며, 다시 기 결정된 순서에 따라 시간적으로 서로 떨어졌던 화면(2) 및 화면(4)이 인접하도록 추가 렌더링을 결정한다. 그리고 1/30초 후에 재생되는 다음 화면에서도 마찬가지 방법으로 다음 화면의 재생 전까지의 전체 렌더링 순서를 결정한다.

한편 제어 모듈(10)이 시간적으로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 시간적으로 서로 인접한 순서로 추가 렌더링을 결정할 때에는, 시간적으로 더 멀리 떨어지도록 렌더링 순서가 결정된 화면들이 우선적으로 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정할 수 있다.

도 4에 도시된 바를 참조하면, 화면(1), 화면(2), 화면(3), 화면(4)에 표시되는 영상의 순서로 한 주기의 렌더링 순서가 결정되고, 다음 화면의 재생 전까지 다른 한 주기에 대응하는 4회의 추가 렌더링이 가능한데, 이때 제어 모듈(10)은 기 결정된 렌더링 순서에 따라 화면(1)과 화면(4) 사이의 시간적 거리가, 화면(1)과 화면(3) 사이 및 화면(2)과 화면(4) 사이의 시간적 거리보다 더 커서 더 멀리 떨어지도록 렌더링 순서가 결정된 것을 확인하다. 그리고 제어 모듈(10)은 화면(1), 화면(2), 화면(3), 화면(4) 순으로 렌더링 순서가 결정된 후 추가 렌더링을 결정할 때, 기 결정된 순서에 따라 마지막으로 렌더링이 진행되는 화면(4)과 시간적으로 가장 멀리 떨어진 화면(1)의 추가 렌더링을 우선적으로 결정하고, 그보다 작은 시간적 거리로 떨어진 화면(1)과 떨어진 화면(3)의 추가 렌더링과, 화면(2), 화면(4)의 추가 렌더링을 결정하여, 시간적으로 더 멀리 떨어져 동기 불일치의 정도가 더 큰 화면(1, 4) 사이의 불일치 간격을 우선적으로 줄일 수 있다. 그리고 1/30초 후에 재생되는 다음 화면에서도 마찬가지 방법으로 다음 화면의 재생 전까지의 전체 렌더링 순서를 결정한다.

도 5에 도시된 바를 참조하면, 화면(1), 화면(2), 화면(3), 화면(4)에 표시되는 영상의 순서로 한 주기의 렌더링 순서가 결정되고, 다음 화면의 재생 전까지 다른 한 주기에 미치지 못하는 2회의 추가 렌더링이 가능하다. 이 경우 제어 모듈(10)은 화면(1), 화면(2), 화면(3), 화면(4) 순으로 렌더링 순서가 결정된 후 추가 렌더링을 결정할 때, 기 결정된 순서에 따라 마지막으로 렌더링이 진행되는 화면(4)과 시간적으로 가장 멀리 떨어진 화면(1)의 추가 렌더링을 우선적으로 결정하고, 그보다 작은 시간적 거리로 화면(1)과 떨어진 화면(3)의 추가 렌더링을 결정하는 방식으로 다음 화면의 재생 전 전체 렌더링 순서를 결정할 수 있다. 그리고 1/30초 후에 재생되는 다음 화면에서도 마찬가지 방법으로 다음 화면의 재생 전까지의 전체 렌더링 순서를 결정한다.

실시예에 따라서는 제어 모듈(10)이 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산한 결과 복수의 디스플레이 장치(200)에 대응하는 모든 화면에 대한 한 주기의 렌더링만이 가능한 경우이어서 추가 렌더링을 할 수 없음을 확인할 수 있다. 이 경우 제어 모듈(10)은 다음 화면의 재생을 위한 렌더링 순서를 결정할 때, 이전 화면에서 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 렌더링 순서를 결정할 수 있다.

도 6에 도시된 바를 참조하면, 화면(1), 화면(2), 화면(3), 화면(4)에 표시되는 영상의 순서로 한 주기의 렌더링 순서가 결정되었으나 추가 렌더링을 할 수 있는 시간적 여유가 없음을 확인할 수 있다. 이 경우 제어 모듈(10)은 먼저 재생되는 화면에서 화면(1), 화면(2), 화면(3), 화면(4) 순으로 렌더링 순서가 결정된 후, 1/30초 후 재생되는 다음 화면에 대해서는 이전 화면의 렌더링 순서에 따라 마지막으로 렌더링이 진행된 화면(4)과 시간적으로 떨어진 화면(1)의 렌더링을 결정하고, 이전 화면의 렌더링 순서에 따라 화면(1)과 시간적으로 떨어진 화면(3)의 렌더링을 결정하며, 이전 화면의 렌더링 순서에 따라 시간적으로 서로 떨어졌던 화면(2) 및 화면(4)이 인접하도록 렌더링을 결정한다.

이와 같은 방식으로 복수의 디스플레이 장치(200)의 화면(1 내지 4)을 이용해 영상을 표시하는 경우, 각 화면(1 내지 4) 사이의 동기 불일치를 최소화하여 자연스러운 멀티비전 영상을 재생하는 것이 가능하다.

본 발명에 따라 멀티비전 화면 영상을 렌더링하는 방법에 대해서는 도 7을 참조하여 상세하게 설명하기로 한다.

도 7은 본 발명의 일 실시예에 따른 멀티비전 화면 영상 렌더링 방법의 과정을 나타낸 도면이다.

도 7을 참조하면, 영상 렌더링 장치는 재생 대상인 입력 영상의 압축된 비트스트림에서 입력 영상의 해상도를 분석하고, 분석된 해상도에 따라 멀티비전 디스플레이 장치의 단일 화면에 분할 영상을 재생하기 위한 렌더링 처리 시간을 계산한다(S1).

또한 영상 렌더링 장치는 입력 영상의 압축된 비트스트림에서 입력 영상의 초당 프레임수를 분석하고, 단계(S1)에서 계산된 처리 시간과 입력 영상의 초당 프레임수에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 최대 렌더링 횟수를 계산한다(S2).

이후 영상 렌더링 장치는 단계(S2)에서 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정한다(S3).

단계(S3)에서 영상 렌더링 장치는 복수의 디스플레이 장치에 대응하는 모든 화면에 대한 한 주기의 렌더링 순서를 일단 결정한 후, 기 결정된 렌더링 순서에 따라 시간적으로 서로 떨어지도록 거리를 두고 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정함으로써, 다음 화면의 재생 전까지의 전체 렌더링 순서를 결정할 수 있다.

이때 영상 렌더링 장치는 시간적으로 더 멀리 떨어지도록 렌더링 순서가 결정된 화면들이 우선적으로 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정할 수도 있다.

이렇게 멀티비전 화면 영상의 렌더링 순서를 결정한 영상 렌더링 장치는, 결정된 렌더링 순서에 따라 렌더링을 진행하고(S4). 렌더링 결과에 따른 영상 데이터를 복수의 디스플레이 장치로 전송하여 멀티비전 영상이 표시되도록 한다(S5).

실시예에 따라서 단계(S3)의 영상 렌더링 장치는 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산한 결과 복수의 디스플레이 장치에 대응하는 모든 화면에 대한 한 주기의 렌더링만이 가능한 경우이어서 추가 렌더링을 할 수 없음을 확인할 수 있다.

이 경우 영상 렌더링 장치는 이후에 다음 화면의 재생을 위한 렌더링 순서를 결정할 때, 이전 화면에서 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 렌더링 순서를 결정할 수 있다.

본 발명의 다른 실시예에 따라 멀티비전 화면 영상을 렌더링하여 표시하는 시스템에 대해서는 도 8을 참조하여 설명하기로 한다.

도 8은 본 발명의 차별화된 일 실시예에 따른 멀티비전 화면 영상 렌더링 시스템의 구성을 나타낸 도면이다.

도 8을 참조하면, 마스터 영상 렌더링 장치(300)는 입력 영상에 대해 렌더링을 수행하고, 렌더링 결과인 영상 데이터를 복수의 디스플레이 장치(500)에 각각 전송하여 일부 화면(1 내지 3)을 이용해 멀티비전 영상이 표시되도록 하는 장치이다.

슬레이브 영상 렌더링 장치(400)는 입력 영상에 대해 렌더링을 수행하고, 렌더링 결과인 영상 데이터를 복수의 디스플레이 장치(500)에 각각 전송하여 일부 화면(4 내지 6)을 이용해 멀티비전 영상이 표시되도록 하는 장치이다.

마스터 영상 렌더링 장치(300) 및 슬레이브 영상 렌더링 장치(400)는 순차적인 화면(1 내 6) 표시에 따른 동기의 불일치가 발생하는 것을 줄이기 위해, 대응하는 제어 모듈(30, 50)에서 각 화면의 렌더링 순서를 결정하고, 대응하는 렌더링 모듈(40, 60)이 결정된 순서에 따라 렌더링을 수행하여 영상 데이터를 복수의 디스플레이 장치(500)에 각각 전송한다.

즉, 마스터 영상 렌더링 장치(300) 및 슬레이브 영상 렌더링 장치(400)는 도 1 내지 도 7을 참조하여 설명한 실시예와 마찬가지로, 대응하는 제어 모듈(30, 50)이 입력 영상의 해상도에 따라 단일 화면의 렌더링을 위한 처리 시간을 계산하고, 계산된 처리 시간과 입력 영상의 초당 프레임수에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산하며, 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정하고, 대응하는 렌더링 모듈(40, 60)은 결정된 렌더링 순서에 따라 화면 각각의 렌더링을 수행하여, 렌더링이 완료된 화면의 영상 데이터를 대응하는 디스플레이 장치(500)로 전송한다.

이때 마스터 영상 렌더링 장치(300)의 제어 모듈(30)은 화면(1 내지 3)에 재생되는 영상의 렌더링 시점에 대한 동기 신호를 슬레이브 영상 렌더링 장치(400)로 전송하고, 슬레이브 영상 렌더링 장치(400)의 렌더링 모듈(60)은 수신한 동기 신호에 맞게 화면(4 내지 6)에 재생되는 영상의 렌더링을 수행한다.

예를 들어 마스터 영상 렌더링 장치(300)가 화면(1), 화면(2), 화면(3)에 재생되는 영상의 순서로 렌더링을 진행하고, 슬레이브 영상 렌더링 장치(400)는 화면(4), 화면(5), 화면(6)에 재생되는 영상의 순서로 렌더링을 진행하는 경우라면, 슬레이브 영상 렌더링 장치(400)의 렌더링 모듈(60)은 마스터 영상 렌더링 장치(300)의 제어 모듈(30)이 제공한 동기 신호에 따라 화면(1) 영상의 렌더링이 진행될 때 화면(4) 영상의 렌더링을 진행하고, 화면(2) 영상의 렌더링이 진행될 때 화면(5) 영상의 렌더링을 진행하며, 화면(3) 영상의 렌더링이 진행될 때 화면(6) 영상의 렌더링을 진행하는 방식으로 동기를 맞출 수 있다.

이에 따라 복수의 영상 렌더링 장치(300, 400)에서 멀티비전의 화면을 분할하여 각각 렌더링을 진행하는 경우에도, 렌더링의 동기를 맞추어 전체 영상의 동기 불일치를 최소화할 수 있다.

한편 마스터 영상 렌더링 장치(300)의 제어 모듈(30) 및 슬레이브 영상 렌더링 장치(400)의 제어 모듈(50)은 복수의 디스플레이 장치(500)에 대응하는 자신이 렌더링을 맡은 모든 화면에 대한 한 주기의 렌더링 순서가 결정되면, 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하여, 다음 화면의 재생 전까지의 자신이 맡은 화면에 대한 전체 렌더링 순서를 결정할 수 있다.

이때 마스터 영상 렌더링 장치(300)의 제어 모듈(30) 및 슬레이브 영상 렌더링 장치(400)의 제어 모듈(50)은 시간적으로 더 멀리 떨어지도록 렌더링 순서가 결정된 화면들이 우선적으로 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정할 수 있다.

한편 마스터 영상 렌더링 장치(300)의 제어 모듈(30) 및 슬레이브 영상 렌더링 장치(400)의 제어 모듈(50)은 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산한 결과 복수의 디스플레이 장치(500)에 대응하는 모든 화면에 대한 한 주기의 렌더링만이 가능한 경우, 다음 화면의 렌더링 순서를 결정할 때 이전 화면에서 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 렌더링 순서를 결정할 수 있다.

본원발명에서는 이와 같은 방식으로 멀티비전 화면 사이의 동기 불일치를 최소화하여 자연스러운 영상을 표시하는 것이 가능하다.

본 발명의 실시예에 따른 멀티비전 화면 영상 렌더링 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.

한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.

1, 2, 3, 4, 5, 6: 화면
10, 30, 50: 제어 모듈
20, 40, 60: 렌더링 모듈
100: 영상 렌더링 장치
200, 500: 복수의 디스플레이 장치
300: 마스터 영상 렌더링 장치
400: 슬레이브 영상 렌더링 장치

Claims (12)

1. 입력 영상의 해상도에 따라 단일 화면의 렌더링을 위한 처리 시간을 계산하고, 계산된 처리 시간과 상기 입력 영상의 초당 프레임수(Frame Per Second, FPS)에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산하며, 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정하고, 결정된 렌더링 순서에 따라 화면 각각의 렌더링을 진행하여, 렌더링이 완료된 화면의 영상 데이터를 대응하는 디스플레이 장치로 전송하는 영상 렌더링 장치; 및
   상기 영상 렌더링 장치로부터 영상 데이터를 수신하여 화면에 표시하는 복수의 디스플레이 장치;
   를 포함하는 것을 특징으로 하는 멀티비전 화면 영상 렌더링 시스템.
2. 제1항에 있어서,
   상기 영상 렌더링 장치는,
   복수의 디스플레이 장치에 대응하는 모든 화면에 대한 한 주기의 렌더링 순서가 결정되면, 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하여, 다음 화면의 재생 전까지의 전체 렌더링 순서를 결정하는 것을 특징으로 하는 멀티비전 화면 영상 렌더링 시스템.
3. 제2항에 있어서,
   상기 영상 렌더링 장치는,
   시간적으로 더 멀리 떨어지도록 렌더링 순서가 결정된 화면들이 우선적으로 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하는 것을 특징으로 하는 멀티비전 화면 영상 렌더링 시스템.
4. 입력 영상의 해상도에 따라 단일 화면의 렌더링을 위한 처리 시간을 계산하고, 계산된 처리 시간과 상기 입력 영상의 초당 프레임수에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산하며, 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정하는 제어 모듈; 및
   상기 제어 모듈에서 결정한 렌더링 순서에 따라 화면 각각의 렌더링을 진행하고, 렌더링이 완료된 화면의 영상 데이터를 대응하는 디스플레이 장치로 전송하는 렌더링 모듈;
   을 포함하는 것을 특징으로 하는 멀티비전 화면 영상 렌더링 장치.
5. 제4항에 있어서,
   상기 제어 모듈은,
   복수의 디스플레이 장치에 대응하는 모든 화면에 대한 한 주기의 렌더링 순서가 결정되면, 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하여, 다음 화면의 재생 전까지의 전체 렌더링 순서를 결정하는 것을 특징으로 하는 멀티비전 화면 영상 렌더링 장치.
6. 제5항에 있어서,
   상기 제어 모듈은,
   시간적으로 더 멀리 떨어지도록 렌더링 순서가 결정된 화면들이 우선적으로 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하는 것을 특징으로 하는 멀티비전 화면 영상 렌더링 장치.
7. 제4항에 있어서,
   상기 제어 모듈은,
   다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산한 결과 복수의 디스플레이 장치에 대응하는 모든 화면에 대한 한 주기의 렌더링만이 가능한 경우, 다음 화면의 렌더링 순서를 결정할 때 이전 화면에서 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 렌더링 순서를 결정하는 것을 특징으로 하는 멀티비전 화면 영상 렌더링 장치.
8. 영상 렌더링 장치가 입력 영상의 해상도에 따라 단일 화면의 렌더링을 위한 처리 시간을 계산하는 단계;
   상기 영상 렌더링 장치가 계산된 처리 시간과 상기 입력 영상의 초당 프레임수에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산하는 단계; 및
   상기 영상 렌더링 장치가 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정하는 단계;
   를 포함하는 것을 특징으로 하는 멀티비전 화면 영상 렌더링 방법.
9. 제8항에 있어서,
   상기 렌더링 순서를 결정하는 단계는,
   복수의 디스플레이 장치에 대응하는 모든 화면에 대한 한 주기의 렌더링 순서가 결정되면, 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하여, 다음 화면의 재생 전까지의 전체 렌더링 순서를 결정하는 것을 특징으로 하는 멀티비전 화면 영상 렌더링 방법.
10. 제9항에 있어서,
    상기 렌더링 순서를 결정하는 단계는,
    시간적으로 더 멀리 떨어지도록 렌더링 순서가 결정된 화면들이 우선적으로 서로 인접한 순서로 렌더링이 진행되도록 추가 렌더링 순서를 결정하는 것을 특징으로 하는 멀티비전 화면 영상 렌더링 방법.
11. 제8항에 있어서,
    상기 렌더링 횟수를 계산하는 단계에서 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산한 결과 복수의 디스플레이 장치에 대응하는 모든 화면에 대한 한 주기의 렌더링만이 가능한 경우, 다음 화면의 렌더링 순서를 결정할 때 이전 화면에서 시간적으로 서로 떨어지도록 렌더링 순서가 결정된 화면들에 대해 서로 인접한 순서로 렌더링이 진행되도록 렌더링 순서를 결정하는 단계;
    를 더 포함하는 것을 특징으로 하는 멀티비전 화면 영상 렌더링 방법.
12. 입력 영상의 해상도에 따라 단일 화면의 렌더링을 위한 처리 시간을 계산하고, 계산된 처리 시간과 상기 입력 영상의 초당 프레임수에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산하며, 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정하고, 렌더링 시점에 대한 동기 신호를 전송하며, 결정된 렌더링 순서에 따라 화면 각각의 렌더링을 진행하여, 렌더링이 완료된 화면의 영상 데이터를 대응하는 디스플레이 장치로 전송하는 마스터 영상 렌더링 장치;
    입력 영상의 해상도에 따라 단일 화면의 렌더링을 위한 처리 시간을 계산하고, 계산된 처리 시간과 상기 입력 영상의 초당 프레임수에 대응하는 화면의 재생 간격에 따라 다음 화면의 재생 전까지 수행 가능한 렌더링 횟수를 계산하며, 계산된 렌더링 횟수에 따라 다음 화면의 재생 전까지의 렌더링 순서를 결정하고, 결정된 렌더링 순서에 따라 상기 마스터 영상 렌더링 장치로부터 수신한 동기 신호에 맞게 화면 각각의 렌더링을 진행하여, 렌더링이 완료된 화면의 영상 데이터를 대응하는 디스플레이 장치로 전송하는 슬레이브 영상 렌더링 장치; 및
    상기 마스터 영상 렌더링 장치와 상기 슬레이브 영상 렌더링 장치로부터 영상 데이터를 수신하여 화면에 표시하는 복수의 디스플레이 장치;
    를 포함하는 것을 특징으로 하는 멀티비전 화면 영상 렌더링 시스템.

Images