KR101987062B1

KR101987062B1 - Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법

Info

Publication number: KR101987062B1
Application number: KR1020170155635A
Authority: KR
Inventors: 박춘대; 김창수
Original assignee: (주)루먼텍
Priority date: 2017-11-21
Filing date: 2017-11-21
Publication date: 2019-06-10
Also published as: WO2019103240A1; KR20190058040A

Abstract

본 발명은 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 멀티카메라에서 비디오를 촬영하고, 해당 비디오에 대해서 다양한 해상도를 가진 밉맵 영상을 제공하면, 이를 복수의 클라이언트 단말로 각 클라이언트 단말의 요구에 따라 IP를 통해서 분배하고, 각 클라이언트 단말에서는 상기 분배되어 온 비디오를 원하는 바에 따라 결합함으로써, 보다 고해상도이며 광각으로 촬영된 비디오를 디스플레이할 수 있는 멀티카메라 비디오 분배 및 결합을 위한 멀티카메라, 비디오서버 및 클라이언트 단말을 포함하는 시스템 및 그 방법에 관한 것이다.

Description

IP를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법{SYSTEM FOR DISTRIBUTING AND COMBINING MULTI-CAMERA VIDEOS THROUGH IP AND A METHOD THEREOF}

본 발명은 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 멀티카메라에서 비디오를 촬영하고, 해당 비디오에 대해서 다양한 해상도를 가진 밉맵(mipmap) 영상을 클라이언트 단말의 요구에 따라 IP(Internet Protocol)를 통해서 분배하고, 각 클라이언트 단말에서 상기 분배되어 온 비디오를 원하는 바에 따라 결합함으로써, 보다 고해상도이며 광각으로 촬영된 비디오를 디스플레이할 수 있는 멀티카메라 비디오 분배 및 결합을 위한 멀티카메라, 비디오서버 및 클라이언트 단말을 포함하는 시스템 및 그 방법에 관한 것이다.

최근 들어 통신기술의 발달에 따라 네트워크의 대역폭이 점점 증가하고 있으나, 상기 네트워크를 통해서 송수신하고자 하는 콘텐츠의 크기가 상기 네트워크의 대역폭에 대한 증가 속도보다 한층 더 빠르게 증가하고 있는 실정이다.

또한 콘텐츠의 크기(예: 해상도)와 품질에 대해서도 점점 더 고도화되고 있으므로, 해당 카메라에서 촬영한 비디오를 네트워크를 통해서 송수신하는 할 때 매우 많은 대역폭과 비용을 필요로 한다.

한편 초고해상도의 동영상, 즉 UHD(Ultra High Definition) 동영상에 대한 사용자의 니즈가 증가하고, 이를 지원하는 광대역 네트워크와 방송기술의 발전으로 UHD 동영상을 편집하여 송출하거나 분배하는 기술도 필요하게 되었다.

예를 들어 복수 개의 영상을 서로 종횡으로 이어붙이는 방식으로 스티칭(stitching)하여 더 넓은 영역을 커버하는 영상을 만들어 사용자에게 보다 실감나는 영상을 제공할 수 있다.

이 경우 각각의 카메라는 서로 촬영하는 위치가 조금씩 차이가 날 수 있고 정확하게 배열되어 있지 않으므로 각각의 카메라에서 촬영한 영상을 그대로 스티칭하여 이어 붙이면 영상 사이의 경계에서 불연속점이 생기게 된다. 그러므로 이를 해결하기 위해서는 카메라에서 촬영한 영상에서 중복된 부분을 검출하고 이를 제거하면서 각 프레임에 대해 수직 및 수평동기를 맞추어야 한다.

하지만 사용자 측의 요구에 따라 각각의 카메라에서 촬영한 영상을 결합하여 대규모 영상을 구성하기 위해서는, 데이터 송수신에 많은 트래픽이 요구됨은 물론, 각 영상 간에 중복된 부분을 추적하여 정확하게 구분하는 데에 매우 많은 처리시간이 소요되기 때문에 대규모 영상의 결합 작업을 용이하게 수행하지 못하는 문제점이 있었다. 또한 복수의 각 카메라에서 송신된 비디오 데이터가 네트워크를 통과함에 따라 네트워크 지연으로 인해서 시간동기가 맞지 않는 문제가 있다.

따라서 본 발명에서는 멀티카메라에서 촬영한 비디오를 다양한 해상도를 가진 밉맵 영상으로 변환하여 클라이언트 단말의 요구에 따라 제공하고, 상기 클라이언트 단말에서 상기 밉맵 영상과 비디오서버에서 각 해상도별로 대규모 영상을 구성할 때 구축해 놓은 인접한 영상 간의 스티칭 포인트 정보, 블렌딩(blending) 파라미터 등에 대한 영상결합정보를 토대로 사용자가 원하는 바에 따라 영상을 구성하도록 함으로써, 보다 고해상도이며 광각으로 촬영된 비디오를 디스플레이할 수 있는 방안을 제시하고자 한다. 또한 복수의 각 카메라에서 송신된 비디오 데이터가 네트워크를 통과한 다음 수신측에 도달했을 때 각 카메라에서 수신측 간의 네트워크 지연을 계산하여 각 카메라 간의 시간동기가 맞추는 방안을 제시하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국등록특허 제1603976호(2016.03.16.)는 동영상 파일 결합 방법 및 그 장치에 관한 것으로, 동영상 파일들을 미리 트랜스코딩하여 저장한 상태에서 제공할 영상 파일들을 선택하여 결합 처리하여 제공함으로써, 영상 파일 처리 속도가 향상되고 동영상 파일을 결합하는데 소요되는 처리 부하를 감소시킬 수 있는 효과를 제공하는 것이다.

하지만 본 발명은 멀티카메라에서 촬영하여 변환한 각 해상도별 밉맵 영상은 물론 각 해상도별 밉맵 영상을 토대로 대규모 영상을 구성할 때 구축한 인접 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터를 포함한 영상결합정보를 활용하여 사용자가 원하는 대로 영상을 자르거나 결합하여 최종영상을 만드는 기술적 구성을 제시하고 있기 때문에, 상기 선행기술의 미리 트랜스코딩하여 저장한 동영상 파일들을 결합하는 기술 구성과 비교해 볼 때 기술적 특징의 차이점이 분명하다.

또한 한국공개특허 제2014-0011964호(2014.01.29.)는 고품질, 전방위 파노라마 동영상을 이용한 감시 정찰 방법에 관한 것으로, 멀티카메라로 획득한 복수의 영상을 스티칭하여 고품질 대화각을 가진 전방위 파노라마 동영상을 생성하는 것을 특징으로 한다.

하지만 멀티카메라에서 촬영한 비디오를 다양한 해상도로 변환한 밉맵 영상과 함께 비디오서버에서 각 해상도별로 대규모 영상을 구성할 때 구축해 놓은 인접한 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터 등의 영상결합정보를 토대로 사용자가 원하는 바에 따른 영상을 만드는 본 발명의 기술적 구성은 멀티카메라로 획득한 복수의 영상을 스티칭하여 파노라마 동영상을 생성하는 상기 선행기술의 기술적 구성과는 상이한 것이다.

즉 상기 선행기술들은 영상 파일 처리 속도가 향상되고 처리 부하를 감소시켜 적은 자원으로 동영상을 결합할 수 있는 구성, 멀티카메라로 획득한 복수의 영상을 스티칭하여 고품질 대화각을 가진 파노라마 동영상을 생성하는 구성을 제시하고 있지만, 본 발명의 기술적 특징인 사용자가 멀티카메라에서 촬영한 비디오를 다양한 해상도로 변환한 밉맵 영상과 비디오서버에서 각 해상도별로 대규모 영상을 구성할 때 구축해 놓은 영상결합정보를 사용하여 영상을 자르거나 결합하여 원하는 영상을 만드는 구성에 대해서는 구체적인 기재가 없기 때문에 기술적 차이점이 분명한 것이다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 멀티카메라에서 각각 영상을 촬영하고, 촬영한 영상에 대하여 다양한 해상도를 가진 밉맵 영상을 구성하여 비디오서버나 클라이언트 단말로 IP를 통해 분배하여 제공하는 것을 목적으로 한다.

또한 본 발명은 비디오서버에서 멀티카메라로부터 제공받은 다양한 해상도의 밉맵 영상을 서로 스티칭, 블렌딩 또는 이들의 조합을 수행하여 대규모 영상을 구성하고, 대규모 영상을 구성할 때의 인접한 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터 등에 대한 영상결합정보를 데이터베이스로 구축하고, 각 클라이언트 단말의 요청에 따라 각 해상도별로 대규모 영상을 구성할 때 구축해 놓은 영상결합정보, 밉맵 영상 또는 이들의 조합을 해당 클라이언트 단말로 제공하는 것을 다른 목적으로 한다.

또한 본 발명은 클라이언트 단말에서 비디오서버나 멀티카메라로부터 제공받은 밉맵 영상과 각각의 해상도별 밉맵 영상을 토대로 대규모 영상을 구성할 때 미리 생성한 인접 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터 또는 이들의 조합을 포함한 영상결합정보를 토대로 원하는 해상도에 따라 영상을 잘라내거나 결합하여 구성하고, 최종적으로 구성한 영상을 화면상에 디스플레이하도록 하는 것을 또 다른 목적으로 한다.

또한 본 발명은 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 좌에서 우측으로 상측에서 하측으로 스캔순서에 맞추어 각 개별 카메라 영상의 동기를 맞춤으로써 전체 프레임 동기를 유지하도록 하여, 프레임간의 시차를 최소화하는 것을 또 다른 목적으로 한다.

또한 본 발명은 멀티카메라의 각 카메라에서 전송한 비디오 데이터를 수신측에서 수신하고 네트워크 지연을 계산한 다음 상기 시간지연을 고려하여 복수의 각 카메라에서 수신된 비디오 데이터들 간에 프레임 동기화를 수행함으로써, 시간 동기화된 비디오 데이터의 핸들링이 가능하도록 하는 것을 또 다른 목적으로 한다.

또한 본 발명은 멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시킬 수 있는 것은 물론이고, 이와 결합하여 좌우, 상하, 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이할 수 있도록 하여, 대형의 멀티카메라 영상에서 사용자가 원하는 부분을 선택하여 출력하는 것이 가능하도록 하는 것을 또 다른 목적으로 한다.

또한 본 발명은 멀티카메라 영상을 3차원으로 디스플레이 할 수 있으며, 이때 멀티카메라에서 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나, 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력할 수도 있고, 뎁쓰 카메라를 별도로 구비하고 이를 이용하여 3차원 영상을 생성하는 것도 가능하다. 즉 본 발명은 멀티카메라를 이용하여 입체영상을 출력하는 것이 가능하고, 특히 3차원 그래픽을 오브젝트와 결합하여 출력하는 것이 가능하도록 하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따른 멀티카메라 제어장치는, 복수의 카메라에서 촬영한 영상 데이터를 입력받아 각각의 영상 데이터를 적어도 하나 이상의 해상도를 가진 밉맵 영상으로 변환하고, 네트워크, 사용자 인터페이스 또는 이들의 조합을 통해서 외부로부터 상기 밉맵 영상의 제공을 요청 받거나 미리 결정된 설정에 따라 상기 밉맵 영상의 생성을 제어하는 것을 포함하며, 상기 밉맵 영상은, 복수의 카메라에서 촬영한 각 풀 해상도의 영상 데이터를 사전에 결정한 해상도별로 축소하여 생성한 영상인 것을 특징으로 한다.

또한 상기 멀티카메라 제어장치는, 상기 변환한 밉맵 영상을 IP 패킷으로 패킷화하고, 상기 IP 패킷으로 변환한 상기 밉맵 영상을 네트워크를 통해 비디오서버 또는 클라이언트 단말로 전송하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 멀티카메라 제어장치는, 비디오서버 또는 클라이언트 단말로부터 수신한 구동제어신호를 토대로 상기 복수의 카메라에 대한 구동을 제어하여, 상기 복수의 카메라 각각에서 특정 촬영대상의 공간을 나누어 촬영하도록 하는 멀티카메라를 구동하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 멀티카메라 제어장치는, 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 좌에서 우측으로 상측에서 하측으로 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써 전체 프레임 동기를 유지하도록 하여, 프레임간의 시차를 최소화하는 것을 특징으로 한다.

또한 상기 멀티카메라 제어장치는, 멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나, 좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하거나, 또는 이들의 조합을 수행하여, 멀티카메라 영상에서 사용자가 원하는 일부분을 선택하여 출력할 수 있도록 지원하는 것을 특징으로 한다.

또한 상기 멀티카메라 제어장치에서, 멀티카메라 영상은 3차원 입체영상으로 디스플레이하는 것을 지원하며, 상기 멀티카메라에서 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나, 복수의 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력하거나, 별도의 뎁쓰 카메라를 구비하여 3차원 영상을 생성하도록 지원하는 것을 포함하며, 상기 멀티카메라 영상은 3차원 그래픽을 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 멀티카메라 비디오 분배장치는, 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 데 필요한 정보를 생성하고, 상기 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합을 클라이언트에게 제공하거나 데이터베이스에 저장하여 관리하는 비디오서버를 포함하는 것을 특징으로 한다.

또한 상기 비디오서버는, 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 것을 더 포함하며, 상기 정보는 각각의 해상도별 밉맵 영상을 토대로 멀티카메라 영상을 구성할 때 필요한 정보를 미리 계산하여 데이터베이스화한 것으로서, 인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호 또는 이들의 조합을 포함한 스티칭 포인트 정보, 인접한 영상 간의 접합부분에 대한 명암, 밝기, 색 또는 이들의 조합을 포함한 블렌딩 파라미터, 또는 이들의 조합을 포함하는 것을 특징으로 한다.

또한 상기 비디오서버는, 상기 복수의 카메라 각각의 구동을 제어하기 위한 제어신호를 생성하여 멀티카메라 제어장치로 전송하는 멀티카메라 관리를 수행하는 것을 더 포함하며, 상기 멀티카메라 관리는, 상기 복수의 카메라 또는 상기 멀티카메라 제어장치의 운용을 위한 펌웨어가 업데이트되면 업데이트된 펌웨어를 상기 복수의 카메라 또는 멀티카메라 제어장치로 제공하는 것을 포함하는 것을 특징으로 한다.

또한 상기 비디오서버는, 멀티카메라로부터 제공받은 복수의 영상 중에서 인접한 영상 간에 중복된 부분을 검출하고, 상기 검출한 중복된 부분을 참조하여 인접한 영상 중 어느 하나의 영상을 이동시켜 불연속적인 부분이 없이 스티칭되도록 동기화시키며, 상기 동기화시킨 인접 영상 간의 접합부분에 대한 밝기, 명암, 색 또는 이들의 조합을 조정하여 블렌딩 처리하는 것을 포함하는 것을 특징으로 한다.

또한 상기 멀티카메라 비디오 분배장치는, 상기 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 좌에서 우측으로 상측에서 하측으로 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써 전체 프레임 동기를 유지하도록 하여, 프레임간의 시차를 최소화하는 것을 특징으로 한다.

또한 상기 멀티카메라 비디오 분배장치는, 상기 멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나, 좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하거나, 또는 이들의 조합을 수행하여, 멀티카메라 영상에서 사용자가 원하는 일부분을 선택하여 출력할 수 있도록 지원하는 것을 특징으로 한다.

또한 상기 멀티카메라 비디오 분배장치에서, 상기 멀티카메라 영상은 3차원 입체영상으로 디스플레이하는 것을 지원하며, 상기 멀티카메라에서 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나, 복수의 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력하거나, 별도의 뎁쓰 카메라를 구비하여 3차원 영상을 생성하도록 지원하는 것을 포함하며, 상기 멀티카메라 영상은 3차원 그래픽을 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 클라이언트 단말은, 멀티카메라 또는 비디오서버로부터 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따른 인접한 영상 간의 영상결합정보 또는 이들의 조합을 제공받고, 상기 영상결합정보를 이용하여 상기 밉맵 영상을 상기 특정 해상도에 따라 잘라내거나 이어 붙여 디스플레이 화면에 출력할 멀티카메라 영상을 생성하고, 상기 생성한 멀티카메라 영상을 디스플레이 화면을 통해 출력하는 것을 특징으로 한다.

또한 상기 클라이언트 단말은, 디스플레이 화면에 렌더링할 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따른 인접한 영상 간의 영상결합정보 또는 이들의 조합을 IP를 통해 멀티카메라 또는 비디오서버로 요청하여 수신하거나, 상기 멀티카메라 또는 비디오서버로부터 상기 밉맵 영상, 상기 영상결합정보 또는 이들의 조합을 상기 요청 없이 제공받거나, 또는 상기 멀티카메라 또는 비디오서버로부터 상기 밉맵 영상, 상기 영상결합정보 또는 이들의 조합을 주기적으로 제공받는 것을 특징으로 한다.

또한 상기 클라이언트 단말은, 상기 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 좌에서 우측으로 상측에서 하측으로 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써 전체 프레임 동기를 유지하도록 하여, 프레임간의 시차를 최소화하는 것을 특징으로 한다.

또한 상기 클라이언트 단말은, 상기 멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나, 좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하거나, 또는 이들의 조합을 수행하여, 대형의 멀티카메라 영상에서 사용자가 원하는 일부분을 선택하여 출력하는 것을 특징으로 한다.

또한 상기 멀티카메라 영상은 3차원 입체영상으로 디스플레이하는 것을 포함하며, 상기 멀티카메라에서 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나, 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력하거나, 뎁쓰 카메라를 별도로 구비하여 3차원 영상을 생성하는 것을 포함하며, 상기 멀티카메라 영상은 3차원 그래픽을 포함하는 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따른 멀티카메라 비디오 제어 방법은, 멀티카메라에서 복수의 카메라에서 촬영한 영상 데이터를 입력받아 각각의 영상 데이터를 적어도 하나 이상의 해상도를 가진 밉맵 영상으로 변환하고, 멀티카메라에서 네트워크, 사용자 인터페이스 또는 이들의 조합을 통해서 외부로부터 상기 밉맵 영상의 제공을 요청 받거나 미리 결정된 설정에 따라 상기 밉맵 영상의 생성을 제어하는 것을 포함하며, 상기 밉맵 영상은, 복수의 카메라에서 촬영한 각 풀 해상도의 영상 데이터를 사전에 결정한 해상도별로 축소하여 생성한 영상인 것을 특징으로 한다.

또한 비디오서버에서 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 데 필요한 정보를 생성하고, 상기 비디오서버에서 상기 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합을 클라이언트에게 제공하거나 데이터베이스에 저장하여 관리하는 것을 더 포함하는 것을 특징으로 한다.

또한 클라이언트 단말에서 멀티카메라 또는 비디오서버에 요청하여 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따른 인접한 영상 간의 영상결합정보 또는 이들의 조합을 제공받고, 상기 클라이언트 단말에서 상기 영상결합정보를 이용하여 상기 밉맵 영상을 상기 특정 해상도에 따라 잘라내거나 이어 붙여 디스플레이 화면에 출력할 멀티카메라 영상을 생성하고, 상기 클라이언트 단말에서 상기 생성한 멀티카메라 영상을 디스플레이 화면을 통해 출력하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법에 따르면, 멀티카메라에서 비디오를 촬영하고, 해당 비디오에 대해서 다양한 해상도를 가진 밉맵 영상을 클라이언트 단말의 요구에 따라 IP를 통해서 분배하고, 각 클라이언트 단말에서 상기 분배되어 온 비디오를 원하는 바에 따라 잘라내고 결합함으로써, 보다 고해상도이며 광각으로 촬영된 비디오를 화면상에 디스플레이할 수 있으며, 이에 따라 사용자는 보다 미려하고 심미감 있는 비디오를 시청할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명이 적용된 멀티카메라 비디오 분배 및 결합 과정을 설명하기 위한 개념도이다.
도 3은 상기 도 1의 멀티카메라 제어장치의 구성을 보다 상세하게 나타낸 도면이다.
도 4는 상기 도 1의 비디오서버의 구성을 보다 상세하게 나타낸 도면이다.
도 5는 상기 도 1의 클라이언트 단말의 구성을 보다 상세하게 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 멀티카메라 비디오 분배 및 결합 방법이 적용된 멀티카메라 제어장치의 동작과정을 상세하게 나타낸 순서도이다.
도 7은 본 발명의 일 실시예에 따른 멀티카메라 비디오 분배 및 결합 방법이 적용된 비디오서버의 동작과정을 상세하게 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 멀티카메라 비디오 분배 및 결합 방법이 적용된 클라이언트 단말의 동작과정을 상세하게 나타낸 순서도이다.

이하, 첨부한 도면을 참조하여 본 발명의 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템의 구성을 개략적으로 나타낸 도면이며, 도 2는 본 발명이 적용된 멀티카메라 비디오 분배 및 결합 과정을 설명하기 위한 개념도이다.

도 1a 및 도 2에 도시된 바와 같이, 본 발명의 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템은 복수의 멀티카메라(100), 멀티카메라 제어장치(200), 비디오서버(300), 데이터베이스(400), 클라이언트 단말(500), 디스플레이 장치(600) 등으로 구성된다.

멀티카메라(100)는 UHD급의 영상을 촬영할 수 있는 복수의 IP카메라로 구성되며, 각각의 카메라는 로컬 상에서 멀티카메라 제어장치(200)와 통신 접속되어 있다.

상기 멀티카메라(100)는 상기 멀티카메라 제어장치(200)의 구동제어를 토대로 경기장 등과 같이 대규모의 특정 촬영대상의 공간을 나누어 촬영하고, 촬영한 영상 데이터를 상기 멀티카메라 제어장치(200)로 출력한다.

멀티카메라 제어장치(200)는 멀티카메라(100)를 구성하는 복수의 카메라 각각과 로컬 네트워크를 통해 통신 접속되어 있고, 상기 멀티카메라(100)에서 촬영한 영상 데이터를 로컬 IP를 통해 전송받으며, 상기 멀티카메라(100)에서 촬영한 영상 데이터를 풀 해상도, 1/4 해상도, 1/16 해상도 등의 밉맵 영상으로 변환하여 생성한 다음 상기 밉맵 영상을 네트워크, 사용자 인터페이스 또는 이들의 조합을 통해서 비디오서버(300)로 제공한다.

또한 상기 멀티카메라 제어장치(200)는 클라이언트 단말(500)의 요청에 따라 특정 해상도의 밉맵 영상을 해당 클라이언트 단말(500)로 직접 제공할 수 있다. 즉 상기 설명한 것과 같이 상기 멀티카메라(100)에서 촬영한 영상 데이터에 대하여 적어도 하나 이상의 해상도를 가진 밉맵 영상으로 변환하여 상기 비디오서버(300)로 제공하는 방식 이외에, 클라이언트의 요구에 따른 해상도의 밉맵 영상을 해당 클라이언트 단말(500)로 IP를 통해 분배하여 직접 제공할 수 있는 것이다.

또한 상기 멀티카메라 제어장치(200)는 도 1a에서와 같이 하나의 독립적인 물리적 구성으로 구현되는 것 이외에, 상기 멀티카메라(100)의 각 카메라에 내장된 형태로 구성할 수 있으며, 이 경우 각각의 카메라에서 직접 촬영한 영상 데이터를 적어도 하나 이상의 해상도를 가진 밉맵 영상으로 구성할 수 있다.

이때 상기 멀티카메라 제어장치(200)에서 멀티카메라(100)에서 촬영한 영상 데이터를 토대로 생성하는 밉맵 영상은, 3차원 그래픽스의 텍스처 매핑 분야에서 렌더링 속도를 향상시키기 위한 목적으로 기본 텍스처와 이를 연속적으로 미리 축소시킨 텍스처들로 이루어진 비트맵 이미지의 집합으로서, 밉맵스(mipmaps, MIP maps)라고도 한다. 즉 상기 밉맵 영상은 복수의 카메라에서 촬영한 각 풀 해상도의 영상 데이터를 사전에 결정한 해상도별로 축소하여 생성한 영상이다.

본 발명에 적용되는 밉맵의 동작 원리를 설명하면, 밉맵 집합의 각각의 비트맵 이미지는 기본 텍스처를 일정한 수준만큼 미리 축소한 것이다. 텍스처가 원래 크기 이상으로 보일 경우 기본 텍스처를 그대로 쓸 수도 있지만, 원래보다 멀거나 작게 보일 경우 축소된 텍스처를 렌더링에 대신(실제로는 보간 과정을 거쳐서) 사용한다. 이렇게 하면 렌더링에 사용되는 텍스처 픽셀(텍셀)의 수가 훨씬 줄어들기 때문에 렌더링 속도를 높일 수 있다. 밉맵 이미지들은 이미 안티 에일리어싱(anti-aliasing) 처리가 되어 있으므로 렌더링 과정에서 일어날 수 있는 손실이 줄고, 실시간 렌더링의 부하도 줄일 수 있다. 확대 및 축소 과정도 이 방법으로 효율적으로 할 수 있다. 텍스처의 크기가 256ㅧ256 픽셀이라고 할 때(텍스처는 보통 정사각형 모양이므로 한 변의 길이는 2의 거듭제곱이다), 만들어지는 밉맵 집합은 각각 이전 이미지의 1/4 크기, 즉 128ㅧ128, 64ㅧ64, 32ㅧ32, 16ㅧ16, 8ㅧ8, 4ㅧ4, 2ㅧ2, 1ㅧ1 크기의 여덟 개의 이미지로 구성된다. 예를 들어 이 텍스처를 40ㅧ40 크기로 렌더링할 경우 64ㅧ64 크기와 32ㅧ32 크기 밉맵 이미지를 적절한 방법으로 보간해서 최종 이미지를 얻을 수 있다. 가장 간단한 방법은 최종 이미지의 각 픽셀과 가장 가까운 밉맵 이미지의 픽셀들의 평균을 구하는 것이고, 그 외에 신호 처리나 푸리에 변환 등을 사용하는 복잡한 방법도 사용할 수 있다.

또한 밉맵 집합을 저장하는 데 필요한 용량은 원래 텍스처 용량의 1/4 + 1/16 + 1/256 + … = 1/3이다. 큰 용량을 필요로 하지 않는다는 것이 이 방법의 장점이지만, 많은 경우 확대 및 축소가 방향과 관계없이 이루어지지 않고 한 방향이 다른 방향보다 더 많이 확대 및 축소가 된다. 이런 경우 적절한 해상도의 이미지를 사용하게 되는데, 해상도가 높다면 캐시 효율은 떨어지고 안티 에일리어싱이 한 방향으로 많이 일어나지만 최종 이미지의 품질은 높으며, 해상도가 낮다면 캐시 효율은 높아지지만 이미지가 너무 흐릿해져서 구별하기 힘들어진다.

한편 상기 멀티카메라 제어장치(200)는 상기 비디오서버(300) 또는 상기 클라이언트 단말(500)로부터 제공받은 제어신호를 토대로 특정 촬영대상의 공간을 나누어 촬영하는 상기 멀티카메라(100) 각각의 구동을 제어하며, 상기 비디오서버(300)로부터 상기 멀티카메라(100)의 운용을 위한 펌웨어가 업데이트되면 업데이트된 펌웨어를 상기 멀티카메라(100) 각각에 적용하여 운용한다.

비디오서버(300)는 네트워크를 통해 상기 멀티카메라 제어장치(200)로부터 풀 영상, 복수의 해상도에 대한 밉맵 영상 또는 이들의 조합을 제공받고, 상기 멀티카메라 제어장치(200)로부터 제공받은 풀 영상, 복수의 해상도에 대한 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하며, 멀티카메라 영상을 구성할 때 생성되는 인접한 카메라 영상 간의 스티칭 포인트와 중복되는 영상 부분의 블렌딩을 위한 파라미터 등의 정보를 데이터베이스(400)에 저장하여 관리한다.

또한 상기 비디오서버(300)는 네트워크를 통해 클라이언트 단말(500)의 요청에 따라 멀티카메라 영상을 구성할 때 생성되는 인접한 카메라 영상 간의 스티칭 포인트와 중복되는 영상 부분의 블렌딩을 위한 파라미터 등의 정보를 해당 클라이언트 단말(500)로 전송한다.

즉 비디오서버(300)는 상기 멀티카메라 제어장치(200)로부터 제공받은 다양한 해상도를 갖는 밉맵 영상에 대한 결합을 에뮬레이션하고, 각 인접 영상이 접합되는 포인트 정보, 접합 부분의 블렌딩을 위한 파라미터 등을 생성하여 데이터베이스로 구축해 놓는 것이다. 그리고 클라이언트 단말(500)의 요구에 따라 데이터베이스로 구축한 정보를 제공함으로써, 클라이언트가 자신이 원하는 영상을 결합하여 생성할 수 있도록 한다.

이때 상기 정보는 각각의 해상도별 밉맵 영상을 토대로 멀티카메라 영상을 구성할 때 필요한 정보를 미리 계산하여 데이터베이스화한 것으로서, 인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호 등을 포함한 스티칭 포인트 정보, 인접한 영상 간의 접합부분에 대한 명암, 밝기, 색 등을 포함한 블렌딩 파라미터, 또는 이들의 조합을 포함한 정보이다. 상기 정보는 IP 기반으로 상기 클라이언트 단말(500)로 제공되기 때문에 수신측에서 바로 영상결합에 사용할 수 있다.

또한 상기 비디오서버(300)는 상기 정보와 함께 상기 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합을 상기 클라이언트 단말(500)로 제공할 수 있다.

또한 상기 비디오서버(300)에서 상기 클라이언트 단말(500)로 제공되는 상기 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합은 물론, 멀티카메라 영상을 구성할 때 생성되는 인접한 카메라 영상 간의 스티칭 포인트, 블렌딩 파라미터 등의 정보를 멀티캐스팅하여 전송하면 네트워크상의 트래픽을 줄일 수 있다.

한편 상기 비디오서버(300)는 상기 멀티카메라 제어장치(200)로부터 풀 영상, 복수의 해상도를 가진 밉맵 영상 또는 이들의 조합을 포함한 영상을 제공받는 것으로 설명하였지만, 각각의 멀티카메라(100)로부터 촬영 데이터를 전송받은 후, 직접 다양한 해상도를 갖는 밉맵 영상을 만들어 사용할 수 있다.

데이터베이스(400)는 상기 비디오서버(300)의 제어를 토대로 상기 멀티카메라 제어장치(200)로부터 제공받은 다양한 해상도를 갖는 밉맵 영상을 저장하고, 복수의 해상도를 갖는 밉맵 영상에 대한 멀티카메라 영상의 결합을 토대로 생성되는 인접 영상 간의 스티칭 포인트, 중복되는 영상 부분의 블렌딩 파라미터 등의 정보를 저장하여 관리한다.

또한 상기 데이터베이스(400)는 상기 멀티카메라(100) 또는 상기 멀티카메라 제어장치(200)의 구동을 위한 펌웨어 프로그램을 저장하여 관리한다.

클라이언트 단말(500)은 클라이언트가 원하는 특정 해상도의 밉맵 영상 및 사전에 구축해 놓은 인접 영상 간의 스티칭 포인트, 블렌딩 파라미터 등의 영상결합정보를 상기 비디오서버(300)로 요청하고, 상기 비디오서버(300)로부터 특정 해상도에 대한 밉맵 영상과 멀티카메라 영상을 구성하는 데 필요한 영상결합정보를 전송받는다. 상기 밉맵 영상은 상기 비디오서버(300) 이외에 상기 멀티카메라(100)로 직접 요청하여 전송받을 수도 있다.

또한 상기 클라이언트 단말(500)은 상기 비디오서버(300)나 멀티카메라(100)로부터 제공받은 밉맵 영상, 및 상기 비디오서버(300)로부터 제공받은 멀티카메라 영상을 구성할 때 생성되는 인접한 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터 등의 영상결합정보를 토대로 영상을 잘라내거나 이어붙이는 영상 결합을 수행하고, 결합된 영상을 디스플레이 장치(600)를 통해 디스플레이한다.

예를 들어 상기 클라이언트 단말(500)은 풀 해상도의 영상을 제공받아 결합하면, 2Kㅧ4개=8K 해상도의 영상을 결합할 수 있다. 그리고 1/4 해상도 영상을 제공받아 결합하면, 전체적으로 1/4 해상도로 줄어든 영상을 결합할 수 있다. 또한 일정 부분에 대해서 풀 해상도의 영상을 제공받고, 그 주위로는 1/4 해상도의 영상을 제공받으면, 중심은 고해상도이며 가장자리로 갈수록 해상도가 떨어지는 영상을 구성할 수 있다. 또한 ROI(Region Of Interest, 관심영역)만을 쪼개서 영상을 제공받은 후 이를 결합할 수도 있다.

즉 상기 클라이언트 단말(500)은 풀 해상도의 영상을 가져와서 영상을 결합하여 디스플레이 장치(600)로 출력하지 않고 필요한 해상도의 영상과 포인트 접합 정보, 블렌딩 파라미터 등의 정보를 선택적으로 가져온 다음, 이를 토대로 영상을 결합하여 디스플레이 장치(600)로 출력할 수 있는 것이다.

또한 상기 클라이언트 단말(500)은 상기 멀티카메라(100) 또는 상기 비디오서버(300)로부터 상기 밉맵 영상, 상기 영상결합정보 또는 이들의 조합을 클라이언트에 의한 요청 없이 제공받거나 또는 주기적으로 제공받을 수 있다.

또한 상기 클라이언트 단말(500)은 클라이언트가 원하는 해상도에 따라 결합한 최종영상을 디스플레이 장치(600)로 출력하는 것 이외에, 방송송출기를 거쳐 방송수신단말로 출력할 수 있다.

디스플레이 장치(600)는 일반적인 텔레비전, 모니터 등의 전자기기로서, 상기 클라이언트 단말(500)에서 구성한 영상을 화면상에 디스플레이한다.

또한, 본 발명의 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템은 도 1b에 도시된 바와 같이, 복수의 멀티카메라(100), 멀티카메라 제어장치(200A), 클라이언트 단말(500A) 및 디스플레이 장치(600)로 시스템을 구성함으로써, 상기 도 1a에서 설명한 상기 비디오서버(300) 및 데이터베이스(400)를 구성할 필요 없이 상기 멀티카메라 제어장치(200A)에서 직접 클라이언트 단말(500A)로 클라이언트가 원하는 해상도의 밉맵 영상은 물론, 각각의 해상도별 밉맵 영상을 토대로 대규모 영상을 구성할 때 미리 산출하여 저장한 영상결합정보(즉 스티칭 포인트 정보, 블렌딩 파라미터 등)를 제공하여, 상기 클라이언트 단말(500A)에서 상기 멀티카메라 제어장치(200A)로부터 정보를 제공받아 자신이 원하는 영상을 구성하도록 할 수 있다.

즉 상기 멀티카메라 제어장치(200A)는 상기 멀티카메라(100)에서 촬영한 영상 데이터를 다양한 해상도를 가진 밉맵 영상으로 변환하는 것은 물론, 자체적으로 각각의 해상도별 밉맵 영상을 토대로 대규모 영상을 구성하는 에뮬레이션을 수행한 다음, 수행결과를 토대로 생성되는 영상결합정보를 저장, 관리하고, 클라이언트 단말(500A)의 요청에 따라 해당 해상도의 밉맵 영상과 영상결합정보를 제공할 수 있도록 구성한 것이다.

또한 상기 멀티카메라 제어장치(200A)는 상기 클라이언트 단말(500A)로부터 제공받은 제어신호를 토대로 특정 촬영대상의 공간을 나누어 촬영하는 상기 멀티카메라(100) 각각의 구동을 제어할 수 있다. 그리고 상기 클라이언트 단말(500A)이나 멀티카메라 제작사 등으로부터 상기 멀티카메라(100) 또는 상기 멀티카메라 제어장치(200)의 운용을 위한 펌웨어가 업데이트되면 업데이트된 펌웨어를 상기 멀티카메라(100) 각각에 적용하여 운용할 수 있다.

한편 본 발명은 각각의 개별 카메라에서 촬영한 영상 데이터에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 경우, 상기 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간에 시차가 발생하지 않도록 처리하는 것이 필요하다.

예를 들어 좌측에서 우측으로, 상측에서 하측으로 멀티카메라의 촬영 환경에 따른 미리 정해진 스캔순서를 토대로 복수의 카메라 중 개별 카메라 영상의 동기를 맞추어 전체 프레임 동기를 유지하도록 한다. 이렇게 하면 멀티카메라 영상을 구성할 때 인접한 프레임간의 시차를 최소화할 수 있다.

또한 본 발명은 인접한 영상 간의 결합을 통해 구성되는 멀티카메라 영상에서 클라이언트가 원하는 일부분을 선택하여 출력할 수 있도록 지원하는 기능을 추가로 제공할 수 있다.

예를 들어 상기 멀티카메라(100)에서 촬영한 영상 데이터를 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나, 좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라(100)의 각 영상을 일부만 사용하여 디스플레이하거나, 또는 이들의 조합을 수행함으로써, 클라이언트가 원하는 일부분을 제공할 수 있는 것이다.

또한 본 발명은 멀티카메라의 각 카메라에서 비디오 데이터를 전송할 때 각 카메라에서 PTP(Precision Time Protocol) 타임스탬프를 생성하여, 예를 들어 IEEE 1588규격에 따라, 비디오 데이터와 타임스탬프를 포함한 패킷을 비디오서버나 단말로 송신하고, 비디오서버나 단말에서는 복수의 카메라로부터 전송되어온 패킷으로부터 비디오 데이터와 타임스탬프를 추출하고, 해당 타임스탬프와 로컬 클록을 이용하여 각 카메라와 비디오서버 혹은 단말간의 시간지연을 계산하고, 상기 시간지연을 고려하여 복수의 각 카메라에서 수신된 비디오 데이터들 간에 프레임 동기화를 수행하고자 한다. 이러한 방식으로 비디오 프레임간의 시간동기화를 수행함으로써, 멀티카메라에 포함된 각 카메라에서 송신한 비디오 데이터들 사이에서 네트워크(IP) 지연으로 인해 수신측에서 발생하는 시간 축 상의 혼선을 방지하고 동기화된 비디오 데이터의 핸들링이 가능하게 된다.

타임스탬프나 상기 타임스탬프를 생성하는데 필요한 기준클럭은 멀티카메라에 속한 각 카메라에서 별도로 생성할 수도 있으며, 멀티카메라 제어장치에서 생성하여 각 카메라에 제공하여도 되고, 복수의 카메라 중 하나에서 생성하여 다른 카메라로 분배하여 사용하도록 하여도 된다. 또한 별도의 전용 마스터 장치에서 생성하여도 무방하다.

또한 본 발명은 인접한 영상 간의 결합을 통해 구성되는 멀티카메라 영상을 3차원 입체영상으로 지원하는 기능을 추가로 제공할 수 있다.

예를 들어 상기 멀티카메라(100)를 구성하는 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하는 방식, 복수의 개별 카메라 영상에 시차를 반영하여 2차원 영상 데이터를 3차원 영상 데이터로 변환하여 출력하는 방식, 상기 멀티카메라 이외에 별도의 뎁쓰 카메라를 추가로 구성하여 상기 뎁쓰 카메라를 통해 3차원 영상을 생성하도록 지원하는 방식 등을 사용하여, 3차원 그래픽을 포함한 3차원 입체영상을 지원하는 멀티카메라 영상을 구현할 수 있도록 하는 것이다.

도 3은 상기 도 1의 멀티카메라 제어장치(200)의 구성을 보다 상세하게 나타낸 도면이다.

도 3에 도시된 바와 같이, 상기 멀티카메라 제어장치(200)는 촬영 데이터 입력부(210), 밉맵 영상 변환부(220), 패킷 변환부(230), 통신부(240), 저장부(250), 멀티카메라 구동부(260), 제어부(270) 등으로 구성된다.

촬영 데이터 입력부(210)는 각각의 카메라에서 촬영한 영상 데이터를 입력받아 밉맵 영상 변환부(220)로 출력한다.

밉맵 영상 변환부(220)는 상기 촬영 데이터 입력부(210)를 통해 각각의 카메라로부터 입력받은 영상 데이터를 토대로 다양한 해상도를 가진 밉맵 영상으로 변환하고, 다양한 해상도를 가진 밉맵 영상을 패킷 변환부(230)로 출력한다. 이때 상기 밉맵 영상은 풀 해상도의 텍스처를 사전에 결정한 1/4 해상도, 1/16 해상도 등의 해상도별로 축소하여 생성한 것이다.

패킷 변환부(230)는 상기 밉맵 영상 변환부(220)에서 변환한 밉맵 영상을 IP 패킷으로 패킷화하고, 상기 IP 패킷으로 변환한 밉맵 영상을 통신부(240)로 출력하여 비디오서버(300) 또는 클라이언트 단말(500)로 제공하도록 한다.

통신부(240)는 상기 패킷 변환부(230)를 통해 상기 IP 패킷으로 변환한 상기 밉맵 영상을 네트워크, 사용자 인터페이스 또는 이들의 조합을 통해 상기 비디오서버(300) 또는 상기 클라이언트 단말(500)로 전송한다. 즉 상기 밉맵 영상을 상기 비디오서버(300) 또는 상기 클라이언트 단말(500)로 IP를 통해 분배하여 전송하는 것이다.

또한 상기 통신부(240)는 상기 비디오서버(300)로부터 상기 멀티카메라 제어장치(200)의 구동을 위한 각종 프로그램 정보, 상기 멀티카메라(100) 각각의 구동을 제어하기 위한 구동제어신호 등을 수신한다.

저장부(250)는 상기 복수의 멀티카메라(100) 및 상기 멀티카메라 제어장치(200)의 구동을 위한 각종 프로그램을 저장하고 있다.

멀티카메라 구동부(260)는 상기 비디오서버(300) 또는 상기 클라이언트 단말(500)로부터 수신한 구동제어신호를 토대로 상기 멀티카메라(100) 각각의 구동을 제어한다. 즉 상기 멀티카메라(100)에서 특정 촬영대상의 공간을 나누어 촬영하도록 제어하는 것이다.

제어부(270)는 상기 멀티카메라 제어장치(200)의 전반적인 구동을 총괄적으로 제어하는 부분으로서, 상기 촬영 데이터 입력부(210)에서의 각각의 카메라에서 촬영한 영상 데이터의 입력처리를 제어하며, 상기 밉맵 영상 변환부(220)에서의 각각의 카메라에서 촬영한 영상 데이터의 밉맵 영상 변환을 제어한다.

또한 상기 제어부(270)는 상기 패킷 변환부(230)에서의 밉맵 영상의 IP 패킷 변환을 제어하고, 상기 통신부(240)에서의 밉맵 영상 전송, 상기 멀티카메라(100) 및 상기 멀티카메라 제어장치(200)의 구동을 위한 각종 프로그램 정보의 수신을 제어하며, 상기 멀티카메라 구동부(260)에서의 각각의 카메라별 구동을 제어한다.

도 4는 상기 도 1의 비디오서버(300)의 구성을 보다 상세하게 나타낸 도면이다.

도 4에 도시된 바와 같이, 상기 비디오서버(300)는 통신부(310), 패킷 변환부(320), 스티칭 및 블렌딩 처리부(330), 영상결합정보 생성부(340), 영상결합정보 제공부(350), 멀티카메라 관리부(360), 제어부(370) 등으로 구성된다.

통신부(310)는 네트워크를 통해 통신 접속된 상기 멀티카메라 제어장치(200)로부터 IP 패킷으로 변환한 밉맵 영상을 수신하여 패킷 변환부(320)로 출력한다.

또한 상기 통신부(310)는 네트워크를 통해 통신 접속된 상기 클라이언트 단말(500)의 요청에 따라 특정 해상도의 밉맵 영상과 특정 해상도의 밉맵 영상을 통해 멀티카메라 영상을 구성할 때 생성되는 인접 영상 간의 스티칭 포인트와 중복되는 영상 부분의 블렌딩을 위한 파라미터 등의 영상결합정보를 해당 클라이언트 단말(500)로 전송한다. 이때 클라이언트 단말(500)로 제공되는 특정 해상도의 밉맵 영상과 영상결합정보는 클라이언트에 의한 별도의 요청 없이 제공하거나 또는 주기적으로 제공할 수 있다.

또한 상기 통신부(310)는 상기 멀티카메라 제어장치(200)의 구동을 위한 각종 프로그램 정보, 상기 복수의 카메라의 구동을 제어하기 위한 구동제어신호 등을 전송한다.

패킷 변환부(320)는 상기 통신부(310)를 통해 상기 멀티카메라 제어장치(200)로부터 수신한 IP 패킷을 해제(depacketizing)하여 다양한 해상도를 갖는 밉맵 영상으로 변환하고, 이를 스티칭 및 블렌딩 처리부(330)로 출력한다.

또한 상기 패킷 변환부(320)는 상기 클라이언트 단말(500)의 요청에 따른 특정 해상도의 밉맵 영상에 대하여 멀티카메라 영상을 구성할 때 생성한 인접 영상 간의 스티칭 포인트 정보, 중복되는 영상 부분의 블렌딩 파라미터 등의 영상결합정보를 IP 패킷으로 변환하고, 상기 IP 패킷으로 변환한 영상결합정보를 상기 통신부(310)로 출력하여 상기 클라이언트 단말(500)로 제공하도록 한다.

스티칭 및 블렌딩 처리부(330)는 상기 통신부(310)를 통해 상기 멀티카메라(100)로부터 수신받은 다양한 해상도의 밉맵 영상에 대하여, 각각의 카메라에서 촬영한 인접 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 부분으로서, 중복 영상 추출부(332), 동기화부(334), 블렌딩부(336) 등으로 구성된다.

상기 중복 영상 추출부(332)는 각각의 카메라로부터 제공받은 영상 중에서 인접한 영상 간에 중복된 부분을 검출하는 기능을 수행한다.

이때 상기 중복 영상 추출부(332)는 인접한 두 개의 카메라에서 촬영한 영상의 중심에서 점점 가장자리로 움직이면서 중복되는 영역을 탐색하고, 탐색결과를 토대로 중복 부분을 검출하는 방식을 사용한다. 이는 스티칭에서 중복되는 영역을 가장 빨리 찾기 위한 방법 중 하나이다.

상기 동기화부(334)는 상기 중복 영상 추출부(332)에서 검출한 중복된 부분을 참조하여 인접한 영상 중 어느 하나의 영상을 이동시켜 불연속적인 부분이 없이 스티칭되도록 동기화시킨다.

또한 본 발명은 멀티카메라의 각 카메라에서 비디오 데이터를 전송할 때 각 카메라에서 PTP 타임스탬프를 생성하여 비디오 데이터와 타임스탬프를 포함한 패킷을 비디오서버나 단말로 송신하고, 비디오서버나 단말에서는 복수의 카메라로부터 전송되어온 패킷으로부터 비디오 데이터와 타임스탬프를 추출하고, 해당 타임스탬프와 로컬 클록을 이용하여 각 카메라와 비디오서버 혹은 단말간의 시간지연을 계산하고, 상기 시간지연을 고려하여 복수의 각 카메라에서 수신된 비디오 데이터들 간에 프레임 동기화를 수행한다.

상기 블렌딩부(336)는 상기 동기화부(334)에서 동기화시킨 인접 영상 간의 접합부분에 대한 밝기, 명암, 색 또는 이들의 조합을 조정하여 인접 영상 간에 이물감이 느껴지지 않도록 한다.

영상결합정보 생성부(340)는 상기 스티칭 및 블렌딩 처리부(330)에서 각 해상도별 밉맵 영상을 토대로 멀티카메라 영상을 구성할 때 생성되는 인접한 영상 간의 영상결합정보를 확인하고, 상기 영상결합정보를 데이터베이스(400)에 저장하여 관리한다.

이때 상기 영상결합정보는 각각의 해상도별 밉맵 영상을 토대로 멀티카메라 영상을 구성할 때 미리 계산하여 데이터베이스화한 것이다.

예를 들어 상기 영상결합정보로는 인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호 또는 이들의 조합을 포함한 스티칭 포인트 정보, 인접한 영상 간의 접합부분에 대한 명암, 밝기, 색 또는 이들의 조합을 포함한 블렌딩 파라미터, 또는 이들의 조합을 포함할 수 있다.

영상결합정보 제공부(350)는 상기 통신부(310)를 통해 상기 클라이언트 단말(500)로부터 특정 해상도에 따른 인접한 영상 간의 영상결합정보가 요청되는지를 확인하고, 확인결과 상기 클라이언트 단말(500)로부터 특정 해상도의 영상에 대하여 사전에 데이터베이스로 구축해 놓은 영상결합정보가 요청되면, 상기 클라이언트 단말(500)로부터 요청받은 특정 해상도의 밉맵 영상에 대한 인접한 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터 등의 영상결합정보를 해당 클라이언트 단말(500)로 전송하도록 한다.

이때 상기 영상결합정보는 상기 패킷 변환부(320)로 제공되어 IP 패킷으로 변환한 다음, 상기 통신부(310)에서 IP를 통해 상기 클라이언트 단말(500)로 전송하도록 한다.

또한 상기 영상결합정보 제공부(350)는 상기 클라이언트 단말(500)에서 요청하는 특정 해상도의 밉맵 영상을 상기 영상결합정보와 함께 상기 클라이언트 단말(500)로 제공할 수 있다.

한편 상기 영상결합정보 제공부(350)는 상기 클라이언트 단말(500)로부터 요청된 특정 해상도에 따른 인접한 영상 간의 영상결합정보가 데이터베이스(400)에 사전에 저장되어 있지 않으면, 상기 데이터베이스(400)에 저장하여 관리중인 각 해상도별 밉맵 영상에 대한 영상결합정보 중에서 상기 클라이언트 단말(500)에서 요청한 해상도와 가장 근접한 두 개의 해상도에 따른 영상결합정보를 토대로 상기 클라이언트 단말(500)에서 요청한 해상도에 따른 영상결합정보를 생성하여 상기 클라이언트 단말(500)로 제공할 수 있다.

예를 들어 상기 데이터베이스(400)에 128ㅧ128, 64ㅧ64, 32ㅧ32, 16ㅧ16, 8ㅧ8, 4ㅧ4, 2ㅧ2, 1ㅧ1의 해상도에 따른 인접한 영상 간의 영상결합정보가 저장된 상태에서, 상기 클라이언트 단말(500)로부터 40ㅧ40 해상도에 따른 영상결합정보가 요청되면, 상기 영상결합정보 제공부(350)는 사전에 구축해 놓은 64ㅧ64 해상도와 32ㅧ32 해상도에 따른 영상결합정보를 참조하여 클라이언트가 요청한 40ㅧ40 해상도에 따른 영상결합정보를 계산한 다음, 이를 클라이언트 단말(500)로 제공하는 것이다.

멀티카메라 관리부(360)는 상기 멀티카메라(100)를 구성하는 각각의 카메라 구동을 제어하기 위한 제어신호를 생성하고, 상기 생성한 제어신호를 상기 통신부(310)를 통해 상기 멀티카메라 제어장치(200)로 전송하도록 한다.

또한 상기 멀티카메라 관리부(360)는 상기 멀티카메라(100) 또는 상기 멀티카메라 제어장치(200)의 운용을 위한 펌웨어가 업데이트되면, 업데이트된 펌웨어를 상기 통신부(310)를 통해 상기 멀티카메라 제어장치(200)로 전송하도록 한다.

제어부(370)는 상기 비디오서버(300)의 전반적인 구동을 총괄적으로 제어하는 부분으로서, 상기 통신부(310)에서의 밉맵 영상 수신, 상기 멀티카메라(100) 또는 상기 멀티카메라 제어장치(200)의 구동을 위한 각종 프로그램 정보의 전송을 제어하며, 상기 영상결합정보 제공부(350)에서의 클라이언트 요청 확인, 클라이언트로부터 요청받은 특정 해상도에 따른 밉맵 영상과 인접 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터 등의 영상결합정보의 전송을 제어한다.

또한 상기 제어부(370)는 상기 패킷 변환부(320)에서의 상기 멀티카메라 제어장치(200)로부터 수신한 밉맵 영상에 대한 IP 패킷의 해제, 클라이언트로부터 요청받은 특정 해상도의 밉맵 영상에 대한 영상결합정보의 IP 패킷 변환을 제어하며, 상기 스티칭 및 블렌딩 처리부(330)에서의 다양한 해상도의 밉맵 영상에 대한 스티칭이나 블렌딩을 통한 대규모 영상 구성 및 이에 따른 상기 영상결합정보 생성부(340)에서의 인접한 영상 간의 영상결합정보 생성 및 저장을 제어한다.

도 5는 상기 도 1의 클라이언트 단말(500)의 구성을 보다 상세하게 나타낸 도면이다.

도 5에 도시된 바와 같이, 상기 클라이언트 단말(500)은 데이터 요청부(510), 통신부(520), 패킷 변환부(530), 영상 결합부(540), 영상 출력부(550), 저장부(560), 제어부(570) 등으로 구성된다. 이때 도면에 도시하지는 않았지만 상기 클라이언트 단말(500)은 각각의 멀티카메라(100)의 구동을 제어하기 위한 제어신호를 생성하여 상기 멀티카메라 제어장치(200)로 제공하는 멀티카메라 관리부를 추가하여 구성할 수 있다.

데이터 요청부(510)는 클라이언트의 입력 조작을 토대로 상기 영상 결합부(540)에서 렌더링할 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 상기 통신부(520)를 통해 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로 요청한다.

통신부(520)는 상기 데이터 요청부(510)에서 요청한 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로 전송하고, 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로부터 특정 해상도에 따른 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 IP를 통해 수신한다.

예를 들어 도 1a의 실시예의 경우, 상기 통신부(520)는 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보 모두를 상기 비디오서버(300)로부터 제공받거나, 또는 특정 해상도에 대한 밉맵 영상은 상기 멀티카메라 제어장치(200)로부터 제공받고 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보는 상기 비디오서버(300)로부터 제공받는다.

또한 도 1b의 실시예의 경우, 상기 통신부(520)는 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보 모두를 상기 멀티카메라 제어장치(200A)로부터 제공받는다.

이때 상기 통신부(510)는 특정 해상도의 밉맵 영상과 영상결합정보를 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로부터 상기 데이터 요청부(510)를 통한 요청 없이 직접 제공받거나 또는 주기적으로 제공받을 수 있다.

패킷 변환부(530)는 상기 통신부(520)를 통해 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로부터 수신한 IP 패킷을 해제하여 특정 해상도에 대한 밉맵 영상을 영상 결합부(540)로 출력한다.

또한 상기 패킷 변환부(530)는 상기 비디오서버(300)로부터 수신한 특정 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보에 대한 IP 패킷을 해제하고, 상기 영상결합정보를 영상 결합부(540)로 출력한다.

영상 결합부(540)는 상기 패킷 변환부(530)로부터 입력되는 클라이언트가 원하는 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 이용하여 영상을 잘라내거나 이어붙여 영상을 생성하고, 상기 생성한 영상을 영상 출력부(550)로 출력한다.

즉 상기 영상 결합부(540)는 특정 해상도에 대한 밉맵 영상과 상기 비디오서버(300)로부터 제공받은 사전에 구축해 놓은 인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호를 포함한 스티칭 포인트 정보, 인접한 영상 간의 접합부분에 대한 명암, 밝기, 색을 포함한 블렌딩 파라미터 등의 영상결합정보를 참조하여, 여러 영상을 잘라내거나 이어붙이는 등의 작업, 빈 공간을 채워넣는 보간작업, 접합 부분의 블렌딩 처리 등을 수행하여 원하는 영상을 만드는 것이다.

영상 출력부(550)는 상기 영상 결합부(540)에서 생성한 영상을 디스플레이 장치(600)로 출력하여 화면상에 디스플레이하도록 한다.

저장부(560)는 상기 클라이언트 단말(500)에서 사용하는 각종 프로그램을 저장하고 있으며, 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로부터 제공받은 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보, 상기 영상 결합부(540)에서 수행한 최종영상에 대한 정보를 저장한다.

제어부(570)는 상기 클라이언트 단말(500)의 전반적인 구동을 총괄적으로 제어하는 부분으로서, 상기 통신부(520)에서의 특정 해상도에 따른 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보의 요청 및 수신을 제어하고, 상기 패킷 변환부(530)에서의 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로부터 수신한 특정 해상도에 대한 밉맵 영상 및 영상결합정보에 대한 IP 패킷의 해제를 제어한다.

또한 상기 제어부(570)는 상기 영상 결합부(540)에서의 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 이용한 영상 결합을 제어하며, 상기 영상 출력부(550)에서의 상기 결합한 최종영상의 디스플레이 장치(600)로의 출력을 제어한다.

다음에는, 이와 같이 구성된 본 발명에 따른 멀티카메라 비디오 분배 및 결합 방법의 일 실시예를 도 6 내지 도 8을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있음을 밝혀둔다.

도 6 내지 도 8은 본 발명의 일 실시예에 따른 멀티카메라 비디오 분배 및 결합 방법이 적용된 멀티카메라 제어장치, 비디오서버 및 클라이언트 단말의 동작과정을 상세하게 나타낸 순서도이다.

우선, UHD급의 영상을 촬영할 수 있는 IP카메라로 구성된 복수의 카메라에서 특정 촬영대상을 나누어 촬영하고, 촬영한 영상 데이터를 로컬 네트워크로 연결되어 있는 멀티카메라 제어장치(200)로 출력한다(S110).

그리고 상기 멀티카메라 제어장치(200)는 로컬 네트워크를 통해 수신한 각각의 카메라에서 촬영한 영상 데이터를 다양한 해상도를 가진 밉맵 영상으로 변환하고(S120), 상기 변환한 밉맵 영상을 IP 패킷으로 변환한다(S130).

이때 상기 S120 단계를 통해 상기 멀티카메라 제어장치(200)에서 변환하는 상기 밉맵 영상은 풀 해상도의 텍스처를 사전에 결정한 1/4 해상도, 1/16 해상도 등의 해상도별로 축소하여 생성한 것이다.

상기 S120 단계와 S130 단계를 통해 밉맵 영상 변환 및 IP 패킷 변환을 수행한 이후, 상기 멀티카메라 제어장치(200)는 IP 패킷으로 변환한 상기 밉맵 영상을 네트워크를 통해 비디오서버(300) 또는 클라이언트 단말(500)로 전송한다(S140).

상기 S140 단계를 통해 상기 멀티카메라 제어장치(200)에서 밉맵 영상을 IP 패킷으로 변환하여 전송하면, 상기 비디오서버(300)는 네트워크를 통해 상기 멀티카메라 제어장치(200)로부터 IP 패킷을 수신한 다음(S210), IP 패킷을 해제하여 다양한 해상도를 갖는 밉맵 영상으로 복원한다(S220).

이후 상기 비디오서버(300)는 상기 멀티카메라 제어장치(200)로부터 수신한 다양한 해상도의 밉맵 영상(즉 각각의 멀티카메라(100)에서 촬영한 영상 데이터를 다양한 해상도로 변환한 영상)에 대하여, 인접한 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성한다(S230). 즉 각 해상도에 대한 밉맵 영상에 포함된 각각의 카메라에서 촬영한 영상 데이터를 결합하여 보다 고해상도이며 광각으로 촬영된 영상을 만들어내는 것이다.

또한 상기 비디오서버(300)는 상기 S230 단계를 통해 멀티카메라 영상을 구성할 때의 인접한 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터, 또는 이들의 조합을 포함한 영상결합정보를 생성하고(S240), 상기 생성한 영상결합정보를 데이터베이스(400)에 저장하여 관리한다(S250). 즉 각각의 해상도별 밉맵 영상을 토대로 대규모 영상을 구성할 때 인접한 영상 간의 영상결합정보를 미리 계산하여 데이터베이스화하는 것이다.

이때 상기 S240 단계에서 생성되는 영상결합정보는 인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호 등을 포함한 스티칭 포인트 정보, 인접한 영상 간의 접합부분에 대한 명암, 밝기, 색 등을 포함한 블렌딩 파라미터 등이며, 각 해상도에 대한 밉맵 영상별로 구분하여 데이터베이스(400)에 저장된다.

이와 같이 각각의 해상도별 밉맵 영상을 토대로 멀티카메라 영상을 구성할 때 인접한 영상 간의 영상결합정보를 미리 계산하여 데이터베이스로 구축한 이후, 상기 비디오서버(300)는 상기 각각의 멀티카메라(100)에서 촬영한 영상 데이터를 원하는 해상도에 따라 결합하여 디스플레이 장치(600)에 디스플레이하고자 하는 클라이언트 단말(500)로부터 특정 해상도에 따른 인접한 영상 간의 영상결합정보가 요청되는지를 판단한다(S260).

판단결과 상기 클라이언트 단말(500)로부터 특정 해상도에 따른 인접한 영상 간의 영상결합정보가 요청되면, 상기 비디오서버(300)는 상기 S250 단계를 통해 데이터베이스(400)에 저장한 특정 해상도에 따른 인접한 영상 간의 영상결합정보를 추출한 후, 이를 해당 클라이언트 단말(500)로 전송한다(S270). 이때 상기 영상결합정보는 IP 패킷으로 변환한 후, 네트워크를 통해 해당 클라이언트 단말(500)로 전송된다.

또한 상기 비디오서버(300)는 상기 클라이언트 단말(500)로부터 요청받은 특정 해상도의 밉맵 영상을 상기 영상결합정보와 함께 상기 클라이언트 단말(500)로 제공할 수 있다.

이제, 상기 S260 단계 및 S270 단계를 통해 상기 비디오서버(300)에서 클라이언트가 요청한 특정 해상도에 따른 인접한 영상 간의 영상결합정보를 클라이언트 단말(500)로 전송하면, 상기 클라이언트 단말(500)은 네트워크를 통해 IP 패킷을 수신하고(S310), 수신한 IP 패킷을 해제하여 클라이언트가 원하는 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 확인한다. 이때 클라이언트가 원하는 특정 해상도에 대한 밉맵 영상은 상기 비디오서버(300)로부터 제공받거나, 상기 멀티카메라 제어장치(200)로 직접 요청하여 제공받을 수 있다. 또한 상기 클라이언트 단말(500)은 상기 멀티카메라(100) 또는 상기 비디오서버(300)로부터 상기 밉맵 영상, 상기 영상결합정보 또는 이들의 조합을 클라이언트에 의한 요청 없이 제공받거나 또는 주기적으로 제공받을 수 있다.

이후 상기 클라이언트 단말(500)은 클라이언트가 원하는 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 이용하여, 여러 영상을 잘라내거나 이어붙이는 등의 작업, 빈 공간을 채워넣는 보간작업, 접합 부분의 블렌딩 처리 등을 수행하여 원하는 최종영상을 구성한다(S320).

상기 S320 단계를 통해 클라이언트가 원하는 해상도에 따른 최종영상을 결합한 이후, 상기 클라이언트 단말(500)은 상기 최종영상을 디스플레이 장치(600)를 통해 디스플레이한다(S330).

이처럼, 본 발명은 멀티카메라에서 촬영한 비디오에 대해서 복수의 해상도를 가진 밉맵 영상을 클라이언트 단말의 요구에 따라 IP를 통해서 분배하고, 각 클라이언트 단말에서 상기 분배되어 온 비디오를 원하는 바에 따라 잘라내고 결합하여 화면상에 디스플레이할 수 있기 때문에 보다 고해상도이며 광각으로 촬영된 비디오를 이용할 수 있다.

또한 본 발명은 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 개별 카메라 영상의 동기를 맞추어 전체 프레임 동기를 유지하도록 함으로써, 프레임간의 시차를 최소화할 수 있다.

아울러 본 발명은 멀티카메라의 각 카메라에서 전송한 비디오 데이터를 수신측에서 수신하고 네트워크 지연을 계산한 다음 상기 시간지연을 고려하여 복수의 각 카메라에서 수신된 비디오 데이터들 간에 프레임 동기화를 수행함으로써, 시간 동기화된 비디오 데이터의 핸들링이 가능하다.

또한 본 발명은 클라이언트가 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화하는 것이 가능하고, 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하여 대형의 멀티카메라 영상에서 자신이 원하는 부분을 선택하여 출력하는 것이 가능하다.

또한 본 발명은 클라이언트가 멀티카메라를 이용하여 촬영한 2차원 영상을 3차원 영상으로 변환하여 디스플레이 할 수 있다.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100 : 멀티카메라
200, 200A : 멀티카메라 제어장치
300 : 비디오서버
400 : 데이터베이스
500, 500A : 클라이언트 단말
600 : 디스플레이 장치

Claims

복수의 카메라에서 촬영한 영상 데이터를 입력받아 각각의 영상 데이터를 적어도 하나 이상의 해상도를 가진 밉맵 영상으로 변환하는 밉맵영상 변환부; 및
네트워크, 사용자 인터페이스 또는 이들의 조합을 통해서 외부로부터 상기 밉맵 영상의 제공을 요청 받거나 미리 결정된 설정에 따라 상기 밉맵 영상의 생성을 제어하는 제어부;를 포함하며,
상기 밉맵 영상은, 복수의 카메라에서 촬영한 각 풀 해상도의 영상 데이터를 사전에 결정한 해상도별로 축소하여 생성한 적어도 하나 이상의 영상이고, 상기 적어도 하나 이상의 영상은 상기 풀 해상도에 비해서 영상 데이터의 크기가 작으며,
상기 제어부는,
복수의 각 개별 카메라에 대해서 PTP 타임스탬프를 생성하여 비디오서버 또는 클라이언트 단말로 전송하도록 제어함으로써, 상기 비디오서버 또는 클라이언트 단말에서 로컬 클럭과 상기 PTP 타임스탬프를 활용하여 네트워크 지연을 계산한 다음, 상기 계산된 네트워크 지연을 반영하여 시간 동기화를 수행하도록 하거나,
상기 제어부의 제어를 통해 상기 밉맵 영상을 제공받은 상기 비디오서버 또는 클라이언트 단말에서 상기 밉맵 영상을 참조하여 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때, 인접한 프레임 간 시차가 발생하지 않도록 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써, 전체 프레임 동기를 유지하도록 하여, 상기 개별 카메라 영상의 프레임간 시차를 줄이거나, 또는
이들의 조합을 수행하는 것을 특징으로 하는 멀티카메라 제어장치.
청구항 1에 있어서,
상기 멀티카메라 제어장치는,
상기 변환한 밉맵 영상과 PTP 타임스탬프를 IP 패킷으로 패킷화하는 패킷 변환부; 및
상기 IP 패킷으로 변환한 상기 밉맵 영상을 네트워크를 통해 비디오서버 또는 클라이언트 단말로 전송하는 통신부;를 더 포함하는 것을 특징으로 하는 멀티카메라 제어장치.
청구항 1에 있어서,
상기 멀티카메라 제어장치는,
비디오서버 또는 클라이언트 단말로부터 수신한 구동제어신호를 토대로 상기 복수의 카메라에 대한 구동을 제어하여, 상기 복수의 카메라 각각에서 특정 촬영대상의 공간을 나누어 촬영하도록 하는 멀티카메라 구동부;를 더 포함하는 것을 특징으로 하는 멀티카메라 제어장치.
삭제
청구항 1에 있어서,
상기 멀티카메라 제어장치는,
멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나,
좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하거나,
또는 이들의 조합을 수행하여, 상기 멀티카메라 영상에서 사용자가 원하는 일부분을 선택하여 출력할 수 있도록 지원하는 것을 특징으로 하는 멀티카메라 제어장치.
청구항 1에 있어서,
상기 멀티카메라 제어장치는,
멀티카메라 영상을 3차원 입체영상으로 디스플레이하는 것을 지원하며,
상기 멀티카메라에서 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나, 복수의 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력하거나, 별도의 뎁쓰 카메라를 구비하여 3차원 영상을 생성하도록 지원하는 것을 포함하며,
상기 멀티카메라 영상은 3차원 그래픽을 포함하는 것을 특징으로 하는 멀티카메라 제어장치.
복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 데 필요한 정보를 생성하고,
상기 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또 는 이들의 조합을 클라이언트에게 제공하거나 데이터베이스에 저장하여 관리하는 비디오서버를 포함하며,
상기 밉맵 영상은, 복수의 카메라에서 촬영한 각 풀 해상도의 영상 데이터를 사전에 결정한 해상도별로 축소하여 생성한 적어도 하나 이상의 영상이고, 상기 적어도 하나 이상의 영상은 상기 풀 해상도에 비해서 영상 데이터의 크기가 작으며,
상기 멀티카메라 영상을 구성하는 데 필요한 정보는, 인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호 또는 이들의 조합을 포함한 스티칭 포인트 정보, 인접한 영상 간의 접합부분에 대한 명암, 밝기, 색 또는 이들의 조합을 포함한 블렌딩 파라미터, 또는 이들의 조합을 포함하며,
복수의 각 개별 카메라로부터 PTP 타임스탬프를 수신하고, 상기 수신한 PTP 타임스탬프와 로컬 클럭을 활용하여 네트워크 지연을 계산한 다음, 상기 계산된 네트워크 지연을 반영하여 시간 동기화를 수행하거나,
상기 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때, 인접한 프레임 간 시차가 발생하지 않도록 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써, 전체 프레임 동기를 유지하도록 하여, 상기 개별 카메라 영상의 프레임간 시차를 줄이거나, 또는
이들의 조합을 수행하는 것을 특징으로 하는 멀티카메라 비디오 분배장치.
청구항 7에 있어서,
상기 비디오서버는,
복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 것을 더 포함하며,
상기 멀티카메라 영상을 구성하는 데 필요한 정보는,
각각의 해상도별 밉맵 영상을 토대로 멀티카메라 영상을 구성할 때 필요한 스티칭 포인트 정보, 블렌딩 파라미터, 또는 이들의 조합을 포함한 정보를 미리 계산하여 데이터베이스화한 것을 특징으로 하는 멀티카메라 비디오 분배장치.
청구항 7에 있어서,
상기 비디오서버는,
상기 복수의 카메라 각각의 구동을 제어하기 위한 제어신호를 생성하여 상기 복수의 카메라 또는 멀티카메라 제어장치로 전송함으로써, 멀티카메라 관리를 수행하는 것을 더 포함하며,
상기 멀티카메라 관리는, 상기 복수의 카메라 또는 상기 멀티카메라 제어장치의 운용을 위한 펌웨어가 업데이트되면, 상기 업데이트된 펌웨어를 상기 복수의 카메라 또는 멀티카메라 제어장치로 제공하는 것을 포함하는 것을 특징으로 하는 멀티카메라 비디오 분배장치.
청구항 7에 있어서,
상기 비디오서버는,
멀티카메라로부터 제공받은 복수의 영상 중에서 인접한 영상 간에 중복된 부분을 검출하고,
상기 검출한 중복된 부분을 참조하여 인접한 영상 중 어느 하나의 영상을 이동시켜 불연속적인 부분이 없이 스티칭되도록 동기화시키며,
상기 동기화시킨 인접 영상 간의 접합부분에 대한 밝기, 명암, 색 또는 이들의 조합을 조정하여 블렌딩 처리를 수행하는 것을 포함하는 것을 특징으로 하는 멀티카메라 비디오 분배장치.
삭제
청구항 7에 있어서,
상기 멀티카메라 비디오 분배장치는,
상기 멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나,
좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하거나, 또는
이들의 조합을 수행함으로써, 상기 멀티카메라 영상에서 사용자가 원하는 일부분을 선택하여 출력할 수 있도록 지원하는 것을 특징으로 하는 멀티카메라 비디오 분배장치.
청구항 7에 있어서,
상기 멀티카메라 비디오 분배장치는,
상기 멀티카메라 영상을 3차원 입체영상으로 디스플레이하는 것을 지원하며,
상기 멀티카메라에서 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나, 복수의 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력하거나, 별도의 뎁쓰 카메라를 구비하여 3차원 영상을 생성하도록 지원하는 것을 포함하며,
상기 멀티카메라 영상은 3차원 그래픽을 포함하는 것을 특징으로 하는 멀티카메라 비디오 분배장치.
멀티카메라 또는 비디오서버로부터 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따른 인접한 영상 간의 영상결합정보 또는 이들의 조합을 제공받는 통신부;
상기 영상결합정보를 이용하여 상기 밉맵 영상을 상기 특정 해상도에 따라 잘라내거나 이어 붙여 디스플레이 화면에 출력할 멀티카메라 영상을 생성하는 영상 결합부; 및
상기 생성한 멀티카메라 영상을 디스플레이 화면을 통해 출력하는 영상 출력부;를 포함하며,
상기 밉맵 영상은, 복수의 카메라에서 촬영한 각 풀 해상도의 영상 데이터를 사전에 결정한 해상도별로 축소하여 생성한 적어도 하나 이상의 영상이고, 상기 적어도 하나 이상의 영상은 상기 풀 해상도에 비해서 영상 데이터의 크기가 작으며,
복수의 각 개별 카메라로부터 PTP 타임스탬프를 수신하고, 상기 수신한 PTP 타임스탬프와 로컬 클럭을 활용하여 네트워크 지연을 계산한 다음, 상기 계산된 네트워크 지연을 반영하여 시간 동기화를 수행하거나,
상기 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때, 인접한 프레임 간 시차가 발생하지 않도록 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써, 전체 프레임 동기를 유지하도록 하여, 상기 개별 카메라 영상의 프레임간 시차를 줄이거나, 또는
이들의 조합을 수행하는 것을 특징으로 하는 클라이언트 단말.
청구항 14에 있어서,
상기 클라이언트 단말은,
상기 통신부를 통해 디스플레이 화면에 렌더링할 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따른 인접한 영상 간의 영상결합정보 또는 이들의 조합을 IP를 통해 멀티카메라 또는 비디오서버로 요청하여 수신하거나,
상기 멀티카메라 또는 비디오서버로부터 상기 밉맵 영상, 상기 영상결합정보 또는 이들의 조합을 상기 요청 없이 제공받거나, 또는
상기 멀티카메라 또는 비디오서버로부터 상기 밉맵 영상, 상기 영상결합정보 또는 이들의 조합을 주기적으로 제공받는 것을 특징으로 하는 클라이언트 단말.
삭제
청구항 14에 있어서,
상기 클라이언트 단말은,
상기 멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나,
좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하거나, 또는
이들의 조합을 수행함으로써, 상기 멀티카메라 영상에서 사용자가 원하는 일부분을 선택하여 출력하는 것을 특징으로 하는 클라이언트 단말.
청구항 14에 있어서,
상기 클라이언트 단말은,
상기 멀티카메라 영상을 3차원 입체영상으로 디스플레이하는 것을 포함하며,
상기 멀티카메라에서 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나, 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력하거나, 뎁쓰 카메라를 별도로 구비하여 3차원 영상을 생성하는 것을 포함하며,
상기 멀티카메라 영상은 3차원 그래픽을 포함하는 것을 특징으로 하는 클라이언트 단말.
멀티카메라에서 복수의 카메라에서 촬영한 영상 데이터를 입력받아 각각의 영상 데이터를 적어도 하나 이상의 해상도를 가진 밉맵 영상으로 변환하고,
멀티카메라에서 네트워크, 사용자 인터페이스 또는 이들의 조합을 통해서 외부로부터 상기 밉맵 영상의 제공을 요청 받거나 미리 결정된 설정에 따라 상기 밉맵 영상의 생성을 제어하는 것을 포함하며,
상기 밉맵 영상은, 복수의 카메라에서 촬영한 각 풀 해상도의 영상 데이터를 사전에 결정한 해상도별로 축소하여 생성한 적어도 하나 이상의 영상이고, 상기 적어도 하나 이상의 영상은 상기 풀 해상도에 비해서 영상 데이터의 크기가 작으며,
복수의 각 개별 카메라에 대해서 PTP 타임스탬프를 생성하여 각 영상 데이터와 함께 패킷화하여 비디오서버 또는 클라이언트 단말로 전송하고, 상기 비디오서버 또는 클라이언트 단말에서 로컬 클럭과 상기 PTP 타임스탬프를 활용하여 네트워크 지연을 계산한 다음, 상기 계산된 네트워크 지연을 반영하여 시간 동기화를 수행하거나,
멀티카메라 영상의 각 프레임을 공간적으로 결합할 때, 인접한 프레임 간 시차가 발생하지 않도록 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써, 전체 프레임 동기를 유지하도록 하여, 상기 개별 카메라 영상의 프레임간 시차를 줄이거나, 또는
이들의 조합을 수행하는 것을 특징으로 하는 멀티카메라 비디오 제어 방법.
청구항 19에 있어서,
상기 멀티카메라 비디오 제어 방법은,
상기 비디오서버에서 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 데 필요한 정보를 생성하고,
상기 비디오서버에서 상기 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합을 클라이언트에게 제공하거나 데이터베이스에 저장하여 관리하는 것을 더 포함하며,
상기 멀티카메라 영상을 구성하는 데 필요한 정보는, 인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호 또는 이들의 조합을 포함한 스티칭 포인트 정보, 인접한 영상 간의 접합부분에 대한 명암, 밝기, 색 또는 이들의 조합을 포함한 블렌딩 파라미터, 또는 이들의 조합을 포함하는 것을 특징으로 하는 멀티카메라 비디오 제어 방법.
청구항 20에 있어서,
상기 멀티카메라 비디오 제어 방법은,
클라이언트 단말에서 멀티카메라 또는 비디오서버에 요청하여 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따른 인접한 영상 간의 영상결합정보 또는 이들의 조합을 제공받고,
상기 클라이언트 단말에서 상기 영상결합정보를 이용하여 상기 밉맵 영상을 상기 특정 해상도에 따라 잘라내거나 이어 붙여 디스플레이 화면에 출력할 멀티카메라 영상을 생성하고,
상기 클라이언트 단말에서 상기 생성한 멀티카메라 영상을 디스플레이 화면을 통해 출력하는 것을 특징으로 하는 멀티카메라 비디오 제어 방법.
삭제