KR100982607B1 - 영상처리시스템 및 영상처리방법 - Google Patents

영상처리시스템 및 영상처리방법 Download PDF

Info

Publication number
KR100982607B1
KR100982607B1 KR1020090013490A KR20090013490A KR100982607B1 KR 100982607 B1 KR100982607 B1 KR 100982607B1 KR 1020090013490 A KR1020090013490 A KR 1020090013490A KR 20090013490 A KR20090013490 A KR 20090013490A KR 100982607 B1 KR100982607 B1 KR 100982607B1
Authority
KR
South Korea
Prior art keywords
image
preliminary
server
preliminary image
individual images
Prior art date
Application number
KR1020090013490A
Other languages
English (en)
Other versions
KR20100094181A (ko
Inventor
장태환
Original Assignee
장태환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 장태환 filed Critical 장태환
Priority to KR1020090013490A priority Critical patent/KR100982607B1/ko
Publication of KR20100094181A publication Critical patent/KR20100094181A/ko
Application granted granted Critical
Publication of KR100982607B1 publication Critical patent/KR100982607B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 실시예에 따른 영상처리시스템은 영상제공부가 제공하는 다수개의 개별영상을 디코딩한 후, 상기 다수개의 개별영상의 데이터량을 조절하여 인코딩한 예비영상을 제공하는 머지서버; 상기 예비영상을 제공받아 디스플레이 장치의 출력조건에 따른 최종영상을 구성하는 디스플레이 서버; 및 상기 디스플레이 서버로부터 상기 출력조건을 전달받아 상기 머지서버로 상기 예비영상에 대한 출력제어신호를 전달하는 제어서버를 포함한다. 본 실시예에 따르면, 사용자가 원하는 경우 다수개의 영상제공부에서 제공되는 개별영상을 해상도와 프레임 레이트 측면에서 손해보지 않고 디스플레이 장치에 표시할 수 있으며, 실시간으로 영상을 줌인/줌아웃/패닝(panning)할 수 있어 영상처리시스템의 동작 응답성과 사용효율을 향상시킬 수 있다.

Description

영상처리시스템 및 영상처리방법{Video processing system and video processing method}
본 발명은 영상처리시스템과 영상처리방법에 관한 것으로, 더욱 상세하게는 다수개의 카메라에서 촬영한 영상을 디스플레이할 때, 상기 영상을 다양한 출력조건에서 디스플레이하는 영상처리시스템 및 영상처리방법에 관한 것이다.
감시 시스템은 서로 다른 위치에 이격되어 장착된 다수개의 영상제공부(예컨대, IP 카메라)에서 촬영한 영상을 기록장치에 저장하고, 디스플레이 장치로 출력하여 소수의 인력으로 시간적, 공간적 제약을 넘어 감시가 가능한 시스템을 말한다.
감시 시스템의 사용자는 다수개의 영상제공부에서 촬영된 각 영상을 하나 또는 수개의 디스플레이 장치를 통해 보게 되며, 이러한 감시 시스템의 효율적인 통제와 활용을 위해서는 다수개의 영상제공부로부터 제공되는 영상들을 디스플레이 장치에서 효과적으로 표시하는 것이 요구된다.
종래의 감시 시스템은 영상제공부와 서버 및 디스플레이 장치로 구성된다. 영상제공부는 영상을 촬영하여 압축한 후 서버로 제공하는 부분이다. 영상제공부는 보통 다수개로 구비되는 것이 보통이다. 서버는 영상제공부로부터 영상 스트림을 제공받아 소정의 처리과정을 거쳐 디스플레이 장치로 제공한다. 그리고, 다수개의 영상제공부와 서버는 네트워크를 통해 연결된다.
그런데, 종래의 감시 시스템에서는 영상제공부의 수가 많아지면 문제가 발생한다. 영상제공부가 높은 해상도와 프레임 레이트(frame rate)로 영상을 촬영하더라고 이 영상을 서버로 전송하는 것이 어렵다. 영상제공부의 수가 늘어나 트래픽이 증가하면 네트워크의 전송 대역폭의 한계에 걸리게 되기 때문이다.
또한, 상기 네트워크를 통해 다수개의 영상제공부와 서버 간의 영상 전송이 가능하다고 하여도 서버에서의 처리능력이 문제된다. 서버가 디스플레이 장치로 영상정보를 제공하기 위해서는 영상을 디코딩/인코딩 과정을 거쳐야 하는데 너무 많은 영상이 제공되는 경우 CPU(Centural Processing Unit, 중앙처리장치)의 한계를 넘어서게 될 것이다.
따라서, 종래 감시 시스템에서는 영상제공부의 수가 많아지면, 디스플레이 장치에서 영상제공부가 제공하는 높은 해상도와 프레임 레이트의 영상을 표시하는 것이 어려웠다.
또한, 디스플레이 장치에 표시하는 영상의 출력조건을 변화시키는 경우, 예컨대, 사용자가 영상확대, 줌인, 줌아웃, 패닝(panning) 등으로 영상의 출력조건을 변화시키고자 할 때, 변경된 출력조건의 영상을 해상도/프레임 레이트를 손해보지 않으면서 실시간으로 처리할 수 없는 문제가 있다.
본 발명의 목적은 영상제공부의 수가 많은 경우에도 네트워크의 대역폭이나 영상을 처리하는 서버의 처리능력에 제한을 적게 받으면서 상기 영상제공부의 최대 해상도 및 프레임 레이트(frame rate)를 유지하는 영상을 표시할 수 있는 영상처리시스템 및 영상처리방법을 제공하는 것이다.
본 발명의 다른 목적은 다수개의 영상제공부에서 촬영한 영상을 상기 영상제공부의 해상도 및 프레임 레이트를 유지하면서 다양한 출력조건하에서 실시간으로 표시할 수 있는 영상처리시스템 및 영상처리방법을 제공하는 것이다.
본 발명의 제 1 측면에 따른 영상처리시스템은 영상제공부가 제공하는 다수개의 개별영상을 디코딩한 후, 상기 다수개의 개별영상의 데이터량을 조절하여 인코딩한 예비영상을 제공하는 머지서버; 상기 예비영상을 제공받아 디스플레이 장치의 출력조건에 따른 최종영상을 구성하는 디스플레이 서버; 및 상기 디스플레이 서버로부터 상기 출력조건을 전달받아 상기 머지서버로 상기 예비영상에 대한 출력제어신호를 전달하는 제어서버를 포함한다.
본 발명의 제 2 측면에 따른 영상처리방법은 영상제공부로부터 다수개의 개 별영상을 제공받는 단계; 상기 다수개의 개별영상을 디스플레이 장치에서의 출력조건에 따라 예비영상으로 인코딩하는 단계; 상기 예비영상을 제공받아 상기 출력조건에 따른 최종영상을 구성하는 단계; 및 상기 최종영상을 상기 디스플레이 장치에 표시하는 단계를 포함한다.
본 발명의 제 3 측면에 따른 머지서버는 외부로부터 다수개의 개별영상을 입력받는 머지서버 입력부; 상기 머지서버 입력부로부터 상기 다수개의 개별영상을 제공받아 상기 다수개의 개별영상을 전부 포함하되, 원래의 데이터량보다 데이터량을 줄여 인코딩한 제 1 예비영상을 생성하는 제 1 예비영상생성부; 상기 머지서버 입력부로부터 상기 개별영상을 제공받아 상기 다수개의 개별영상 중에서 디스플레이 장치에 표시되는 개별영상만을 상기 디스플레이 장치의 출력조건에 따라 인코딩한제 2 예비영상을 생성하는 제 2 예비영상생성부; 및 상기 제 1 예비영상생성부 및 제 2 예비영상생성부 중에 적어도 하나를 선택하는 제어신호를 제공하되, 상기 제어신호는 상기 출력조건을 만족하는 것을 선택하는 것이다.
본 발명의 제 4 측면에 따른 디스플레이 서버는 외부로부터 예비영상을 입력받는 디스플레이 서버 입력부; 상기 예비영상을 제공받아 디스플레이 장치의 출력조건에 따른 최종영상을 생성하는 최종영상생성부; 상기 출력조건이 변경되는 경우, 변경된 출력조건을 부분적으로 만족하는 임시영상을 생성하는 임시영상생성부; 및 상기 최종영상생성부 및 임시영상생성부에 제어신호를 제공하여 상기 최종영상 또는 임시영상 중 어느 하나를 출력시키되, 상기 제어신호는 상기 출력조건에 따라 결정되는 디스플레이 서버 제어부를 포함한다.
본 발명에 따르면, 영상을 표시하는 다양한 출력조건에 대응하여 머지서버에서 예비적인 영상 데이터인 예비영상을 생성하여 디스플레이 서버로 제공하고, 상기 디스플레이 서버는 상기 예비영상을 이용하여 상기 출력조건에 따른 영상을 구성하므로, 디스플레이 서버 단독으로 처리할 수 있는 용량을 넘어서는 다수개의 영상을 표시할 수 있다.
그리고, 사용자의 요구에 따라 실시간으로 해당 영상을 줌인, 줌아웃 또는 패닝(panning)할 수 있으며, 이러한 과정에서 해상도나 프레임 레이트를 손해보지 않고 표시가 가능하다.
또한, 디스플레이 장치의 출력조건이 변화하는 경우, 디스플레이 서버는 임시적으로 상기 변화된 출력조건을 부분적으로 만족하는 임시영상을 제공하고, 그 동안 상기 머지서버에서 변화된 출력조건을 만족하는 예비영상을 제공받아 영상을 재구성하여 출력하므로 디스플레이 장치에서 출력하는 영상이 지연시간 없이 연속적으로 재생된다.
도 1은 본 실시예에 따른 영상처리시스템을 도시한 도면이다. 도 1에 도시된 바와 같이 영상처리시스템은 영상제공부(110), 머지서버(130), 디스플레이 서버(150), 디스플레이 장치(160), 제어서버(180), 및 사용자 인터페이스(190)를 구 비할 수 있다.
영상제공부(110)는 연결된 제 1 네트워크(120)로 적어도 하나 이상의 개별영상을 제공하는 부분이다. 상기 개별영상은 영상제공부(110)가 MPEG-4, H.264, VC-1 등의 다양한 방법 중 어느 하나를 이용하여 인코딩(encoding)한 디지털 영상스트림을 의미한다.
영상제공부(110)는 예컨대, i) IP 카메라, ii) 아날로그(analog) 카메라(111) 및 비디오서버(112), iii) 영상을 제공하는 임의의 영상서버 중 적어도 한 가지 이상의 종류일 수 있다.
IP 카메라는 영상을 촬영하여 압축된 디지털 영상스트림을 제공하는 카메라를 의미한다. IP 카메라는 촬영한 영상을 MPEG-4, H.264, VC-1 등과 같은 영상 압축 방법을 이용하여 압축할 수 있는 인코더(encoder)를 구비할 수 있다. 상기 인코더를 구비하는 경우, IP 카메라는 촬영한 영상을 인코딩하여 개별영상으로 출력할 수 있다. IP 카메라는 예컨대, 640 X 480의 해상도로 영상을 촬영할 수 있는데, 이것은 단순히 예를 든 것 뿐이고 더 큰 해상도 또는 더 작은 해상도를 가질 수도 있다.
아날로그 카메라(111) 및 비디오서버(112)로 영상제공부(110)가 구성되는 경우, 상기 아날로그 카메라(111)는 NTSC(National Television System Committee), PAL(Phase Alternation by Line system) 등 임의의 방식에 따라 자신의 최대해상도(예컨대, 640 x 480)로 영상을 촬영한 후 촬영된 영상의 아날로그 영상신호를 비디오서버(112)로 제공한다. 비디오서버(112)는 아날로그 영상신호를 캡쳐한 후, MPEG4, H.264, VC-1 등의 다양한 영상 압축 방법 중 어느 하나를 이용하여 인코딩한다. 비디오서버(112)는 인코딩된 디지털 영상스트림 즉, 개별영상을 제 1 네트워크로 제공한다.
영상제공부(110)는 영상을 제공하는 임의의 영상서버로 구성될 수도 있는데, 예를 들어 VOD(Video On Demand) 서버가 영상제공부(110)일 수 있다.
본 실시예에서는 도 1에 도시된 바와 같이, 상기 ii)의 아날로그 카메라(111) 및 비디오서버(112)로 영상제공부(110)를 구성하였지만, 이는 제한이 아니며 상기 i) 내지 iii)의 장치들을 혼용하여도 무방하다. 또한, 영상제공부(110)는 상술한 예시 외에도 디지털 영상스트림을 제공하는 임의의 장치일 수 있다.
영상제공부(110)는 k개(k는 1이상의 자연수 중 어느 하나)로 구성될 수 있다. 본 실시예에서는 상기 k가 36인 경우를 예로 하여 설명한다. 비디오서버(112)에는 적어도 1개 이상의 아날로그 카메라(111)가 연결될 수 있다. 비디오서버(112)에 연결되는 아날로그 카메라(111)의 수는 비디오서버(112)의 용량과 구성에 따라 달라질 수 있다. 예컨대, 비디오서버(112)에 4개의 인풋(input)단자를 구비하는 경우 4대의 아날로그 카메라(111)가 연결될 수 있다. 이 경우, 비디오서버(112)는 4대의 아날로그 카메라(111)로부터 아날로그 영상신호를 입력받아 인코딩한 후, 하나의 아웃풋(output) 단자로 4개의 개별영상을 출력할 수 있다. 본 실시예에서 하나의 비디오서버(112)에 4대의 아날로그 카메라(111)가 연결되고, 비디오서버(112)가 36개 있으므로 아날로그 카메라(111)는 총 144대이다. 그러나, 이는 제한이 아니며 더 많거나 적은 수의 아날로그 카메라(111)가 구비될 수 있다. 본 실시예에서 각 영상제공부(110)는 4개의 개별영상을 제 1 네트워크(120)로 제공할 수 있다.
제 1 네트워크(120)는 상기 영상제공부(110)와 머지서버(130)를 연결하는 네트워크를 의미한다. 제 1 네트워크(120)는 다양한 방식 예컨대, LAN, WLAN(Wireless LAN) 등의 유/무선 방식 중 어느 하나의 방식으로 구현될 수 있다.
제 1 네트워크(120)에는 제 1 네트워크 스위치(미도시)를 구비하여, 서로 다른 비디오서버(112)가 서로 다른 머지서버(130)로 개별영상을 제공할 수 있다. 상기 제 1 네트워크 스위치는 멀티플스위치로 구현되어, 하나의 머지서버(130)에 다수개의 비디오서버(112)가 동시에 연결 가능하도록 할 수 있다.
머지서버(130)는 비디오서버(112)에서 제공하는 개별영상을 디코딩하고, 소정의 방법으로 인코딩하여 예비영상을 생성한 후, 디스플레이 서버(150)로 제공하는 부분이다. 예비영상은 개별영상의 데이터량을 조절하여 인코딩한 영상스트림인데, 제 1 예비영상과 제 2 예비영상이 있다. 예비영상은 제어서버(180)에서 제공되는 출력제어신호에 따라 생성된다.
머지서버(130)는 적어도 하나 이상 구비될 수 있는데 본 실시예에서는 4대의 머지서버(130)가 구비된 경우를 예로 들어 설명한다. 그리고, 각 머지서버(130)는 제 1 네트워크(120)를 통하여 다수개의 영상제공부(110)로부터 개별영상을 제공받을 수 있다. 본 실시예에서는 각 머지서버(130)가 36개의 개별영상을 입력받아 처리할 수 있다고 가정한다. 이 경우, 머지서버(130)는 9개 내지 36개의 비디오서버(112)로부터 개별영상을 수신할 수 있다. 그러나 이는 제한이 아니며, 머지서버(130) 하나가 처리할 수 있는 용량에 제한이 있고, 전체 영상처리시스템에서 요 구하는 처리용량이 각각 다를 수 있으므로, 상황에 따라 머지서버(130)의 대수와 각 머지서버(130)가 처리할 수 있는 용량은 다양하게 변형가능하다.
도 2는 본 실시예에 따른 머지서버의 구성을 나타내는 블록도이다. 도 2를 참조하면, 머지서버(130)는 제 1 예비영상생성부(133), 제 2 예비영상생성부(134), 머지서버 입력부(132), 머지서버 제어부(131)를 포함한다.
머지서버 입력부(132)는 비디오서버(112)에서 제공하는 다수개의 개별영상을 입력받는 인터페이스이다. 머지서버 입력부(132)는 입력받은 개별영상을 제 1 예비영상생성부(133)와 제 2 예비영상생성부(134)로 제공한다.
머지서버 제어부(131)는 제어서버(180)로부터 출력제어신호를 입력받고, 상기 출력제어신호에 따른 제어신호를 제공하여 제 1 예비영상생성부(133)와 제 2 예비영상생성부(134)가 제 1 예비영상 과 제 2 예비영상을 생성하게 한다. 또한, 상기 제어신호는 제 1 예비영상생성부(133)와 제 2 예비영상생성부(134) 중에 적어도 하나를 선택하여 디스플레이 장치(160)의 출력조건을 만족하도록 예비영상을 출력하게 한다.
제 1 예비영상생성부(133)는 제 1 예비영상을 생성하는 부분이다. 상기 제 1 예비영상은 비디오서버(112)에서 제공받은 다수개의 개별영상을 전부 포함하되, 원래의 데이터량보다 데이터량을 줄여 인코딩한 영상스트림이다. 즉, 제 1 예비영상은 머저서버(130)가 입력받는 모든 개별영상에 대해 인코딩한다. 이 때, 상기 다수개의 개별영상과 프레임 레이트는 동일하되, 해상도는 낮게 인코딩할 수 있다.
제 2 예비영상생성부(134)는 제 2 예비영상을 생성하는 부분이다. 상기 제 2 예비영상은 비디오서버(112)에서 제공받은 다수개의 개별영상 중에서 디스플레이 장치(160)에 표시되는 개별영상만을 상기 디스플레이 장치의 출력조건에 따라 인코딩한 영상스트림이다. 즉, 제 2 예비영상은 디스플레이 장치(160)에 표시되는 개별영상에 대해서만 인코딩한다. 제 1 예비영상과 제 2 예비영상은 디스플레이 서버(150)로 제공되어 최종영상을 구성하는데 이용된다.
제 1 예비영상 및 제 2 예비영상은 다양한 방법으로 서로 관련되어 인코딩될 수 있는데, 예컨대 1) 개별영상들을 머지(merge)한 후 머지된 머지영상을 인코딩하는 방법, 2) 각 개별영상을 해상도를 달리하여 인코딩하는 방법, 3) 각 개별영상을 스케일러빌리티(scalability)를 적용하여 인코딩하는 방법이다.
상기 1)의 방법으로 제 1 예비영상, 제 2 예비영상을 생성하는 경우를 설명한다. 제 1 예비영상생성부(138)는 먼저 다수개 예컨대, 36개의 개별영상을 입력받아 디코딩을 한다. 그리고, 디코딩된 36개의 개별영상을 하나의 머지영상(M)으로 합친다. 도 3은 상기 머지영상(M)을 도시한 도면이다. 도 3에 도시한 바와 같이 상기 머지영상(M)은 36개의 개별영상이 합쳐진 모자익 뷰(Mosaic view)를 가질 수 있다. 제 1 예비영상생성부(133)는 상기 머지영상(M)을 MPEG4, H.264, VC-1 등으로 인코딩하여 제 1 예비영상을 생성한다. 여기서, 개별영상의 해상도가 예를 들어 640 x 480 인 경우, 상기 머지영상에 포함되는 36개의 영상 각각(예컨대, C1이나 C2로 표시된 영상)은 해상도가 이보다 낮을 수 있다(예컨대, 160 x 120).
제 2 예비영상생성부(134)는 머지서버 제어부(131)의 제어신호에 따라 제 2 예비영상을 생성한다. 상기 제어신호는 제어서버(180)의 출력제어신호에 따라 결정 되는 것이다. 제 2 예비영상은 제 1 예비영상에 포함된 각 영상(예컨대, C1이나 C2)보다 해상도가 높은 것일 수 있다.
상기 1)의 방법에 의하면, 머지서버(130)가 36개의 개별영상을 하나의 머지영상(M)으로 머지한 후 인코딩하므로, 상기 36개의 개별영상을 각각 인코딩하는 경우보다 데이터량이 감소한다. 왜냐하면, 각 개별영상을 MPEG4, H.264, VC-1 등으로 인코딩하는 경우에 영상데이터를 패킷(packet) 단위로 인코딩하게 되는데, 이 경우 각 패킷에는 헤더부분이 추가되고 이러한 부가적인 정보가 추가됨으로써 전체 데이터량이 증가하기 때문이다.
상기 2)의 방법으로 제 1 예비영상과 제 2 예비영상을 생성하는 경우, 제 1 예비영상생성부(133)는 소정의 해상도를 가지는 36개의 개별영상을 수신하여 디코딩하고, 각 개별영상이 상기 소정의 해상도 이하의 해상도를 가지도록 개별적으로 인코딩한 후 제 2 네트워크로 제공할 수 있다. 예를 들어, 상기 소정의 해상도가 640x480인 경우, 제 1 예비영상생성부(133)는 상기 개별영상을 160x120 내지 640x480 범위 내의 해상도를 가지도록 인코딩하여 제 2 네트워크로 출력할 수 있다.
그리고, 제 2 예비영상생성부(134)는 머지서버 제어부(131)의 제어신호에 따라 제 2 예비영상을 생성한다. 상기 제어신호는 제어서버(180)의 출력제어신호에 따라 결정되는 것이다. 제어서버(180)로부터 추가적으로 상기 36개의 개별영상 중 적어도 어느 하나에 대한 추가적인 데이터를 요구받으면 해당 개별영상을 좀 더 높은 해상도로 인코딩하여 제 2 예비영상을 생성한다. 예컨대, 제 1 예비영상생성 부(133)가 160x120 해상도로 36개의 개별영상을 인코딩하여 제공하는데, 상기 36개의 개별영상 중 요구받은 소정개수의 개별영상에 대해 320x240 해상도로 제 2 예비영상을 생성할 수 있다.
상기 2)의 방법에 의하면, 디스플레이 서버(150)가 다수개의 머지서버(130)로부터 원하는 개별영상을 포함하는 예비영상만을 따로 제공받을 수 있는 장점이 있다. 예를 들어, 디스플레이 서버(150)가 필요로 하는 영상이 서로 다른 영상제공부(110)에서 제공하는 개별영상이라고 할 때, 해당 개별영상을 포함하는 예비영상을 서로 다른 머지서버(130)로부터 따로 제공받을 수 있으므로 편리한 장점이 있다.
상기 3)의 방법으로 제 1 예비영상 및 제 2 예비영상을 생성하는 경우, 제 1 예비영상생성부(133) 및 제 2 예비영상생성부(134)는 640 X 480 해상도를 가지는 36개의 개별영상을 수신하여 SVC(Scalable Video Coding)방식으로 인코딩하여 제 2 네트워크로 제공할 수 있다. 여기서 SVC는 베이스 레이어(base layer) 및 다수의 증강 레이어(enhanced layer)의 다층 구조로 이루어진 부호화방법이다. 제 1 예비영상생성부(133)는 베이스 레이어에 속하는 데이터를 제 1 예비영상으로 제공하고, 제 2 예비영상생성부(134)는 제어서버(180)로부터 요청받은 개별영상에 대한 증강 레이어의 데이터를 제 2 예비영상으로 제공한다.
상술한 방법 중 어느 한가지 방법을 사용하는 머지서버(130)는 제 2 네트워크(140)를 통해 디스플레이 서버(150)로 제 1 예비영상, 제 2 예비영상 중 적어도 어느 하나를 전송할 수 있다.
제 2 네트워크(140)는 머지서버(130)와 디스플레이서버(150)를 연결하는 네트워크를 의미한다. 제 2 네트워크(140)는 다양한 방식으로 구현될 수 있다. 제 2 네트워크(140)에는 제 2 네트워크 스위치(미도시)를 구비하여, 서로 다른 머지서버(130)가 서로 다른 디스플레이 서버(150)로 예비영상을 제공할 수 있다. 제 2 네트워크 스위치는 멀티플스위치로 구현되어, 하나의 디스플레이 서버(150)에 다수개의 머지서버(130)가 동시에 연결 가능하도록 할 수 있다.
디스플레이 서버(150)는 머지서버(130)로부터 제 1 예비영상, 제 2 예비영상 중 적어도 어느 하나를 제공받아 디스플레이 장치(160)의 출력조건에 따른 최종영상 또는 임시영상을 구성한다. 디스플레이 서버(150)는 적어도 1개 이상의 머지서버(130)로부터 예비영상을 제공받는다. 본 실시예에서 디스플레이 서버(150)는 2개가 구비되며, 각각의 디스플레이 서버(150)는 총 144개의 개별영상 중에서 72개의 개별영상을 제공받을 수 있다.
도 4는 디스플레이 서버(150)의 구성을 나타낸 블록도이다. 도 4에 도시된 바와 같이, 디스플레이 서버(150)는 최종영상생성부(151), 임시영상생성부(152), 디스플레이 서버 제어부(153), 디스플레이 서버 입력부(154), 스위치(155)를 포함한다.
디스플레이 서버 입력부(154)는 제 2 네트워크(140)를 통해 머지서버(130)로부터 예비영상을 입력받는 인터페이스이다. 디스플레이 서버 제어부(153)는 제 3 네트워크를 통해 제어서버(180)와 연결되며, 제어서버(180)의 출력제어신호에 따라 최종영상생성부(151) 및 임시영상생성부(152)를 제어한다. 또한, 디스플레이 서버 제어부(153)는 스위치(155)를 통해 최종영상 또는 임시영상 중 어느 하나가 출력되도록 제어한다.
최종영상생성부(151)는 디스플레이 장치(160)의 출력조건에 따른 최종영상을 생성한다. 여기서, 상기 출력조건은 디스플레이 장치(160)가 다수개의 영상제공부(110)에서 제공되는 개별영상들 중에서 어느 개별영상을 어떤 위치, 어떤 해상도로 표시할 것인지를 나타낸다. 예를 들어 어느 개별영상을 확대/축소/패닝할 것인지, 줌인/줌아웃할 것인지 등을 나타낸다. 상기 출력조건은 사용자 인터페이스(190)를 통해 입력받을 수 있다. 사용자 인터페이스(190)는 모니터와 키보드로 구성된 별도의 제어 콘솔(console)로 구현될 수도 있고, 디스플레이 서버(150)와 연결된 마우스, 터치스크린 등으로 구현될 수도 있다. 사용자 인터페이스(190)를 통해 입력되는 출력조건은 디스플레이 서버(150)로 제공된다.
임시영상생성부(152)는 임시영상을 생성한다. 여기서 임시영상은 디스플레이 장치(160)의 출력조건이 변경되는 경우에 디스플레이 서버(150)가 임시로 생성하여 디스플레이 장치(160)로 제공하는 영상을 의미한다. 임시영상은 디스플레이 장치(160)의 변경된 출력조건을 부분적으로 만족하는 영상이다.
제어서버(180)는 디스플레이 서버(150)로부터 디스플레이 장치(160)의 출력조건을 제공받고, 상기 출력조건에 따라 해당 머지서버(130)에게 출력제어신호를 제공하는 부분이다. 즉, 제어서버(180)는 다수개의 머지서버(130)와 디스플레이 서버(150) 간의 통신을 제어하며 싱크를 맞추어주는 부분이다. 제 3 네트워크(170)에는 제어스위치(미도시)를 구비할 수 있으며, 제어서버(180)는 제어스위치를 통해 다수개의 디스플레이 서버(150) 및 머지서버(130)와 연결될 수 있다. 제어서버(180)와 디스플레이 서버(150) 및 머지서버(130)간의 동작에 대해서는 도 6을 참조하여 좀 더 상세히 후술한다. 그런데, 도 1에서는 머지서버(130)와 디스플레이 서버(150)가 제 3 네트워크(170)를 통해 제어서버(180)와 연결되는 것으로 도시하였지만, 이는 제한이 아니다. 즉, 제어서버(180)가 반드시 별도의 서버로 구성될 필요는 없으며, 디스플레이 서버(150) 내에 존재하여도 무방하다. 이러한 경우에는 제 3 네트워크(170)는 불필요할 수 있다.
디스플레이 장치(160)는 디스플레이 서버(150)에 DVI(Digital Visual Interface), RGB 케이블 등으로 연결될 수 있으며, 디스플레이 서버(150)에서 제공하는 최종영상을 출력하여 표시한다. 상기 디스플레이 장치(160)는 예컨대, 1920 x 1080의 해상도를 가지는 모니터, TV 등일 수 있다. 디스플레이 장치(160)는 디스플레이 서버(150) 1개에 1개가 연결될 수도 있고, 디스플레이 서버(150) 1개에 다수개가 연결될 수도 있다.
이하에서는 상술한 바와 같이 구성된 영상처리시스템에서의 영상처리방법에 대해 설명한다. 먼저, 영상처리방법을 전체적으로 살펴보기 위해 도 5를 참조한다. 도 5는 본 실시예에 따른 영상처리방법을 설명하기 위한 흐름도이다.
아날로그 카메라(111)가 각 위치에서 촬영한 아날로그 영상신호는 비디오서버(112)로 전송된다. 이때 아날로그 카메라(111)는 항상 자신의 최대 해상도 및 프레임 레이트(frame rate; frame per second)로 영상을 촬영하여 비디오서버(112)로 제공한다. 즉, 본 실시예의 경우 각각의 아날로그 카메라(111)는 최대 해상도인 640 X 480 해상도 및 소정 프레임 레이트로 영상을 촬영하여 비디오서버(112)로 전송한다.
비디오서버(112)에는 4대의 아날로그 카메라(111)가 연결되어 있으므로, 상기 비디오서버(112)는 4개의 아날로그 영상신호를 입력받게 된다. 각 비디오서버(112)는 상기 4개의 아날로그 영상신호를 캡쳐하고, MPEG4, H.264, VC-1 등 다양한 방식 중 어느 하나로 인코딩하여 4개의 개별영상을 제 1 네트워크를 통해 머지서버(130)로 제공한다. 머지서버(130)는 제어서버(180)의 출력제어신호에 따라 해당 비디오서버(112)로부터 개별영상을 제공받는다(S10).
머지서버(130)의 제 1 예비영상생성부(133)는 36개의 개별영상을 제공받아 제 1 예비영상을 생성한다. 제 1 예비영상생성부(133)는 제 1 예비영상을 제 2 네트워크를 통해 디스플레이 서버(150)로 제공한다.
제 1 예비영상 및 제 2 예비영상의 생성방법에 대해서는 상기 영상처리시스템의 설명과정에서 3가지 방법을 예로 하여 설명한 바 있다. 상술한 설명과정에서와 동일하게 제 1 예비영상은 상기 3가지 방법 중에서 어느 한가지 방법으로 인코딩된다. 그러면, 제 1 예비영상은 36개의 개별영상에 비해 데이터량이 작으므로, 제 2 네트워크의 대역폭이 작은 경우에도 효과적으로 전송이 가능하다. 즉, 제 2 네트워크의 대역폭이 한꺼번에 36개의 개별영상을 모두 전송할 수 없는 경우라고 하더라도 제 1 예비영상은 전송이 가능할 수 있다. 제 2 예비영상생성부(134)는 제어서버(180)에 의한 요청이 있는 경우에만 제 2 예비영상을 생성하여 디스플레이 서버(150)로 제공한다(S20). 제 2 예비영상생성부(134)가 제 2 예비영상을 생성하 여 제공하는 것은 예컨대, 디스플레이 장치(160)의 출력조건이 달라지는 경우에 발생하는데 이 과정은 도 6을 참조하여 좀 더 상세히 후술한다.
디스플레이 서버(150)는 예비영상(제 1 예비영상 또는/및 제 2 예비영상)을 제공받아 디코딩한 후, 디스플레이 장치(160)의 출력조건에 따른 최종영상을 구성하여 디스플레이 장치(160)로 제공한다(S30). 그리고, 디스플레이 장치(160)는 최종영상을 출력하여 표시한다(S40).
이하에서는 상술한 영상처리방법에서 S20 및 S30 단계에 대해 보다 상세히 설명한다. 도 6은 본 실시예에 따른 영상처리방법에서 디스플레이 서버(150), 머지서버(130), 제어서버(180) 간에 영상처리과정을 설명하기 위한 도면이다. 도 7a, 도 7b는 디스플레이 장치(160)에서 1번 영상을 확대하는 것으로 출력조건이 변화되는 경우 최종영상을 나타낸 도면이다.
도 6, 도 7a 및 도 7b를 참조하면, 영상제공부(110)는 지속적으로 머지서버(130)에 다수개의 개별영상을 제공하고 있다. 머지서버(130)의 제 1 예비영상생성부(133)는 디스플레이 서버(150)로 디스플레이 장치(160)의 출력조건에 따른 제 1 예비영상을 제공한다(S31). 그러면, 디스플레이 서버(150)의 최종영상생성부(151)는 상기 제 1 예비영상을 이용하여 최종영상을 구성한 후 디스플레이 장치(160)로 제공한다(S32). 이 경우, 디스플레이 장치(160)에서 예컨대, 도 7a와 같은 최종영상(D1)을 표시할 수 있다. 그러나, 반드시 D1과 같이 모자익 뷰를 표시하여야 하는 것은 아니며, 다양한 변형이 가능하다.
상기 최종영상(D1)을 표시하고 있는 디스플레이 장치(160)에 대해 사용자가 사용자 인터페이스(190)를 통해 예컨대, 1번 영상을 확대하여 고해상도의 영상을 표시하기를 원하는 경우를 살펴보자. 이러한 경우가 디스플레이 장치(160)에서 표시하는 출력조건이 변화하는 경우의 일 예인데, 최종적으로 디스플레이 장치(160)는 예컨대 도 7b와 같은 최종영상(D2)을 표시할 수 있을 것이다.
사용자가 1번 영상의 확대라는 변경된 출력조건을 사용자 인터페이스(190)를 통해 입력하면, 사용자 인터페이스(190)는 변경된 출력조건을 디스플레이 서버(150)의 디스플레이 서버 제어부(153)로 제공한다(S33). 그러면, 디스플레이 서버(150)의 임시영상생성부(152)는 변경된 출력조건을 부분적으로 만족시키는 임시영상을 먼저 디스플레이 장치(160)로 제공한다(S34).
예컨대, 상기 D1의 1번 영상을 업스케일(up-scale)하는 방법에 의해 크기를 증가시킨 임시영상을 디스플레이 장치(160)로 먼저 제공하는 것이다. 이러한 임시영상은 크기 면에서는 출력조건을 만족시키지만, 상기 1번 영상에 대한 정보가 추가적으로 주어진 상태는 아니므로 해상도는 떨어지는 영상일 수 있다. 따라서, 변경된 출력조건을 부분적으로만 만족시킨다.
디스플레이 서버(150)는 상기와 같이 임시영상을 디스플레이 장치(160)에 제공하는 동시에 상기 변경된 출력조건을 제어서버(180)에게 제공한다(S35). 좀 더 구체적으로는 디스플레이 서버 제어부(153)가 제어서버(180)로 변경된 출력조건을 제공한다.
그러면, 제어서버(180)는 변경된 출력조건에 따른 최종영상에 어떤 개별영상이 포함될 것인지를 판단하여, 해당 개별영상을 제공하는 머지서버(130)에게 출력제어신호를 제공한다(S36). 상기 출력제어신호는 예컨대, 상기 변경된 출력조건에 따라 최종 출력할 개별영상정보, 해상도 정보 등을 포함할 수 있다.
도 7a, 7b에서 예를 들고 있는 경우에는 제어서버(180)가 상기 1번 영상에 대한 제 1 예비영상을 제공하고 있는 머지서버(130)에게 상기 변경된 출력조건에 따른 출력제어신호를 전달하게 될 것이다.
반면, 디스플레이 서버(150)가 이미 제공받고 있는 제 1 예비영상으로부터 변경된 출력조건을 만족하는 최종영상을 구성할 수 있다면, 상기 디스플레이 서버(150)는 제어서버(180)에 변경된 출력조건을 전달하지 않을 수 있다. 이 경우에는 이미 제공받고 있는 제 1 예비영상으로 변경된 출력조건을 만족하는 최종영상을 재구성하여 디스플레이 장치(160)로 제공하면 된다. 예를 들어, 이미 출력중인 최종영상이 도 7b (D2)와 같은 경우이고 확대된 1번 영상을 디스플레이 장치(160)의 화면 상에서 이동시키는 경우는 디스플레이 서버(150)가 제어서버(180)에게 변경된 출력조건을 전달하지 않고, 단지 현재 출력 중인 최종영상을 재구성하기만 하면 되는 것이다.
다시 도 6을 참조하면, 머지서버(130)의 제 2 예비영상생성부(134)는 제어서버(180)로부터 제공받은 출력제어신호에 따라 상기 1번 영상에 대한 추가적인 데이터를 제 2 예비영상으로 상기 디스플레이 서버(150)에 제공한다(S37).
이 과정에서 상기 제 1 예비영상 및 제 2 예비영상은 1) 개별영상들을 머지(merge)한 후 머지된 머지영상을 인코딩하는 방법, 2) 각 개별영상을 해상도를 달리하여 인코딩하는 방법, 3) 각 개별영상을 스테일러빌리티(scalability)를 적용하여 인코딩하는 방법 중 어느 하나를 사용하여도 무방하다. 상기 1) 내지 3)의 방법은 영상처리시스템의 설명에서와 동일하다.
머지서버(130)로부터 변경된 출력조건을 만족하는 제 2 예비영상이 상기 디스플레이 서버(150)로 제공되면, 상기 디스플레이 서버(150)는 상기 제 2 예비영상 및 제 1 예비영상을 이용하여 상기 변경된 출력조건을 만족하는 최종영상을 재구성하여 상기 디스플레이 장치(160)로 제공한다(S38). 디스플레이 장치(160)에서 출력해야할 변경된 출력조건을 만족하는 최종영상(D2)에는 도 7b와 같이 확대된 1번 영상과 다수개의 다른 영상이 존재하는데, 디스플레이 서버(150)가 이러한 최종영상(D2)을 구성하는 것이다.
이러한 과정을 통해 디스플레이 장치(160)를 보는 사용자는 출력조건을 변화시키는 경우, 디스플레이 장치(160)에 표시되는 영상이 지연시간 없이 즉각적으로 반응하는 것으로 인식하게 된다. 상술한 예에서 상기 1번 화면이 소정의 시간 동안 저해상도의 영상으로 확대되기는 하지만 상기 시간은 사용자의 시간 인식 체계에서는 매우 짧은 시간이고, 상기 시간 경과 후에는 고해상도의 1번 화면을 볼 수 있기 때문이다.
디스플레이 장치의 출력조건을 변경하는 다른 예를 도 8 및 도 9에 도시하 였다. 도 8은 디스플레이 장치의 최종영상 전체를 확대하는 경우를 도시한 도면이고, 도 9는 디스플레이 장치의 최종영상을 패닝(panning)하는 경우를 도시한 도면이다.
도 8에 도시된 바와 같이 디스플레이 장치(160)의 최종영상은 72개의 개별영상(D3)이 표시되어 있다가 전체 영상의 확대로 예컨대, 1 내지 7, 11 내지 17, 21 내지 27, 31 내지 37번 영상이 디스플레이 장치(160)에 표시(D4)될 수 있다. 상기와 같이 출력조건이 변경되는 경우, 임시영상생성부(152)는 먼저, 변경된 출력조건을 부분적으로 만족하는 임시영상을 디스플레이 장치(160)에 제공한다. 상기 임시영상은 상기 개별영상 1 내지 7, 11 내지 17, 21 내지 27, 31 내지 37번 영상을 업스케일한 영상일 수 있다. 그리고, 디스플레이 서버 제어부(153)는 상기 변경된 출력조건을 제어서버(180)로 제공하고, 제어서버(180)는 상기 변경된 출력조건에 따라 해당 머지서버(130)에 출력제어신호를 보내게 된다.
그러면, 해당 머지서버(130)의 제 2 예비영상생성부(134)는 비디오서버(112)에서 입력되는 1 내지 6, 11 내지 16, 21 내지 26, 31 내지 36번 개별영상만을 인코딩하여 디스플레이 서버(150)에 제 2 예비영상으로 제공하게 된다. 물론 이 경우, 제 1 예비영상이 SVC(Scalable Video Coding)으로 인코딩된 경우라면, 상기 제 2 예비영상은 베이스 레이어에 대하여 증강 레이어에 해당하는 데이터를 제공하는 것이 된다.
그러면, 디스플레이 서버(150)에서 제 2 예비영상을 이용하여 변경된 출력조 건을 만족하는 최종영상을 재구성하여 디스플레이 장치(160)에 제공한다.
상기한 D4 영상에서 개별영상 7, 17, 27, 37번은 디스플레이 장치(160)에 완전히 포함되지 않고 일부만 포함되었는데, 디스플레이 서버(150)는 이러한 개별영상 7, 17, 27, 37번에 대해서는 머지서버(130)로부터 제 2 예비영상을 제공받지 않고, D3영상에 포함된 개별영상 7, 17, 27, 37번을 업스케일하여 표시할 수도 있다.
도 9에 도시한 패닝과정을 살펴본다. 도 9에 도시된 바와 같이 디스플레이 장치(160)의 최종영상은 24개의 개별영상(1 내지 6, 11 내지 16, 21 내지 26, 31 내지 36번 영상)과 4개의 개별영상(7, 17, 27, 37번 영상)이 부분적으로 표시(D5)되어 있다. 이 경우는 제 1 예비영상에 의해 상기 4개의 개별영상(7, 17, 27, 37번 영상)이 표시되고, 제 2 예비영상에 의해 상기 24개의 개별영상(1 내지 6, 11 내지 16, 21 내지 26, 31 내지 36번 영상)이 표시되고 있는 경우일 수 있다.
그런데, 전체 영상의 패닝(panning)으로 예컨대, 20개의 개별영상(4 내지 8, 14 내지 18, 24 내지 28, 34 내지 38번 영상)과 부분적으로 표시된 8개의 영상(3, 13, 23, 33, 9, 19, 29, 39번 영상)을 포함하는 최종영상(D6)이 디스플레이 장치(160)에 표시되는 경우를 살펴본다.
상기와 같이 출력조건이 변경되면 디스플레이 서버(150)는 먼저, 상기 D6 영상의 출력조건을 부분적으로 만족하는 임시영상을 디스플레이 장치(160)에 제공한다. 디스플레이 서버(150)는 이미 1번 내지 72번 영상에 대하여 제 1 예비영상을 제공받고 있으므로, 상기 개별영상 3 내지 9, 13 내지 19, 23 내지 29, 33 내지 39번 영상을 업스케일하여 상기 임시영상으로 제공할 수 있다.
그리고, 디스플레이 서버(150)는 상기 변경된 출력조건을 제어서버(180)로 제공하고, 제어서버(180)는 상기 변경된 출력조건에 따라 해당 머지서버(130)에 출력제어신호를 보내게 된다.
그러면, 해당 머지서버(130)의 제 2 예비영상생성부(134)는 비디오서버(112)에서 입력되는 개별영상 중에서 디스플레이 장치(160)에 표시되는 개별영상에 대해서만 상기 변경된 출력조건을 만족하도록 인코딩하여 생성한다. 즉, 제 2 예비영상생성부(134)는 D6에 표시되지 않는 1, 2, 11, 12, 21, 22, 31, 32 개별영상에 대해서는 제 2 예비영상에 포함시키지 않고, 추가되는 7, 8, 17, 18, 27, 28, 37, 38 개별영상에 대해서만 제 2 예비영상에 포함하여 생성한다. 그리고, 생성된 제 2 예비영상을 디스플레이 서버(150)에 제공한다. 그러면, 디스플레이 서버(150)에서 상기 제 2 예비영상 및 제 1 예비영상을 이용하여 변경된 출력조건을 만족하는 최종영상을 재구성하여 디스플레이 장치(160)에 제공한다.
상기한 D6 영상에서 개별영상 3, 13, 23, 33, 9, 19, 29, 39번은 디스플레이 장치(160)에 완전히 포함되지 않고 일부만 포함되었는데, 이러한 경우 디스플레이 서버(150)의 최종영상생성부(151)는 상기 개별영상 3, 13, 23, 33, 9, 19, 29, 39번은 제 1 예비영상을 이용하여 업스케일하여 표시할 수 있다.
상술한 바와 같이 본 실시예에 따른 영상처리시스템 및 영상처리방법은, 머 지서버(130)가 비디오서버(112)로부터 제공되는 개별영상을 디코딩하고 디스플레이 장치(160)에서 표시하는 최종영상의 출력조건에 따라 인코딩한 예비영상을 디스플레이 서버(150)로 제공한다.
이 때, 예비영상 중 제 1 예비영상은 비디오서버(112)에서 제공되는 개별영상의 해상도 이하의 해상도로 인코딩하여 제공된다. 제 1 예비영상은 영상제공부(110)의 수가 많아짐에 따라 좀 더 해상도가 낮게 인코딩될 수 있다. 따라서, 제 2 네트워크 대역폭의 제한에도 불구하고, 많은 개별영상을 전송할 수 있다. 또한, 영상제공부(110)의 수가 아주 많아지더라도 디스플레이 장치(160)는 상기 다수개의 영상제공부(110)가 제공하는 개별영상들을 모두 하나의 화면에 표시하는 것이 가능하다.
디스플레이 장치(160)의 출력조건이 변화되는 경우, 변화된 출력조건에 따라 디스플레이 장치(160)에서 표시되는 개별영상에 대해서만 머지서버(130)가 제 2 예비영상을 보내는 방식이므로 영상제공부(110)의 수가 많아져도 디스플레이 서버(150)는 처리가 가능하다. 다시 말해, 디스플레이 서버(150)의 처리용량을 넘어서는 영상처리를 머지서버(130)와 제어서버(180)간의 유기적인 협업을 통해 가능하게 한다.
종래의 영상처리시스템 및 영상처리방법은 영상제공부의 수가 너무 많아지면 해상도를 떨어뜨리거나 프레임레이트를 낮추는 방식으로 낮은 품질의 영상을 제공하였다. 왜냐하면, 서버에서 영상데이터를 처리할 수 없거나, 네트워크의 전송 대역폭의 문제로 복수개의 고품질 영상을 전송할 수 없었기 때문이다.
반면, 본 발명은 원하는 개별영상을 영상제공부의 최대해상도/프레임 레이트로 볼 수 있다. 머지서버(130)에서 모든 개별영상에 대해 최대해상도/프레임레이트의 영상데이터를 보내는 것이 아니라 디스플레이 장치(160)에서 표시되는 개별영상에 대해서만 최대해상도/프레임레이트의 영상데이터를 보내는 방식이기 때문이다. 그 결과 데이터 량을 줄일 수 있고, 네트워크의 대역폭이나 디스플레이 서버(150)의 컴퓨팅 파워의 제한을 넘지 않으면서 고해상도/프레임레이트의 영상을 볼 수 있다.
이상에서 살펴본 바와 같이 본 발명의 바람직한 실시예에 대해 상세히 기술되었지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형하여 실시할 수 있을 것이다.
도 1은 본 실시예에 따른 영상처리시스템을 도시한 도면이다.
도 2는 본 실시예에 따른 머지서버의 구성을 나타내는 블록도이다.
도 3은 머지영상(M)을 도시한 도면이다.
도 4는 디스플레이 서버의 구성을 나타낸 블록도이다.
도 5는 본 실시예에 따른 영상처리방법을 설명하기 위한 흐름도이다.
도 6은 본 실시예에 따른 영상처리방법에서 디스플레이 서버, 머지서버, 제어서버 간에 영상처리과정을 설명하기 위한 도면이다.
도 7a, 도 7b는 디스플레이 장치에서 1번 영상을 확대하는 것으로 출력조건이 변화되는 경우 최종영상을 나타낸 도면이다.
도 8은 디스플레이 장치의 최종영상 전체를 확대하는 경우를 도시한 도면이다.
도 9는 디스플레이 장치의 최종영상을 패닝(panning)하는 경우를 도시한 도면이다.

Claims (26)

  1. 영상제공부가 제공하는 다수개의 개별영상을 디코딩한 후, 상기 다수개의 개별영상의 데이터량을 조절하여 인코딩한 예비영상을 제공하는 머지서버;
    상기 예비영상을 제공받아 디스플레이 장치의 출력조건에 따른 최종영상을 구성하는 디스플레이 서버; 및
    상기 디스플레이 서버로부터 상기 출력조건을 전달받아 상기 머지서버로 상기 예비영상에 대한 출력제어신호를 전달하는 제어서버를 포함하는 것을 특징으로 하는 영상처리시스템.
  2. 제 1 항에 있어서, 상기 예비영상은
    상기 다수개의 개별영상을 전부 포함하되, 원래의 데이터량보다 데이터량을 줄여 인코딩한 제 1 예비영상과, 상기 다수개의 개별영상 중에서 디스플레이 장치에 표시되는 개별영상만을 상기 디스플레이 장치의 출력조건에 따라 인코딩한 제 2 예비영상을 포함하는 것을 특징으로 하는 영상처리시스템.
  3. 제 2 항에 있어서,
    상기 제 1 예비영상은 상기 다수개의 개별영상을 디코딩한 후 하나의 영상으 로 머지(merge)하고 그 머지한 영상을 인코딩하되, 상기 머지한 영상에 포함되는 영상들은 상기 다수개의 개별영상보다 해상도가 낮은 것이고,
    상기 제 2 예비영상은 상기 머지한 영상에 포함되는 영상들의 해상도보다 높은 해상도를 가지도록 인코딩되는 것을 특징으로 하는 영상처리시스템.
  4. 제 2 항에 있어서,
    상기 제 1 예비영상은 상기 다수개의 개별영상을 디코딩한 후 각각의 개별영상을 해상도를 낮추어 인코딩한 것이고,
    상기 제 2 예비영상은 상기 제 1 예비영상보다 높은 해상도를 가지도록 인코딩한 것임을 특징으로 하는 영상처리시스템.
  5. 제 2 항에 있어서,
    상기 제 1 예비영상은 상기 다수개의 개별영상을 디코딩한 후 SVC(Scalable Video Coding)을 이용하여 인코딩한 베이스 레이어(base layer)의 데이터이고,
    상기 제 2 예비영상은 상기 제 1 예비영상에 대해 증강 레이어(enhanced layer)에 속하는 데이터인 것을 특징으로 하는 영상처리시스템.
  6. 제 1 항에 있어서, 상기 디스플레이 서버는
    디스플레이 장치의 출력조건이 변경되는 경우 변경된 출력조건을 부분적으로 만족하는 임시영상을 디스플레이 장치에 제공하고, 머지서버에서 상기 변경된 출력조건을 만족하는 예비영상이 제공되면 상기 예비영상을 이용하여 최종영상을 재구성하는 것을 특징으로 하는 영상처리시스템.
  7. 제 1 항에 있어서, 상기 영상제공부는 영상을 촬영하여 압축된 영상 스트림으로 제공하는 IP 카메라인 것을 특징으로 하는 영상처리시스템.
  8. 제 1 항에 있어서, 상기 영상제공부는 적어도 하나 이상의 아날로그 카메라와 상기 아날로그 카메라로부터 영상을 제공받아 처리하여 머지서버에 개별영상을 제공하는 비디오서버로 구성되는 것을 특징으로 하는 영상처리시스템.
  9. 제 8 항에 있어서, 상기 비디오서버는 적어도 하나 이상으로 마련되고, 상기 비디오서버는 제 1 네트워크를 통해 머지서버와 연결되는 것을 특징으로 하는 영상처리시스템.
  10. 제 9 항에 있어서, 상기 머지서버는 적어도 하나 이상으로 마련되고, 제 2 네트워크를 통해 디스플레이 서버와 연결되는 것을 특징으로 하는 영상처리시스템.
  11. 제 10 항에 있어서, 상기 디스플레이 서버는 적어도 하나 이상으로 마련되고, 상기 디스플레이 서버 및 머지서버는 제 3 네트워크를 통해 제어서버와 연결되는 것을 특징으로 하는 영상처리시스템.
  12. 영상처리시스템의 영상처리방법에 있어서,
    영상제공부로부터 다수개의 개별영상을 제공받는 단계;
    상기 다수개의 개별영상을 디스플레이 장치에서의 출력조건에 따라 예비영상으로 인코딩하는 단계;
    상기 예비영상을 제공받아 상기 출력조건에 따른 최종영상을 구성하는 단계; 및
    상기 최종영상을 상기 디스플레이 장치에 표시하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.
  13. 제 12 항에 있어서, 상기 예비영상은
    상기 다수개의 개별영상을 전부 포함하되, 원래의 데이터량보다 데이터량을 줄여 인코딩한 제 1 예비영상과, 상기 다수개의 개별영상 중에서 상기 디스플레이 장치에 표시되는 개별영상만을 출력조건에 따라 인코딩한 제 2 예비영상 중에서 적어도 어느 하나를 포함하는 것을 특징으로 하는 영상처리방법.
  14. 제 13 항에 있어서, 상기 최종영상을 구성하는 단계는
    상기 디스플레이 장치의 출력조건이 변경되는 경우, 변경된 출력조건을 부분적으로 만족하는 임시영상을 최종영상으로 구성하고, 상기 변경된 출력조건에 따른 제 2 예비영상이 제공되면 상기 제 2 예비영상을 이용하여 최종영상을 재구성하는 것을 특징으로 하는 영상처리방법.
  15. 제 13 항에 있어서,
    상기 제 1 예비영상은 상기 다수개의 개별영상을 디코딩한 후 하나의 영상으로 머지(merge)한 후 그 머지한 영상을 인코딩하되 상기 머지한 영상에 포함되는 영상들은 상기 다수개의 개별영상보다 해상도가 낮은 것이고,
    상기 제 2 예비영상은 상기 머지한 영상에 포함되는 영상들의 해상도보다 높은 해상도를 가지도록 인코딩되는 것을 특징으로 하는 영상처리방법.
  16. 제 13 항에 있어서,
    상기 제 1 예비영상은 상기 다수개의 개별영상을 디코딩한 후 각각의 개별영상을 해상도를 낮추어 인코딩한 것이고,
    상기 제 2 예비영상은 상기 제 1 예비영상보다 높은 해상도를 가지도록 인코딩한 것임을 특징으로 하는 영상처리방법.
  17. 제 13 항에 있어서,
    상기 제 1 예비영상은 상기 다수개의 개별영상을 디코딩한 후 SVC(Scalable Video Coding)을 이용하여 인코딩한 베이스 레이어(base layer)의 데이터이고,
    상기 제 2 예비영상은 상기 제 1 예비영상에 대해 증강 레이어(enhanced layer)에 속하는 데이터인 것을 특징으로 하는 영상처리방법.
  18. 외부로부터 다수개의 개별영상을 입력받는 머지서버 입력부;
    상기 머지서버 입력부로부터 상기 다수개의 개별영상을 제공받아 상기 다수개의 개별영상을 전부 포함하되, 원래의 데이터량보다 데이터량을 줄여 인코딩한 제 1 예비영상을 생성하는 제 1 예비영상생성부;
    상기 머지서버 입력부로부터 상기 개별영상을 제공받아 상기 다수개의 개별영상 중에서 디스플레이 장치에 표시되는 개별영상만을 상기 디스플레이 장치의 출력조건에 따라 인코딩한 제 2 예비영상을 생성하는 제 2 예비영상생성부; 및
    상기 제 1 예비영상생성부 및 제 2 예비영상생성부 중에 적어도 하나를 선택하는 제어신호를 제공하되, 상기 제어신호는 상기 출력조건을 만족하는 것을 선택하는 머지서버 제어부를 포함하는 것을 특징으로 하는 머지서버.
  19. 제 18 항에 있어서, 상기 제 1 예비영상은 상기 다수개의 개별영상을 디코딩한 후 하나의 영상으로 머지(merge)하고 상기 머지한 영상을 인코딩하되, 상기 머지한 영상에 포함되는 영상들은 상기 다수개의 개별영상보다 해상도가 낮은 것이고,
    상기 제 2 예비영상은 상기 머지한 영상에 포함되는 영상들의 해상도보다 높은 해상도를 가지도록 인코딩된 것임을 특징으로 하는 머지서버.
  20. 제 18 항에 있어서, 상기 제 1 예비영상은 상기 다수개의 개별영상을 디코딩한 후 각각의 개별영상을 해상도를 낮추어 인코딩한 것이고,
    상기 제 2 예비영상은 상기 제 1 예비영상보다 높은 해상도를 가지도록 인코딩한 것임을 특징으로 하는 머지서버.
  21. 제 18 항에 있어서, 상기 제 1 예비영상은 상기 다수개의 개별영상을 디코딩한 후 SVC(Scalable Video Coding)을 이용하여 인코딩한 베이스 레이어(base layer)의 데이터이고, 상기 제 2 예비영상은 상기 제 1 예비영상에 대해 증강 레이어(enhanced layer)에 속하는 데이터인 것을 특징으로 하는 머지서버.
  22. 외부로부터 예비영상을 입력받는 디스플레이 서버 입력부;
    상기 예비영상을 제공받아 디스플레이 장치의 출력조건에 따른 최종영상을 생성하는 최종영상생성부;
    상기 출력조건이 변경되는 경우, 변경된 출력조건을 부분적으로 만족하는 임시영상을 생성하는 임시영상생성부; 및
    상기 최종영상생성부 및 임시영상생성부에 제어신호를 제공하여 상기 최종영상 또는 임시영상 중 어느 하나를 출력시키되, 상기 제어신호는 상기 출력조건에 따라 결정되는 디스플레이 서버 제어부를 포함하는 것을 특징으로 하는 디스플레이 서버.
  23. 제 22 항에 있어서, 상기 예비영상은
    다수개의 개별영상을 포함하되, 원래의 데이터량보다 데이터량을 줄여 인코딩한 제 1 예비영상과, 상기 다수개의 개별영상 중에서 상기 디스플레이 장치에 표시되는 개별영상만을 상기 디스플레이 장치의 출력조건에 따라 인코딩한 제 2 예비영상을 포함하는 것을 특징으로 하는 디스플레이 서버.
  24. 제 23 항에 있어서,
    상기 제 1 예비영상은 상기 다수개의 개별영상을 디코딩한 후 하나의 영상으로 머지(merge)하고 상기 머지한 영상을 인코딩하되, 상기 머지한 영상에 포함되는 영상들은 상기 다수개의 개별영상보다 해상도가 낮은 것이고,
    상기 제 2 예비영상은 상기 머지한 영상에 포함되는 영상들의 해상도보다 높은 해상도를 가지도록 인코딩된 것임을 특징으로 하는 디스플레이 서버.
  25. 제 23 항에 있어서, 상기 제 1 예비영상은 상기 다수개의 개별영상을 디코딩한 후 각각의 개별영상을 해상도를 낮추어 인코딩한 것이고,
    상기 제 2 예비영상은 상기 제 1 예비영상보다 높은 해상도를 가지도록 인코딩한 것임을 특징으로 하는 디스플레이 서버.
  26. 제 23 항에 있어서, 상기 제 1 예비영상은 상기 다수개의 개별영상을 디코딩한 후 SVC(Scalable Video Coding)을 이용하여 인코딩한 베이스 레이어(base layer)의 데이터이고, 상기 제 2 예비영상은 상기 제 1 예비영상에 대해 증강 레이어(enhanced layer)에 속하는 데이터인 것을 특징으로 하는 디스플레이 서버.
KR1020090013490A 2009-02-18 2009-02-18 영상처리시스템 및 영상처리방법 KR100982607B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090013490A KR100982607B1 (ko) 2009-02-18 2009-02-18 영상처리시스템 및 영상처리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090013490A KR100982607B1 (ko) 2009-02-18 2009-02-18 영상처리시스템 및 영상처리방법

Publications (2)

Publication Number Publication Date
KR20100094181A KR20100094181A (ko) 2010-08-26
KR100982607B1 true KR100982607B1 (ko) 2010-09-15

Family

ID=42758386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090013490A KR100982607B1 (ko) 2009-02-18 2009-02-18 영상처리시스템 및 영상처리방법

Country Status (1)

Country Link
KR (1) KR100982607B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307191B2 (en) * 2013-11-19 2016-04-05 Microsoft Technology Licensing, Llc Video transmission
KR102414301B1 (ko) * 2021-12-29 2022-07-01 엔쓰리엔 주식회사 Pod 기반의 영상 관제 시스템 및 pod 기반의 영상 처리 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100400669B1 (ko) 2001-06-21 2003-10-08 주식회사 삼테크아이앤씨 다중 카메라를 이용한 무인 감시 시스템 및 그의 운용 방법
KR200372041Y1 (ko) 2004-10-04 2005-01-10 (주)엘포트 폐쇄채널 텔레비전에서 복수의 채널을 병합하여 표시하는장치
KR100504133B1 (ko) 2003-05-15 2005-07-27 김윤수 감시 모니터의 화면 제어 방법
KR100555012B1 (ko) 2002-11-28 2006-03-03 가부시키가이샤 히타치세이사쿠쇼 영상 신호 기록 및 송신 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100400669B1 (ko) 2001-06-21 2003-10-08 주식회사 삼테크아이앤씨 다중 카메라를 이용한 무인 감시 시스템 및 그의 운용 방법
KR100555012B1 (ko) 2002-11-28 2006-03-03 가부시키가이샤 히타치세이사쿠쇼 영상 신호 기록 및 송신 장치
KR100504133B1 (ko) 2003-05-15 2005-07-27 김윤수 감시 모니터의 화면 제어 방법
KR200372041Y1 (ko) 2004-10-04 2005-01-10 (주)엘포트 폐쇄채널 텔레비전에서 복수의 채널을 병합하여 표시하는장치

Also Published As

Publication number Publication date
KR20100094181A (ko) 2010-08-26

Similar Documents

Publication Publication Date Title
JP5089658B2 (ja) 送信装置及び送信方法
KR100962673B1 (ko) 영상처리시스템, 영상처리방법 및 영상전달방법
CN101668160B (zh) 视频图像数据处理方法、装置及视频会议系统及终端
US9602794B2 (en) Video processing system and video processing method
US10244168B1 (en) Video system for real-time panoramic video delivery
US8958474B2 (en) System and method for effectively encoding and decoding a wide-area network based remote presentation session
WO2007145643A2 (en) Systems and methods for video stream selection
WO2018142159A1 (en) Method of video transmission and display
JP2015513717A (ja) データ、マルチメディアおよびビデオの送信の更新システム
US7679648B2 (en) Method and apparatus for coding a sectional video view captured by a camera at an end-point
Mavlankar et al. Spatial-random-access-enabled video coding for interactive virtual pan/tilt/zoom functionality
KR100982607B1 (ko) 영상처리시스템 및 영상처리방법
Zare et al. 6K and 8K effective resolution with 4K HEVC decoding capability for 360 video streaming
US11457053B2 (en) Method and system for transmitting video
TWI381733B (zh) 高解析度視訊會議系統
JP2013539276A (ja) ビデオ信号処理
US8208555B2 (en) Image capturing and transmission device and image receiving and reconstruction device
CN101340546A (zh) 高分辨率视频会议系统
US20140055471A1 (en) Method for providing scalable remote screen image and apparatus thereof
KR101347871B1 (ko) 보안 영상 표시 처리 시스템 및 그 제어방법
US20150201224A1 (en) Method for processing video and/or audio signals
JP2007147928A (ja) 画像切替・分配システム
Miyazaki et al. UHDTV-2 Mezzanine Compression Codec for Miniaturized and Simplified UHD Production System
CN111372031A (zh) 视频会议系统的视频结构调节方法及其系统
GB2561812A (en) Method of video transmission and display

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130902

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140630

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150902

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170904

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180905

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190904

Year of fee payment: 10

R401 Registration of restoration