KR20090077869A - 영상처리시스템, 영상처리방법 및 영상전달방법 - Google Patents

영상처리시스템, 영상처리방법 및 영상전달방법 Download PDF

Info

Publication number
KR20090077869A
KR20090077869A KR1020080003703A KR20080003703A KR20090077869A KR 20090077869 A KR20090077869 A KR 20090077869A KR 1020080003703 A KR1020080003703 A KR 1020080003703A KR 20080003703 A KR20080003703 A KR 20080003703A KR 20090077869 A KR20090077869 A KR 20090077869A
Authority
KR
South Korea
Prior art keywords
image
server
images
output condition
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020080003703A
Other languages
English (en)
Other versions
KR100962673B1 (ko
Inventor
장태환
김대희
김경헌
이준석
정재성
Original Assignee
(주) 이노티브잉크코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 이노티브잉크코리아 filed Critical (주) 이노티브잉크코리아
Priority to KR1020080003703A priority Critical patent/KR100962673B1/ko
Priority to TW098100850A priority patent/TWI403174B/zh
Priority to JP2010542176A priority patent/JP2011509626A/ja
Priority to US12/812,121 priority patent/US20100303436A1/en
Priority to CN200980104914XA priority patent/CN101971628A/zh
Priority to EP09700460A priority patent/EP2238757A4/en
Priority to PCT/KR2009/000148 priority patent/WO2009088265A2/en
Publication of KR20090077869A publication Critical patent/KR20090077869A/ko
Application granted granted Critical
Publication of KR100962673B1 publication Critical patent/KR100962673B1/ko
Priority to US13/921,650 priority patent/US8989553B2/en
Priority to US14/494,757 priority patent/US9307219B2/en
Priority to US15/058,690 priority patent/US9602794B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

영상처리시스템은 촬영한 영상을 압축하여 제공하는 카메라, 상기 카메라에서 전송되는 동영상 압축 스트림을 디코딩하는 플레이백 서버(playback server)와 상기 플레이백 서버에서 디코딩되는 영상을 처리하는 영상 처리부를 구비하는 영상 준비부, 상기 영상 준비부에서 준비하여 제공하는 영상을 표시하는 디스플레이 장치를 구비하여 카메라에서 촬영되어 압축된 영상을 미리 디코딩하여 준비한 후 디스플레이 장치에 표시하기 위한 다양한 출력 조건으로 영상을 구성하도록 함으로써 영상의 표시 조건이 바뀔 때 마다 필요한 영상을 디코딩하여 표시하는 경우보다 빠른 시간 안에 신속하게 원하는 영상을 표시할 수 있도록 하고, 하나의 화면에 카메라 수의 제한 없이 다수의 카메라에서 촬영한 영상을 실시간으로 카메라의 최대 프레임 레이트(Frame rate)를 유지시면서 표시하도록 할 수 있다. 또한 사용자의 요구에 따라 실시간으로 해당 영상을 줌인, 줌아웃 또는 패닝할 수 있도록 함으로써 영상처리시스템의 동작 응답성의 향상과 사용효율의 향상시킬 수 있는 효과가 있다.

Description

영상처리시스템, 영상처리방법 및 영상전달방법{Video processing system, video processing method and video transfer method}
본 발명은 영상처리시스템과 영상처리방법에 관한 것으로, 더욱 상세하게는 다수의 카메라에서 촬영한 영상을 디코딩하여 디스플레이를 위하여 미리 준비하도록 하는 영상처리시스템, 영상처리방법 및 서버간 영상 신호의 처리 방법에 관한 것이다.
무인 감시 시스템은 폐쇄 회로 카메라에서 촬영한 영상 데이터를 기록장치에 저장하면서 디스플레이 장치로 출력하도록 하기 위한 것으로, 이러한 무인 감시 시스템의 효율적인 통제와 활용을 위해서는 다수의 위치에 산재하여 있는 다량의 카메라로부터 제공되는 영상 데이터를 하나의 디스플레이 장치에서 효과적으로 확인 및 감시가 이루어지도록 할 필요가 있다.
이를 위한 종래의 기술로 "대한민국 등록특허 10-0504133", "감시 모니터의 화면 제어방법"이 있다. 상기 등록특허에서는 하나의 디스플레이 상에 표시되는 화 면 영역을 분할하여 각각의 분할된 영역에 카메라로부터 촬영되는 영상을 나타내도록 한다.
상기 등록특허는 복수의 감시 카메라 또는 복수의 감시 카메라에 결합된 녹화수단으로부터 압축된 복수의 영상을 수신하고, 녹화수단이 수신한 복수의 영상을 복원하고, 복수의 영상을 하나의 화면에서 균등 분할된 복수의 창으로 각각 출력하고, 감시 모니터를 제어하는 재생 수단 내의 메모리에 저장된 화면 제어 수단을 이용하여 사용자 입력 수단에 의한 입력정보에 따라 하나의 화면에서 균등 분할된 복수의 창을 병합, 분리 또는 위치 변경하도록 한다.
그런데 상기 등록특허에서는 각각의 카메라에서 촬영한 영상을 JPEG 과 같은 데이터 포맷으로 압축하여 네트워크를 통하여 녹화수단으로 전송하고, 녹화수단은 출력을 위하여 압축된 영상데이터를 디코딩하여 디스플레이 장치에 표시하도록 하는데, 상기 등록특허는 디스플레이 장치에 영상을 표시하기 위하여 각각의 카메라에서 촬영된 영상데이터를 화면 표시를 위한 요청이 있을 때 마다 녹화장치로부터 디코딩하여 출력하여야 하기 때문에 디스플레이 장치에 영상을 표시하기 위한 동작 시간이 길어지게 되므로 실시간으로 화면의 제어가 이루지지 못하며, 한 화면에 다수의 카메라에서 촬영한 영상을 실시간으로 카메라의 최대 프레임 레이트 및 해상도를 유지하면서 표시하는 것이 사실상 불가능하다.
본 발명의 목적은 다수의 카메라에서 촬영한 영상을 디코딩하여 미리 준비한 상태에서 필요시마다 영상을 디스플레이 할 수 있도록 하는 영상처리시스템 및 영상처리방법과 서버간 영상 신호의 전송 방법을 제공하는 것이다.
본 발명의 다른 목적은 하나의 화면에 카메라 수의 제한 없이 다수의 카메라에서 촬영한 영상을 실시간으로 카메라의 최대 프레임 레이트(Frame rate)를 유지시면서 출력 가능하도록 할 수 있는 영상처리시스템 및 영상처리방법과 서버간 영상 신호의 전송 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 사용자의 요구에 따라 실시간으로 해당 영상을 줌인, 줌아웃 또는 패닝할 수 있도록 하는 영상처리시스템, 영상처리방법 및 서버간 영상 신호의 전송 방법을 제공하는 것이다.
영상처리시스템은 촬영한 영상을 압축하여 제공하는 카메라, 상기 카메라에서 전송되는 동영상 압축 스트림을 디코딩하는 플레이백 서버(playback server)와 상기 플레이백 서버에서 디코딩되는 영상을 처리하는 영상 처리부를 구비하는 영상 준비부, 상기 영상 준비부에서 준비하여 제공하는 영상을 표시하는 디스플레이 장치를 구비한다.
상기 플레이백 서버는 복수개의 상기 카메라에서 촬영한 복수개의 영상을 묶어서 재생할 수 있다.
상기 카메라들은 복수개로 마련되고, 복수개의 상기 카메라는 적어도 하나 이상의 허브에 연결되고, 상기 허브와 상기 플레이백 서버는 스위칭 허브에 의하여 스위칭 될 수 있다.
상기 영상 준비부는 다수의 상기 플레이백 서버에서 제공하는 바인딩 영상을 재구성하는 영상 머지 서버와, 상기 영상 머지 서버에서 재구성하여 전송하는 상기 바인딩 영상을 전체 영상으로 구성하고, 소정 출력 조건에 따라 상기 전체 영상을 구성하여 상기 디스플레이 장치로 최종 출력 영상을 전달하는 디스플레이 서버를 구비할 수 있다.
상기 영상 머지 서버는 복수개로 구비되고, 상기 디스플레이 서버와 상기 영상 머지 서버 사이에는 각각의 상기 영상 머지 서버의 영상을 처리하는 멀티플 머지 서버가 구비될 수 있다.
사용자가 요청한 상기 소정 출력 조건을 상기 디스플레이 서버는 상기 영상 머지 서버로 전달하고, 상기 영상 머지 서버는 상기 소정 출력 조건에 따라 상기 플레이백 서버에서 재생되는 상기 바인딩 영상에서 상기 소정 출력 조건의 영상을 재구성하여 상기 디스플레이 서버로 전달할 수 있다.
영상처리방법은 카메라에서 영상을 압축하여 제공하는 단계; 상기 압축된 영상을 디코딩하는 디코딩 단계; 상기 디코딩되는 영상을 소정 출력 조건으로 재구성하여 전체 영상을 준비하는 준비 단계; 상기 전체 영상에서 상기 소정 출력 조건의 영상을 최종 출력 영상으로 출력하는 출력 단계를 구비한다.
상기 디코딩 단계는 복수개의 상기 카메라에서 촬영한 복수개의 영상을 디코딩 한 후 상기 복수개의 영상을 묶어서 재생할 수 있다.
상기 준비 단계에서 상기 전체 영상에 상기 소정 출력 조건에 해당하는 영상이 있으면 상기 전체 영상에서 상기 소정 출력 조건의 영상을 전달하고, 상기 전체 영상에 상기 소정 출력 조건의 영상이 없으면 상기 디코딩 단게에서 이미 디코딩된 영상 중에서 상기 소정 출력 조건에 해당하는 영상이 포함된 상기 전체 영상을 재구성하고, 상기 재구성된 전체 영상에서 상기 소정 출력 조건의 영상을 선택하여 전달할 수 있다.
상기 소정 출력 조건은 사용자에 의하여 선택되는 다수의 상기 카메라 중에서 선택된 카메라가 촬영한 영상, 또는 상기 선택된 카메라에서 촬영한 영상의 줌인, 줌아웃 또는 패닝 상태에 대한 것일 수 있다.
영상처리방법은 다수의 카메라가 촬영한 영상을 압축하여 전송하고, 상기 다수의 카메라에서 압축 전송된 영상을 디코딩하여 영상을 최종 출력이 이루어지는 동안에 다수의 영상으로 함께 지속적으로 재생하고, 상기 다수의 영상을 상기 카메라가 촬영하는 최대 해상도 이하의 범위를 가지는 소정 출력 조건으로 전체 영상을 구성하고, 상기 전체 영상에서 상기 소정 출력 조건에 해당하는 영상을 선택하여 출력한다.
상기 소정 출력 조건이 바뀌면 상기 전체 영상에서 바뀐 출력 조건의 영상을 선택하여 출력할 수 있다.
상기 소정 출력 조건이 바뀌고, 상기 전체 영상에 바뀐 출력 조건의 영상이 포함되어 있지 않으면, 상기 재생되는 영상으로부터 상기 전체 영상을 재구성하고, 상기 재구성된 영상으로부터 상기 바뀐 출력 조건에 해당하는 영상을 선택하여 출 력할 수 있다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 실시간 영상 처리를 위한 전송 서버와 수신 서버 간의 영상 신호의 전송 방법에 의하면, 상기 전송 서버는 입력되는 복수의 영상들을 그래픽 카드를 사용하여 모두 디코딩된 영상들로 재생하여 출력하고, 상기 수신 서버는 상기 전송 서버로부터 출력되는 상기 디코딩된 영상들을 캡쳐 카드를 사용하여 획득하며, 상기 전송 서버는 전용선을 이용하여 상기 디코딩된 영상들의 신호를 상기 수신 서버로 전송한다.
상기 실시예의 일 측면에 의하면, 상기 전송 서버로 입력되는 복수의 영상들은 다수의 카메라 각각에서 촬영하여 획득한 부호화된 각각의 영상을 함께 집합시킨 것이며, 상기 수신 서버는 복수의 상기 전송 서버로부터 디코딩된 영상들의 신호를 수신할 수 있다. 이 경우에, 상기 전송 서버는 플레이백 서버이고, 상기 수신 서버는 영상 머지 서버이며, 상기 영상 머지 서버는 상기 복수의 전송 서버로부터 입력되는 상기 디코딩된 영상들을, 상기 영상 머지 서버의 외부로부터 입력되는 요청 신호에 따라서, 임의의 형태로 조합한 영상 신호로 변형하여 디스플레이 서버로 출력할 수 있다. 그리고 상기 영상 머지 서버는 임의의 형태로 조합된 영상 신호를 디코딩된 영상들로 재생하여 출력하고, 상기 디스플레이 서버는 상기 영상 머지 서버로부터 출력되는 상기 디코딩된 영상들을 캡쳐 카드를 사용하여 획득할 수 있다. 또한, 상기 수신 서버가 수신하는 상기 디코딩된 영상들은 상기 다수의 카메라가 획득한 고해상도의 영상일 수 있다.
본 발명에 따른 영상처리시스템, 영상처리방법 및 영상전달방법은 카메라에서 촬영되어 압축된 영상을 미리 디코딩하여 준비한 후 디스플레이 장치에 표시하기 위한 다양한 출력 조건으로 영상을 구성하여 출력하도록 함으로써 영상의 표시 조건이 바뀔 때 마다 필요한 영상을 디코딩하여 표시하는 종래의 경우보다 빠른 시간 안에 신속하게 원하는 영상을 표시할 수 있도록 하고, 더욱이 하나의 화면에 카메라 수의 제한 없이 다수의 카메라에서 촬영한 영상을 실시간으로 카메라의 최대 프레임 레이트(Frame rate)를 유지시키면서 표시하도록 할 수 있다. 따라서 사용자의 요구에 따라 실시간으로 해당 영상을 줌인, 줌아웃 또는 패닝할 수 있도록 함으로써 영상처리시스템의 동작 응답성과 사용효율을 향상시킬 수 있는 효과가 있다.
도 1은 본 실시예에 따른 영상처리시스템을 도시한 도면이다. 도 1에 도시된 바와 같이 영상처리시스템은 네트워크상에 연결되는 다수개의 카메라(160)를 구비한다. 이 카메라(160)들은 각각 근거리 네트워크를 구성할 수 있으며, 이때 이들 각각의 카메라(160)들은 각각의 허브(hub)(150)에 연결될 수 있다.
본 실시예에서 카메라(160)는 촬영된 영상을 MJPEG, MPEG-4, JPEG 2000 등과 같은 영상 압축 프로토콜로 압축하는 인코더(encoder)를 구비한다. 따라서 카메라(160)는 촬영한 영상을 동영상 압축 스트림(stream)으로 출력한다. 이러한 카메라(160)는 640 X 480 해상도를 가지는 네트워크 IP 카메라(160) 또는 아날로그 카 메라(160)일 수 있다.
카메라(160)들이 연결된 모든 허브(150)는 카메라(160)의 IP 어드레스 또는 MAC 어드레스와 같은 카메라(160)의 고유 어드레스에 따라 데이터 송수신을 위한 연결을 제어한다. 또한 각각의 허브(150)는 이들 허브(150)에 대한 라우팅(routing)이 가능한 기가비트 스위칭 허브(gigabit switching hub)(140)에 집선된다.
그리고 기가비트 스위칭 허브(140)에는 영상 처리부가 연결된다. 영상 처리부는 다수개의 플레이백 서버(130a)(130b)(130c)(130d)와 이 다수개의 플레이백 서버(130a)(130b)(130c)(130d)와 전용선으로 연결되는 영상 준비부(120)를 구비한다. 기가비트 스위칭 허브(140)는 카메라(160)가 연결된 허브(150)들과 각각의 플레이백 서버(130a)(130b)(130c)(130d)를 라우팅할 수 있다.
플레이백 서버(130)는 각각이 하나의 허브(150)에 연결된 다수개의 카메라(160)들로부터 제공되는 동영상 압축 스트림을 저장할 수 있는 기록매체와 기록된 영상의 재생을 위하여 압축된 영상 데이터를 디코딩하기 위한 디코더(decoder)와 그래픽 카드를 구비하는 디지털 영상 저장장치(Digital Video Recorder)일 수 있다. 본 실시예는 플레이백 서버(130)가 4대인 경우를 예시하고 있다. 하지만 플레이백 서버(130)는 이보다 작거나 많을 수 있다.
한편, 모든 플레이백 서버들(130a)(130b)(130c)(130d)은 영상 준비부(120)와 연결된다. 영상 준비부(120)는 플레이백 서버(130)에서 재생하는 영상을 별도의 디코딩 과정없이 샘플링하여 출력 준비하기 위한 것으로 빠른 프레임 레이트로 영상 을 준비하는 영상 머지 서버(122)와 영상 머지 서버(122)에서 전달받은 영상을 신속하게 편집하는 디스플레이 서버(121)를 포함할 수 있다.
이러한 영상 머지 서버(122)와 플레이백 서버(130)는 두 개의 영상출력단자로 연결될 수 있다. 이 두 개의 영상출력단자는 2개의 DVI(digital video interactive) 또는 1개의 DVI와 1개의 RGB 단자일 수 있다.
본 실시예에서 영상 머지 서버(122)는 네 개의 플레이백 서버(130a)(130b)(130c)(130d)로부터 디코딩된 영상 데이터를 받아 처리한다. 영상 머지 서버(122)는 디스플레이 서버(121)의 요청에 따라 영상 데이터를 재구성하여 고품질의 영상을 디스플레이 서버(121)로 전달할 수 있다. 영상 데이터의 재구성시 영상 머지 서버(122)는 플레이백 서버들(130a)(130b)(130c)(130d)로부터 재구성에 필요한 영상을 받아서 처리한다.
한편, 영상 머지 서버(122)에 연결되는 디스플레이 서버(121)는 4 채널의 비디오 캡처 카드(video capture card)를 구비한다. 디스플레이 서버(121)는 영상 머지 서버(122)에서 제공하는 재구성 영상을 이용하여 전체 영상(M1, M2, M3, 도 4a, 도 4b, 도 4c 참조)으로부터 소정 출력 조건에 따른 영상을 선택, 편집한다. 이 소정 출력 조건은 사용자의 상호작용(예를 들어 마우스 클릭, 드래그(drag), 터치 스크린 동작 등에 반응하여 디스플레이 서버(121)가 영상 머지 서버(122)에게 최종 출력할 카메라(160), 카메라 해상도 정보 등을 보내주는 것을 말하고, 이 소정 출력 조건에 응답하여 영상 머지 서버(122)는 플레이백 서버(130)에서 재생하는 영상을 별도의 디코딩 과정과 같은 오버헤드 없이 디스플레이 서버(121)에 소정 출력 조건의 영상을 제공하게 된다.
그리고 디스플레이 장치(121)에서 소정 출력 조건에 따라 구성된 영상 데이터는 디스플레이 장치(110)로 전송된다. 이때의 디스플레이 서버(121)는 영상 머지 서버(122)에서 출력하는 영상을 저해상도와 고해상도 영역으로 분할하여 각 화면을 고유한 개체(unique object)로 인식하여 처리한다.
그리고 디스플레이 서버(121)에 DVI 등으로 연결되며 디스플레이 서버(121)에서 제공하는 영상을 최종 출력하여 표시하는 디스플레이 장치(110)를 구비하고, 전술한 카메라(160), 플레이백 서버(130), 영상 머지 서버(122) 그리고 디스플레이 서버(121)의 동작을 제어하는 제어부(100)를 구비한다.
이하에서는 영상처리방법에 대한 실시예를 설명한다.
도 2는 본 실시예에 따른 영상처리방법을 설명하기 위한 도면이다. 도 2에 도시된 바와 같이 카메라(160)가 각 위치에서 촬영하면 촬영된 영상은 카메라(160)에서 압축되어 플레이백 서버(130)로 전송된다(S10). 이때 카메라(160)는 항상 자신의 최대 해상도로 영상을 촬영하여 압축한다. 즉 본 실시예의 경우 각각의 카메라(160)는 최대 해상도인 640 X 480 해상도로 해당 영상을 촬영하여 압축한 후 플레이백 서버(130)로 전송한다. 그리고 플레이백 서버(130)는 압축된 영상을 디코딩하여 한 화면에 다수의 카메라(160)에서 촬영한 영상을 묶어서 바인딩 영상(P)으로 구성한 후 영상 준비부(120)로 전송한다(S20).
그리고 영상 준비부(120)의 영상 머지 서버(122)는 모든 플레이백 서버(130a)(130b)(130c)(130d)로부터 제공되는 영상들과 디스플레이 서버(121)에서 요청되는 소정 출력 조건에 따fms 영상을 재구성하여 디스플레이 서버(121)로 전송한다(S30).
그리고 디스플레이 서버(121)는 디폴트 영상(default display) 또는 사용자에 의하여 요청된 소정 출력 조건에 따른 다양한 전체 영상(M1, M2, M3)을 인식하고, 이 전체 영상(M1, M2, M3)에서 디폴트 영상 또는 소정 출력 조건에 따른 영상을 확인하여 선택 및 편집한다. 그리고 이 선택 및 편집된 영상을 디스플레이 장치(110)로 전달하면, 디스플레이 장치(110)는 해당 영상을 최종 출력 영상(D1, D2, D3, 도 5a, 도 5b, 도 5c 참조)으로 출력한다(S40).
한편, 사용자가 입력한 소정 출력 조건의 영상을 디스플레이 서버(121)가 전체 영상(M1, M2, M3)에서 인식하고 있지 않은 경우 디스플레이 서버(121)는 영상 머지 서버(122)로부터 받은 영상 데이터로 해당 출력 조건의 영상이 포함된 영상으로 전체 영상(M1, M2, M3)을 갱신시킨다.
그리고 디스플레이 서버(121)는 이 갱신된 전체 영상(M1, M2, M3)으로부터 해당 출력 조건의 영상을 재편집 구성하여 디스플레이 장치(110)로 전달하고, 디스플레이 장치(110)는 해당 출력 조건의 영상을 최종 출력 영상(D1, D2, D3)으로 출력한다. 이때의 소정 출력 조건은 특정 카메라가 촬영한 특정 해상도의 줌인, 줌아웃, 패닝 등과 같은 다양한 화면 상태에 대한 조건일 수 있는데, 이때의 해상도는 카메라(160)가 촬영한 최대 해상도로 선택될 수 있다.
따라서 디스플레이 장치(110)는 사용자가 요구하는 다양한 출력 조건에 따른 영상을 실시간으로 디스플레이 서버(121)로부터 받아서 출력함으로써 빠른 시간 안 에 고해상도의 영상을 화면상에 표시할 수 있게 된다. 더욱이 영상의 출력 중 디스플레이 장치(110)에서 표시하고자 하는 영상의 조건이 바뀔 때 영상 머지 서버(122)는 실시간으로 플레이백 서버(130)로부터 재생되는 영상을 재구성하여, 높은 프레임 레이트와 고해상도의 영상을 실시간으로 디스플레이 서버(121)로 전달하기 때문에 최종적으로 디스플레이 장치(110)에서 표시되는 다양한 영상들은 매우 빠른 응답으로 고품질의 영상이 출력될 수 있다.
이하에서는 영상처리방법에 대한 각 구성요소에서 제공하는 화면의 상태에 따른 보다 구체적인 실시예를 도면을 참고하여 상세히 설명한다.
이미 설명한 바와 같이 임의의 설치위치에 위치한 카메라(160)가 제어부(100)의 동작신호를 수신하여 해당 위치에서 최대 해상도로 촬영을 시작하면, 촬영된 영상은 카메라(160)의 인코더에서 압축되어 동영상 압축 스트림으로 허브(150)와 기가비트 스위칭 허브(140)를 거쳐서 해당 플레이백 서버(130a)(130b)(130c)(130d)로 전송된다.
본 실시예에서 하나의 허브(150)에는 18대의 카메라(160)가 연결된 것을 실시예로 하고, 하나의 플레이백 서브(130)는 18개의 화면을 묶어서 동시에 재생하는 것을 실시예로 설명하고 있다. 그러나 카메라(160)의 수, 플레이백 서버(130)의 수 그리고 플레이백 서브(130)에서 디코딩하여 재생하는 화면의 수는 보다 다양하게 변형 실시될 수 있다. 그리고 플레이백 서버(130) 이후부터는 영상 데이터의 전송 및 출력을 위하여 영상의 인코딩이나 디코딩 과정이 이루어지지 않고, 실시간으로 고해상도의 영상이 최종 출력을 위하여 처리된다.
도 3은 각각의 플레이백 서버(130a)(130b)(130c)(130d)가 각 카메라(160)에서 촬영한 영상을 디코딩하여 모자익 뷰(mosaic view)로 재생하는 영상(이하에서는 "바인딩 영상(P)"이라고 한다)을 예시적으로 도시한 도면이다.
도 3에 도시된 바와 같이 플레이백 서버(130)는 18개의 영상 데이터를 처리한다. 이를 위하여 플레이백 서버(130)는 균등 크기로 분할된 두 개의 영상 출력 영역(video output area)(A1, A2)으로 바인딩 영상(P)을 모자익 뷰로 구성하여 재생한 후 각각의 플레이백 서버(130)는 바인딩 영상(P)을 두 개의 DVI 또는 한 개의 DVI 와 한 개의 RGB 단자를 이용하여 영상 머지 서버(122)로 전송한다.
그리고 바인딩 영상(P) 중 하나의 영역(A1 또는 A2)은 하나의 DVI 또는 RGB 단자를 통하여 전송될 수 있다. 그리고 플레이백 서버(130)에서 구성하는 바인딩 영상(P)에 포함되는 한 개의 영상이 640 X 480 해상도를 가지는 경우 하나의 영역(A1 또는 A2)은 9개의 영상을 포함하므로 1920 X 1440 화면크기로 구성될 수 있다.
이와 같이 플레이백 서버(130)는 카메라(160)의 동작 중 카메라(160)가 촬영한 영상을 촬영시의 해상도로 디코딩하여 영상 머지 서버(122)로 전송한다. 그리고 영상 머지 서버(122)는 모두 8개의 채널로 각각의 플레이백 서버(130a)(130b)(130c)(130d)로부터 전송되는 출력 영상을 신속하게 받는다.
그리고 영상 머지 서버(122)는 모든 플레이백 서버(130a)(130b)(130c)(130d)에서 전송하는 바인딩 영상(P)을 다른 디코딩 과정 없이 재구성하여 디스플레이 서버(121)로 전송한다. 이때 영상 머지 서버(122)는 디스플레이 서버(121)에서 필요 로 하는 화면 내용을 소정의 화면 크기로 구성할 수 있고, 또한 디스플레이 서버(121)가 사용자에 의하여 요청된 다양한 출력 조건으로 영상을 재구성하거나, 샘플링할 수 있다.
본 실시예에서 영상 머지 서버(122)는 플레이백 서버(130)에서 전송되는 바인딩 영상(P)을 네 개의 1280 X 720 화면크기로 재구성하여 네 개의 DVI를 이용하여 디스플레이 서버(121)로 전송한다. 따라서 영상 머지 서버(122)에서 디스플레이 서버(121)로 제공하는 전체 영상(M1, M2, M3)의 크기는 2560 X 1440이 될 수 있다. 이때의 재구성 영상과 전체 영상(M1, M2, M3)의 크기는 다양하게 변형 실시될 수 있다.
한편, 디스플레이 서버(121)는 다양한 배치 방법으로 전체 영상((M1, M2, M3)을 인식할 수 있다. 그리고 모든 플레이백 서버(130a)(130b)(130c)(130d)에서 제공하는 화면은 전체 영상(M1, M2, M3)에 포함될 수 있다. 영상 머지 서버(122)는 플레이백 서버들(130a)(130b)(130c)(130d)에서 갱신한 영상 데이터를 실시간으로 입력받아 각 화면의 영상 데이터를 계속해서 갱신한 후 화면을 재구성하고, 이 재구성한 영상을 디스플레이 서버(121)로 전송한다. 따라서 디스플레이 서버(121)는 실시간으로 전송되는 영상 머지 서버(122)의 재구성 영상을 받아 전체 영상(M1, M2, M3)을 다양한 배치상태로 인식하여 처리할 수 있다.
이하에서는 전체 영상의 실시예에 대하여 설명한다.
도 4a, 도 4b, 도 4c는 전체 영상을 구성하는 실시예들을 설명하기 위한 도면이다.
도 4a에 도시된 첫 번째 실시예는 전체 영상(M1)의 상단 1/4 영역에 플레이백 서버(130a)(130b)(130c)(130d)로부터 디코딩되는 72개의 영상 각각을 배치한다. 예를 들어 디스플레이 서버(121)가 2560 X 1440 크기로 전체 영상(M1)을 나타내는 경우 72개 기본영상(1 - 72) 각각은 120 X 90 화면크기로 나타내어질 수 있다. 이 72개의 영상(이하에서는 "기본영상"이라고 한다)은 디스플레이 장치(121)에서 멀티뷰(multi-view)의 기본영상으로 제공할 때 사용될 수 있다. 그리고 전체 영상(M1, M2, M3)의 하단 3/4 영역에 전체 72개 영상 중 12개의 영상(1 ... 12)을 기본영상보다 고해상도를 가지는 화면크기로 배치할 수 있다.
예를 들어 전체 영상(M1) 중 1 - 12번까지의 화면을 고해상도로 구성하는 경우 2560 X 1440 화면 크기로 전체 영상(M1)을 구성하는 디스플레이 서버(121)는 1 - 12번까지의 화면을 최대 해상도인 640 X 480 해상도로 구성할 수 있다.
도 4b에 도시된 두 번째 실시예는 전체 영상(M2)의 상측 1/4 영역에 영상 머지 서버(122)로부터 재구성되어 전송되는 72개의 영상을 저해상도로 배치한다. 이 72개의 저해상도 화면은 디스플레이 장치(121)에서 멀티뷰(multi-view)의 기본영상으로 제공될 수 있다. 그리고 전체 영상(M2)의 하단 3/4 영역에 24개의 영상을 기본영상보다 높은 해상도를 가지는 화면으로 배치할 수 있는데, 이 경우 24개의 영상들은 320 × 240 해상도일 수 있다.
도 4c에 도시된 세 번째 실시예는 전체 영상(M3)의 좌측 1/2 영역에 영상 머지 서버(122)로부터 받은 재구성 영상을 이용하여 72개의 영상 각각을 저해상도로 배치한다. 그리고 우측의 1/2 영역에 전체 72개 영상중 9개의 영상을 보다 높은 해 상도를 가지는 영상으로 배치할 수 있다.
즉, 이와 같이 디스플레이 서버(121)는 영상 머지 서버(122)가 재구성하여 전송하는 재구성 영상을 전체 영상(M1, M2, M3)의 일부 영역에 저해상도로 모두 배치하고, 이와 함께 일부 미리 설정되거나, 소정 출력 조건으로 설정된 영상을 다양한 해상도와 배치방법으로 구성할 수 있다. 그리고 영상 머지 서버(122)에서 재구성하는 이 전체 영상(M1, M2, M3)에 포함되는 각각의 영상은 카메라(160)가 촬영한 최대 해상도가 될 수 있다. 따라서 영상 머지 서버(122)는 해당 영상의 최종 출력시 고품질의 영상이 제공될 수 있도록 한다.
이하에서는 최종 출력 영상을 구성하는 방법에 대한 구체적인 실시예를 설명한다.
디스플레이 서버(121)는 사용자에 의하여 별도로 출력 조건이 입력되지 않을 때 디폴트(default) 영상을 디스플레이 장치(110)로 제공한다. 그리고 사용자가 소정 출력 조건, 즉 특정 카메라(160)가 촬영한 영상에 대한 특정 해상도, 줌인, 줌아웃, 패닝 등과 같은 출력 조건을 입력하면, 디스플레이 서버(121)는 해당 출력 조건에 대한 영상이 디스플레이 서버(121)에서 구성하는 전체 영상(M1, M2, M3)에 포함되어 있는지 확인하고, 이 출력 조건의 영상이 전체 영상(M1, M2, M3)에 포함되어 있으면, 이를 선택 및 편집하여 디스플레이 장치(110)로 전송한다.
반면에 만약 해당 출력 조건의 영상이 디스플레이 서버(121)의 전체 영상(M1, M2, M3)에 포함되어 있지 않으면, 디스플레이 서버(121)는 영상 머지 서버(122)로부터 제공되는 재구성 영상을 이용하여 전체 영상(M1, M2, M3)을 재인식 한다.
도 5a, 도 5b, 도 5c는 최종 출력 영상에 대한 실시예들을 설명하기 위한 도면이다.
도 5a는 디스플레이 서버(121)가 모든 플레이백 서버(130)에서 인코딩한 바인딩 영상(P)을 모두 표시한 상태를 나타낸다. 이러한 상태는 영상처리시스템의 동작이 시작될 때 표시될 수 있는 디폴트 영상일 수 있다. 이 디폴트 영상은 디스플레이 서버(121)가 전체 영상(M1)에서 이들 기본영상들(1 ... 72)을 선택하여 디스플레이 장치(110)에서 표시하는 화면 크기인 1920 X 1080으로 기본영상(1 ... 72)을 배치하여 디스플레이 장치(110)로 전송함으로써 최종 출력되는 출력 영상이 될 수 있다.
반면에 사용자가 기본영상 중에서 일부 영상을 선택하여 줌아웃 또는 줌인과 같은 출력 조건을 터치스크린(Touch screen)동작, 마우스 클릭, 드래그 및 기타의 사용자 인터페이스(user interface)를 위한 방법을 이용하여 입력하면, 디스플레이 서버(121)는 선택된 화면을 이때의 출력 조건에 따라 전체 영상(M1)에서 선택, 편집한다.
예를 들어 도 5b에 도시된 바와 같이 사용자가 기본영상들과 함께 기본영상들 중에서 1 번 영상을 카메라가 촬영한 고해상도로 줌인하기 위하여 사용자 인터페이스를 조작하면, 1번 영상에 대한 고유 식별자, 특정 해상도 그리고 1번 영상에 대한 컬럼(column)과 로우(row)의 어드레스 등이 결정되어 제어부(100)를 거쳐 디스플레이 서버(121)로 전달된다.
그리고 디스플레이 서버(121)는 전체 영상(M1, M2, M3) 중에서 1번 영상에 대하여 사용자가 입력한 출력 조건에 부합하는 영상을 구성하고 있는지를 확인한다. 예를 들어 도 4a에서와 같이 1번 영상에 대하여 카메라(160)가 촬영한 소정 출력 조건의 해상도 및 줌인 영상을 보유하고 있는 경우라면, 디스플레이 서버(121)는 전체 영상(M1, M2, M3)에서 1번 영상을 선택하고, 선택된 영상 데이터를 출력 영상의 컬럼과 로우 위치에 맵핑하도록 영상 데이터를 편집 처리한다. 이러한 과정은 이미 영상 머지 서버(121)에서 제공하는 전체 영상(M1, M2, M3)에서 선택되어 즉시 출력되므로 고화질의 화면을 매우 빠른 프레임 레이트를 구현할 수 있다.
그리고 1번 영상의 소정 출력 조건의 영상과 함께 다른 기본영상들을 디폴트 조건으로 함께 선택하여 출력 영상으로 디스플레이 장치(110)에 제공할 수 있다. 이에 따라 디스플레이 장치(110)에서 출력하는 출력 영상(D2)에는 1번 확대 영상과 디스플레이 장치(110)에서 표시 가능한 나머지 화면 영역 이내에 다른 기본영상들이 함께 표시된다.
그리고 또 다른 실시예로 도 5c에 도시된 바와 같이 1 - 16번까지의 영상을 고해상도로 확대하도록 사용자가 사용자 인터페이스를 통하여 해당 출력 조건을 입력할 수 있다. 이 경우에는 도 4a에 도시된 바와 같은 전체 영상(M1)에서는 13 - 16번까지에 대한 확대 영상을 구성하고 있지 않다.
반면에 도 4b에 도시된 실시예의 디스플레이 서버(121)의 전체 영상(M2)에서는 1 - 16번 화면까지의 확대 영상을 포함하고 있다. 따라서 만약 디스플레이 서버(121)의 전체 영상(M1)이 도 4a와 같이 구성되어 있는 경우에는 영상 머지 서 버(122)로부터 받은 재구성 영상을 도 4b에 도시된 상태로 전체 영상(M2)으로 구성하고, 이중에서 1 - 16번 화면만을 선택한 후 이를 디스플레이 장치(110)로 제공하도록 함으로써 1 - 16번 화면에 대한 줌인 영상으로 최종 출력 영상(D3)을 제공할 수 있게 된다. 이러한 경우에도 이미 영상 머지 서버(121)는 플레이백 서버(130)으로 부터 재생되는 영상을 실시간으로 받고 있기 때문에 전체 영상(M1, M2, M3)의 재구성이 빠른 시간 안에 이루어지므로, 디스플레이 서버(121)에서 영상을 선택하여 디스플레이 장치(110)로 고화질의 화면을 매우 빠른 프레임 레이트로 전송할 수 있다.
이와 같이 다수의 영상에 대한 다양한 크기의 줌인, 줌아웃이 요구되는 경우 디스플레이 서버(121)는 요구하는 영상 내용에 따라 현재 구성하고 있는 영상과 일치하는 영상이 요청되는 경우에는 해당 영상을 즉시 선택 편집하여 디스플레이 장치(110)로 전송하도록 하고, 해당 영상으로 현재의 화면을 구성하고 있지 않은 경우에도 영상 머지 서버(122)로부터 재구성되어 전송되는 전체 영상(M1, M2, M3)을 신속하게 인식하여 이 전체 영상(M1, M2, M3)에서 요구되는 영상을 빠른 시간안에 선택 편집하여 디스플레이 장치(110)로 전송하도록 함으로써 신속하게 사용자가 요구하는 다양한 영상을 디스플레이 장치(110)에 표시하도록 할 수 있다.
한편, 전술한 실시예를 이용하여 영상처리시스템을 보다 광대역으로 확장하여 실시할 수 있다. 도 6은 본 발명의 다른 실시예에 따른 영상처리시스템을 도시한 도면이다.
도 6에 도시된 바와 같이 보다 넓은 지역의 보다 많은 카메라(160)에서 촬영 하는 영상을 처리할 수 있도록 하기 위하여 플레이백 서버와 영상 머지 서버를 포함하는 복수개의 단일 영상 머지 시스템(300)(400)을 구성시키고, 이 단일 영상 머지 시스템(300)(400)들을 하나의 멀티플 머지 서버(200)에 연결시킨 후 디스플레이 서버(121)와 디스플레이 장치(110)로 영상을 표시하도록 할 수 있으며, 이러한 실시예는 보다 넓은 지역에 대하여 보다 많은 화면의 신속한 처리가 가능해지도록 한다.
이상과 같은 본 실시예에 따른 영상처리시스템과 영상처리방법은 영상 처리를 위하여 플레이백 서버와 영상 머지 서버 그리고 디스플레이 서버들 간에 영상정보를 전송시 압축된 영상 형태를 데이터 네트워크를 통하여 전송하지 않고, 다수의 영상을 묶어서 재생하는 플레이백 서버에서 전송되는 영상에서 필요한 영상을 캡처하여 디스플레이 하도록 한다. 따라서 본 실시예에서의 서버 사이의 영상정보 전달 방식은 영상정보 전송을 위하여 압축/복원하는 오버헤드(overhead)과정을 없앨 수 있기 때문에 실시간으로 영상의 처리가 가능하고, 또한 이더넷(ethernet)과 같이 여러 서버가 공유하는 데이터 전송망이 아닌, 서버들 간의 전용선을 통하여 데이터 전송을 수행하므로 훨씬 더 많은 양의 영상정보를 고속으로 전송할 수 있도록 함으로써 고화질 상태가 유지되어 줌인, 줌아웃 또는 패닝되는 영상을 실시간으로 디스플레이할 수 있도록 하도록 한다.
도 1은 본 발명의 실시예에 따른 영상처리시스템을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 영상처리방법을 설명하기 위한 도면이다.
도 3은 플레이백 서버가 바인딩 영상을 구성하는 실시예를 설명하기 위한 도면이다.
도 4a, 도 4b, 도 4c는 전체 영상을 구성하는 실시예들을 설명하기 위한 도면이다.
도 5a, 도 5b, 도 5c는 최종 출력 영상에 대한 실시예들을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 영상처리시스템을 도시한 도면이다.

Claims (18)

  1. 촬영한 영상을 압축하여 제공하는 카메라;
    상기 카메라에서 전송되는 동영상 압축 스트림을 디코딩하는 플레이백 서버(playback server)와 상기 플레이백 서버에서 디코딩되는 영상을 처리하는 영상 처리부를 구비하는 영상 준비부;
    상기 영상 준비부에서 준비하여 제공하는 영상을 표시하는 디스플레이 장치를 구비하는 것을 특징으로 하는 영상처리시스템.
  2. 제 1항에 있어서, 상기 플레이백 서버는 복수개의 상기 카메라에서 촬영한 복수개의 영상을 묶어서 재생하는 것을 특징으로 하는 영상처리시스템.
  3. 제 1항에 있어서, 상기 카메라들은 복수개로 마련되고, 복수개의 상기 카메라는 적어도 하나 이상의 허브에 연결되고, 상기 허브와 상기 플레이백 서버는 스위칭 허브에 의하여 스위칭 되는 것을 특징으로 하는 영상처리시스템.
  4. 제 1항에 있어서, 상기 영상 처리부는 다수의 상기 플레이백 서버에서 제공 하는 바인딩 영상을 재구성하는 영상 머지 서버와,
    상기 영상 머지 서버에서 재구성하여 전송하는 상기 바인딩 영상을 전체 영상으로 구성하고, 소정 출력 조건에 따라 상기 전체 영상을 구성하여 상기 디스플레이 장치로 최종 출력 영상을 전달하는 디스플레이 서버를 구비하는 것을 특징으로 하는 영상처리시스템.
  5. 제 4항에 있어서, 상기 영상 머지 서버는 복수개로 구비되고, 상기 디스플레이 서버와 상기 영상 머지 서버 사이에는 각각의 상기 영상 머지 서버의 영상을 처리하는 멀티플 머지 서버가 구비되는 것을 특징으로 하는 영상처리시스템.
  6. 제 4항에 있어서, 사용자가 요청한 상기 소정 출력 조건을 상기 디스플레이 서버는 상기 영상 머지 서버로 전달하고, 상기 영상 머지 서버는 상기 소정 출력 조건에 따라 상기 플레이백 서버에서 재생되는 상기 바인딩 영상에서 상기 소정 출력 조건의 영상을 재구성하여 상기 디스플레이 서버로 전달하는 것을 특징으로 하는 영상처리시스템.
  7. 카메라에서 영상을 압축하여 제공하는 단계;
    상기 압축된 영상을 디코딩하는 디코딩 단계;
    상기 디코딩되는 영상을 소정 출력 조건으로 재구성하여 전체 영상을 준비하는 준비 단계;
    상기 전체 영상에서 상기 소정 출력 조건의 영상을 최종 출력 영상으로 출력하는 출력 단계를 구비하는 특징으로 하는 영상처리방법.
  8. 제 7항에 있어서, 상기 디코딩 단계는 복수개의 상기 카메라에서 촬영한 복수개의 영상을 디코딩 한 후 상기 복수개의 영상을 묶어서 재생하는 것을 특징으로 하는 영상처리방법.
  9. 제 7항에 있어서, 상기 준비 단계에서 상기 전체 영상에 상기 소정 출력 조건에 해당하는 영상이 있으면 상기 전체 영상에서 상기 소정 출력 조건의 영상을 전달하고, 상기 전체 영상에 상기 소정 출력 조건의 영상이 없으면 상기 디코딩 단게에서 이미 디코딩된 영상 중에서 상기 소정 출력 조건에 해당하는 영상이 포함된 상기 전체 영상을 재구성하고, 상기 재구성된 전체 영상에서 상기 소정 출력 조건의 영상을 선택하여 전달하는 것을 특징으로 하는 영상처리방법.
  10. 제 9항에 있어서, 상기 소정 출력 조건은 사용자에 의하여 선택되는 다수의 상기 카메라 중에서 선택된 카메라가 촬영한 영상, 또는 상기 선택된 카메라에서 촬영한 영상의 줌인, 줌아웃 또는 패닝 상태에 대한 것인 것을 특징으로 하는 영상처리방법.
  11. 다수의 카메라가 촬영한 영상을 압축하여 전송하고, 상기 다수의 카메라에서 압축 전송된 영상을 디코딩하여 영상을 최종 출력이 이루어지는 동안에 다수의 영상으로 함께 지속적으로 재생하고, 상기 다수의 영상을 상기 카메라가 촬영하는 최대 해상도 이하의 범위를 가지는 소정 출력 조건으로 전체 영상을 구성하고, 상기 전체 영상에서 상기 소정 출력 조건에 해당하는 영상을 선택하여 출력하는 것을 특징으로 하는 영상처리방법.
  12. 제 11항에 있어서, 상기 소정 출력 조건이 바뀌면 상기 전체 영상에서 바뀐 출력 조건의 영상을 선택하여 출력하는 것을 특징으로 하는 영상처리방법.
  13. 제 11항에 있어서, 상기 소정 출력 조건이 바뀌고, 상기 전체 영상에 바뀐 출력 조건의 영상이 포함되어 있지 않으면, 상기 재생되는 영상으로부터 상기 전체 영상을 재구성하고, 상기 재구성된 영상으로부터 상기 바뀐 출력 조건에 해당하는 영상을 선택하여 출력하는 것을 특징으로 하는 영상처리방법.
  14. 실시간 영상 처리를 위한 전송 서버와 수신 서버 간의 영상 신호의 전송 방법에 있어서,
    상기 전송 서버는 입력되는 복수의 영상들을 그래픽 카드를 사용하여 모두 디코딩된 영상들로 재생하여 출력하고,
    상기 수신 서버는 상기 전송 서버로부터 출력되는 상기 디코딩된 영상들을 캡쳐 카드를 사용하여 획득하며,
    상기 전송 서버는 전용선을 이용하여 상기 디코딩된 영상들의 신호를 상기 수신 서버로 전송하는 것을 특징으로 하는 서버간 영상 처리 방법.
  15. 제 14항에 있어서, 상기 전송 서버로 입력되는 복수의 영상들은 다수의 카메라 각각에서 촬영하여 획득한 부호화된 각각의 영상을 함께 집합시킨 것이며,
    상기 수신 서버는 복수의 상기 전송 서버로부터 디코딩된 영상들의 신호를 수신하는 것을 특징으로 하는 서버간 영상 처리 방법.
  16. 제 15항에 있어서, 상기 전송 서버는 플레이백 서버이고, 상기 수신 서버는 영상 머지 서버이며,
    상기 영상 머지 서버는 상기 복수의 전송 서버로부터 입력되는 상기 디코딩된 영상들을, 상기 영상 머지 서버의 외부로부터 입력되는 요청 신호에 따라서, 임의의 형태로 조합한 영상 신호로 변형하여 디스플레이 서버로 출력하는 것을 특징으로 하는 서버간 영상 처리 방법.
  17. 제 16항에 있어서, 상기 영상 머지 서버는 임의의 형태로 조합된 영상 신호를 디코딩된 영상들로 재생하여 출력하고, 상기 디스플레이 서버는 상기 영상 머지 서버로부터 출력되는 상기 디코딩된 영상들을 캡쳐 카드를 사용하여 획득하는 것을 특징으로 하는 서버간 영상 처리 방법.
  18. 제 15항에 있어서, 상기 수신 서버가 수신하는 상기 디코딩된 영상들은 상기 다수의 카메라가 획득한 고해상도의 영상인 것을 특징으로 하는 서버간 영상 처리 방법.
KR1020080003703A 2008-01-12 2008-01-12 영상처리시스템, 영상처리방법 및 영상전달방법 Active KR100962673B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020080003703A KR100962673B1 (ko) 2008-01-12 2008-01-12 영상처리시스템, 영상처리방법 및 영상전달방법
TW098100850A TWI403174B (zh) 2008-01-12 2009-01-10 視訊處理系統、視訊處理方法、及視訊傳送方法
US12/812,121 US20100303436A1 (en) 2008-01-12 2009-01-12 Video processing system, video processing method, and video transfer method
CN200980104914XA CN101971628A (zh) 2008-01-12 2009-01-12 视频处理系统、视频处理方法以及视频传送方法
EP09700460A EP2238757A4 (en) 2008-01-12 2009-01-12 VIDEO PROCESSING SYSTEM, VIDEO PROCESSING METHOD, AND VIDEO TRANSFER METHOD
PCT/KR2009/000148 WO2009088265A2 (en) 2008-01-12 2009-01-12 Video processing system, video processing method, and video transfer method
JP2010542176A JP2011509626A (ja) 2008-01-12 2009-01-12 映像処理システム、映像処理方法及び映像伝達方法
US13/921,650 US8989553B2 (en) 2008-01-12 2013-06-19 Video processing system and video processing method
US14/494,757 US9307219B2 (en) 2008-01-12 2014-09-24 Video processing system and video processing method
US15/058,690 US9602794B2 (en) 2008-01-12 2016-03-02 Video processing system and video processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080003703A KR100962673B1 (ko) 2008-01-12 2008-01-12 영상처리시스템, 영상처리방법 및 영상전달방법

Publications (2)

Publication Number Publication Date
KR20090077869A true KR20090077869A (ko) 2009-07-16
KR100962673B1 KR100962673B1 (ko) 2010-06-11

Family

ID=40853632

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080003703A Active KR100962673B1 (ko) 2008-01-12 2008-01-12 영상처리시스템, 영상처리방법 및 영상전달방법

Country Status (7)

Country Link
US (1) US20100303436A1 (ko)
EP (1) EP2238757A4 (ko)
JP (1) JP2011509626A (ko)
KR (1) KR100962673B1 (ko)
CN (1) CN101971628A (ko)
TW (1) TWI403174B (ko)
WO (1) WO2009088265A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011052960A3 (ko) * 2009-10-28 2011-09-01 주식회사 인비전트 실시간 데이터 전송 제어 시스템 및 그 제어 방법
KR101521534B1 (ko) * 2012-08-01 2015-05-19 삼성테크윈 주식회사 영상 감시 시스템
CN105007464A (zh) * 2015-07-20 2015-10-28 江西洪都航空工业集团有限责任公司 一种视频浓缩的方法
CN105872859A (zh) * 2016-06-01 2016-08-17 深圳市唯特视科技有限公司 基于对象的运动目标轨迹提取的视频浓缩方法
KR102414301B1 (ko) * 2021-12-29 2022-07-01 엔쓰리엔 주식회사 Pod 기반의 영상 관제 시스템 및 pod 기반의 영상 처리 방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110074954A1 (en) * 2009-09-29 2011-03-31 Shien-Ming Lin Image monitoring system for vehicle
TW201134221A (en) * 2010-03-17 2011-10-01 Hon Hai Prec Ind Co Ltd Video monitor system and video monitoring method thereof
WO2012135804A2 (en) * 2011-04-01 2012-10-04 Mixaroo, Inc. System and method for real-time processing, storage, indexing, and delivery of segmented video
CN104106059A (zh) * 2011-12-09 2014-10-15 微功率科技股份有限公司 无线照相机数据管理
TWI574558B (zh) * 2011-12-28 2017-03-11 財團法人工業技術研究院 播放複合濃縮串流之方法以及播放器
US20140123178A1 (en) 2012-04-27 2014-05-01 Mixaroo, Inc. Self-learning methods, entity relations, remote control, and other features for real-time processing, storage, indexing, and delivery of segmented video
US12323673B2 (en) 2012-04-27 2025-06-03 Comcast Cable Communications, Llc Audiovisual content item transcript search engine
US8863208B2 (en) 2012-06-18 2014-10-14 Micropower Technologies, Inc. Synchronizing the storing of streaming video
US20140118541A1 (en) 2012-10-26 2014-05-01 Sensormatic Electronics, LLC Transcoding mixing and distribution system and method for a video security system
SG11201401252SA (en) * 2012-11-29 2014-10-30 Open Joint Stock Company Long Distance And Internat Telecomm Rostelecom Ojsc Rostelecom System for video broadcasting a plurality of simultaneously occuring geographically dispersed events
US20140198215A1 (en) * 2013-01-16 2014-07-17 Sherry Schumm Multiple camera systems with user selectable field of view and methods for their operation
CN103354610A (zh) * 2013-06-19 2013-10-16 圆展科技股份有限公司 监控设备与摄影机的调整方法
KR102268597B1 (ko) * 2013-11-18 2021-06-23 한화테크윈 주식회사 영상 처리 장치 및 방법
KR102083931B1 (ko) 2014-01-21 2020-03-03 한화테크윈 주식회사 광각 렌즈계
CN104093005A (zh) * 2014-07-24 2014-10-08 上海寰视网络科技有限公司 用于分布式图像拼接系统的信号处理装置及其方法
US12014612B2 (en) 2014-08-04 2024-06-18 LiveView Technologies, Inc. Event detection, event notification, data retrieval, and associated devices, systems, and methods
US11495102B2 (en) 2014-08-04 2022-11-08 LiveView Technologies, LLC Devices, systems, and methods for remote video retrieval
US10645459B2 (en) * 2014-08-04 2020-05-05 Live View Technologies Devices, systems, and methods for remote video retrieval
KR101843475B1 (ko) * 2016-12-07 2018-03-29 서울과학기술대학교 산학협력단 동영상을 제공하는 미디어 서버
CN108933882B (zh) * 2017-05-24 2021-01-26 北京小米移动软件有限公司 相机模组及电子设备
KR102470465B1 (ko) 2018-02-19 2022-11-24 한화테크윈 주식회사 영상 처리 장치 및 방법
EP3833013B1 (en) 2019-12-05 2021-09-29 Axis AB Video management system and method for dynamic displaying of video streams
US11924397B2 (en) * 2020-07-23 2024-03-05 Samsung Electronics Co., Ltd. Generation and distribution of immersive media content from streams captured via distributed mobile devices
KR102440794B1 (ko) * 2021-12-29 2022-09-07 엔쓰리엔 주식회사 Pod 기반의 영상 컨텐츠 전송 방법 및 장치
TWI852855B (zh) * 2023-12-07 2024-08-11 茂傑國際股份有限公司 無線多路雙向視頻處理系統

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5258837A (en) * 1991-01-07 1993-11-02 Zandar Research Limited Multiple security video display
US7023913B1 (en) * 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
JP2002281488A (ja) * 2001-03-19 2002-09-27 Fujitsu General Ltd 映像監視装置
US20050015480A1 (en) * 2003-05-05 2005-01-20 Foran James L. Devices for monitoring digital video signals and associated methods and systems
KR100504133B1 (ko) * 2003-05-15 2005-07-27 김윤수 감시 모니터의 화면 제어 방법
KR20040101866A (ko) * 2003-05-27 2004-12-03 (주) 티아이에스테크 전동차 모니터링 시스템
US20070024701A1 (en) * 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
KR100741721B1 (ko) * 2005-08-16 2007-07-23 주식회사 유비원 정지영상을 함께 출력하는 보안감시시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011052960A3 (ko) * 2009-10-28 2011-09-01 주식회사 인비전트 실시간 데이터 전송 제어 시스템 및 그 제어 방법
KR101521534B1 (ko) * 2012-08-01 2015-05-19 삼성테크윈 주식회사 영상 감시 시스템
CN105007464A (zh) * 2015-07-20 2015-10-28 江西洪都航空工业集团有限责任公司 一种视频浓缩的方法
CN105872859A (zh) * 2016-06-01 2016-08-17 深圳市唯特视科技有限公司 基于对象的运动目标轨迹提取的视频浓缩方法
KR102414301B1 (ko) * 2021-12-29 2022-07-01 엔쓰리엔 주식회사 Pod 기반의 영상 관제 시스템 및 pod 기반의 영상 처리 방법

Also Published As

Publication number Publication date
WO2009088265A2 (en) 2009-07-16
CN101971628A (zh) 2011-02-09
JP2011509626A (ja) 2011-03-24
WO2009088265A3 (en) 2009-10-29
EP2238757A4 (en) 2011-07-06
US20100303436A1 (en) 2010-12-02
TWI403174B (zh) 2013-07-21
TW200943972A (en) 2009-10-16
EP2238757A2 (en) 2010-10-13
KR100962673B1 (ko) 2010-06-11

Similar Documents

Publication Publication Date Title
KR100962673B1 (ko) 영상처리시스템, 영상처리방법 및 영상전달방법
JP2011509626A5 (ko)
US12108018B2 (en) Digital camera system for recording, editing and visualizing images
CN106713945B (zh) 客户端连麦直播处理方法和装置、直播服务器及直播系统
US8639046B2 (en) Method and system for scalable multi-user interactive visualization
US20020147991A1 (en) Transmission of panoramic video via existing video infrastructure
CN102098443A (zh) 一种摄像设备、通信系统和相应的图像处理方法
CN111727605A (zh) 用于发送和接收关于多个视点的元数据的方法及设备
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
US20160182876A1 (en) Video processing system and video processing method
CN101155309A (zh) 传送数据的方法
US10555034B2 (en) Digital video recorder with additional video inputs over a packet link
KR101352860B1 (ko) 다중 영상 시스템 및 이를 이용한 다중 영상 디스플레이 방법
JPH08228340A (ja) 画像選択表示システム
CN216017008U (zh) 一种基于手术室的数据传输系统
KR102414301B1 (ko) Pod 기반의 영상 관제 시스템 및 pod 기반의 영상 처리 방법
KR102440794B1 (ko) Pod 기반의 영상 컨텐츠 전송 방법 및 장치
KR100982607B1 (ko) 영상처리시스템 및 영상처리방법
JP2009296135A (ja) 映像監視システム
KR101415691B1 (ko) 스트리밍 영상 컨버터
JP2009159351A (ja) 映像記録再生配信装置
JP6744187B2 (ja) エンコーダ装置およびエンコード方法
KR101581835B1 (ko) 서브 관리형 영상 촬영 장치
Blum et al. End-user viewpoint control of live video from a medical camera array
GB2406454A (en) Transceiver controlling flow of digital video data to analogue transmission line

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080112

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20080115

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20080201

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20080112

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20090520

Patent event code: PE09021S01D

PG1501 Laying open of application
E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20091111

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20100303

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20100603

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20100604

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20130329

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20130329

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20150603

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20150603

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20160603

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20160603

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20170607

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20170607

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20180802

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20180802

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20190515

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20210708

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20230607

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20240604

Start annual number: 15

End annual number: 15