KR20120112112A - 비디오 멀티플렉씽 - Google Patents

비디오 멀티플렉씽 Download PDF

Info

Publication number
KR20120112112A
KR20120112112A KR1020120031141A KR20120031141A KR20120112112A KR 20120112112 A KR20120112112 A KR 20120112112A KR 1020120031141 A KR1020120031141 A KR 1020120031141A KR 20120031141 A KR20120031141 A KR 20120031141A KR 20120112112 A KR20120112112 A KR 20120112112A
Authority
KR
South Korea
Prior art keywords
video
frame
read
write
control module
Prior art date
Application number
KR1020120031141A
Other languages
English (en)
Inventor
호운 청
임도환
류희정
Original Assignee
인터실 아메리카스 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터실 아메리카스 엘엘씨 filed Critical 인터실 아메리카스 엘엘씨
Publication of KR20120112112A publication Critical patent/KR20120112112A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

복수의 비디오 소스들, 기록장치, 메모리, 및 제어기를 포함하는 비디오 시스템. 제어기는 비디오 소스들로부터 비디오 프레임들을 받으며, 제 1 기입 제어 모듈, 제 2 기입 제어 모듈, 판독 제어 모듈, 및 프레임 레이트 제어 모듈을 포함한다. 제 1 기입 제어 모듈은 기입 포인터를 포함하며 제 1 프레임 버퍼에 제 1 비디오 프레임을 기입한다. 제 2 기입 제어 모듈은 제 2 기입 포인터를 포함하며, 제 2 프레임 버퍼에 제 2 비디오 프레임을 기입한다. 판독 제어 모듈은 판독 포인터를 포함한다. 프레임 레이트 제어 모듈은 멀티플렉씽 순서와 기입 포인터의 기입 메모리 위치에 관한 판독 포인터의 판독 메모리 위치에 기초하여 제 1 및 제 2 비디오 프레임들의 판독을 제어한다. 판독 제어 모듈은 멀티플렉씽 순서에 따라 기록장치에 멀티플렉스된 신호를 출력한다.

Description

비디오 멀티플렉씽{VIDEO MULTIPLEXING}
본 발명은 비디오 입력 신호들이 동일 프레임 레이트를 갖든, 동기화되었든, 변질되었든(corrupted), 부정확하든지, 등에 관계없이 복수의 입력 채널들(예를 들면, 16 입력 채널들, 등)로부터 받은 비디오 입력 신호들을 기록할 수 있는 비디오 멀티플렉스 및 기록 시스템에 관한 것이다.
관련출원들
본원은 참조로 전체 내용을 본원에 포함시키는 2011년 3월 31일에 출원된 선 출원된 함께 계류중인 미국가특허출원 61/470,194의 우선권을 주장한다. 이 출원은 본원과 동일자로 출원된 미국특허출원 13/222,111(Attorney Docket No. 125.343US01)에도 관계된 것이다.
배경 기술 없음.
본 발명의 목적은 비디오 입력 신호들이 동일 프레임 레이트를 갖든, 동기화되었든, 변질되었든, 부정확하든지, 등에 관계없이 복수의 입력 채널들로부터 받은 비디오 입력 신호들을 기록할 수 있는 비디오 멀티플렉스 및 기록 시스템을 제공하는 데 있다.
비디오 시스템에 있어서, 복수의 입력 채널들에 대응하는 복수의 비디오 소스들, 복수의 비디오 소스들은 복수의 비디오 프레임들에 관계된 복수의 비디오 신호들을 생성하도록 구성되고, ; 기록장치; 복수의 프레임 버퍼들을 포함하는 메모리로서, 복수의 프레임 버퍼들은 복수의 비디오 프레임들을 저장하게 구성되고, 프레임 버퍼들 중 적어도 하나는 복수의 비디오 소스들 각각에 연관된 것인, ; 및 복수의 비디오 소스들, 기록장치, 및 메모리에 연결된 제어기, 제어기는 복수의 비디오 프레임들을 수신하게 구성되고, 제어기는 제 1 기입 포인터를 포함하는 제 1 기입 제어 모듈, 제 1 기입 제어 모듈은 제 1 비디오 프레임을 제 1 프레임 버퍼에 기입하도록 구성되고, 제 2 기입 포인터를 포함하는 제 2 기입 제어 모듈, 제 2 기입 제어 모듈은 제 2 비디오 프레임을 제 2 프레임 버퍼에 기입하도록 구성되고, 판독 포인터를 포함하는 판독 제어 모듈, 판독 제어 모듈은 제 1 프레임 버퍼로부터 제 1 비디오 프레임을 그리고 제 2 프레임 버퍼로부터 제 2 비디오 프레임을 판독하게 구성되고, 및 제 1 기입 포인터 및 제 2 기입 포인터의 기입 메모리 위치에 관한 판독 포인터의 판독 메모리 위치에 기초하여 제 1 비디오 프레임 및 제 2 비디오 프레임의 판독을 제어하게 구성되는 프레임 레이트 제어 모듈, 프레임 레이트 제어 모듈은 비디오 프레임 멀티플렉씽 순서(multiplexing sequence)에 기초하여 제 1 프레임 버퍼로부터 제 1 비디오 프레임의 판독과 제 2 프레임 버퍼로부터 제 2 비디오 프레임의 판독을 제어하게 더욱 구성되고, 판독 제어 모듈은 비디오 프레임 멀티플렉씽 순서에 따라 배열된 제 1 비디오 프레임 및 제 2 비디오 프레임을 포함하는 기록장치에 멀티플렉스된 신호를 출력하게 더욱 구성된다.
기록장치는 멀티-채널(multi-channel) 디지털 비디오 레코더("DVR")이다.
판독 포인터의 판독 메모리 위치는 제 1 기입 포인터 및 제 2 기입 포인터의 기입 메모리 위치 뒤로 적어도 한 프레임(one frame)이 유지된다.
판독 포인터의 판독 메모리 위치는 제 1 기입 포인터 및 제 2 기입 포인터의 기입 메모리 위치 뒤로 두 프레임들(two frames)이 있다.
기록장치는 온-스크린 디스플레이로서 비디오 시스템에 연관된 한 세트의 데이터를 디스플레이하게 구성된다.
판독 제어 모듈은 멀티플렉스된 신호를 생성하기 위해 제 1 프레임 버퍼로부터 제 1 비디오 프레임 및 제 2 프레임 버퍼로부터 제 2 비디오 프레임 각각을 일련으로(serially) 판독하도록 더욱 구성된다.
복수의 비디오 신호들을 수신하도록 구성된 원격 장치를 더 포함한다.
복수의 비디오 소스들을 멀티플렉씽하는 방법에 있어서, 복수의 비디오 프레임들을 포함하는 복수의 비디오 신호들을 수신하는 단계; 제 1 기입 포인터의 기입 메모리 위치에 기초하여 제 1 비디오 프레임을 제 1 프레임 버퍼에 기입하는 단계; 제 2 기입 포인터의 기입 메모리 위치에 기초하여 제 2 비디오 프레임을 제 2 프레임 버퍼에 기입하는 단계; 제 1 기입 포인터 및 제 2 기입 포인터의 기입 메모리 위치에 관한 판독 포인터의 판독 메모리 위치에 기초하여 제 1 비디오 프레임 및 제 2 비디오 프레임의 판독을 제어하는 단계; 판독 포인터의 판독 메모리 위치 및 비디오 프레임 멀티플렉씽 순서에 기초하여 제 1 프레임 버퍼로부터 제 1 비디오 프레임 및 제 2 프레임 버퍼로부터 제 2 비디오 프레임을 판독하는 단계; 및 멀티플렉스된 신호를 기록장치에 출력하는 단계로서, 멀티플렉스된 신호는 비디오 프레임 멀티플렉씽 순서에 따라 배열된 제 1 비디오 프레임 및 제 2 비디오 프레임을 포함한다.
기록장치는 멀티-채널 디지털 비디오 레코더("DVR")이다.
판독 포인터의 판독 메모리 위치는 제 1 기입 포인터 및 제 2 기입 포인터의 기입 메모리 위치 뒤로 적어도 한 프레임(one frame)이 유지된다.
판독 포인터의 판독 메모리 위치는 제 1 기입 포인터 및 제 2 기입 포인터의 기입 메모리 위치 뒤로 두 프레임들(two frames)이 있다.
멀티플렉스된 신호는, 하나 이상의 공통 중간 포맷("CIF"), 비디오 그래픽스 어레이("VGA"), 복합 비디오("CVBS"), 적녹청("RGB"), 고상세 멀티미디어 인터페이스("HDMI"), BT.1120("1080i"), 또는 D1 신호를 포함한다.
멀티플렉스된 신호를 생성하기 위해 제 1 프레임 버퍼로부터 제 1 비디오 프레임 및 제 2 프레임 버퍼로부터 제 2 비디오 프레임 각각을 일련으로(serially) 판독하는 단계를 더 포함한다.
복수의 비디오 소스들은 비동기화된다.
복수의 비디오 소스들에 연관된 복수의 디지털 비디오 신호들을 처리하기 위한 장치에 있어서, 제 1 기입 포인터를 포함하는 제 1 기입 제어 모듈; 제 2 기입 포인터를 포함하는 제 2 기입 제어 모듈; 판독 포인터를 포함하는 판독 제어 모듈; 및 비디오 프레임 멀티플렉씽 순서와, 그리고 판독 포인터와 제 1 기입 포인터와 제 2 기입 포인터 간에 관계에 기초하여, 제 1 비디오 프레임 및 제 2 비디오 프레임의 판독을 제어하게 구성된 프레임 레이트 제어 모듈을 포함하며, 판독 제어 모듈은 비디오 프레임 멀티플렉씽 순서에 따라 배열된 제 1 비디오 프레임 및 제 2 비디오 프레임을 포함하는 멀티플렉스된 신호를 생성하도록 더욱 구성된다.
서큘라 버퍼(circular buffer)로서 구성된 하나 이상의 프레임 버퍼들을 더 포함한다.
프레임 레이트 제어 모듈은 판독 포인터가 제 1 기입 포인터 또는 제 2 기입 포인터와 겹치지(overlapping) 않게 하도록 더욱 구성된다.
제 1 비디오 프레임 및 제 2 비디오 프레임은 각각 인터레이스된(interlaced) 비디오 프레임들이다.
판독 제어 모듈은 멀티플렉스된 신호를 기록장치에 출력하게 더욱 구성된다.
멀티플렉스된 신호는 적어도 대략 1440 x 960의 해상도를 갖는다.
따라서 본 발명은 복수의 비디오 입력 신호들의 디스플레이를 멀티플렉씽(multiplexing) 및 기록하기 위한 시스템들, 방법들, 및 컴퓨터 판독가능 매체를 제공한다.
도 1은 발명의 실시예에 따른 비디오 시스템을 도시한 것이다.
도 2는 발명의 실시예에 따른 프레임 동기화도이다.
도 3은 발명의 실시예에 따른 비디오 기록 시스템을 도시한 것이다.
도 4는 발명의 실시예에 따른 복수의 입력 채널들 및 대응하는 복수의 비디오 프레임들을 도시한 것이다.
도 5는 발명의 실시예에 따른 멀티플렉스된 출력 신호를 도시한 것이다.
도 6은 발명의 실시예에 따른 도 1의 비디오 시스템에 연관된 제어기를 도시한 것이다.
도 7은 발명의 실시예에 따른 시간-영역에서 멀티플렉스된 4D1 비디오 출력 에 대한 타이밍도이다.
도 8은 발명의 실시예에 따른 4-D1 비디오 출력을 도시한 것이다.
도 9는 발명의 실시예에 따른 4D1 비디오 출력을 도시한 것이다.
도 10은 발명의 실시예에 따른 6VGA 비디오 출력을 도시한 것이다.
도 11은 발명의 실시예에 따른 비디오 멀티플렉스를 위한 프로세스이다.
도 12는 발명의 실시예에 따른 원격 처리 및 저장장치를 도시한 것이다.
발명의 임의의 실시예들이 상세히 설명되기 전에, 발명은 다음 설명에 개시되고 다음 도면들에 예시된 성분들의 구조 및 배열의 상세로 적용이 제한되는 것은 아님을 알아야 한다. 발명은 다른 실시예들이 가능하고 다양한 방법들로 실시 또는 수행될 수 있다.
본원에 기술된 발명의 실시예들은 비디오 입력 신호들이 동일 프레임 레이트를 갖든, 동기화되었든, 변질되었든(corrupted), 부정확하든지, 등에 관계없이 복수의 입력 채널들(예를 들면, 16 입력 채널들, 등)로부터 받은 비디오 입력 신호들을 기록할 수 있는 비디오 멀티플렉스 및 기록 시스템을 제공한다. 이것은, 부분적으로, 본원에 기술된 바와 같은 개개의 입력 채널 동기화를 사용하여 달성된다. 일실시예에서, 복수의 비디오 소스들, 제어기, 메모리, 및 기록장치를 포함하는 비디오 시스템이 제공된다. 메모리는 복수의 프레임 버퍼들을 포함한다. 제어기는 복수의 비디오 소스들로부터 복수의 비디오 입력 신호들을 받게 구성된다. 제어기는, 무엇보다도, 하나 이상의 기입 제어 모듈들, 하나 이상의 프레임 레이트 제어 모듈들, 및 하나 이상의 판독 제어 모듈들을 포함한다. 하나 이상의 프레임 레이트 제어 모듈들은 복수의 프레임 버퍼들로부터 비디오 프레임들의 판독을 제어할 뿐만 아니라, 복수의 프레임 버퍼들에 비디오 프레임들의 기입을 제어하게 구성된다. 기입 동작들, 판독 동작들, 및 멀티플렉스 동작들 간에 하나 이상의 프레임 레이트 제어 모듈들에 의한 프레임-수준의 동기화는, 예를 들면, 버퍼에 기입되고 있는 프레임이 버퍼로부터 동시에 판독이 시도되지 않게 한다. 또한, 하나 이상의 프레임 레이트 제어 모듈들은 비디오 프레임들이 정확하게 멀티플렉스된 및 기록되게 하는 순서로 비디오 프레임들이 프레임 버퍼들로부터 판독될 수 있게 한다.
도 1은 제어기(105) 및 복수의 입력 채널들에 대응하는 복수의 비디오 소스들(110 ~ 125)을 포함하는 비디오 시스템(100)(예를 들면, 보안 응용들, 멀티-채널 디지털 비디오 레코더("DVR") 응용들, 등을 위한)을 도시한 것이다. 제어기(105)는 비디오 시스템(100)의 다양한 추가의 모듈들 또는 성분들뿐만 아니라, 비디오 소스들(110 ~ 125)에 전기적으로 및/또는 통신가능하게 연결된다. 예를 들면, 예시된 제어기(105)는 사용자 인터페이스 모듈(130), 하나 이상의 모니터들(135), 기록장치(140), 파워 서플라이 모듈(145), 하나 이상의 외부 메모리 모듈들(150), 및 네트워크 통신 모듈(155)에 연결된다. 제어기(105)는, 무엇보다도, 사용자 인터페이스 모듈(130) 또는 하나 이상의 모니터들(135), 등에 제공되는 비디오 입력 신호들, 제어 정보 및 데이터를 받아 처리하게 동작하는 소프트웨어 및 하드웨어의 조합들을 포함한다. 일부 구성들에서, 제어기(105)는 제어기 및/또는 비디오 시스템 내에 성분들 및 모듈들에 파워, 동작 제어, 및 보호를 제공하는 복수의 전기 및 전자 성분들을 포함한다. 예를 들면, 제어기(105)는, 무엇보다도, 처리 유닛(160)(예를 들면, 마이크로프로세서, 마이크로제어기, 또는 또 다른 적합한 프로그램가능 장치), 내부 메모리(165), 및 입력/출력("I/O") 시스템(170)을 포함한다. 또한, 제어기(105)는 도 2 및 도 3에 관련하여 이하 도시되고 기술되는 바와 같이, 하나 이상의 기입 제어 모듈들(write control modules), 하나 이상의 판독 제어 모듈들(read control modules), 및 하나 이상의 프레임 레이트 제어 모듈들(frame rate control modules)을 포함한다. 일부 구조들에서, 제어기(105)는 이를테면 레지스터 전송 레벨("RTL") 설계 프로세스를 통해 개발된 칩과 같은 반도체(예를 들면, 필드-프로그램가능 게이트 어레이("FPGA") 반도체) 칩 상에 부분적으로 혹은 전체적으로 구현된다. 예시적 예로서, 제어기(105)는 어드밴스드 멀티-채널 HD 디스플레이/기록/재생 제어기 집적회로("IC")일 수 있다.
내부 메모리(165), 외부 메모리(150), 및/또는 기록장치(140)는 예를 들면, 판독-전용 메모리("ROM"), 랜덤 액세스 메모리("RAM")(예를 들면, 동적 RAM("DRAM"), 동기형 DRAM("SDRAM"), 등), 전기적 소거가능 프로그램가능 판독-전용 메모리("EEPROM"), 플래시 메모리, 하드 디스크, SD 카드, 또는 또 다른 적합한 자기, 광학, 물리적, 또는 전기적 메모리 장치를 포함한다. 처리 유닛(160)은 내부 메모리(165)에 연결되고, 내부 메모리(165)의 RAM(예를 들면, 실행 동안), 혹은 내부 메모리(165)의 ROM(예를 들면, 일반적으로 영속적으로), 혹은 또 다른 메모리 또는 디스크와 같은 또 다른 비-일시적 컴퓨터 판독가능 매체에 저장될 수 있는 소프트웨어를 실행한다.
일부 실시예들에서, 제어기(105) 또는 네트워크 통신 모듈(155)은 비디오 시스템에 관계된 비디오 프레임들 또는 정보를 제어기(105) 외부에 있는 하나 이상의 장치들에 전송, 인출, 또는 저장하기 위한 하나 이상의 통신 포트들(예를 들면, 이더넷, SATA(serial Advanced technology attachment), USB(universal serial bus), IDE(integrated drive electronics), 등)을 포함한다. 비디오 시스템(100)의 구현예에 포함된 소프트웨어는 제어기(105)의 메모리(165)에 저장될 수 있다. 소프트웨어는, 예를 들면, 펌웨어, 하나 이상의 애플리케이션들, 프로그램 데이터, 하나 이상의 프로그램 모듈들, 및 그외 실행가능한 명령들을 포함한다. 제어기(105)는, 무엇보다도, 본원에 기술된 제어 프로세스들 및 방법들에 관계된 명령들을 메모리로부터 인출하여 실행하게 구성된다. 다른 구조들에서, 제어기(105)는 추가의, 더 적은, 혹은 다른 성분들을 포함한다. 일부 구조들에서, 제어기(105)는 복수의 비디오 소스들로부터 비디오 입력 신호들을 받아 처리할 수 있는 다양한 장치들 중 어느 하나로서 구현될 수 있다. 예를 들면, 제어기(105)(예를 들면, FPGA 반도체 칩)는 내장 8/16 채널 DVR, 하이브리드 HD DVR, HD 비디오 멀티플렉서, 네트워크 비디오 레코더, 텔레비전(예를 들면, 스마트 TV), 스마트 폰, 개인용 컴퓨터("PC"), 타블렛 PC, 랩탑 컴퓨터, PDA(personal digital assistant), 또는 서버에 사용된다. 추가로 또는 대안적으로, 제어기(105)는 위에 기술된 장치들로부터 분리되고 이들에 연결될 수 있는(예를 들면, 물리적으로, 전기적으로, 통신가능하게, 등) 장치에 탑재된다.
파워 서플라이 모듈(145)은 명목 AC 또는 DC 전압을 비디오 시스템(100)의 제어기(105) 또는 다른 성분들 또는 모듈들에 공급한다. 파워 서플라이 모듈(145)은, 예를 들면, 100V와 240V AC 사이의 명목 라인 전압들과 대략 50 ~ 60Hz의 주파수들을 갖는 본선 파워(mains power)에 의해 파워가 공급된다. 또한, 파워 서플라이 모듈(145)은 제어기(105) 또는 비디오 시스템(100) 내에 회로들 및 성분들을 동작시키기 위해 낮은 전압들을 공급하게 구성된다. 다른 구조들에서, 비디오 시스템(100) 내에 제어기(105) 또는 다른 성분들 및 모듈들은 하나 이상의 배터리들 또는 배터리 팩들, 또는 또 다른 격자-독립형 파워 소스(예를 들면, 발전기, 솔라 패널(solar panel), 등)에 의해 파워가 공급된다.
사용자 인터페이스 모듈(130) 및 하나 이상의 모니터들(135)은 거의 실시간으로 혹은 기록된 비디오에 기초하여 비디오 시스템(100)을 모니터하기 위해 사용된다. 예를 들면, 주 사용자 인터페이스 모듈(130) 및 하나 이상의 모니터들(135)은 라이브 또는 거의 실시간 비디오 피드들(feeds)을 복수의 비디오 소스들(110 ~ 125)로부터 수신하거나, 복수의 비디오 소스들(110 ~ 125) 또는 기록장치(140), 등으로부터 기록된 비디오 피드들(feeds)을 수신하기 위해서, 제어기(105)에 동작가능하게 결합된다. 사용자 인터페이스 모듈(130) 및 하나 이상의 모니터들(135)은 비디오 시스템(100)에 대한 요망되는 수준의 제어 및 모니터링을 달성하기 위해 요구되는 디지털 및 아날로그 입력 또는 출력 장치들의 조합을 포함할 수 있다. 예를 들면, 사용자 인터페이스 모듈(130) 및 하나 이상의 모니터들(135) 각각은 디스플레이(즉, 주 디스플레이, 2차 디스플레이, 등) 및 이를테면 터치-스크린 디스플레이들, 복수의 노브들(knobs), 다이얼들, 스위치들, 버튼들, 등과 같은 입력 장치들을 포함할 수 있다. 디스플레이는, 예를 들면, 액정 디스플레이("LCD"), 발광 다이오드("LED") 디스플레이, 유기 LED("OLED") 디스플레이, 전장발광 디스플레이("ELD"), 표면-전도 전자-에미터 디스플레이("SED"), 필드 에미션 디스플레이("FED"), 박막 트랜지스터("TFT") LCD, 등이다. 디스플레이는 제어기(105)로부터 받은 하나 이상의 비디오 피드들을 디스플레이하게 구성된다. 비디오 피드들은 공통 중간 포맷("CIF"), 비디오 그래픽스 어레이("VGA"), 복합 비디오("CVBS"), 적녹청("RGB"), 고상세 멀티미디어 인터페이스("HDMI"), BT.1120("1080i"), D1, 등을 포함하는 다양한 포맷들 또는 해상도들 중 어느 하나에 대응할 수 있다. 사용자 인터페이스 모듈(130), 하나 이상의 모니터들(135), 및 기록장치(140), 등은 실시간 또는 거의 실시간으로 비디오 시스템에 연관된 상태들 또는 데이터를 디스플레이하게 구성될 수 있다(예를 들면, 온-스크린 디스플레이("OSD")로서). 예를 들면, 사용자 인터페이스 모듈(130)은 비디오 시스템의 상태 또는 특징들, 시간 스탬프들, 등을 디스플레이하게 구성된다.
일부 실시예들에서, 비디오 시스템(100)의 동작 및 상태에 연관된 정보 및 데이터(예를 들면, 비디오 프레임들)은 원격 모니터링, 원격 제어, 데이터 로깅, 등을 위해 네트워크 통신 모듈(155)을 사용하여 원격 또는 모바일 처리 및 저장장치(1100)(도 12 참조)에 보내지거나, 전송되거나, 송신된다. 원격 장치는, 예를 들면, 개인용 컴퓨터, 랩탑 컴퓨터, 모바일 전화, 타블렛 컴퓨터, PDA(personal digital assistant), 서버, 데이터베이스, 등이다. 일부 구현들에서, 데이터는 Wi-Fi, 블루투스, 지그비, 등과 같은 다양한 통신 프로토콜들 중 어느 하나를 사용하여 무선 근거리 네트워크("LAN"), 이웃 영역 네트워크("NAN"), 홈 영역 네트워크("HAN"), 또는 개인 영역 네트워크("PAN")를 통해 전송된다. 또한 또는 대안적으로, 데이터는 광역 네트워크("WAN")(예를 들면, TCP/IP 기반 네트워크, GSM(Global System for Mobile Communications) 네트워크, GPRS(General Packet Radio Service) 네트워크, CDMA(Code Division Multiple Access) 네트워크, EV-DO(Evolution-Data Optimized) 네트워크, EDGE(Enhanced Data rates for GSM Evolution) 네트워크, 3GSM 네트워크, DECT(Digital Enhanced Cordless Telecommunications) 네트워크, 디지털 AMPS("IS-136/TDMA") 네트워크, iDEN(Integrated Digital Enhanced Network), D-AMPS(Digital Advanced Mobile Phone System) 네트워크, 등)을 통해 원격 또는 모바일 장치에 전송된다.
원격 또는 모바일 장치(1100)는 위에 기술된 비디오 시스템(100)의 대응하는 성분들과 유사한 방식으로 동작하는, 예를 들면, 별도의 제어기(1105), 사용자 인터페이스 모듈(예를 들면, 디스플레이)(1110), 파워 서플라이 모듈(1115), 및 통신 모듈(1120)을 포함할 수 있다. 또한, 원격 장치(1100)는, 무엇보다도, 비디오 시스템(100)의 동작을 제어하고, 디스플레이 상에 나타나는 정보를 제공하고, 등등을 행하게 동작하는 하드웨어 및 소프트웨어의 조합을 포함한다. 예를 들면, 제어기(1105)는 처리 유닛(1125)(예를 들면, 마이크로프로세서, 마이크로제어기, 또는 또 다른 적합한 프로그래머블 장치), 내부 메모리(1130), 및 입력/출력("I/O") 시스템(1135)을 포함한다. 비디오 시스템(100)으로부터 받은 정보는 위에 기술된 네트워크들 중 하나 이상을 통신하기 위해 하나 이상의 안테나들, 하나 이상의 네트워크 인터페이스 카드들("NICs"), 등을 포함하는 통신 모듈(1120)을 통해 받을 수 있다.
도 2는 제어기(105) 내에 하나 이상의 프레임 레이트 제어 모듈들 중 한 모듈의 동작을 예시하는 도면(200)이다. 프레임 레이트 제어 모듈은 비디오 입력 신호들의 멀티플렉스 및 기록에 연관된 예를 들면, 판독 및 기입 동작들에 사용하게 구성된다. 일부 실시예들에서, 각 입력 채널은 기입 포인터를 갖는 기입 제어 모듈 및 판독 포인터를 갖는 하나 이상의 판독 제어 모듈들을 포함한다( 도 3에 관련하여 이하 도시되고 기술된다). 프레임 레이트 제어 모듈은 판독 포인터 및 기입 포인터의 위치들 또는 상대적 위치들을 제어하고 모니터할 수 있다. 판독 포인터 및 기입 포인터는 어느 프레임 버퍼들(예를 들면, SDRAM 내에 메모리 어드레스들 또는 다수 블록들의 메모리 어드레스들)이 판독될지(즉, 하나 이상의 판독 제어 모듈에 의해) 아니면 기입될지(즉, 기입 제어 모듈에 의해)를 각각 판정하기 위해 사용된다. 프레임 레이트 제어 모듈은 프레임 버퍼로부터 판독되고 있는 프레임이 프레임 버퍼에 기입되고 있지 않게 하기 위해 판독 포인터 및 기입 포인터의 위치들을 사용한다. 예를 들면, 판독 제어 모듈이 동시에 프레임 버퍼에 기입되고 있는 프레임 버퍼로부터 프레임을 판독하려고 한다면 오류 또는 폴트(fault)가 발생할 수 있다. 따라서, 프레임 레이트 제어 모듈은 프레임의 동시적 판독 및 기입이 발생하지 않게 서로에 관하여 판독 포인터 및 기입 포인터의 위치들을 제어한다. 일부 실시예들에서, 판독 포인터는 판독 포인터 및 기입 포인터가 겹치지 않게 하기 위해 메모리에 기입되고 있는 프레임으로부터 소정 수의 프레임들 또는 버퍼들(예를 들면, 적어도 하나)이 떨어져 유지된다.
도 2를 참조하면, 입력 채널에 대응하는 서큘라 버퍼 구성이 도시되었다. 예시된 실시예에서, 서큘라 버퍼(circular buffer)는 메모리(150)(예를 들면, 프레임 버퍼들)에서 4개의 어드레스 위치들 혹은 다수 블록들의 어드레스들에 대응한다. 이들 메모리 위치들은 숫자들 1, 2, 3, 및 4로 표시되었다. 또한, 어드레스 위치들은 현재 판독 동작에 관하여 시간 관계를 나타내는 시간적 표시들 Ni, Ni +1, Ni -1, 및 Ni -2이 주어져 있다. 기호 'R'은 메모리(150)로부터 어드레스 위치들 중 어느 것들이 판독되고 있는지를 나타내며, 기호들 'W1' 및 'W2'는 비디오 프레임들이 메모리(150)에 기입되어 있는 어드레스 위치들을 나타낸다. 일부 실시예들에서, 'W1' 및 'W2'로 나타낸 어드레스 위치들은 서로 다른 입력 채널들에 대응한다. 비디오 프레임을 메모리(150)에 기입할 때, 각 비디오 프레임은 라인별로 대응하는 메모리 위치에 기입된다. 비디오 프레임의 기입이 완료되었을 때, 프레임 레이트 제어 모듈로부터 받은 신호들에 기초하여(예를 들면, 제시된 다음 기입 포인터 위치) 새로운 비디오 프레임이 기입될 것이다. 새로운 비디오 프레임이 기입될 수 없다면, 이전 비디오 프레임이 재기입될 수 있거나, 새로운 비디오 프레임은 스킵될 수 있거나, 등등이 행해질 수 있다. 시간 Ni에서 판독 제어 모듈은 메모리 위치 2에 위치된 프레임을 판독하고 있다. 메모리(150)로부터 판독된 프레임은 메모리(150)에 이전에 기입되었던 프레임이다. 시간 Ni 및 메모리 위치 2에 프레임이 메모리로부터 판독된 후에, 프레임 레이트 제어 모듈은 시간 Ni 및 메모리 위치 2에 프레임에 이어 메모리(150)에 기입된 다음(next) 프레임(즉, 시간 Ni -1 및 메모리 위치 3)에 판독 포인터를 전진시킨다. 일단 시간 Ni -1 및 메모리 위치 3에 프레임이 메모리(150)로부터 판독되었으면, 프레임 레이트 제어 모듈은 시간 Ni -2 및 메모리 위치 4에 저장된 프레임으로 판독 포인터를 전진시킨다. 시간 Ni -2 및 메모리 위치 4에 저장된 프레임은 시간 Ni -1 및 메모리 위치 3에 저장된 프레임 다음에 저장되었다. 프레임 레이트 제어 모듈은 메모리(150)로부터 판독되는 프레임이 메모리(150)에 기입되는 프레임 뒤로 적어도 한 프레임(예를 들면, 두 프레임들)에 남아있게 하기 위해 어느 프레임들이 메모리(150)로부터 판독되는지를 제어를 계속한다.
도 3은 발명의 실시예에 따른 비디오 멀티플렉스 및 기록 시스템(300)을 도시한 블록도이다. 시스템(300)은 하나 이상의 기입 제어 모듈들(305), 하나 이상의 판독 제어 모듈들(310), 복수의 프레임 버퍼들(315)(예를 들면, 메모리(150) 내), 및 하나 이상의 프레임 레이트 제어 모듈들(320)을 포함한다. 프레임 레이트 제어기들의 수는, 예를 들면, 얼마나 많은 입력 채널들이 한번에 멀티플렉스되고 있는가에 따라 달라질 수 있다. 단순한 예에서, 한 프레임 레이트 제어 모듈은 4개의 입력 채널들의 멀티플렉스를 제어한다. 총 16 입력 채널들에 대해서는 4개의 프레임 레이트 제어기들이 포함될 것이다. 대안적으로, 한 프레임 레이트 제어 모듈은 모든 16 입력 채널들을 멀티플렉스하기 위해 사용될 수 있다. 다른 수들의 프레임 레이트 제어 모듈들이 가능하다. 기술 목적을 위해서, 기입 제어 모듈들(305)의 기입 동작들 및 판독 제어 모듈들(310)의 판독 동작들은 단일 입력 채널(예를 들면, 한 기입 제어 모듈, 한 프레임 레이트 제어 모듈, 및 연관된 프레임 버퍼들)에 관련하여 도시되고 기술된다. 그러나, 시스템(300)에 각 입력 채널은 대응하여 기입 제어 모듈(write control module), 프레임 레이트 제어 모듈(frame rate control module), 및 연관된 프레임 버퍼들(associated frame buffers)을 포함할 수 있다.
시스템(300)에 연관된 판독 제어 모듈들의 수는, 예를 들면, 시스템(300)에 연결된 기록장치들의 수에 따른다. 프레임 레이트 제어 모듈들(320)은 제어 및 데이터 버스들(325)을 통해 하나 이상의 기입 제어 모듈들(315) 및 하나 이상의 판독 제어 모듈들(320)에 연결된다. 프레임 레이트 제어 모듈(320)은 프레임 버퍼들(315)에 기입 동작들 및 프레임 버퍼들(315)로부터 판독 동작들을 제어하게 구성된다. 기입 제어 모듈(305)은 기입 제어 모듈(305)이 비디오 프레임을 프레임 버퍼들(315) 중 하나에 현재 기입하고 있든 아니면 기입할 준비가 되어 있는지에 관계없이 각각의 입력 채널로부터 비디오 입력 신호를 받는다. 일부 실시예들에서, 프레임 레이트 제어 모듈(320)은 기입 포인터에 대한 제시된 위치를 기입 제어 모듈에 제공하며, 기입 포인터는 프레임 버퍼들(315) 중 어느 것에 비디오 프레임이 기입되어야 하는지에 대해 기입 제어 모듈(305)에 지시한다. 제시된 기입 포인터 위치는, 예를 들면, 비디오 프레임이 프레임 버퍼들(315) 중 하나로부터 현재 판독되고 있지 않다면 프레임 버퍼들(315) 중 하나에 비디오 프레임을 기입하기 위해 사용된다. 이러한 경우에, 비디오 프레임은 폐기될 수 있고, 판독 포인터는 비디오 프레임이 기입되기 전에 제시된 기입 포인터 위치로 전진되게 한다. 판독 제어 모듈(310)은 판독 포인터를 포함하며, 프레임 레이트 제어 모듈은 위에 기술된 바와 같이, 판독 포인터에 관하여 자신의 상대적 위치에 기초하여 기입 포인터의 위치를 제어한다. 예를 들면, 프레임 레이트 제어 모듈(320)은 기입 포인터가 판독 포인터에 관하여 적합한 위치에 있을 때 기입 제어 모듈(305)이 비디오 프레임들을 프레임 버퍼에 기입만을 하게 기입 포인터의 위치를 모니터하고 제어한다.
위에 기술된 제어 기술들 외에도, 프레임 레이트 제어 모듈(320)은 비디오 입력 신호들이 적합하게 멀티플렉스될 수 있게 하기 위해 기입 포인터 및 판독 포인터를 제어한다. 복수의 비디오 입력 신호들을 멀티플렉씽(multiplexing)할 때, 각 비디오 입력 신호의 프레임들은 도 4 및 도 5에 관하여 이하 도시되고 기술되는 바와 같이, 멀티플렉스 및 기록된 비디오 신호들이 디스플레이 상에 정확하게 재현될 수 있게 하기 위해서 프레임 버퍼들(315)로부터 판독되어야 한다. 예시적 예로서, 4D1 멀티플렉스된 출력(즉, 4개의 720 x 480 비디오 프레임들은 단일 출력으로 결합된다)은 정확한 시간에 4D1 출력 내에 정확한 위치에 이의 4개의 비디오 프레임들 각각을 가져야 한다. 4D1 출력의 예를 계속하면, 판독 제어 모듈(310)은 4개의 서로 다른 비디오 입력 신호들 및 입력 채널들에 대응하는 프레임 버퍼들로부터 비디오 프레임들을 판독한다. 프레임 레이트 제어 모듈(320)은 위에 기술된 관계를 사용하여 판독 제어 모듈(310)의 판독 포인터에 관한 각 기입 제어 모듈(305)에 대한 기입 포인터들의 상대적 위치들을 제어하는데, 여러 프레임 버퍼들에 기입되는 비디오 프레임들이 정확한 순서로 판독되어질 수 있게 하기 위해서 판독 포인터도 제어한다. 판독 제어 모듈(310)이 정확한 순서로 프레임 버퍼들(315)로부터 비디오 프레임들을 판독한 후에, 판독 제어 모듈(310)은 비디오 프레임들을 단일 출력으로 결합한다. 720 x 480의 해상도를 갖는 통상의 단일 D1 출력과는 반대로, 판독 제어 모듈에 의해 발생된 4D1 출력은, 예를 들면, 1440 x 960의 해상도를 가질 수 있다. 일부 실시예들에서, 시스템(300)은 다른 표준 및 고상세 비디오 해상도들(즉, 1080i, 등)에 대응하는 프레임들을 기록하게 구성된다.
도 4 및 도 5는 비디오 프레임들의 멀티플렉스를 더 상세히 도시한 것이다. 도 4는 4개의 입력 채널들(즉, 1, 2, 3, 4) 각각에 대한 각각의 프레임 버퍼들에 저장된 4개의 프레임들(400 ~ 415)을 도시한 것이다. 각 입력 채널로부터 비디오 프레임 #1은 오름 채널 차순(즉, 1, 2, 3, 4)으로 버퍼로부터 판독되고 도 5의 출력 데이터 스트림(425))에 제 1 출력(420)에 결합된다. 이어서, 각 입력 채널로부터 비디오 프레임 #2은 오름 채널 차순으로 버퍼로부터 판독되고, 출력 데이터 스트림(425)에 제 2 출력(430)에 결합되고, 각 입력 채널로부터 비디오 프레임 #3은 오름 채널 차순으로 버퍼로부터 판독되고, 출력 데이터 스트림(425)에 제 3 출력(435)에 결합된다. 후속되는 다수 세트들의 비디오 프레임들, 상이한 그룹들의 입력 채널들, 등에 대해 유사한 절차가 수행된다. 프레임 버퍼들, 프레임 레이트 제어 모듈들, 기입 포인터들, 및 판독 포인터의 사용은 기입 동작들, 판독 동작들, 및 멀티플렉스 동작들을 프레임 수준에서 동기화할 수 있게 한다. 이하 도 7에 관련하여 예시되는 바와 같이, 입력 채널들로부터 비디오 입력 신호들은 적합하게 멀티플렉스된 한 세트의 비디오 프레임들을 달성하기 위해서 서로에 관하여 동기화될 필요가 없다. 이것은 프레임 레이트 제어 모듈들이 비디오 프레임들을 언제 받고 있는지는 무시하고 한 입력 채널을 위한 연속하여 받는 비디오 프레임들을 이 입력 채널을 위한 프레임 버퍼들에의 기입을 제어하기 때문에 달성될 수 있다. 이어서, 프레임 레이트 제어 모듈들은 요망되는 멀티플렉씽 순서에 기초하여 프레임 버퍼들로부터 판독 제어 모듈들에 의한 비디오 프레임들의 판독을 제어한다. 유사하게, 서로 다른 프레임 레이트들을 갖는 비디오 입력 신호들도 적합하게 멀티플렉스될 수 있다. 예를 들면, 시스템(300)은 각각이 단일 판독 제어 모듈 또는 기록장치에 대해 서로 다른 프레임 레이트들을 갖는 복수의 비디오 스트림들을 출력할 수 있다.
도 6은 발명의 실시예에 따라 제어기(500)를 도시한 것이다. 예시된 실시예에서, 제어기(500)는 복수의 디코더들(505)(예를 들면, BT.656 디코더들), 다운스케일러 모듈(510), 해상도 선택 모듈(515), 기입 제어 모듈(520), 메모리 제어기 모듈(525), 판독 제어 모듈(530), 실시간 출력 포맷 모듈(535), 및 기록 포맷 모듈(540)을 포함한다. 디코더들(505)은 다양한 비디오 소스들(예를 들면, 카메라들, 등)로부터 복수의 비디오 입력 신호들을 받는다. 다운스케일러(510)는, 예를 들면, 기록 또는 디스플레이에 앞서 비디오 입력 신호의 해상도를 수정하게 구성되며, 해상도 선택 모듈(515)은, 예를 들면, 비디오 입력 신호들을 기록할 해상도(예를 들면, D1, VGA, 등)을 선택하게 구성된다. 일부 실시예들에서, 복수의 디코더들(505), 다운스케일러 모듈(510), 및 해상도 선택 모듈(515)은 도 3에 관하여 위에 기술된 하나 이상의 기입 제어 모듈들에 포함될 수 있다. 기입 제어 모듈(520), 메모리 제어 모듈(525), 판독 제어 모듈(530)은 각각 도 3의 기입 제어 모듈(305), 프레임 레이트 제어 모듈(320), 및 판독 제어 모듈(310)에 관하여 위에 기술된 동작들을 수행 또는 실행하게 구성된다. 위에 기술된 멀티플렉스 및 기록 외에도, 실시간 출력 포맷 모듈(535) 및 기록 포맷 모듈(540)은 기록 또는 디스플레이되는 비디오 신호들을 인핸스(enhance) 시키기 위해 사용된다. 실시간 출력 포맷 모듈(535) 및 기록 포맷 모듈(540)은 다양한 엔코딩 모듈들, 포맷 모듈들, 디지털-아날로그 변환("DAC") 모듈들, 온-스크린 디스플레이("OSD") 모듈들, 등을 포함한다. 실시간 출력 포맷 모듈(535)은 하나 이상의 모니터들(540)을 위한 및/또는 하나 이상의 네트워크 프로토콜들(예를 들면, 서버, 네트워크된 컴퓨터, 등과 같은 네트워크 장치로의 송신을 위한)에 대응하는 하나 이상의 비디오 출력 신호들을 포맷 및 인핸스 시키게 구성된다. 기록 포맷 모듈(540)은 기록장치(140)를 위한 하나 이상의 비디오 출력 신호들을 포맷 및 인핸스하게 구성된다. 실시간 포맷 모듈(535) 및 기록 포맷 모듈(540)은 각각의 판독 제어 모듈들, 모니터들, 또는 기록장치들에 포함될 수 있다. 일부 실시예들에서, 복수의 기록장치들은 비디오 시스템에 포함되며, 각 기록장치는 동일 또는 서로 다른 비디오 출력 신호들(예를 들면, 두 기록장치들은 동일한 비디오 출력 신호를 기록할 수 있다)을 기록하게 구성된다. 일부 실시예들에서, 각 판독 제어 모듈은 입력 채널들의 임의의 수의 조합들(예를 들면, 실시간 비디오 입력 신호들 및 기록된 비디오 신호들, 등의 조합들)에 대응하는 데이터를 출력할 수 있다. 또한, 제어기(500)는 레지스터 전송 레벨("RTL") 설계 프로세스를 통해 개발된 칩과 같은 반도체(예를 들면, FPGA 반도체) 칩 상에 부분적으로 혹은 전체적으로 구현될 수도 있다.
도 7은 발명의 실시예에 따른 타이밍도(600)를 도시한 것이다. 타이밍도(600)는 비디오 입력 신호들(예를 들면, 4개의 감시 카메라들로부터)의 4개의 채널들(605 ~ 620)을 도시한 것이다. 예시된 실시예에서, 비디오 신호들은 인터레이스된 비디오 신호들이며, 각각의 한 프레임의 비디오는 홀수 및 짝수 신호들(즉, 홀수 디스플레이 선 수들(line numbers) 및 짝수 디스플레이 선 수들(line numbers)에 대응하는)로 표현된다. 다른 실시예들에서, 비디오 신호들은 프로그래시브 스캔이다. 4개의 채널들의 비디오 입력 신호들은 비동기식으로(예를 들면, 각 입력 채널의 프레임들은 특정되지 않은 순서로 그리고 특정되지 않은 시간들에서 받는다.) 수신되는 프레임들을 포함한다. 비디오 입력 신호들은 도 4 및 도 5에 관련하에 위에 기술된 바와 같이 멀티플렉스되어 4D1 출력(625)을 생성한다. 또한 위에 기술된 바와 같이, 프레임들이 프레임 버퍼들로부터 판독되어 멀티플렉스되는 순서는 적합한 기록 및 종국에는 기록된 신호들의 디스플레이를 보증하기 위해서 한 4D1 출력 내지 후속되는 4D1 출력들에 걸쳐 일관되어야 한다. 예시된 실시예에서, 각 4D1 출력은 각 채널(즉, 0T, 0B, 1T, 1B, 2T, 2B, 3T 및 3B)의 각 프레임에 대한 상측 부분과 하측 부분을 포함하며, 'T'는 프레임의 상측 부분을 나타내며, 'B'는 프레임의 하측 부분을 나타낸다. 이 프레임 순서는 한 4D1 출력 내지 후속되는 4D1 출력들에 걸쳐 일관된다. 다른 실시예들에서, 프레임의 하측 부분은 프레임의 상측 부분 전에 저장되거나 판독될 수 있다. 또한, 예시된 실시예가 4개의 입력 채널들만을 디스플레이할지라도, 발명의 다른 실시예들은, 예를 들면, 8 또는 16 입력 비디오 채널들을 단일 출력(예를 들면, 고속 코덱들을 대해선 8-D1)으로 멀티플렉스한다.
도 8 내지 도 10은 비디오 시스템(100)의 다양한 출력들을 도시한 것이다. 도 8은 4개의 개개의 D1(즉, 720 x 480) 출력들(700 ~ 715)이 메모리로부터 일련으로 판독되는 출력을 도시한 것이다. 도 8에 도시된 출력과는 달리, 도 9 및 도 10에 도시된 출력들은 위에 기술된 멀티플렉스 및 기록을 사용하여 달성될 수 있는 출력들을 도시한 것이다. 도 9는 기록장치(140)로부터 인출된 단일의 기록된 출력이 4개의 서로 다른 입력 채널들로부터의 4개의 비디오 프레임들을 포함하는 발명의 실시예에 따른 출력(800)을 도시한 것이다. 4-D1 출력들의 일련의 스트림과는 달리, 도 9에 도시된 멀티플렉스된 출력은 1440 x 960의 대응하는 해상도를 갖는 4D1 출력이다. 이러한 출력 스트림 데이터에 대해서, 대응하는 고속 코덱은 필요할 때 혹은 모든 4개의 비디오 프레임들을 적합하게 디스플레이하라고 지시되었을 때 추가의 메모리를 할당한다. 유사하게, 도 10은 6개의 서로 다른 입력 채널들로부터 6개의 비디오 프레임들을 포함하는 멀티플렉스된 출력(900)을 도시한 것이다. 도 10의 실시예에서, 출력 프레임들 각각은 VGA(즉, 640 x 480)이다.
도 11은 일군의 비디오 입력 신호들을 단일 출력 데이터 스트림으로 멀티플렉씽하기 위한 프로세스(1000)이다. 프로세스(1000)에 관련하여 본원에 기술된 여러 단계들은 동시에, 또는 예시된 일련의 실행 방식과는 다른 순서로 실행될 수 있다. 단계(1005)에서, 복수의 입력 채널들에 연관된 비디오 입력 신호들을 제어기가 받는다. 이어서, 프레임 레이트 제어 모듈은 제어기의 기입 제어 모듈에 대한 기입 포인터 위치를 설정한다(단계(1010)). 예를 들면, 프레임 레이트 제어 모듈은 제시된 기입 포인터 위치를 비디오 프레임이 기입될 메모리(예를 들면, 프레임 버퍼) 내 위치에 대응하는 기입 제어 모듈에 제공한다. 기입 포인터 위치는 특정 입력 채널에 연관된 복수의 프레임 버퍼들(예를 들면, 4개의 프레임 버퍼들) 중 하나에 대응한다. 이어서, 기입 제어 모듈은 비디오 프레임을 프레임 버퍼에 기입한다(단계(1015)). 위에 기술된 바와 같이, 기입 제어 모듈들의 기입 동작들은 각 입력 채널에 대해 연속적이며, 각 입력 채널은 자신의 프레임 레이트 제어 모듈을 포함한다. 따라서, 비디오 프레임들은 입력 채널들 각각에 연관된 복수의 프레임 버퍼들에 계속적으로 기입되고 있다. 단계(1015)에 이어, 프레임 레이트 제어 모듈은 판독 제어 모듈 내에 판독 포인터에 대한 판독 포인터 위치를 설정한다(단계(1020)). 앞서 기술된 바와 같이, 판독 포인터 위치는, 예를 들면, 비디오 프레임들이 멀티플렉스될 순서에 따라서뿐만 아니라, 하나 이상의 기입 포인터들의 위치에 관한 판독 포인터의 상대적 위치에 기초하여 설정된다. 이어서, 판독 제어 모듈은 판독 포인터의 위치에 대응하는 프레임 버퍼로부터 비디오 프레임을 판독한다(단계(1025)). 서로 다른 입력 채널들에 대응하는 프레임 버퍼들로부터 비디오 프레임들을 판독하기 위해 유사한 절차가 수행된다. 선택된 한 그룹의 입력 채널들 (예를 들면, 4개의 입력 채널들, 6개의 입력 채널들, 등) 각각으로부터 비디오 프레임이 판독 제어 모듈에 의해 프레임 버퍼들로부터 판독되었을 때, 판독 제어 모듈은 비디오 프레임들을 단일 멀티플렉스된 출력으로 결합한다(단계(1030)). 비디오 프레임들은 순서에 따라 멀티플렉스된 출력 내에 배열된다. 이어서, 판독 제어 모듈은 멀티플렉스된 출력을, 예를 들면, 기록장치에 출력한다(단계(1035)).
따라서, 발명은, 무엇보다도, 복수의 비디오 입력 신호들의 디스플레이를 멀티플렉씽(multiplexing) 및 기록하기 위한 시스템들, 방법들, 및 컴퓨터 판독가능 매체를 제공한다. 발명의 다양한 특징들 및 잇점들이 다음 청구항들에 개시된다.
105, 1105: 제어기
110, 115, 120, 125: 비디오 소스
130, 1110: 사용자 인터페이스
135: 모니터(들)
140: 기록장치
145, 1115: 파워 서플라이
150: 외부 메모리
155, 1120: 네트워크 통신
160, 1125: 처리 유닛
165, 1130: 내부 메모리
170, 1135: I/O
305, 520: 기입 제어 모듈
310, 530: 판독 제어 모듈
315: 프레임 버퍼
320: 프레임 레이트 제어 모듈
505: 디코더
510: 다운스케일러(1)
515: 해상도 선택 모듈
525: 메모리 제어 모듈
605: 입력 채널 #0
610: 입력 채널 #1
615: 입력 채널 #2
620: 입력 채널 #3
625: 4D1 출력

Claims (20)

  1. 비디오 시스템에 있어서,
    복수의 입력 채널에 대응하는 복수의 비디오 소스, 상기 복수의 비디오 소스는 복수의 비디오 프레임에 관계된 복수의 비디오 신호를 생성하도록 구성되고, ;
    기록장치;
    복수의 프레임 버퍼를 포함하는 메모리로서, 상기 복수의 프레임 버퍼는 상기 복수의 비디오 프레임을 저장하게 구성되고, 상기 프레임 버퍼 중 적어도 하나는 상기 복수의 비디오 소스 각각에 연관된 것인, ; 및
    상기 복수의 비디오 소스, 상기 기록장치, 및 상기 메모리에 연결된 제어기, 상기 제어기는 상기 복수의 비디오 프레임을 수신하게 구성되고, 상기 제어기는
    제 1 기입 포인터를 포함하는 제 1 기입 제어 모듈, 상기 제 1 기입 제어 모듈은 제 1 비디오 프레임을 제 1 프레임 버퍼에 기입하도록 구성되고,
    제 2 기입 포인터를 포함하는 제 2 기입 제어 모듈, 상기 제 2 기입 제어 모듈은 제 2 비디오 프레임을 제 2 프레임 버퍼에 기입하도록 구성되고,
    판독 포인터를 포함하는 판독 제어 모듈, 상기 판독 제어 모듈은 상기 제 1 프레임 버퍼로부터 상기 제 1 비디오 프레임을 그리고 상기 제 2 프레임 버퍼로부터 상기 제 2 비디오 프레임을 판독하게 구성되고, 및
    상기 제 1 기입 포인터 및 상기 제 2 기입 포인터의 기입 메모리 위치에 관한 상기 판독 포인터의 판독 메모리 위치에 기초하여 상기 제 1 비디오 프레임 및 상기 제 2 비디오 프레임의 상기 판독을 제어하게 구성되는 프레임 레이트 제어 모듈, 상기 프레임 레이트 제어 모듈은 비디오 프레임 멀티플렉씽 순서(multiplexing sequence)에 기초하여 상기 제 1 프레임 버퍼로부터 상기 제 1 비디오 프레임의 상기 판독과 상기 제 2 프레임 버퍼로부터 상기 제 2 비디오 프레임의 상기 판독을 제어하게 더욱 구성되고,
    상기 판독 제어 모듈은 상기 비디오 프레임 멀티플렉씽 순서에 따라 배열된 상기 제 1 비디오 프레임 및 상기 제 2 비디오 프레임을 포함하는 상기 기록장치에 멀티플렉스된 신호를 출력하게 더욱 구성되는 것을 특징으로 하는 비디오 시스템.
  2. 제 1항에 있어서,
    상기 기록장치는 멀티-채널 디지털 비디오 레코더("DVR")인 것을 특징으로 하는 비디오 시스템.
  3. 제 1항에 있어서,
    상기 판독 포인터의 상기 판독 메모리 위치는 상기 제 1 기입 포인터 및 상기 제 2 기입 포인터의 상기 기입 메모리 위치 뒤로 적어도 한 프레임이 유지되는 것을 특징으로 하는 비디오 시스템.
  4. 제 3항에 있어서,
    상기 판독 포인터의 상기 판독 메모리 위치는 상기 제 1 기입 포인터 및 상기 제 2 기입 포인터의 상기 기입 메모리 위치 뒤로 두 프레임이 있는 것을 특징으로 하는 비디오 시스템.
  5. 제 1항에 있어서,
    상기 기록장치는 온-스크린 디스플레이로서 상기 비디오 시스템에 연관된 한 세트의 데이터를 디스플레이하게 구성되는 것을 특징으로 하는 비디오 시스템.
  6. 제 1항에 있어서,
    상기 판독 제어 모듈은 상기 멀티플렉스된 신호를 생성하기 위해 상기 제 1 프레임 버퍼로부터 상기 제 1 비디오 프레임 및 상기 제 2 프레임 버퍼로부터 상기 제 2 비디오 프레임 각각을 일련으로 판독하도록 더욱 구성된 것을 특징으로 하는 비디오 시스템.
  7. 제 1항에 있어서,
    상기 복수의 비디오 신호를 수신하도록 구성된 원격 장치를 더 포함하는 것을 특징으로 하는 비디오 시스템.
  8. 복수의 비디오 소스를 멀티플렉씽하는 방법에 있어서,
    복수의 비디오 프레임을 포함하는 복수의 비디오 신호를 수신하는 단계;
    제 1 기입 포인터의 기입 메모리 위치에 기초하여 제 1 비디오 프레임을 제 1 프레임 버퍼에 기입하는 단계;
    제 2 기입 포인터의 기입 메모리 위치에 기초하여 제 2 비디오 프레임을 제 2 프레임 버퍼에 기입하는 단계;
    상기 제 1 기입 포인터 및 상기 제 2 기입 포인터의 상기 기입 메모리 위치에 관한 판독 포인터의 판독 메모리 위치에 기초하여 상기 제 1 비디오 프레임 및 상기 제 2 비디오 프레임의 상기 판독을 제어하는 단계;
    상기 판독 포인터의 상기 판독 메모리 위치 및 비디오 프레임 멀티플렉씽 순서에 기초하여 상기 제 1 프레임 버퍼로부터 상기 제 1 비디오 프레임 및 상기 제 2 프레임 버퍼로부터 상기 제 2 비디오 프레임을 판독하는 단계; 및
    멀티플렉스된 신호를 기록장치에 출력하는 단계로서, 상기 멀티플렉스된 신호는 상기 비디오 프레임 멀티플렉씽 순서에 따라 배열된 상기 제 1 비디오 프레임 및 상기 제 2 비디오 프레임을 포함하는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서,
    상기 기록장치는 멀티-채널 디지털 비디오 레코더("DVR")인 것을 특징으로 하는 방법.
  10. 제 8항에 있어서,
    상기 판독 포인터의 상기 판독 메모리 위치는 상기 제 1 기입 포인터 및 상기 제 2 기입 포인터의 상기 기입 메모리 위치 뒤로 적어도 한 프레임이 유지되는 것을 특징으로 하는 방법.
  11. 제 10항에 있어서,
    상기 판독 포인터의 상기 판독 메모리 위치는 상기 제 1 기입 포인터 및 상기 제 2 기입 포인터의 상기 기입 메모리 위치 뒤로 두 프레임이 있는 것을 특징으로 하는 방법.
  12. 제 8항에 있어서,
    상기 멀티플렉스된 신호는, 하나 이상의 공통 중간 포맷("CIF"), 비디오 그래픽스 어레이("VGA"), 복합 비디오("CVBS"), 적녹청("RGB"), 고상세 멀티미디어 인터페이스("HDMI"), BT.1120("1080i"), 또는 D1 신호를 포함하는 것을 특징으로 하는 방법.
  13. 제 8항에 있어서,
    상기 멀티플렉스된 신호를 생성하기 위해 상기 제 1 프레임 버퍼로부터 상기 제 1 비디오 프레임 및 상기 제 2 프레임 버퍼로부터 상기 제 2 비디오 프레임 각각을 일련으로 판독하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  14. 제 8항에 있어서,
    상기 복수의 비디오 소스는 비동기화된 것을 특징으로 하는 방법.
  15. 복수의 비디오 소스에 연관된 복수의 디지털 비디오 신호를 처리하기 위한 장치에 있어서,
    제 1 기입 포인터를 포함하는 제 1 기입 제어 모듈;
    제 2 기입 포인터를 포함하는 제 2 기입 제어 모듈;
    판독 포인터를 포함하는 판독 제어 모듈; 및
    비디오 프레임 멀티플렉씽 순서와, 그리고 상기 판독 포인터와 상기 제 1 기입 포인터와 상기 제 2 기입 포인터 간에 관계에 기초하여, 제 1 비디오 프레임 및 제 2 비디오 프레임의 상기 판독을 제어하게 구성된 프레임 레이트 제어 모듈을 포함하며,
    상기 판독 제어 모듈은 상기 비디오 프레임 멀티플렉씽 순서에 따라 배열된 상기 제 1 비디오 프레임 및 상기 제 2 비디오 프레임을 포함하는 멀티플렉스된 신호를 생성하도록 더욱 구성된 것을 특징으로 하는 장치.
  16. 제 15항에 있어서,
    서큘라 버퍼(circular buffer)로서 구성된 하나 이상의 프레임 버퍼를 더 포함하는 것을 특징으로 하는 장치.
  17. 제 15항에 있어서,
    상기 프레임 레이트 제어 모듈은 상기 판독 포인터가 상기 제 1 기입 포인터 또는 상기 제 2 기입 포인터와 겹치지 않게 하도록 더욱 구성된 것을 특징으로 하는 장치.
  18. 제 15항에 있어서,
    상기 제 1 비디오 프레임 및 상기 제 2 비디오 프레임은 각각 인터레이스된 비디오 프레임인 것을 특징으로 하는 장치.
  19. 제 15항에 있어서,
    상기 판독 제어 모듈은 상기 멀티플렉스된 신호를 기록장치에 출력하게 더욱 구성된 것을 특징으로 하는 장치.
  20. 제 19항에 있어서,
    상기 멀티플렉스된 신호는 적어도 대략 1440 x 960의 해상도를 갖는 것을 특징으로 하는 장치.
KR1020120031141A 2011-03-31 2012-03-27 비디오 멀티플렉씽 KR20120112112A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161470194P 2011-03-31 2011-03-31
US61/470,194 2011-03-31
US13/222,105 US20120251085A1 (en) 2011-03-31 2011-08-31 Video multiplexing
US13/222,105 2011-08-31

Publications (1)

Publication Number Publication Date
KR20120112112A true KR20120112112A (ko) 2012-10-11

Family

ID=46927382

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120031141A KR20120112112A (ko) 2011-03-31 2012-03-27 비디오 멀티플렉씽

Country Status (4)

Country Link
US (1) US20120251085A1 (ko)
KR (1) KR20120112112A (ko)
CN (1) CN102740124A (ko)
TW (1) TW201242337A (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8713215B2 (en) * 2009-05-29 2014-04-29 Z Microsystems, Inc. Systems and methods for image stream processing
TWI517137B (zh) * 2013-06-05 2016-01-11 晨星半導體股份有限公司 將影像寫入記憶體的方法及其裝置
KR102459917B1 (ko) * 2015-02-23 2022-10-27 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
TWM516284U (zh) * 2015-09-04 2016-01-21 宏正自動科技股份有限公司 訊號延伸系統及其之接收端
US20180020228A1 (en) * 2016-07-12 2018-01-18 Mediatek Inc. Video processing system with multiple syntax parsing circuits and/or multiple post decoding circuits
CN109698732B (zh) * 2017-10-23 2021-07-09 华为技术有限公司 传输数据的方法和装置
CN107948546B (zh) * 2017-11-09 2020-07-31 中国航空无线电电子研究所 一种低延迟视频混合装置
CN112099970A (zh) * 2020-09-04 2020-12-18 中国第一汽车股份有限公司 一种视频数据处理方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5122875A (en) * 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
US20050120351A1 (en) * 2003-10-31 2005-06-02 De Bonet Jeremy S. System and method for a synchronized shared buffer architecture for multimedia players
CN100524451C (zh) * 2004-01-28 2009-08-05 Nxp股份有限公司 用于矩阵显示器的显示方法及显示系统
US7868890B2 (en) * 2004-02-24 2011-01-11 Qualcomm Incorporated Display processor for a wireless device
US20050195206A1 (en) * 2004-03-04 2005-09-08 Eric Wogsberg Compositing multiple full-motion video streams for display on a video monitor
US9565397B2 (en) * 2009-02-26 2017-02-07 Akamai Technologies, Inc. Deterministically skewing transmission of content streams
US9497466B2 (en) * 2011-01-17 2016-11-15 Mediatek Inc. Buffering apparatus for buffering multi-partition video/image bitstream and related method thereof

Also Published As

Publication number Publication date
TW201242337A (en) 2012-10-16
US20120251085A1 (en) 2012-10-04
CN102740124A (zh) 2012-10-17

Similar Documents

Publication Publication Date Title
KR20120112112A (ko) 비디오 멀티플렉씽
US8390743B2 (en) System and methods for the synchronization and display of video input signals
US9398245B2 (en) Display device
US20150002739A1 (en) Image display system and image processing method capable of supporting uhd video/image data display
KR102362054B1 (ko) 다중 디스플레이 시스템을 구성하는 디스플레이 장치 및 그 제어 방법
CN103188456A (zh) 用于接收广播的显示装置、信号处理模块、设备和方法
US9875522B2 (en) Display control apparatus
CN111064906A (zh) 国产处理器和国产fpga多路4k高清视频综合显示方法
US9417682B2 (en) Display unit driving device with reduced power consumption
US11276366B2 (en) System including a plurality of display apparatus and control method thereof
US20130187832A1 (en) Display apparatus and method for controlling the same
US20170012798A1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US20150009408A1 (en) Video signal transmitter apparatus and receiver apparatus using uncompressed transmission system of video signal
CN106385628A (zh) 一种分析音视频不同步的装置及方法
US8520147B1 (en) System for segmented video data processing
CN102625086B (zh) 一种用于高清数字矩阵的ddr2存储方法和系统
US20130162608A1 (en) Display apparatus, upgrading apparatus and control method of the same and display system
CN202473187U (zh) 一种显示屏行扫描驱动平台
CN111367602B (zh) 一种图像融合方法、装置及显示装置
CN111464766B (zh) 视频处理器和显示系统
CN105357455A (zh) 一种4k显示器一屏多显的方法及装置
US20130314594A1 (en) Method and apparatus for converting film image into tv image
CN102542992A (zh) 一种显示屏行扫描驱动方法及平台
US11817036B2 (en) Display apparatus and control method thereof
WO2022236808A1 (zh) 一种显示系统及显示设备

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid