KR100970992B1 - System and method for multiplexing stereoscopic high-definition video through gpu acceleration and transporting the video with light-weight compression and storage media having program source thereof - Google Patents

System and method for multiplexing stereoscopic high-definition video through gpu acceleration and transporting the video with light-weight compression and storage media having program source thereof Download PDF

Info

Publication number
KR100970992B1
KR100970992B1 KR1020080113563A KR20080113563A KR100970992B1 KR 100970992 B1 KR100970992 B1 KR 100970992B1 KR 1020080113563 A KR1020080113563 A KR 1020080113563A KR 20080113563 A KR20080113563 A KR 20080113563A KR 100970992 B1 KR100970992 B1 KR 100970992B1
Authority
KR
South Korea
Prior art keywords
image
stereoscopic
frame
video
multiplexing
Prior art date
Application number
KR1020080113563A
Other languages
Korean (ko)
Other versions
KR20100054586A (en
Inventor
조진용
곽재승
Original Assignee
한국과학기술정보연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술정보연구원 filed Critical 한국과학기술정보연구원
Priority to KR1020080113563A priority Critical patent/KR100970992B1/en
Publication of KR20100054586A publication Critical patent/KR20100054586A/en
Application granted granted Critical
Publication of KR100970992B1 publication Critical patent/KR100970992B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 방법과 그 프로그램 소스를 저장한 기록매체가 개시된다. 그 방법은 하드웨어적인 신호처리 대신 소프트웨어적인 데이터처리를 통해 스테레오스코픽 3D 영상을 실시간으로 제작함으로써, 스테레오스코픽 영상 전송시스템의 구축 비용을 절감하고, 실시간 네트워크 전송을 가능하게 해 시스템의 활용성을 높이며, 상용 스테레오스코픽 3D TV 등에 활용 가능할 뿐만 아니라 소프트웨어 코덱을 이용해 비압축 HDTV에 준하는 실시간성을 제공하며 네트워크 대역폭에 대한 요구를 1/6로 줄임으로써 시스템 및 네트워크 측면의 유연성(flexibility)을 높일 수 있는 효과가 있다.Disclosed are a method for stereoscopic multiplexing and low rate compression transmission of a high quality image through graphics acceleration, and a recording medium storing the program source thereof. The method produces stereoscopic 3D video in real time through software data processing instead of hardware signal processing, thereby reducing the cost of building a stereoscopic video transmission system, enabling real-time network transmission, and increasing the utility of the system. Not only can it be used for commercial stereoscopic 3D TV, but also can provide real time comparable to uncompressed HDTV by using software codec, and can increase the flexibility of system and network side by reducing network bandwidth requirement to 1/6. There is.

스테레오스코픽, 다중화기, 저비율압축, 미디어전송 Stereoscopic, Multiplexer, Low Rate Compression, Media Transmission

Description

그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체{SYSTEM AND METHOD FOR MULTIPLEXING STEREOSCOPIC HIGH-DEFINITION VIDEO THROUGH GPU ACCELERATION AND TRANSPORTING THE VIDEO WITH LIGHT-WEIGHT COMPRESSION AND STORAGE MEDIA HAVING PROGRAM SOURCE THEREOF}TECHNICAL AND METHOD FOR MULTIPLEXING STEREOSCOPIC HIGH-DEFINITION VIDEO THROUGH GPU ACCELERATION AND TRANSPORTING THE VIDEO WITH LIGHT-WEIGHT COMPRESSION AND STORAGE MEDIA HAVING PROGRAM SOURCE THEREOF}

본 발명은 고화질 영상 송수신장치에 관한 것으로, 스테레오스코픽 3D 시스템이 그래픽스 가속을 이용해 고화질 HD급 영상의 양안시차 방식 스테레오스코픽 다중화 및 송신측 신호 출력, 네트워크 스트림의 생성 및 실시간 전송, 비용 효율적인 재생 및 수신측 신호 출력 등을 처리할 수 있는 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체에 관한 것이다.The present invention relates to a high-definition video transmission / reception apparatus, wherein the stereoscopic 3D system uses graphics acceleration to provide binocular disparity stereoscopic multiplexing and transmission-side signal output of high-quality HD-quality video, generation and real-time transmission of network streams, and cost-effective playback and reception. The present invention relates to an apparatus for stereoscopic multiplexing and low rate compression transmission of a high quality image through graphics acceleration capable of processing a side signal output, and a method thereof, and a recording medium storing the program source thereof.

광 네트워크 기술의 발달은 첨단 응용 데이터의 고속 전송을 위해 수십 Gbps의 백본 대역폭을 제공하는 단계에 있다. 네트워크 인프라의 확대와 시스템 자원의 폭발적인 증가는 CineGrid, 비압축 HDTV, Super Hi-Vision과 같은 수백 Mbps에서 수 Gbps급 광대역 멀티미디어 응용의 현실화 가능성을 높이고 있다. 광대역화를 촉진시키는 원인으로는 실시간성의 확보와 고해상도 영상에 대한 요구 증가를 들 수 있다.Advances in optical network technology are at the stage of providing backbone bandwidths of tens of Gbps for high-speed transmission of advanced application data. The expansion of network infrastructure and the explosive growth of system resources are increasing the potential for realization of broadband multimedia applications at hundreds of Mbps, such as CineGrid, uncompressed HDTV, and Super Hi-Vision. Reasons for facilitating wideband include securing real time and increasing demand for high resolution images.

H.264 하드웨어 CODEC은 10Mbps 이하의 네트워크 대역폭으로 풀 HD급(1080p, 2K) 영상의 실시간 전송(약 100ms 이하의 코덱 지연)을 가능하게 한다. 24Gbps의 대역폭이 필요한 8K 영상은 H.264 하드웨어 CODEC을 이용해 약 128Mbps로 실시간 압축가능하다. 또한, JPEG 2000 하드웨어 CODEC은 디지털 시네마용 4K 영상을 약 500~600Mbps의 데이터율을 갖도록 실시간 압축할 수 있다. 하지만, 이러한 하드웨어 CODEC들은 유연성이 떨어지며 매우 고가이기 때문에 R&E (Research & Education) 영역에 적용하기 어렵고 상용 방송 등의 제한된 영역에서 활용될 것으로 보인다.The H.264 hardware CODEC enables real-time transmission (full codec delay of less than about 100ms) of full HD (1080p, 2K) video with network bandwidth of less than 10Mbps. 8K video, requiring 24 Gbps of bandwidth, can be compressed in real time to approximately 128 Mbps using an H.264 hardware CODEC. In addition, the JPEG 2000 hardware CODEC can real-time compress 4K video for digital cinema to a data rate of approximately 500-600 Mbps. However, since these hardware codecs are inflexible and very expensive, they are difficult to apply to the Research & Education (R & E) area and are expected to be used in limited areas such as commercial broadcasting.

비압축 HDTV는, 하드웨어 코덱과 비교했을 때 상대적으로 낮은 구축비용, 저지연, 고품질 등의 장점이 있지만 기본적으로 1Gbps 이상의 네트워크 대역폭이 필요하다는 문제점이 있다. 국내외 연구망들이 수십 Gbps의 백본 대역폭을 제공하지만 대부분의 종단 사용자들은 1Gbps급 접속망(Access network)에 연동되어 있기 때문에 시스템의 활용이 극히 제한적인 상태이다. Uncompressed HDTV has advantages such as relatively low construction cost, low latency, and high quality compared to hardware codec, but basically requires more than 1Gbps network bandwidth. Although domestic and overseas research networks provide tens of Gbps of backbone bandwidth, most of the end users are connected to 1Gbps access networks, so the utilization of the system is extremely limited.

종래의 스테레오스코픽 3D 다중화기는 신호처리방식의 하드웨어 제품으로 상용 방송 등 고품질 서비스를 목적으로 개발되었기 때문에 비용 효율적인 측면보다는 고품질 특성을 보장하기 위한 목적이 크다.The conventional stereoscopic 3D multiplexer is a hardware product of a signal processing method and has been developed for the purpose of high quality services such as commercial broadcasting.

스테레오스코픽 및 다시점 영상의 압축 및 전송을 위해 MPEG2 다시점 프로파 일 및 H.264 확장 코덱 등의 기술이 제안되었고, JVT(Joint video team)을 중심으로 다시점 비디오 압축(Multi-view video coding)에 관한 표준화가 진행 중이나, 현시점에서 HD급 스테레오스코픽 또는 다시점 영상의 시점간 중복성을 고려해 실시간 압축할 수 있는 현실적인 대안이 없기 때문에 좌/우 시점영상(Left/right view sequence)을 순차적으로 압축하는 등의 방법이 이용된다.For compression and transmission of stereoscopic and multiview images, technologies such as MPEG2 multiview profile and H.264 extension codec have been proposed, and multi-view video coding based on joint video team (JVT). Standardization is in progress, but left / right view images are sequentially compressed because there is no realistic alternative to real time compression considering the redundancy between HD stereoscopic or multiview images in real time. And the like are used.

실시간성을 높이기 위한 소프트웨어 CODEC으로 DXT 부호화가 있다 DXT 부호화는 텍스쳐 압축용으로 개발되어 S3TC(S3 texture compression)으로 불리기도 하며, BTC (block truncation coding)를 적응화하여 개발된 Color Cell Compression 기법과 매우 유사하다. DXT 역시 늦은 부호화 속도로 인해 주로 오프라인 처리를 위해 사용되었으나, SSE2(streaming SIMD extensions 2)를 이용한 어셈블리 구현을 통해 실시간 부호화가 가능해졌다. FastDXT는 이러한 어셈블리 구현을 보다 이식성(portability)있게 재구현한 개발 결과물이다. GPU(graphics processing unit)를 이용한 실시간 DXT 부호화도 가능하지만 그래픽카드의 픽셀리드백(pixel read-back) 속도에 따라 성능이 결정되는 문제가 있다Software CODEC to improve real time is DXT coding. DXT coding is also called texture S3TC (S3 texture compression), developed for texture compression, and is very similar to Color Cell Compression technique developed by adapting block truncation coding (BTC). Do. DXT was also used primarily for off-line processing due to the slower coding speed, but real-time coding was made possible by assembly implementation using streaming SIMD extensions 2 (SSE2). FastDXT is the result of a more portable implementation of this assembly implementation. Real-time DXT encoding using GPUs (graphics processing unit) is also possible, but performance is determined by the pixel read-back speed of the graphics card.

FastDXT를 이용한 스트리밍 응용들은 SAGE(scalable adaptive graphics environment)와 UltraGrid 환경에 실험적으로 적용한 예가 있다. Luc의 연구는 FastDXT를 이용해 2K 및 4K 영상을 실시간 전송한 실험이라는 점에서 의미가 있다. 하지만, 저장형 콘텐츠에 대한 전송실험으로 실시간 영상의 스트리밍 응용에 대한 성능 분석은 포함하고 있지 않다. Petr의 연구는 2K 영상의 실시간 DXT 부호화 전송 및 재생에 관한 최초의 실험이라는 점에서 본 발명의 내용과 일부 유사성이 있 다. 하지만, 다중 쓰레드 기반의 스칼라형 구현을 통해 영상을 부호화했기 때문에 낮은 사양의 시스템에서는 실시간 부호화가 어려운 문제가 있다. 또한, YCbCr 색공간 형태를 변환과정 없이 직접 부호화하므로 영상의 일그러짐 현상이 발생할 때, 색상 변화가 띠 모양으로 보이는 밴딩(banding) 현상이 RGBA 입력에 비해 큰 단점이 있다.Streaming applications using FastDXT have been experimentally applied to scalable adaptive graphics environment (SAGE) and UltraGrid environment. Luc's work is meaningful in that it uses FastDXT to perform real-time transmission of 2K and 4K video. However, it does not include performance analysis of streaming applications of real-time video as transmission experiments for stored content. Petr's research has some similarities to the present invention in that it is the first experiment on real-time DXT coding transmission and reproduction of 2K video. However, since video is encoded through a multi-threaded scalar implementation, real-time encoding is difficult in a low specification system. In addition, since the YCbCr color space shape is directly encoded without a conversion process, when a distortion occurs in an image, a banding phenomenon in which a color change appears as a band has a large disadvantage compared to an RGBA input.

고품질 음성의 지원은 사용자간 상호작용을 향상시키고 응용분야의 확장(문화예술 등)을 위해 필수적인 요소이다. SAGE 환경은 16비트 44.1Khz 스테레오 음성원(audio source)을 제공하며 UltraGrid는 기존의 인터넷 회의용 툴인 RAT(robust addio tool)을 이용한다. RAT과 같은 인터넷 음성 툴을 이용할 경우, 미디어간 동기화의 문제가 발생할 수 있으며 응용 툴의 특성상(손실 환경하의 적응성 고려) 고품질 음성을 활용하기 힘들다.Support for high quality voice is essential for improving user interaction and for expanding the field of application (eg, cultural arts). The SAGE environment provides a 16-bit 44.1Khz stereo audio source, and UltraGrid uses a traditional add-on tool called RAT (robust addio tool) for Internet conferencing. When using Internet voice tools such as RAT, there may be a problem of media-to-media synchronization, and it is difficult to use high quality voice due to the nature of the application tool (considering adaptability in a lossy environment).

본 발명은 하드웨어적인 신호처리(Signal processing) 대신 소프트웨어적인 데이터처리(Data processing)를 통해 스테레오스코픽 3D 영상을 실시간으로 제작하는 방법으로 고성능 PC급 워크스테이션이 영상의 획득(Capture), 크기변환(Scale) 및 다중화(Multiplexing)를 소프트웨어적으로 수행해 원 입력신호와 상응하는 출력신호 또는 네트워크 전송을 위한 패킷 스트림을 발생키는 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 방법을 제공하는 것을 제1 목적으로 한다.The present invention is a method of producing a stereoscopic 3D image in real time through software data processing instead of hardware signal processing, so that a high-performance PC workstation captures and scales an image. And multiplexing in software to generate stereoscopic multiplexing and low-rate compression transmission of high-definition video through graphics acceleration, generating a packet stream for output or network transmission corresponding to the original input signal. It is for the first purpose.

또한, 본 발명은 기존 방송/편집용 장비와의 호환성 및 네트워크 대역폭 문제를 고려해 측면배치(side-by-side) 및 상하배치(up-and-down) 스테레오스코픽 포맷을 적용하고, 고품질 스테레오스코픽 콘텐츠의 편집 등을 용이하게 하기 위해 무압축 전송을 가능하게 하고, 접속망(Access network)에서의 병목 문제로 인한 활용성을 높이기 위한 대안으로 DXT 압축을 적용해 비용 효율적인 실시간 전송을 가능하게 하는 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 방법을 제공하는 것을 제2 목적으로 한다.In addition, the present invention applies a side-by-side and up-and-down stereoscopic format in consideration of compatibility with the existing broadcast / editing equipment and network bandwidth problems, and high-quality stereoscopic content As an alternative to enabling uncompressed transmission to facilitate editing, and to increase the usability due to bottlenecks in the access network, graphics acceleration that enables cost-effective real-time transmission by applying DXT compression It is a second object of the present invention to provide a stereoscopic multiplexing and a low rate compression transmission method of a high quality image through a video.

그리고, 본 발명은 스테레오스코픽 3D 영상의 다중화, 전송 및 재생을 위한 시스템 구현, 소프트웨어 파이프라인에서 발생할 수 있는 병목(bottleneck)의 제거 및 성능향상, 영상의 실시간 크기 변환과 다중화 등 소프트웨어적인 실시간 처리를 위해 필요한 기술적 문제를 해결할 수 있는 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 방법을 제공하는 것을 제3 목적으로 한다. In addition, the present invention implements a software real-time processing such as system implementation for multiplexing, transmitting and playing stereoscopic 3D images, eliminating bottlenecks and improving performance, and real-time size conversion and multiplexing of images. It is a third object of the present invention to provide a method for stereoscopic multiplexing and low rate compression transmission of a high-definition image through graphics acceleration, which can solve technical problems required for the purpose.

따라서, 이러한 목적을 달성하기 위한 스테레오스코픽 다중화 및 저비율 압축 전송 장치는 입력되는 영상프레임을 캡쳐하는 미디어 캡쳐 인터페이스, 입력 영상프레임의 수평 및 수직 신호를 시간 동기화시키는 젠록, 영상프레임을 실시간으로 다중화하는 다중화기와 프레임 버퍼의 영상프레임을 압축하고 패킷화하여 송신하는 엔코더와 영상 RTP 패킷부를 포함하여 구성된다.Accordingly, the stereoscopic multiplexing and low-rate compression transmission apparatus for achieving the above object includes a media capture interface for capturing input video frames, a genlock for time synchronization of horizontal and vertical signals of input video frames, and multiplexing video frames in real time. The encoder comprises an encoder for compressing, packetizing and transmitting a video frame of a multiplexer and a frame buffer and a video RTP packet unit.

상기 미디어 캡쳐 인터페이스는 컴포넌트 출력을 SMPTE 292M신호로 변환하는 신호변환기를 더 포함하는 것을 특징으로 하고, 다중화기는 상기 SMPTE 292M신호를 저장하는 환형 버퍼, 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 기록하는 프레임 버퍼 테이블, 프레임 버퍼 테이블에서 좌우안 프레임의 시간 정보를 읽어 동기화시킨 후 좌우 영상을 각각 출력하는 동기부를 더 포함하여 구성되는 것을 특징으로 한다.The media capture interface may further include a signal converter for converting a component output into an SMPTE 292M signal. The frame buffer table may further include a synchronizer configured to read time information of left and right eye frames from the frame buffer table and to synchronize the time information.

또한, 프레임 버퍼에 저장된 영상은 4:2:2 크로마 포멧 또는 RGB(A)의 형태로 저장되고, 프레임 버퍼는 SMPTE 292M 신호를 내부 버퍼에서 프레임화하여 메모리 직접 참조를 통하여 고유 메모리주소에 주기적으로 복사하도록 하는 것이 바람직하다.In addition, the image stored in the frame buffer is stored in the form of 4: 2: 2 chroma format or RGB (A), and the frame buffer frame the SMPTE 292M signal in the internal buffer to periodically refer to the unique memory address through direct memory reference. It is desirable to make a copy.

다중화기는 그래픽스 가속을 통하여 좌우안 영상의 크기변환을 하는 것을 특 징으로 하며 이때의 크기변환은 선형 보간 필터를 이용하여 가로축 또는 세로축을 2:1로 축소하는 것을 특징으로 한다. The multiplexer is characterized by converting the size of the left and right images through graphics acceleration. The size conversion is characterized by reducing the horizontal axis or vertical axis to 2: 1 using a linear interpolation filter.

다중화기는 프레임 버퍼에 저장된 좌우안 영상의 메모리 주소를 참조하여 영상들을 크기변환하는 스케일러, 크기 변환된 영상들을 스테레오 스코픽 영상으로 변환하는 변환부, 변환된 영상을 랜더링하는 픽셀 버퍼, 렌더링된 영상을 바인딩하는 픽셀버퍼객체 및 바인딩된 영상을 메모리 공간으로 비동기 되읽음을 통하여 상기 스테레오스코픽 영상을 형성하는 리드백을 포함하여 구성하도록 하는 것이 더욱 바람직하다.The multiplexer refers to the memory address of the left and right eye images stored in the frame buffer, a scaler for resizing the images, a converter for converting the resized images to stereoscopic images, a pixel buffer for rendering the converted images, and a binding of the rendered image. More preferably, the pixel buffer object includes a readback for forming the stereoscopic image through asynchronous read back of the pixel buffer object and the bound image into the memory space.

상술한 픽셀버퍼객체는 픽셀 데이터의 처리와 되읽음을 분리하여 처리하도록 하고, 리드백의 스테레오스코픽 영상은 색변환 과정 또는 압축과정 또는 미디어 인터페이스를 통하여 영상이 출력되도록 구성한다.The above-described pixel buffer object processes the pixel data and read back separately, and the stereoscopic image of the readback is configured to output an image through a color conversion process, a compression process, or a media interface.

이러한 다중화기는 측면 배치 및 상하 배치 포맷을 지원하고 출력 포맷으로 네트워크 스트림, 또는 신호출력(SMPTE 292M, HDMI, 콤포넌트)을 지원하는 것을 특징으로 한다.The multiplexer supports side layout and top and bottom layout formats, and supports network streams or signal outputs (SMPTE 292M, HDMI, components) as output formats.

이러한 목적을 달성하기 위한 스테레오스코픽 다중화 및 저비율 압축 전송 장치는 SMPTE 292M를 입력 신호원으로 하고 젠록에 의해 수평 및 수직 신호가 시간 동기화되며 프레임 버퍼 테이블을 통해 영상 간 동기화를 수행하는 영상 캡쳐부를 갖도록 구성할 수 있다.To achieve this purpose, the stereoscopic multiplexing and low rate compression transmission apparatus uses SMPTE 292M as an input signal source, and has an image capture unit for time-synchronizing horizontal and vertical signals by genlock and performing inter-image synchronization through a frame buffer table. Can be configured.

이러한, 프레임 버퍼 테이블은 SMPTE 292M신호를 저장하고 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 기록하는 것을 특징으로 한다.The frame buffer table stores an SMPTE 292M signal and records memory addresses and time information of the stored frame signal.

또한 이러한 목적을 달성하기 위한 스테레오스코픽 다중화 및 저비율 압축 전송 장치는 SMPTE 292M 신호의 무압축 네트워크 전송을 지원하고 DXT에 의해 저비율 압축된 스트림을 전송하도록 구성할 수 있다.In addition, a stereoscopic multiplexing and low rate compression transmission apparatus for achieving this purpose can be configured to support uncompressed network transmission of SMPTE 292M signals and to transmit low rate compressed streams by DXT.

한편, 이러한 목적을 달성하기 위한 스테레오스코픽 다중화 및 저비율 압축 전송 방법은 (a)영상프레임을 입력받는 단계, (b)입력된 영상을 프레임으로 동기화및 다중화하여 저장하는 단계 및 (c)프레임 버퍼의 영상프레임을 압축하고 패킷화하여 출력하는 단계를 포함하여 이루어지게 할 수 있다.Meanwhile, the stereoscopic multiplexing and low rate compression transmission method for achieving the above object includes (a) receiving an image frame, (b) synchronizing and multiplexing the input image into a frame, and (c) a frame buffer. Compressing and packetizing the video frame of the output may be made.

(a)단계는 컴포넌트 출력을 SMPTE 292M신호로 변환하는 신호변환 단계를 더 포함하도록 하고 (b)단계는 SMPTE 292M신호를 버퍼에 저장하는 단계, 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 기록하는 단계, 프레임 버퍼 테이블에서 좌우안 프레임의 시간 정보를 읽어 동기화시킨 후 좌우 영상을 다중화하여 출력하는 단계를 더 포함하여 이루어지게 하는 것을 특징으로 한다.Step (a) further includes a signal conversion step of converting the component output into an SMPTE 292M signal, and step (b) storing the SMPTE 292M signal in a buffer, recording memory addresses and time information of the stored frame signal, and the like. The method may further include multiplexing the left and right images by reading time information of left and right eye frames from the frame buffer table and synchronizing them.

버퍼에 저장된 영상은 4:2:2 크로마 포멧 또는 RGB(A)의 형태로 저장되는 것이 바람직하고, 입력된 영상 프레임은 수평 및 수직 신호를 시간 동기화시키는 것을 특징으로 한다.The image stored in the buffer is preferably stored in the form of 4: 2: 2 chroma format or RGB (A), and the input image frame is characterized by time synchronization of horizontal and vertical signals.

시간정보 등을 기록하는 단계는 SMPTE 292M 신호를 하드웨어 내부에서 프레임화하여 고유 메모리주소에 주기적으로 복사하도록 하는 것이 더욱 바람직하다.In the recording of the time information or the like, it is more preferable to periodically copy the SMPTE 292M signal to the unique memory address by framing the hardware.

또한 (b)단계는 그래픽스 가속을 통하여 좌우안 영상의 크기변환과 크기 변환된 영상을 다중화하는 것을 특징으로 한다.In addition, step (b) is characterized by multiplexing the size-converted image and the size-converted image of the left and right eyes through graphics acceleration.

또한, (b)단계는 프레임 버퍼에 저장된 좌우안 영상의 메모리 주소를 참조하 여 영상들을 크기 변환하는 단계와, 크기 변환된 영상들을 스테레오 스코픽 영상으로 변환하는 단계, 변환된 영상을 랜더링하는 단계, 렌더링된 영상을 바인딩하는 단계 및 바인딩된 영상을 메모리 공간으로 비동기 되읽음을 통하여 상기 스테레오스코픽 영상을 형성하는 단계를 더 포함하여 이루어지게 할 수 있다.In addition, the step (b) is the step of converting the size of the image by referring to the memory address of the left and right eye image stored in the frame buffer, converting the size-converted image to a stereoscopic image, rendering the converted image, And binding the rendered image and forming the stereoscopic image by asynchronously reading the bound image into the memory space.

또한, 되읽음을 통하여 형성된 스테레오스코픽 영상은 색변환 과정 후 미디어 인터페이스를 통한 출력, 또는 색변환 과정 생략 후 미디어 인터페이스를 통한 출력, 또는 압축과정 후 네트워크 인터페이스를 통하여 전송되도록 한다.In addition, the stereoscopic image formed through the readback is output through the media interface after the color conversion process, or through the media interface after the color conversion process is omitted, or transmitted through the network interface after the compression process.

또한, (c)단계는 4:2:2 크로마 포멧 또는 RGB(A) 포맷의 압축 과정 생략 후, 네트워크 패킷화하여 출력하는 것를 포함하며 상기 무압축 포맷의 DXT압축 과정을 거친 후, 네트워크 패킷화해 출력하는 것을 특징으로 한다. In addition, the step (c) may include outputting a network packet after omitting the compression process of 4: 2: 2 chroma format or RGB (A) format, and performing network packetization after the DXT compression process of the uncompressed format. It is characterized by outputting.

그리고, 상술한 스테레오스코픽 다중화 및 저비율 압축 전송 방법의 프로그램 소스를 기록한 기록매체를 구성하게 함으로써 상술한 목적을 달성할 수 있다. The above object can be achieved by configuring a recording medium on which a program source of the above-described stereoscopic multiplexing and low rate compression transmission method is constructed.

따라서, 본 발명의 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 방법과 그 프로그램 소스를 저장한 기록매체에 의하면, 스테레오스코픽 영상 전송시스템에서 영상의 획득, 크기변환, 다중화 및 재생을 그래픽스 가속을 이용해 데이터처리하고 실시간성과 품질 보장을 위해 무압축 전송과 저비율 압축 전송 방법을 제공함으로써, 스테레오스코픽 영상 전송시스템의 구축 비용을 절감하고, 실시간 네트워크 전송을 가능하게 해 시스템의 활용성을 높이는 효과가 있다. Therefore, according to the method of stereoscopic multiplexing and low rate compression transmission of a high quality image through graphics acceleration of the present invention and a recording medium storing the program source, image acquisition, size conversion, multiplexing and reproduction in a stereoscopic image transmission system can be performed. By processing data using graphics acceleration and providing uncompressed transmission and low rate compression transmission method for real-time performance and quality, it reduces the construction cost of stereoscopic video transmission system and enables real-time network transmission. The height is effective.

또한, 측면 배치 포맷 등을 수용하는 상용 스테레오스코픽 3D TV 등에 활용 가능한 효과가 있다. In addition, there is an effect that can be utilized for commercial stereoscopic 3D TV that accommodates the side layout format.

소프트웨어 CODEC을 이용해 비압축 HDTV에 준하는 실시간성을 제공하며 네트워크 대역폭에 대한 요구를 1/6으로 줄임으로써 시스템 및 네트워크 측면의 유연성(flexibility)을 높인다.The software CODEC is used to provide real-time comparability to uncompressed HDTV and reduces system bandwidth requirements by one-sixth, increasing system and network flexibility.

또한, 본 발명의 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 방법과 그 프로그램 소스를 저장한 기록매체에 의하면, 연구망 환경의 종단사용자들은 3자 회의 등이 가능한 2K급 고품질 TelePresence 환경을 제공받을 수 있으며, R&E 영역에서 교육 및 문화예술 지원을 위한 플렛폼 기술로도 활용 가능하다.In addition, according to the method of stereoscopic multiplexing and low rate compression transmission of high-definition video through graphics acceleration of the present invention, and a recording medium storing the program source, end users of the research network environment can be a 2K-class high-quality TelePresence environment in which three-way conferences are possible. It can be used as a platform technology to support education and culture and arts in the R & E area.

그리고, 4k 영상 전송 등 초고해상도 영상의 실시간 스트리밍 환경에 적용할 수 있으며, 6채널 24비트 48Khz 음성원을 제공하는 효과도 있다. In addition, it can be applied to a real-time streaming environment of ultra high resolution video such as 4k video transmission, and has the effect of providing a six-channel 24-bit 48Khz audio source.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in this specification and claims are not to be construed as limiting in their usual or dictionary meanings, and the inventors may properly define the concept of terms in order to best explain their invention in the best way possible. It should be interpreted as meaning and concept corresponding to the technical idea of the present invention.

먼저, DXT부호화에 대하여 설명한다.First, DXT encoding will be described.

DXT 압축은 블록 절단 부호화(block truncation coding) 방식의 일종으로 손실압축을 사용하며 4:1 또는 6:1의 고정비트 압축률을 갖는다. DXT 압축 포맷은 DXT1, DXT2, DXT3, DXT4, DXT5로 구성된다. DXT1은 32비트 RGBA 이미지의 알파 채널(A)을 이용하지 않거나 1 비트 채널만을 가지므로 가장 높은 압축률(6:1 혹은 8:1)을 제공한다. DXT compression is a type of block truncation coding that uses lossy compression and has a fixed bit compression ratio of 4: 1 or 6: 1. The DXT compression format consists of DXT1, DXT2, DXT3, DXT4, and DXT5. DXT1 does not use the alpha channel (A) of 32-bit RGBA images or has only one bit channel, providing the highest compression ratio (6: 1 or 8: 1).

본 발명에서는 비압축 32비트 RGBA 이미지의 실시간 전송을 위해 도 1과 같은 DXT1 압축을 적용한다. DXT1 압축을 위해 하나의 정지 영상은 겹치지 않는 4x4 픽셀 블록들로 분할되며, 블록내의 픽셀(p)들은 4단계 보간을 통해 양자화 된다.In the present invention, DXT1 compression as shown in FIG. 1 is applied for real-time transmission of uncompressed 32-bit RGBA images. For DXT1 compression, one still image is divided into non-overlapping 4x4 pixel blocks, and the pixels p in the block are quantized through four-step interpolation.

블록 내에서 임의로 선택된 2개의 24비트 RGB 픽셀들은 16비트 RGB 5:6:5 형태의 색상값(C0,C1)으로 변환되며 이들은 보간의 기준값이 된다. 4단계 보간을 위한 추가적인 색상값 C2, C3는 [수학식1]과 같이 표현된다.Two randomly selected 24-bit RGB pixels in the block are converted into 16-bit RGB 5: 6: 5 color values (C 0 , C 1 ), which are reference values for interpolation. Additional color values C 2 and C 3 for four-step interpolation are expressed as shown in [Equation 1].

Figure 112008078866399-pat00001
Figure 112008078866399-pat00001

블록내의 각 픽셀들은 4단계 보간값(색상값)들에 의해 표현될 수 있으므로 부호화 과정을 거치게 되면 픽셀 당 2비트를 갖는다. 즉, 2비트 인덱스 값들은 4개의 색상값을 검색테이블(lookup table)로 이용해 부호화 및 복호화를 수행한다. 결과적으로, 4x4 픽셀 블록이 부호화를 거칠 때, 2개의 16비트 색상값과 16개의 2비 트 인덱스값을 갖게 되므로 총 64비트의 메모리 공간이 필요하다. Since each pixel in the block can be represented by four levels of interpolation values (color values), the encoding process has two bits per pixel. That is, 2-bit index values are encoded and decoded using four color values as a lookup table. As a result, when a 4x4 pixel block is encoded, it has two 16-bit color values and 16 two-bit index values, requiring a total of 64 bits of memory space.

실효치(root mean square)에 의한 원본이미지와 DXT1 압축된 이미지의 평균 오차는 JPEG의 약 75% 수준이며 최악의 경우 25% 정도를 보인다. 실효치에 의한 평균 오차가 일정하지않는 이유는 기준이 되는 색상값의 선택에 따라 영상품질이 결정되기 때문이다. 영상품질을 높이기 위해서는 원본이미지와 압축된 이미지 간에 최소 오차를 갖는 색상값을 선택해야 한다. 본 발명에서는 2K 영상의 부호화를 위해 FastDXT를 이용한다.The mean error of the original image and the DXT1 compressed image by the root mean square is about 75% of the JPEG and in the worst case is about 25%. The average error due to the effective value is not constant because the image quality is determined by the selection of the reference color value. In order to improve the image quality, it is necessary to select a color value having a minimum error between the original image and the compressed image. In the present invention, FastDXT is used for encoding 2K video.

전체적으로 손실 압축의 특성상 품질 저하 현상을 보이지만, 고품질 영상회의 등 영상 편집 이외의 용도로 사용된다면 매우 합리적인 수준의 품질을 유지할 수 있다. 또한, 소프트웨어적 구현을 통해 실시간 부호화가 가능하다는 점에서 네트워크 환경 하에서도 그 활용 가능성이 높다.Although the quality of the lossy compression is generally reduced, it can be maintained at a very reasonable level if it is used for purposes other than video editing such as high quality video conferencing. In addition, since the real-time encoding is possible through a software implementation, it is highly applicable in a network environment.

FastDXT는 Intel사의 멀티미디어 명령어인 SSE2 나 스칼라 구현을 선택적으로 이용해 영상의 DXT1 부호화를 수행한다. 스칼라 구현을 이용할 경우, DXT1 부호화의 높은 계산복잡도를 충족시키기 위해서 최소 Intel Core2Quad 2.4Ghz 이상의 CPU 성능이 필요하다. 또한, 복호화를 위해 GPU를 직접 활용하기 때문에 하드웨어 가속이 가능한 그래픽카드를 이용한다. 개발 시스템은 x86 플랫폼에서 동작하는 32비트 리눅스 환경하에서 구현된다. 특별히 언급되지 않는 이상, 본 발명의 모든 실험은 Intel Core2Quad 2.4Ghz CPU를 이용한다. FastDXT performs DXT1 encoding of the video using the SSE2 or scalar implementation of Intel's multimedia command. Using the scalar implementation, CPU performance of at least Intel Core2Quad 2.4Ghz is required to meet the high computational complexity of DXT1 encoding. In addition, since the GPU is directly used for decoding, a graphics card capable of hardware acceleration is used. The development system is implemented under a 32-bit Linux environment running on the x86 platform. Unless otherwise noted, all experiments of the present invention utilize an Intel Core2Quad 2.4Ghz CPU.

이하, 도면을 참조하여 본 발명의 일실시예에 대하여 상세히 설명한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 일실시예에 의한 그래픽스 가속을 통한 고화질 영상의 스 테레오스코픽 다중화 및 저비율 압축 전송 장치를 예시한 블록도이고, 도 2는 그 세부 블록도이다.FIG. 2 is a block diagram illustrating an apparatus for stereoscopic multiplexing and low rate compression transmission of a high quality image through graphics acceleration according to an embodiment of the present invention, and FIG. 2 is a detailed block diagram.

도시된 바와 같이, 본 발명의 압축 전송 장치는 하나 이상의 카메라(110), 카메라(110)에서 입력되는 영상프레임을 캡쳐하는 미디어 캡쳐 인터페이스(120), 영상프레임을 동기화하여 저장하는 다중화기(130)를 통해 생성된 영상프레임을 압축하는 엔코더부(140)와 영상을 패킷화하여 송신하는 영상 RTP 패킷부(150), 오디오 RTP 패킷부(160) 그리고 수신부(200)를 포함하여 구성된다.As shown, the compression transmission apparatus of the present invention is at least one camera 110, a media capture interface 120 for capturing an image frame input from the camera 110, a multiplexer 130 for synchronizing and storing the image frame It comprises an encoder 140 for compressing the video frame generated through the video RTP packet unit 150, the audio RTP packet unit 160 and the receiver 200 to packetize the image and transmit the packet.

좌우안 카메라(110,112)는 비디오 프레임 동기화를 위해 스테레오스코픽 마운트시스템에 내장된 LANC(Local Application Control Bus System)를 이용해 온/오프된다. The left and right eye cameras 110 and 112 are turned on / off using a Local Application Control Bus System (LANC) built in a stereoscopic mount system for video frame synchronization.

인터페이스(120,122)는 미디어 캡쳐 인터페이스 (Media capture interface)를 말하며, 카메라(110)를 통하여 HD급 영상이나 SMPTE(Society of Motion Picture and Television Engineers) 292M신호를 수용하도록 설계된다. 즉, 32비트 RGBA 색공간을 갖는 영상 프레임 혹은 8비트 또는 10비트 YCbCr 색공간을 갖는 영상 프레임과 24비트 48Khz PCM 음성 프레임을 캡쳐하여 다중화기(130)를 통해 스테레오스코픽 영상으로 변환된다. 캡쳐된 영상프레임은 어셈블리 구현을 이용해 실시간 압축된 후 패킷화를 거치며 음성 프레임은 압축과정 없이 패킷화된 후 송신된다. The interfaces 120 and 122 refer to a media capture interface, and are designed to receive HD-quality video or SMPTE 292M signals through the camera 110. That is, an image frame having a 32-bit RGBA color space or an image frame having an 8-bit or 10-bit YCbCr color space and a 24-bit 48 kHz PCM audio frame is captured and converted into a stereoscopic image by the multiplexer 130. Captured image frames are compressed in real time using an assembly implementation and then packetized. Voice frames are packetized and transmitted without compression.

인터페이스(120,122)는 카메라(110,112)의 영상을 캡쳐하기 위해 SMPTE 292M 규격인 HD-SDI인터페이스를 사용해야 하기 때문에, 컨버터(122), HD-SDI(124), 그리고 젠록(Genlock;126)을 포함하여 구성한다.Since the interfaces 120 and 122 must use the SMPTE 292M standard HD-SDI interface to capture the images of the cameras 110 and 112, the converters 120 and 122 include the converter 122, the HD-SDI 124, and the genlock 126. Configure.

젠록(Genlock;126)은 프레임 동기화의 서브셋으로서 입력 영상프레임의 수평 및 수직 신호를 시간 동기화시키도록 동작한다. HD카메라가 컴포넌트 출력만 가지고 있을 경우, 신호변화기인 컨버터(122)가 HD카메라의 컴포넌트 출력을 SMPTE 292M 신호로 변환하고, HD-SDI 인터페이스(124)는 영상 및 음성 데이터를 다중화기(130)내의 프레임 버퍼로 저장하도록 구성된다.Genlock 126 operates as a subset of frame synchronization to time synchronize the horizontal and vertical signals of the input video frame. When the HD camera has only a component output, the converter 122, which is a signal changer, converts the component output of the HD camera into an SMPTE 292M signal, and the HD-SDI interface 124 converts video and audio data into the multiplexer 130. Configured to store into a frame buffer.

다중화기(130)는 환형버퍼(131), FBT(132), 동기부(133), 프레임 버퍼에 저장된 좌우안 영상의 메모리 주소를 참조하여 영상들을 크기를 변환하는 스케일러(134), 스케일러(134)에서 크기 변환된 영상들을 스테레오 스코픽 영상으로 변환하는 변환부(135), 변환된 영상을 랜더링하는 픽셀 버퍼(136), 렌더링된 영상을 바인딩하는 픽셀버퍼객체(PBO, pixel buffer object ;137) 및 바인딩된 영상을 메모리 공간으로 비동기 되읽음을 통하여 스테레오스코픽 영상을 형성하는 리드백(138)을 포함하여 구성되며 그래픽스 가속을 통하여 좌우안 영상의 크기변환을 하고 이때의 크기변환은 선형 보간 필터를 이용하여 가로축 또는 세로축을 2:1로 축소 변환한다. The multiplexer 130 refers to an annular buffer 131, an FBT 132, a synchronizer 133, and a scaler 134 and a scaler 134 for converting sizes of images by referring to memory addresses of left and right eye images stored in a frame buffer. A transform unit 135 for converting the size-converted images into a stereoscopic image, a pixel buffer 136 for rendering the converted image, a pixel buffer object (PBO) for binding the rendered image, and And a readback 138 that forms a stereoscopic image by asynchronously reading the bound image into the memory space, and converts the size of the left and right eye images through graphics acceleration. To reduce the horizontal or vertical axis to 2: 1.

환형버퍼(131)는 HD-SDI 인터페이스(124)에서 출력된 영상 및 음성 데이터를 저장한다. 이때 저장된 프레임은 추가적으로 각 미디어의 캡쳐 순간 등에 관한 시간(Timing)정보를 더 갖을 수도 있다. The annular buffer 131 stores video and audio data output from the HD-SDI interface 124. In this case, the stored frame may further have timing information regarding a capture moment of each media.

FBT(Frame buffer table;132)는 환형버퍼(131)에 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 기록하도록 구성되고 동기부(133)는 프레임 버퍼 테이블(132)에서 좌우안 프레임의 시간 정보를 읽어 동기화시킨 후 좌우 영상을 각각 출력하도록 구성된다.The frame buffer table (FBT) 132 is configured to record the memory address and time information of the frame signal stored in the annular buffer 131, and the synchronizer 133 stores the time information of the left and right eye frames in the frame buffer table 132. After reading and synchronizing, the left and right images are respectively output.

결국, 카메라(110,112)를 통하여 입력된 2개의 SMPTE 292M신호는 젠록(126)에 의하여 동기화되어 프레임으로 고유 메모리주소에 주기적으로 복사되고 Bigphysarea를 이용해 커스널 디바이스 메모리 영역인 프레임 버퍼에 해당 프레임을 복사하고 이때 프레임 버퍼에 저장된 영상의 형태는 4:2:2 크로마 포멧(Chroma format) 또는 RGB(A)를 갖는다.As a result, two SMPTE 292M signals input through the cameras 110 and 112 are synchronized by the genlock 126 to be periodically copied to a unique memory address as a frame, and the corresponding frame is copied to a frame buffer which is a custom device memory area using Bigphysarea. At this time, the image stored in the frame buffer has a 4: 2: 2 chroma format or RGB (A).

스케일러(134)는 영상들을 크기 변환할 때 가로축 또는 세로축을 2:1로 축소하여 변화하도록 구성한다. 즉, 측면배치의 경우 1920x1080 해상도의 좌우안 영상들은 960x1080 해상도의 갖게 추림(Decimation)되며 상하 배치시에는 1920x540으로 추림된다. 이때의 크기 변환은 실시간성 확보하기 위해 선형보간필터(Linear interpolation filter)를 이용한다. The scaler 134 is configured to reduce the horizontal axis or the vertical axis by 2: 1 when changing the size of the images. That is, in the case of the side-by-side arrangement, the left and right eye images having the resolution of 1920x1080 are decimated to have the 960x1080 resolution, and are arranged to be 1920x540 in the vertical arrangement. At this time, the size conversion uses a linear interpolation filter to secure real time.

변환부(135)는 스케일러(134)에서 추림된 좌우안 영상들은 측면 배치 또는 상하배치 형태의 1920x1080해상도를 갖는 스테레오스코픽 영상으로 변환한다.The conversion unit 135 converts the left and right eye images deduced by the scaler 134 into a stereoscopic image having a 1920x1080 resolution in the form of side-by-side or vertical placement.

이때의 영상 포멧은 RGB(A)를 적용한다. The video format at this time applies RGB (A).

픽셀버퍼(136)는 변환부(135)에서 변환된 측면배치영상을 랜더링하고, 픽셀버퍼객체(PBO,137)에서 바인딩된다. 그 결과는 리드백(138)에 의하여 CPU 제어 영역의 메모리 공간으로 비동기 되읽음(Read-back)된다.The pixel buffer 136 renders the side arrangement image converted by the converter 135 and is bound to the pixel buffer object PBO 137. The result is asynchronously read-back into the memory space of the CPU control area by the readback 138.

그리고, 픽셀버퍼(136)는 텍스쳐의 빠른 전송 및 비동기적 되읽음을 위한 방식을 제공하게 되는 데, GPU와 CPU가 해당 텍스쳐를 비동기적으로 처리함으로써 되읽음 성능을 높일 수 있다.In addition, the pixel buffer 136 provides a method for fast transmission and asynchronous reloading of the texture, and the GPU and the CPU may asynchronously process the corresponding texture to increase the read performance.

한편, 픽셀버퍼(136)를 사용하지 않을 경우에는 픽셀 데이터의 처리가 완료되어야만 되읽음을 위한 제어권을 넘겨 받지만 픽셀버퍼객체를 이용하게 되면 픽셀데이터의 처리와 되읽음을 분리할 수 있어 결과적으로 되읽음 성능이 향상되는 것이다.On the other hand, when the pixel buffer 136 is not used, the control of the pixel data is transferred only after the processing of the pixel data is completed, but when the pixel buffer object is used, the processing and the read back of the pixel data can be separated. Read performance is improved.

이때 되읽음을 통해 얻은 스테레오스코픽 영상은 RGB(A)형태를 가지며 색변환부(156)에서 색변환과정을 거치거나, 압축부(140)에서 압축과정을 거치거나 혹은 미디어 인터페이스(158)를 통한 신호 출력등에 사용된다.At this time, the stereoscopic image obtained through the read back has an RGB (A) form and undergoes a color conversion process in the color conversion unit 156, a compression process in the compression unit 140, or a media interface 158. Used for signal output.

그리고 색변환과정에서 RGB(A)영상은 4:2:2 크로마 포멧으로 변환된다. 이것은 크로마 포멧이 RGB(A)에 비해 낮은 대역폭을 요구하기 때문에 HD급 스테레오스코픽 영상의 무압축전송에 적합하고 JPEG, MPEG 등과 같이 고비율압축에도 사용되기 때문이다.In the color conversion process, the RGB (A) image is converted to 4: 2: 2 chroma format. This is because chroma format requires lower bandwidth than RGB (A), so it is suitable for uncompressed transmission of HD-class stereoscopic video and is also used for high ratio compression such as JPEG and MPEG.

이러한 다중화기는 영상 패킷부는 측면 배치 및 상하 배치 포맷을 지원하고 출력 포맷으로 네트워크 스트림 또는 신호 출력(SMPTE 292M, HDMI, 콤포넌트)을 지원할 수 있도록 구성된다.The multiplexer is configured such that the video packet unit supports side arrangement and vertical placement formats, and supports network streams or signal outputs (SMPTE 292M, HDMI, components) as output formats.

상술한 바와 같이 색변환된 크로마 포멧 영상은 네트워크 전송을 위해서 영상 RTP 패킷부(150) 및 음성 RTP 패킷부(160)에 의해 IP 패킷화되어 네트워크 스트림으로 전송된다.As described above, the color-formatted chroma-format video is IP-packed by the video RTP packet unit 150 and the voice RTP packet unit 160 for network transmission, and transmitted as a network stream.

영상의 무압축전송은 부호화에 필요한 처리지연문제를 해결하여 실시간 전송을 가능하게 하고, MPEG부호화 등에서 발생하는 오류전파(error propagation)를 최소화시켜 영상의 원 품질을 보장한다..The uncompressed transmission of video solves the processing delay problem necessary for encoding to enable real-time transmission and minimizes the error propagation caused by MPEG encoding to guarantee the original quality of the video.

영상 RTP 패킷부(150)는 4:2:2 크로마 포맷, RGB(A) 포맷, 또는 DXT압축 포맷의 영상 프레임을 네트워크 스트림으로 전송하도록 구성된다.The video RTP packet unit 150 is configured to transmit video frames of 4: 2: 2 chroma format, RGB (A) format, or DXT compression format to a network stream.

이러한 신호 출력 기능을 통해 비용 효율적인 스테레오스코픽 다중화가 가능한 독립형(stand-alone)시스템을 구축할 수 있게 된다.This signal output capability enables a cost-effective stereoscopic multiplexing to build a stand-alone system.

그리고, 스테레오스코픽 영상의 실시간 전송이 가능한 DXT(또는 S3TC)기반의 저비율 압축법을 적용하는 것이 특징이다. DXT압축은 블록 절단 부호화(block truncation coding)방식의 프레임내(Infra-frame) 손실압축(Lossy compression)기법이며 4:1 또는 6:1의 고정비트 압축률을 갖는다.In addition, a low-rate compression method based on DXT (or S3TC) capable of real-time transmission of stereoscopic images is characterized. DXT compression is an in-frame lossy compression technique using block truncation coding and has a fixed bit compression ratio of 4: 1 or 6: 1.

또한, DXT는 컴퓨터 내부의 그래픽 가속을 위해 개발되었지만 하드웨어의 도움없이 실시간 압축이 가능하기 때문에 네트워크 인터페이스(170)를 통하여 전송할 수 있는 것이다.In addition, although DXT was developed for graphic acceleration inside a computer, it can be transmitted through the network interface 170 because real-time compression is possible without the help of hardware.

되읽음된 영상은 미디어 인터페이스 카드(예, HD-SDI 또는 HDMI카드)를 이용해 원 입력신호에 상응하는 출력신호를 생성할 수 있음도 물론이다.Of course, the read back image may generate an output signal corresponding to the original input signal using a media interface card (eg, HD-SDI or HDMI card).

그리고, 되읽음을 통해 얻은 스테레오스코픽 영상은 DXT포멧으로 압축되고 PCM음성 데이터는 IP패킷화된 후 네트워크를 통해 전송된다.Then, the stereoscopic video obtained through the read back is compressed in the DXT format, and the PCM audio data is transmitted through the network after being IP packetized.

상술한 바와 같은 과정을 거쳐 송신된 미디어 프레임들은 동기화부(230)에 의해 미디어간(inter-media) 동기화가 수행된다. 이때, 미디어간 동기화는 음성과 영상의 RTP timestamp를 이용한다. Media frames transmitted through the above-described process are inter-media synchronized by the synchronizer 230. At this time, the media synchronization uses RTP timestamp of audio and video.

이렇게 네트워크 인터페이스(170)를 통하여 전송된 스테레오스코픽 영상은 수신부(200)에서 복호화되어 영상이나 음성으로 출력된다.The stereoscopic video transmitted through the network interface 170 is decoded by the receiver 200 and output as video or audio.

수신부(200)는 GPU가속을 이용하여 복호화(Decoder)하는 영상패킷부(210)와 영상패킷부(210)에서 복호화된 영상은 함께 전송받은 음성을 음성패킷버퍼(220)에서 처리한 후 동기화부(230)에서 미디어 동기화를 거친 후 그래픽스나 사운드 카드와 같은 범용 미디어 인터페이스로 구성된 출력부(240)를 통해 출력된다.The receiving unit 200 processes the voice received from the image packet unit 210 and the image decoded by the image packet unit 210 that are decoded using GPU acceleration together in the voice packet buffer 220 and then synchronizes the unit. After media synchronization at 230, it is output through an output unit 240 configured as a general-purpose media interface such as graphics or a sound card.

영상버퍼(211)에 수신된 신호는 디코더(212)에서 GPU가속을 이용해 복호화되고 복호화된 영상은 CPU제어 영역의 메모리공간으로 이동되지 않고 GPU내부에서 온 스크린(on-screen) 픽셀 버퍼(213,214)를 통해 랜더링할 수 있기 때문에 되읽음을 생략할 수 있다.The signal received by the image buffer 211 is decoded using the GPU acceleration in the decoder 212, and the decoded image is not moved to the memory space of the CPU control area, but is on-screen pixel buffers 213 and 214 from inside the GPU. You can omit reloading because you can render through.

이때의 출력신호도 무압축포맷(SMPTE 292M, HDMI 및 콤포넌트)을 지원하는 미디어 인터페이스를 통해 변환된다.The output signal is then converted via a media interface that supports uncompressed formats (SMPTE 292M, HDMI and components).

디코더(212)에서 복호화가 완료된 스테레오스코픽 영상은 픽셀버퍼(213)에 랜더링되고 PBO(215)를 이용하여 CPU관리 영역의 메모리 공간으로 이동된다. 그 후 해당 스테레오스코픽 영상은 PCM음성데이터와 미디어간 동기화를 수행한 후 재생된다.The stereoscopic video having been decoded by the decoder 212 is rendered in the pixel buffer 213 and moved to the memory space of the CPU management area using the PBO 215. After that, the stereoscopic video is reproduced after performing synchronization between PCM audio data and media.

즉, 미디어간 동기화를 완료한 음성 및 영상 프레임은 버퍼에 저장된 후, 미디어내(intramedia) 동기화를 수행한다. 미디어내 동기화는 정의된 타이머 인터럽트의 발생시간에 기초한다. 동기화를 완료한 영상 프레임은 재생 버퍼에 입력된 후 GPU 가속에 의해 복호화되며 재생을 위해 GBR 색공간의 형태로 변환된다.That is, the audio and video frames that have completed the inter-media synchronization are stored in the buffer and then perform the intramedia synchronization. In-media synchronization is based on the occurrence time of the defined timer interrupt. The synchronized video frames are input to the playback buffer and then decoded by GPU acceleration and converted into the GBR color space for playback.

상술한 바와 같이 DXT 부호화는 입력 색공간 형태로 RGB(A)를 수용한다. 이를 위해서 8비트 YCbCr 색공간을 갖는 영상 프레임을 캡쳐해 32비트 RGBA 색공간으 로 변환하는 방법과 32비트 RGBA를 직접 캡쳐해 부호화하는 방법이 있다.As described above, DXT coding accommodates RGB (A) in the form of an input color space. To do this, there is a method of capturing an image frame having an 8-bit YCbCr color space and converting it to a 32-bit RGBA color space, and a method of directly capturing and encoding 32-bit RGBA.

색공간 변환을 위한 처리 부하(processing load)나 직접 캡쳐 후 복사할 때 발생하는 메모리 대입연산은 높은 시스템 부하를 발생시키므로 2K 영상의 실시간 처리 성능을 떨어트린다. 실제로, 표준 C의 memcpy() 함수로 32비트 RGBA 영상을 메모리 복사한 후 어셈블리 구현을 이용해 DXT1 부호화하면 대용량 메모리 복사의 영향으로 인해 초당 약 27 프레임 이하의 처리 성능을 보인다. 32비트 RGBA는 16비트 YCbCr에 비해 2배의 메모리공간을 필요로 하며, 초당 약 250Mbytes의 실시간 메모리 복사가 요구된다. The processing load for color space conversion or the memory assignment when copying directly after capturing creates a high system load, which reduces the real-time processing performance of 2K images. In fact, if you copy memory 32-bit RGBA images using standard C's memcpy () function, and then use DXT1 encoding using an assembly implementation, the processing performance of about 27 frames per second or less is due to the effects of large memory copying. 32-bit RGBA requires twice as much memory space as 16-bit YCbCr and requires about 250 Mbytes of real-time memory copy per second.

이하, 도면을 참조하여 본 발명의 일실시예에 의한 스테레오스코픽 다중화 및 저비율 압축 전송 방법에 대하여 설명한다.Hereinafter, a stereoscopic multiplexing and a low rate compression transmission method according to an embodiment of the present invention will be described with reference to the drawings.

도 5는 본 발명의 일실시예에 의한 압축 및 패킷화 단계를 포함하지 않는 다중화단계를 설명하기 위한 흐름도로서, 카메라(110)0로부터 좌우안 영상을 입력받으면(S310) 입력된 영상을 프레임으로 동기화하여 프레임버퍼에 저장하고(S320), 그리고, 프레임 버퍼의 영상프레임을 그래픽스 가속을 이용하여 다중화하는 단계(S330)와 그리고 영상을 출력하는 단계(S340)를 포함하여 이루어진다.5 is a flowchart illustrating a multiplexing step that does not include a compression and packetization step according to an embodiment of the present invention. When the left and right eye images are received from the camera 110 (S310), the input image is converted into a frame. Synchronizing and storing in the frame buffer (S320), and multiplexing the image frame of the frame buffer using graphics acceleration (S330) and outputting the image (S340).

단계 S310은 컴포넌트 출력을 SMPTE 292M신호로 변환하도록 구성하고, 단계 S320은 젠록에 의하여 입력 영상프레임의 수평 및 수직 신호를 시간 동기화시키는 단계(S321), SMPTE 292M신호를 환형버퍼에 저장하는 단계(S322), 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 FBT에 기록하는 단계(S323), 그리고 프레임 버퍼 테이블에서 좌우안 프레임의 시간 정보를 읽어 동기화시킨 후 좌우 영상을 각각 출력하는 단계를 포함하여 이루어진다(S324).Step S310 is configured to convert the component output into an SMPTE 292M signal, step S320 is time synchronization of the horizontal and vertical signals of the input video frame by genlock (S321), and storing the SMPTE 292M signal in an annular buffer (S322). Recording the memory address and time information of the stored frame signal in the FBT, and reading and synchronizing the time information of the left and right eye frames from the frame buffer table and outputting the left and right images respectively ( S324).

특히 버퍼에 저장되는 영상은 4:2:2 크로마 포멧 또는 RGB(A)의 형태로 저장되고 저장시간 정보등을 FBT에 기록할 때는 상기 SMPTE 292M 신호를 하드웨어 내부에서 프레임화하여 고유 메모리주소에 주기적으로 복사하는 것을 특징으로 한다.In particular, the image stored in the buffer is stored in 4: 2: 2 chroma format or RGB (A) format, and when recording the storage time information in FBT, the SMPTE 292M signal is framed in hardware and periodically stored in a unique memory address. It is characterized by copying.

단계 S330은 그래픽스 가속을 통하여 좌우안 영상을 다중화하는 것을 특징으로 한다. 상세하게는 스케일러에서 프레임 버퍼에 저장된 좌우안 영상의 메모리 주소를 참조하여 영상들을 크기변환하는 단계(S332)와 크기 변환된 영상들을 변화부에서 스테레오 스코픽 영상으로 변환하는 단계(S333), 변환된 영상을 랜더링하는 단계(S334), 렌더링된 영상을 바인딩하는 단계(S335) 및 바인딩된 영상을 메모리 공간으로 비동기 되읽음을 통하여 상기 스테레오스코픽 영상을 형성하는 단계(336)를 포함하여 이루어진다.In operation S330, the left and right eye images are multiplexed through graphics acceleration. In detail, the scaler converts the images by referring to the memory addresses of the left and right eye images stored in the frame buffer (S332), and converts the size-converted images into stereoscopic images by the change unit (S333). Rendering (S334), binding the rendered image (S335), and forming the stereoscopic image by asynchronously reading the bound image into the memory space (336).

상기의 본 발명에 의한 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 기록 장치이다. 예를 들어, ROM, RAM, Cache, 하드 디스크, 광디스크, 플로피 디스크, 자기 테이프 등이 있다. 또한, 캐리어 웨이브의 형태로 구현되는 것도 포함하며, 예를 들어 인터넷을 통한 전송 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.The method according to the present invention can be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium is a recording device that stores data that can be read by a computer system. For example, ROM, RAM, Cache, hard disk, optical disk, floppy disk, magnetic tape and the like. In addition, the carrier wave may be implemented in the form of a carrier wave, for example, transmission through the Internet. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에서 본 발명은 기재된 구체 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.Although the present invention has been described in detail only with respect to the described embodiments, it will be apparent to those skilled in the art that various changes and modifications can be made within the technical scope of the present invention, and such modifications and modifications belong to the appended claims.

도 1은 DXT1 부호화를 설명하기 위한 도면,1 is a diagram for explaining DXT1 encoding;

도 2는 본 발명의 일실시예에 의한 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치를 예시한 블록도,2 is a block diagram illustrating an apparatus for stereoscopic multiplexing and low rate compression transmission of a high quality image through graphics acceleration according to an embodiment of the present invention;

도 3은 도 2의 장치 중 다중화기기의 상세 블록도를 도시한 도면,3 is a detailed block diagram of a multiplexing device among the apparatus of FIG. 2;

도 4는 본 발명의 일실시예에 의한 수신부의 상세 블록도를 예시한 도면,4 is a diagram illustrating a detailed block diagram of a receiver according to an embodiment of the present invention;

그리고,And,

도 5는 본 발명의 일실시예에 의한 압축 및 패킷화 단계를 포함하지 않는 다중화단계를 설명하기 위한 흐름도이다.5 is a flowchart illustrating a multiplexing step that does not include a compression and packetization step according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호 설명><Description of the symbols for the main parts of the drawings>

110 : 카메라 120 : 인터페이스110: camera 120: interface

122 : 컨버터 124 : HD-SDI122: converter 124: HD-SDI

126 : 젠록(Genlock) 130 : 다중화기126: Genlock 130: Multiplexer

131 : 환형버퍼 132 : FBT131: circular buffer 132: FBT

133 : 동기부 134 : 스케일러133: synchronizer 134: scaler

135 : 변환부 136 : 픽셀버퍼135: conversion unit 136: pixel buffer

137 : PBO 138 : 리드백(Rwad-Back)137: PBO 138: lead-back

140 : 엔코더 150 : 영상 RTP 패킷부140: encoder 150: video RTP packet part

156 : 색변환부 158 : 인터페이스156: color conversion unit 158: interface

160 : 오디오 RTP 패킷화 170 : 네트워크 인터페이스160: audio RTP packetization 170: network interface

200 : 수신부200: receiver

Claims (24)

삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 입력되는 영상프레임을 캡쳐하여 컴포넌트 출력을 SMPTE 292M신호로 변환하는 신호변환기를 포함하는 미디어 캡쳐 인터페이스;A media capture interface including a signal converter for capturing an input image frame and converting a component output into an SMPTE 292M signal; 상기 입력 영상프레임의 수평 및 수직 신호를 시간 동기화시키는 젠록; A genlock for time synchronizing horizontal and vertical signals of the input image frame; 상기 SMPTE 292M신호를 프레임으로 저장하는 환형 버퍼와 상기 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 기록하는 프레임 버퍼 테이블 및 상기 프레임 버퍼 테이블에서 좌우안 프레임의 시간 정보를 읽어 동기화시킨 후 좌우 영상을 각각 출력하는 동기부로 구성되어 상기 영상프레임을 실시간으로 다중화하는 프레임 버퍼를 구비한 다중화기; A circular buffer for storing the SMPTE 292M signal as a frame, a frame buffer table for recording memory addresses and time information of the stored frame signal, and time information of left and right eye frames are synchronized from the frame buffer table, and the left and right images are respectively read. A multiplexer having a frame buffer configured to output a synchronization unit to multiplex the image frame in real time; 상기 프레임 버퍼의 영상프레임을 압축하는 엔코더; 및An encoder for compressing an image frame of the frame buffer; And 상기 엔코더의 압축영상을 패킷화하여 송신하는 영상 알티피(RTP) 패킷부;An image RTP packet unit for packetizing and transmitting the compressed image of the encoder; 를 포함하고 Including 상기 다중화기는The multiplexer 상기 프레임 버퍼에 저장된 좌우안 영상의 메모리 주소를 참조하여 영상들을 크기변환하는 스케일러와, 상기 크기 변환된 영상들을 스테레오 스코픽 영상으로 변환하는 변환부와 상기 변환된 영상을 랜더링하는 픽셀 버퍼와 상기 렌더링된 영상을 바인딩하는 픽셀버퍼객체 및 상기 바인딩된 영상을 메모리 공간으로 비동기 되읽음을 통하여 상기 스테레오스코픽 영상을 형성하는 리드백을 포함하여 구성하고, 그래픽스 가속을 통하여 좌우안 영상을 선형 보간 필터를 이용하여 가로축 또는 세로축을 2:1로 축소하는 크기변환과 크기 변환된 영상을 다중화하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.A scaler for resizing images by referring to memory addresses of left and right eye images stored in the frame buffer, a converter for converting the resized images to a stereoscopic image, a pixel buffer for rendering the converted image, and the rendered image And a pixel buffer object for binding an image, and a readback for forming the stereoscopic image by asynchronously reading the bound image into a memory space, and using a linear interpolation filter for left and right eye images through graphics acceleration. A stereoscopic multiplexing and low rate compression transmission device characterized by multiplexing a size-converted image and a scaled-down 2: 1 reduction of the horizontal or vertical axis. 제 8항에 있어서,The method of claim 8, 상기 픽셀버퍼객체는The pixel buffer object 상기 픽셀 데이터의 처리와 되읽음을 분리하여 처리하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.And stereoscopic multiplexing and low rate compression transmission apparatus for separating and processing the pixel data. 제 8항에 있어서,The method of claim 8, 상기 리드백의 스테레오스코픽 영상은The stereoscopic video of the readback 색변환 과정 또는 압축과정 또는 미디어 인터페이스를 통하여 영상이 출력되는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.An apparatus for stereoscopic multiplexing and low rate compression transmission, characterized in that an image is output through a color conversion process, a compression process, or a media interface. 제 8항에 있어서,The method of claim 8, 상기 다중화기는The multiplexer 측면 배치 및 상하 배치 포맷을 지원하고 출력 포맷으로 네트워크 스트림 또 는 신호출력(SMPTE 292M, HDMI, 콤포넌트)을 지원하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.A stereoscopic multiplexing and low rate compression transmission device supporting lateral and vertical placement formats and supporting network streams or signal outputs (SMPTE 292M, HDMI, Component) as output formats. SMPTE 292M를 입력 신호원으로 하고 젠록에 의해 수평 및 수직 신호가 시간 동기화되며 프레임 버퍼 테이블을 통해 영상 간 동기화를 수행하는 영상 캡쳐부를 갖는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.A stereoscopic multiplexing and low rate compression transmission device having an SMPTE 292M as an input signal source, and having a video capture unit for time-synchronizing horizontal and vertical signals by genlock and performing inter-image synchronization through a frame buffer table. 제 12항에 있어서,The method of claim 12, 상기 프레임 버퍼 테이블은The frame buffer table is 상기 SMPTE 292M신호를 저장하고 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 기록하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.And storing the SMPTE 292M signal and recording the memory address and time information of the stored frame signal. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete (a)좌우안 영상을 입력받아 컴포넌트 출력을 SMPTE 292M신호로 변환하는 신호변환하는 단계;(a) receiving a left and right eye image and converting the component output into an SMPTE 292M signal; (b)상기 입력된 영상을 프레임으로 동기화 및 다중화하여 저장하는 단계; 및(b) synchronizing, multiplexing and storing the input image into a frame; And (c)상기 저장된 영상프레임을 압축하고 패킷화하여 출력하는 단계;(c) compressing and storing the stored video frame and outputting the packetized image frame; 를 포함하고, Including, 상기 (b)단계는Step (b) is 스케일러에서 프레임 버퍼에 저장된 좌우안 영상의 메모리 주소를 참조하여 영상들을 크기변환하는 단계;Resizing the images by referring to the memory addresses of the left and right eye images stored in the frame buffer in the scaler; 상기 크기 변환된 영상들을 스테레오 스코픽 영상으로 변환하는 단계;Converting the scaled images into a stereoscopic image; 상기 변환된 영상을 랜더링하는 단계;Rendering the converted image; 상기 렌더링된 영상을 바인딩하는 단계; 및Binding the rendered image; And 상기 바인딩된 영상을 메모리 공간으로 비동기 되읽음을 통하여 상기 스테레오스코픽 영상을 형성하는 단계;Forming the stereoscopic image by asynchronously reading the bound image into a memory space; 를 포함하여 이루어지게 하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 방법.Stereoscopic multiplexing and low rate compression transmission method characterized in that it comprises a. 제 22항에 있어서,23. The method of claim 22, 상기 되읽음을 통하여 형성된 스테레오스코픽 영상은The stereoscopic image formed through the read back is 색변환 과정 후 미디어 인터페이스를 통한 출력 또는 색변환 과정 생략 후 미디어 인터페이스를 통한 출력 또는 압축과정 후 네트워크 인터페이스를 통한 출력 중 어느 하나 이상으로 출력되는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 방법.A stereoscopic multiplexing and low rate compression transmission method, characterized in that the output through the media interface after the color conversion process or the color conversion process is omitted, the output through the media interface or the output through the network interface after the compression process. 삭제delete
KR1020080113563A 2008-11-14 2008-11-14 System and method for multiplexing stereoscopic high-definition video through gpu acceleration and transporting the video with light-weight compression and storage media having program source thereof KR100970992B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080113563A KR100970992B1 (en) 2008-11-14 2008-11-14 System and method for multiplexing stereoscopic high-definition video through gpu acceleration and transporting the video with light-weight compression and storage media having program source thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080113563A KR100970992B1 (en) 2008-11-14 2008-11-14 System and method for multiplexing stereoscopic high-definition video through gpu acceleration and transporting the video with light-weight compression and storage media having program source thereof

Publications (2)

Publication Number Publication Date
KR20100054586A KR20100054586A (en) 2010-05-25
KR100970992B1 true KR100970992B1 (en) 2010-07-20

Family

ID=42279296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080113563A KR100970992B1 (en) 2008-11-14 2008-11-14 System and method for multiplexing stereoscopic high-definition video through gpu acceleration and transporting the video with light-weight compression and storage media having program source thereof

Country Status (1)

Country Link
KR (1) KR100970992B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383839B1 (en) * 2010-10-27 2014-04-10 도시바삼성스토리지테크놀러지코리아 주식회사 Multi-media system
US9093015B2 (en) 2012-01-27 2015-07-28 Samsung Electronics Co., Ltd. Display apparatus, upgrade apparatus, control method thereof, and display system
KR101538114B1 (en) * 2014-05-23 2015-07-23 가천대학교 산학협력단 Video processing apparatus and method for seamless video playing in a mobile smart device based on multi-codec

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040058497A (en) * 2002-12-27 2004-07-05 한국전자통신연구원 A Method of Coding and Decoding Stereoscopic Video and A Apparatus for Coding and Decoding the Same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040058497A (en) * 2002-12-27 2004-07-05 한국전자통신연구원 A Method of Coding and Decoding Stereoscopic Video and A Apparatus for Coding and Decoding the Same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문

Also Published As

Publication number Publication date
KR20100054586A (en) 2010-05-25

Similar Documents

Publication Publication Date Title
US5995150A (en) Dual compressed video bitstream camera for universal serial bus connection
JP5189167B2 (en) Method and system for processing images
US20030156188A1 (en) Stereoscopic video
EP2234406A1 (en) A three dimensional video communication terminal, system and method
CN1981522A (en) Stereoscopic television signal processing method, transmission system and viewer enhancements
KR20160034282A (en) Information processing device and method
US9601156B2 (en) Input/output system for editing and playing ultra-high definition image
US8810628B2 (en) Image processing apparatus and image processing method
KR101528863B1 (en) Method of synchronizing tiled image in a streaming service providing system of panoramic image
WO1999004566A1 (en) Method and system for multiplexing image signal, method and system for demultiplexing image signal, and transmission medium
KR20010022752A (en) Trick play signal generation for a digital video recorder
CN1399468A (en) Multi-channel video coding device and method
JP2014502443A (en) Depth display map generation
US10334219B2 (en) Apparatus for switching/routing image signals through bandwidth splitting and reduction and the method thereof
CA2441473C (en) Method for compressing and decompressing video data
US7593580B2 (en) Video encoding using parallel processors
JP2016092837A (en) Video compression apparatus, video reproduction apparatus and video distribution system
JP4086344B2 (en) Image transmitting apparatus and control method
CN112235606A (en) Multi-layer video processing method, system and readable storage medium
KR100970992B1 (en) System and method for multiplexing stereoscopic high-definition video through gpu acceleration and transporting the video with light-weight compression and storage media having program source thereof
EP2312859A2 (en) Method and system for communicating 3D video via a wireless communication link
JP3850015B2 (en) Digital video signal recording / reproducing apparatus and transmission apparatus
CN101188765A (en) Method and apparatus for encoding and decoding RGB image
WO2016006746A1 (en) Device for super-resolution image processing
CN111406404A (en) Compression method, decompression method, system and storage medium for obtaining video file

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130531

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150707

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180711

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 10