KR20100054586A - 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체 - Google Patents

그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체 Download PDF

Info

Publication number
KR20100054586A
KR20100054586A KR1020080113563A KR20080113563A KR20100054586A KR 20100054586 A KR20100054586 A KR 20100054586A KR 1020080113563 A KR1020080113563 A KR 1020080113563A KR 20080113563 A KR20080113563 A KR 20080113563A KR 20100054586 A KR20100054586 A KR 20100054586A
Authority
KR
South Korea
Prior art keywords
image
stereoscopic
multiplexing
frame
low rate
Prior art date
Application number
KR1020080113563A
Other languages
English (en)
Other versions
KR100970992B1 (ko
Inventor
조진용
곽재승
Original Assignee
한국과학기술정보연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술정보연구원 filed Critical 한국과학기술정보연구원
Priority to KR1020080113563A priority Critical patent/KR100970992B1/ko
Publication of KR20100054586A publication Critical patent/KR20100054586A/ko
Application granted granted Critical
Publication of KR100970992B1 publication Critical patent/KR100970992B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 방법과 그 프로그램 소스를 저장한 기록매체가 개시된다. 그 방법은 하드웨어적인 신호처리 대신 소프트웨어적인 데이터처리를 통해 스테레오스코픽 3D 영상을 실시간으로 제작함으로써, 스테레오스코픽 영상 전송시스템의 구축 비용을 절감하고, 실시간 네트워크 전송을 가능하게 해 시스템의 활용성을 높이며, 상용 스테레오스코픽 3D TV 등에 활용 가능할 뿐만 아니라 소프트웨어 코덱을 이용해 비압축 HDTV에 준하는 실시간성을 제공하며 네트워크 대역폭에 대한 요구를 1/6로 줄임으로써 시스템 및 네트워크 측면의 유연성(flexibility)을 높일 수 있는 효과가 있다.
스테레오스코픽, 다중화기, 저비율압축, 미디어전송

Description

그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체{SYSTEM AND METHOD FOR MULTIPLEXING STEREOSCOPIC HIGH-DEFINITION VIDEO THROUGH GPU ACCELERATION AND TRANSPORTING THE VIDEO WITH LIGHT-WEIGHT COMPRESSION AND STORAGE MEDIA HAVING PROGRAM SOURCE THEREOF}
본 발명은 고화질 영상 송수신장치에 관한 것으로, 스테레오스코픽 3D 시스템이 그래픽스 가속을 이용해 고화질 HD급 영상의 양안시차 방식 스테레오스코픽 다중화 및 송신측 신호 출력, 네트워크 스트림의 생성 및 실시간 전송, 비용 효율적인 재생 및 수신측 신호 출력 등을 처리할 수 있는 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체에 관한 것이다.
광 네트워크 기술의 발달은 첨단 응용 데이터의 고속 전송을 위해 수십 Gbps의 백본 대역폭을 제공하는 단계에 있다. 네트워크 인프라의 확대와 시스템 자원의 폭발적인 증가는 CineGrid, 비압축 HDTV, Super Hi-Vision과 같은 수백 Mbps에서 수 Gbps급 광대역 멀티미디어 응용의 현실화 가능성을 높이고 있다. 광대역화를 촉진시키는 원인으로는 실시간성의 확보와 고해상도 영상에 대한 요구 증가를 들 수 있다.
H.264 하드웨어 CODEC은 10Mbps 이하의 네트워크 대역폭으로 풀 HD급(1080p, 2K) 영상의 실시간 전송(약 100ms 이하의 코덱 지연)을 가능하게 한다. 24Gbps의 대역폭이 필요한 8K 영상은 H.264 하드웨어 CODEC을 이용해 약 128Mbps로 실시간 압축가능하다. 또한, JPEG 2000 하드웨어 CODEC은 디지털 시네마용 4K 영상을 약 500~600Mbps의 데이터율을 갖도록 실시간 압축할 수 있다. 하지만, 이러한 하드웨어 CODEC들은 유연성이 떨어지며 매우 고가이기 때문에 R&E (Research & Education) 영역에 적용하기 어렵고 상용 방송 등의 제한된 영역에서 활용될 것으로 보인다.
비압축 HDTV는, 하드웨어 코덱과 비교했을 때 상대적으로 낮은 구축비용, 저지연, 고품질 등의 장점이 있지만 기본적으로 1Gbps 이상의 네트워크 대역폭이 필요하다는 문제점이 있다. 국내외 연구망들이 수십 Gbps의 백본 대역폭을 제공하지만 대부분의 종단 사용자들은 1Gbps급 접속망(Access network)에 연동되어 있기 때문에 시스템의 활용이 극히 제한적인 상태이다.
종래의 스테레오스코픽 3D 다중화기는 신호처리방식의 하드웨어 제품으로 상용 방송 등 고품질 서비스를 목적으로 개발되었기 때문에 비용 효율적인 측면보다는 고품질 특성을 보장하기 위한 목적이 크다.
스테레오스코픽 및 다시점 영상의 압축 및 전송을 위해 MPEG2 다시점 프로파 일 및 H.264 확장 코덱 등의 기술이 제안되었고, JVT(Joint video team)을 중심으로 다시점 비디오 압축(Multi-view video coding)에 관한 표준화가 진행 중이나, 현시점에서 HD급 스테레오스코픽 또는 다시점 영상의 시점간 중복성을 고려해 실시간 압축할 수 있는 현실적인 대안이 없기 때문에 좌/우 시점영상(Left/right view sequence)을 순차적으로 압축하는 등의 방법이 이용된다.
실시간성을 높이기 위한 소프트웨어 CODEC으로 DXT 부호화가 있다 DXT 부호화는 텍스쳐 압축용으로 개발되어 S3TC(S3 texture compression)으로 불리기도 하며, BTC (block truncation coding)를 적응화하여 개발된 Color Cell Compression 기법과 매우 유사하다. DXT 역시 늦은 부호화 속도로 인해 주로 오프라인 처리를 위해 사용되었으나, SSE2(streaming SIMD extensions 2)를 이용한 어셈블리 구현을 통해 실시간 부호화가 가능해졌다. FastDXT는 이러한 어셈블리 구현을 보다 이식성(portability)있게 재구현한 개발 결과물이다. GPU(graphics processing unit)를 이용한 실시간 DXT 부호화도 가능하지만 그래픽카드의 픽셀리드백(pixel read-back) 속도에 따라 성능이 결정되는 문제가 있다
FastDXT를 이용한 스트리밍 응용들은 SAGE(scalable adaptive graphics environment)와 UltraGrid 환경에 실험적으로 적용한 예가 있다. Luc의 연구는 FastDXT를 이용해 2K 및 4K 영상을 실시간 전송한 실험이라는 점에서 의미가 있다. 하지만, 저장형 콘텐츠에 대한 전송실험으로 실시간 영상의 스트리밍 응용에 대한 성능 분석은 포함하고 있지 않다. Petr의 연구는 2K 영상의 실시간 DXT 부호화 전송 및 재생에 관한 최초의 실험이라는 점에서 본 발명의 내용과 일부 유사성이 있 다. 하지만, 다중 쓰레드 기반의 스칼라형 구현을 통해 영상을 부호화했기 때문에 낮은 사양의 시스템에서는 실시간 부호화가 어려운 문제가 있다. 또한, YCbCr 색공간 형태를 변환과정 없이 직접 부호화하므로 영상의 일그러짐 현상이 발생할 때, 색상 변화가 띠 모양으로 보이는 밴딩(banding) 현상이 RGBA 입력에 비해 큰 단점이 있다.
고품질 음성의 지원은 사용자간 상호작용을 향상시키고 응용분야의 확장(문화예술 등)을 위해 필수적인 요소이다. SAGE 환경은 16비트 44.1Khz 스테레오 음성원(audio source)을 제공하며 UltraGrid는 기존의 인터넷 회의용 툴인 RAT(robust addio tool)을 이용한다. RAT과 같은 인터넷 음성 툴을 이용할 경우, 미디어간 동기화의 문제가 발생할 수 있으며 응용 툴의 특성상(손실 환경하의 적응성 고려) 고품질 음성을 활용하기 힘들다.
본 발명은 하드웨어적인 신호처리(Signal processing) 대신 소프트웨어적인 데이터처리(Data processing)를 통해 스테레오스코픽 3D 영상을 실시간으로 제작하는 방법으로 고성능 PC급 워크스테이션이 영상의 획득(Capture), 크기변환(Scale) 및 다중화(Multiplexing)를 소프트웨어적으로 수행해 원 입력신호와 상응하는 출력신호 또는 네트워크 전송을 위한 패킷 스트림을 발생키는 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 방법을 제공하는 것을 제1 목적으로 한다.
또한, 본 발명은 기존 방송/편집용 장비와의 호환성 및 네트워크 대역폭 문제를 고려해 측면배치(side-by-side) 및 상하배치(up-and-down) 스테레오스코픽 포맷을 적용하고, 고품질 스테레오스코픽 콘텐츠의 편집 등을 용이하게 하기 위해 무압축 전송을 가능하게 하고, 접속망(Access network)에서의 병목 문제로 인한 활용성을 높이기 위한 대안으로 DXT 압축을 적용해 비용 효율적인 실시간 전송을 가능하게 하는 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 방법을 제공하는 것을 제2 목적으로 한다.
그리고, 본 발명은 스테레오스코픽 3D 영상의 다중화, 전송 및 재생을 위한 시스템 구현, 소프트웨어 파이프라인에서 발생할 수 있는 병목(bottleneck)의 제거 및 성능향상, 영상의 실시간 크기 변환과 다중화 등 소프트웨어적인 실시간 처리를 위해 필요한 기술적 문제를 해결할 수 있는 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 방법을 제공하는 것을 제3 목적으로 한다.
따라서, 이러한 목적을 달성하기 위한 스테레오스코픽 다중화 및 저비율 압축 전송 장치는 입력되는 영상프레임을 캡쳐하는 미디어 캡쳐 인터페이스, 입력 영상프레임의 수평 및 수직 신호를 시간 동기화시키는 젠록, 영상프레임을 실시간으로 다중화하는 다중화기와 프레임 버퍼의 영상프레임을 압축하고 패킷화하여 송신하는 엔코더와 영상 RTP 패킷부를 포함하여 구성된다.
상기 미디어 캡쳐 인터페이스는 컴포넌트 출력을 SMPTE 292M신호로 변환하는 신호변환기를 더 포함하는 것을 특징으로 하고, 다중화기는 상기 SMPTE 292M신호를 저장하는 환형 버퍼, 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 기록하는 프레임 버퍼 테이블, 프레임 버퍼 테이블에서 좌우안 프레임의 시간 정보를 읽어 동기화시킨 후 좌우 영상을 각각 출력하는 동기부를 더 포함하여 구성되는 것을 특징으로 한다.
또한, 프레임 버퍼에 저장된 영상은 4:2:2 크로마 포멧 또는 RGB(A)의 형태로 저장되고, 프레임 버퍼는 SMPTE 292M 신호를 내부 버퍼에서 프레임화하여 메모리 직접 참조를 통하여 고유 메모리주소에 주기적으로 복사하도록 하는 것이 바람직하다.
다중화기는 그래픽스 가속을 통하여 좌우안 영상의 크기변환을 하는 것을 특 징으로 하며 이때의 크기변환은 선형 보간 필터를 이용하여 가로축 또는 세로축을 2:1로 축소하는 것을 특징으로 한다.
다중화기는 프레임 버퍼에 저장된 좌우안 영상의 메모리 주소를 참조하여 영상들을 크기변환하는 스케일러, 크기 변환된 영상들을 스테레오 스코픽 영상으로 변환하는 변환부, 변환된 영상을 랜더링하는 픽셀 버퍼, 렌더링된 영상을 바인딩하는 픽셀버퍼객체 및 바인딩된 영상을 메모리 공간으로 비동기 되읽음을 통하여 상기 스테레오스코픽 영상을 형성하는 리드백을 포함하여 구성하도록 하는 것이 더욱 바람직하다.
상술한 픽셀버퍼객체는 픽셀 데이터의 처리와 되읽음을 분리하여 처리하도록 하고, 리드백의 스테레오스코픽 영상은 색변환 과정 또는 압축과정 또는 미디어 인터페이스를 통하여 영상이 출력되도록 구성한다.
이러한 다중화기는 측면 배치 및 상하 배치 포맷을 지원하고 출력 포맷으로 네트워크 스트림, 또는 신호출력(SMPTE 292M, HDMI, 콤포넌트)을 지원하는 것을 특징으로 한다.
이러한 목적을 달성하기 위한 스테레오스코픽 다중화 및 저비율 압축 전송 장치는 SMPTE 292M를 입력 신호원으로 하고 젠록에 의해 수평 및 수직 신호가 시간 동기화되며 프레임 버퍼 테이블을 통해 영상 간 동기화를 수행하는 영상 캡쳐부를 갖도록 구성할 수 있다.
이러한, 프레임 버퍼 테이블은 SMPTE 292M신호를 저장하고 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 기록하는 것을 특징으로 한다.
또한 이러한 목적을 달성하기 위한 스테레오스코픽 다중화 및 저비율 압축 전송 장치는 SMPTE 292M 신호의 무압축 네트워크 전송을 지원하고 DXT에 의해 저비율 압축된 스트림을 전송하도록 구성할 수 있다.
한편, 이러한 목적을 달성하기 위한 스테레오스코픽 다중화 및 저비율 압축 전송 방법은 (a)영상프레임을 입력받는 단계, (b)입력된 영상을 프레임으로 동기화및 다중화하여 저장하는 단계 및 (c)프레임 버퍼의 영상프레임을 압축하고 패킷화하여 출력하는 단계를 포함하여 이루어지게 할 수 있다.
(a)단계는 컴포넌트 출력을 SMPTE 292M신호로 변환하는 신호변환 단계를 더 포함하도록 하고 (b)단계는 SMPTE 292M신호를 버퍼에 저장하는 단계, 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 기록하는 단계, 프레임 버퍼 테이블에서 좌우안 프레임의 시간 정보를 읽어 동기화시킨 후 좌우 영상을 다중화하여 출력하는 단계를 더 포함하여 이루어지게 하는 것을 특징으로 한다.
버퍼에 저장된 영상은 4:2:2 크로마 포멧 또는 RGB(A)의 형태로 저장되는 것이 바람직하고, 입력된 영상 프레임은 수평 및 수직 신호를 시간 동기화시키는 것을 특징으로 한다.
시간정보 등을 기록하는 단계는 SMPTE 292M 신호를 하드웨어 내부에서 프레임화하여 고유 메모리주소에 주기적으로 복사하도록 하는 것이 더욱 바람직하다.
또한 (b)단계는 그래픽스 가속을 통하여 좌우안 영상의 크기변환과 크기 변환된 영상을 다중화하는 것을 특징으로 한다.
또한, (b)단계는 프레임 버퍼에 저장된 좌우안 영상의 메모리 주소를 참조하 여 영상들을 크기 변환하는 단계와, 크기 변환된 영상들을 스테레오 스코픽 영상으로 변환하는 단계, 변환된 영상을 랜더링하는 단계, 렌더링된 영상을 바인딩하는 단계 및 바인딩된 영상을 메모리 공간으로 비동기 되읽음을 통하여 상기 스테레오스코픽 영상을 형성하는 단계를 더 포함하여 이루어지게 할 수 있다.
또한, 되읽음을 통하여 형성된 스테레오스코픽 영상은 색변환 과정 후 미디어 인터페이스를 통한 출력, 또는 색변환 과정 생략 후 미디어 인터페이스를 통한 출력, 또는 압축과정 후 네트워크 인터페이스를 통하여 전송되도록 한다.
또한, (c)단계는 4:2:2 크로마 포멧 또는 RGB(A) 포맷의 압축 과정 생략 후, 네트워크 패킷화하여 출력하는 것를 포함하며 상기 무압축 포맷의 DXT압축 과정을 거친 후, 네트워크 패킷화해 출력하는 것을 특징으로 한다.
그리고, 상술한 스테레오스코픽 다중화 및 저비율 압축 전송 방법의 프로그램 소스를 기록한 기록매체를 구성하게 함으로써 상술한 목적을 달성할 수 있다.
따라서, 본 발명의 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 방법과 그 프로그램 소스를 저장한 기록매체에 의하면, 스테레오스코픽 영상 전송시스템에서 영상의 획득, 크기변환, 다중화 및 재생을 그래픽스 가속을 이용해 데이터처리하고 실시간성과 품질 보장을 위해 무압축 전송과 저비율 압축 전송 방법을 제공함으로써, 스테레오스코픽 영상 전송시스템의 구축 비용을 절감하고, 실시간 네트워크 전송을 가능하게 해 시스템의 활용성을 높이는 효과가 있다.
또한, 측면 배치 포맷 등을 수용하는 상용 스테레오스코픽 3D TV 등에 활용 가능한 효과가 있다.
소프트웨어 CODEC을 이용해 비압축 HDTV에 준하는 실시간성을 제공하며 네트워크 대역폭에 대한 요구를 1/6으로 줄임으로써 시스템 및 네트워크 측면의 유연성(flexibility)을 높인다.
또한, 본 발명의 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 방법과 그 프로그램 소스를 저장한 기록매체에 의하면, 연구망 환경의 종단사용자들은 3자 회의 등이 가능한 2K급 고품질 TelePresence 환경을 제공받을 수 있으며, R&E 영역에서 교육 및 문화예술 지원을 위한 플렛폼 기술로도 활용 가능하다.
그리고, 4k 영상 전송 등 초고해상도 영상의 실시간 스트리밍 환경에 적용할 수 있으며, 6채널 24비트 48Khz 음성원을 제공하는 효과도 있다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
먼저, DXT부호화에 대하여 설명한다.
DXT 압축은 블록 절단 부호화(block truncation coding) 방식의 일종으로 손실압축을 사용하며 4:1 또는 6:1의 고정비트 압축률을 갖는다. DXT 압축 포맷은 DXT1, DXT2, DXT3, DXT4, DXT5로 구성된다. DXT1은 32비트 RGBA 이미지의 알파 채널(A)을 이용하지 않거나 1 비트 채널만을 가지므로 가장 높은 압축률(6:1 혹은 8:1)을 제공한다.
본 발명에서는 비압축 32비트 RGBA 이미지의 실시간 전송을 위해 도 1과 같은 DXT1 압축을 적용한다. DXT1 압축을 위해 하나의 정지 영상은 겹치지 않는 4x4 픽셀 블록들로 분할되며, 블록내의 픽셀(p)들은 4단계 보간을 통해 양자화 된다.
블록 내에서 임의로 선택된 2개의 24비트 RGB 픽셀들은 16비트 RGB 5:6:5 형태의 색상값(C0,C1)으로 변환되며 이들은 보간의 기준값이 된다. 4단계 보간을 위한 추가적인 색상값 C2, C3는 [수학식1]과 같이 표현된다.
Figure 112008078866399-PAT00001
블록내의 각 픽셀들은 4단계 보간값(색상값)들에 의해 표현될 수 있으므로 부호화 과정을 거치게 되면 픽셀 당 2비트를 갖는다. 즉, 2비트 인덱스 값들은 4개의 색상값을 검색테이블(lookup table)로 이용해 부호화 및 복호화를 수행한다. 결과적으로, 4x4 픽셀 블록이 부호화를 거칠 때, 2개의 16비트 색상값과 16개의 2비 트 인덱스값을 갖게 되므로 총 64비트의 메모리 공간이 필요하다.
실효치(root mean square)에 의한 원본이미지와 DXT1 압축된 이미지의 평균 오차는 JPEG의 약 75% 수준이며 최악의 경우 25% 정도를 보인다. 실효치에 의한 평균 오차가 일정하지않는 이유는 기준이 되는 색상값의 선택에 따라 영상품질이 결정되기 때문이다. 영상품질을 높이기 위해서는 원본이미지와 압축된 이미지 간에 최소 오차를 갖는 색상값을 선택해야 한다. 본 발명에서는 2K 영상의 부호화를 위해 FastDXT를 이용한다.
전체적으로 손실 압축의 특성상 품질 저하 현상을 보이지만, 고품질 영상회의 등 영상 편집 이외의 용도로 사용된다면 매우 합리적인 수준의 품질을 유지할 수 있다. 또한, 소프트웨어적 구현을 통해 실시간 부호화가 가능하다는 점에서 네트워크 환경 하에서도 그 활용 가능성이 높다.
FastDXT는 Intel사의 멀티미디어 명령어인 SSE2 나 스칼라 구현을 선택적으로 이용해 영상의 DXT1 부호화를 수행한다. 스칼라 구현을 이용할 경우, DXT1 부호화의 높은 계산복잡도를 충족시키기 위해서 최소 Intel Core2Quad 2.4Ghz 이상의 CPU 성능이 필요하다. 또한, 복호화를 위해 GPU를 직접 활용하기 때문에 하드웨어 가속이 가능한 그래픽카드를 이용한다. 개발 시스템은 x86 플랫폼에서 동작하는 32비트 리눅스 환경하에서 구현된다. 특별히 언급되지 않는 이상, 본 발명의 모든 실험은 Intel Core2Quad 2.4Ghz CPU를 이용한다.
이하, 도면을 참조하여 본 발명의 일실시예에 대하여 상세히 설명한다.
도 2는 본 발명의 일실시예에 의한 그래픽스 가속을 통한 고화질 영상의 스 테레오스코픽 다중화 및 저비율 압축 전송 장치를 예시한 블록도이고, 도 2는 그 세부 블록도이다.
도시된 바와 같이, 본 발명의 압축 전송 장치는 하나 이상의 카메라(110), 카메라(110)에서 입력되는 영상프레임을 캡쳐하는 미디어 캡쳐 인터페이스(120), 영상프레임을 동기화하여 저장하는 다중화기(130)를 통해 생성된 영상프레임을 압축하는 엔코더부(140)와 영상을 패킷화하여 송신하는 영상 RTP 패킷부(150), 오디오 RTP 패킷부(160) 그리고 수신부(200)를 포함하여 구성된다.
좌우안 카메라(110,112)는 비디오 프레임 동기화를 위해 스테레오스코픽 마운트시스템에 내장된 LANC(Local Application Control Bus System)를 이용해 온/오프된다.
인터페이스(120,122)는 미디어 캡쳐 인터페이스 (Media capture interface)를 말하며, 카메라(110)를 통하여 HD급 영상이나 SMPTE(Society of Motion Picture and Television Engineers) 292M신호를 수용하도록 설계된다. 즉, 32비트 RGBA 색공간을 갖는 영상 프레임 혹은 8비트 또는 10비트 YCbCr 색공간을 갖는 영상 프레임과 24비트 48Khz PCM 음성 프레임을 캡쳐하여 다중화기(130)를 통해 스테레오스코픽 영상으로 변환된다. 캡쳐된 영상프레임은 어셈블리 구현을 이용해 실시간 압축된 후 패킷화를 거치며 음성 프레임은 압축과정 없이 패킷화된 후 송신된다.
인터페이스(120,122)는 카메라(110,112)의 영상을 캡쳐하기 위해 SMPTE 292M 규격인 HD-SDI인터페이스를 사용해야 하기 때문에, 컨버터(122), HD-SDI(124), 그리고 젠록(Genlock;126)을 포함하여 구성한다.
젠록(Genlock;126)은 프레임 동기화의 서브셋으로서 입력 영상프레임의 수평 및 수직 신호를 시간 동기화시키도록 동작한다. HD카메라가 컴포넌트 출력만 가지고 있을 경우, 신호변화기인 컨버터(122)가 HD카메라의 컴포넌트 출력을 SMPTE 292M 신호로 변환하고, HD-SDI 인터페이스(124)는 영상 및 음성 데이터를 다중화기(130)내의 프레임 버퍼로 저장하도록 구성된다.
다중화기(130)는 환형버퍼(131), FBT(132), 동기부(133), 프레임 버퍼에 저장된 좌우안 영상의 메모리 주소를 참조하여 영상들을 크기를 변환하는 스케일러(134), 스케일러(134)에서 크기 변환된 영상들을 스테레오 스코픽 영상으로 변환하는 변환부(135), 변환된 영상을 랜더링하는 픽셀 버퍼(136), 렌더링된 영상을 바인딩하는 픽셀버퍼객체(PBO, pixel buffer object ;137) 및 바인딩된 영상을 메모리 공간으로 비동기 되읽음을 통하여 스테레오스코픽 영상을 형성하는 리드백(138)을 포함하여 구성되며 그래픽스 가속을 통하여 좌우안 영상의 크기변환을 하고 이때의 크기변환은 선형 보간 필터를 이용하여 가로축 또는 세로축을 2:1로 축소 변환한다.
환형버퍼(131)는 HD-SDI 인터페이스(124)에서 출력된 영상 및 음성 데이터를 저장한다. 이때 저장된 프레임은 추가적으로 각 미디어의 캡쳐 순간 등에 관한 시간(Timing)정보를 더 갖을 수도 있다.
FBT(Frame buffer table;132)는 환형버퍼(131)에 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 기록하도록 구성되고 동기부(133)는 프레임 버퍼 테이블(132)에서 좌우안 프레임의 시간 정보를 읽어 동기화시킨 후 좌우 영상을 각각 출력하도록 구성된다.
결국, 카메라(110,112)를 통하여 입력된 2개의 SMPTE 292M신호는 젠록(126)에 의하여 동기화되어 프레임으로 고유 메모리주소에 주기적으로 복사되고 Bigphysarea를 이용해 커스널 디바이스 메모리 영역인 프레임 버퍼에 해당 프레임을 복사하고 이때 프레임 버퍼에 저장된 영상의 형태는 4:2:2 크로마 포멧(Chroma format) 또는 RGB(A)를 갖는다.
스케일러(134)는 영상들을 크기 변환할 때 가로축 또는 세로축을 2:1로 축소하여 변화하도록 구성한다. 즉, 측면배치의 경우 1920x1080 해상도의 좌우안 영상들은 960x1080 해상도의 갖게 추림(Decimation)되며 상하 배치시에는 1920x540으로 추림된다. 이때의 크기 변환은 실시간성 확보하기 위해 선형보간필터(Linear interpolation filter)를 이용한다.
변환부(135)는 스케일러(134)에서 추림된 좌우안 영상들은 측면 배치 또는 상하배치 형태의 1920x1080해상도를 갖는 스테레오스코픽 영상으로 변환한다.
이때의 영상 포멧은 RGB(A)를 적용한다.
픽셀버퍼(136)는 변환부(135)에서 변환된 측면배치영상을 랜더링하고, 픽셀버퍼객체(PBO,137)에서 바인딩된다. 그 결과는 리드백(138)에 의하여 CPU 제어 영역의 메모리 공간으로 비동기 되읽음(Read-back)된다.
그리고, 픽셀버퍼(136)는 텍스쳐의 빠른 전송 및 비동기적 되읽음을 위한 방식을 제공하게 되는 데, GPU와 CPU가 해당 텍스쳐를 비동기적으로 처리함으로써 되읽음 성능을 높일 수 있다.
한편, 픽셀버퍼(136)를 사용하지 않을 경우에는 픽셀 데이터의 처리가 완료되어야만 되읽음을 위한 제어권을 넘겨 받지만 픽셀버퍼객체를 이용하게 되면 픽셀데이터의 처리와 되읽음을 분리할 수 있어 결과적으로 되읽음 성능이 향상되는 것이다.
이때 되읽음을 통해 얻은 스테레오스코픽 영상은 RGB(A)형태를 가지며 색변환부(156)에서 색변환과정을 거치거나, 압축부(140)에서 압축과정을 거치거나 혹은 미디어 인터페이스(158)를 통한 신호 출력등에 사용된다.
그리고 색변환과정에서 RGB(A)영상은 4:2:2 크로마 포멧으로 변환된다. 이것은 크로마 포멧이 RGB(A)에 비해 낮은 대역폭을 요구하기 때문에 HD급 스테레오스코픽 영상의 무압축전송에 적합하고 JPEG, MPEG 등과 같이 고비율압축에도 사용되기 때문이다.
이러한 다중화기는 영상 패킷부는 측면 배치 및 상하 배치 포맷을 지원하고 출력 포맷으로 네트워크 스트림 또는 신호 출력(SMPTE 292M, HDMI, 콤포넌트)을 지원할 수 있도록 구성된다.
상술한 바와 같이 색변환된 크로마 포멧 영상은 네트워크 전송을 위해서 영상 RTP 패킷부(150) 및 음성 RTP 패킷부(160)에 의해 IP 패킷화되어 네트워크 스트림으로 전송된다.
영상의 무압축전송은 부호화에 필요한 처리지연문제를 해결하여 실시간 전송을 가능하게 하고, MPEG부호화 등에서 발생하는 오류전파(error propagation)를 최소화시켜 영상의 원 품질을 보장한다..
영상 RTP 패킷부(150)는 4:2:2 크로마 포맷, RGB(A) 포맷, 또는 DXT압축 포맷의 영상 프레임을 네트워크 스트림으로 전송하도록 구성된다.
이러한 신호 출력 기능을 통해 비용 효율적인 스테레오스코픽 다중화가 가능한 독립형(stand-alone)시스템을 구축할 수 있게 된다.
그리고, 스테레오스코픽 영상의 실시간 전송이 가능한 DXT(또는 S3TC)기반의 저비율 압축법을 적용하는 것이 특징이다. DXT압축은 블록 절단 부호화(block truncation coding)방식의 프레임내(Infra-frame) 손실압축(Lossy compression)기법이며 4:1 또는 6:1의 고정비트 압축률을 갖는다.
또한, DXT는 컴퓨터 내부의 그래픽 가속을 위해 개발되었지만 하드웨어의 도움없이 실시간 압축이 가능하기 때문에 네트워크 인터페이스(170)를 통하여 전송할 수 있는 것이다.
되읽음된 영상은 미디어 인터페이스 카드(예, HD-SDI 또는 HDMI카드)를 이용해 원 입력신호에 상응하는 출력신호를 생성할 수 있음도 물론이다.
그리고, 되읽음을 통해 얻은 스테레오스코픽 영상은 DXT포멧으로 압축되고 PCM음성 데이터는 IP패킷화된 후 네트워크를 통해 전송된다.
상술한 바와 같은 과정을 거쳐 송신된 미디어 프레임들은 동기화부(230)에 의해 미디어간(inter-media) 동기화가 수행된다. 이때, 미디어간 동기화는 음성과 영상의 RTP timestamp를 이용한다.
이렇게 네트워크 인터페이스(170)를 통하여 전송된 스테레오스코픽 영상은 수신부(200)에서 복호화되어 영상이나 음성으로 출력된다.
수신부(200)는 GPU가속을 이용하여 복호화(Decoder)하는 영상패킷부(210)와 영상패킷부(210)에서 복호화된 영상은 함께 전송받은 음성을 음성패킷버퍼(220)에서 처리한 후 동기화부(230)에서 미디어 동기화를 거친 후 그래픽스나 사운드 카드와 같은 범용 미디어 인터페이스로 구성된 출력부(240)를 통해 출력된다.
영상버퍼(211)에 수신된 신호는 디코더(212)에서 GPU가속을 이용해 복호화되고 복호화된 영상은 CPU제어 영역의 메모리공간으로 이동되지 않고 GPU내부에서 온 스크린(on-screen) 픽셀 버퍼(213,214)를 통해 랜더링할 수 있기 때문에 되읽음을 생략할 수 있다.
이때의 출력신호도 무압축포맷(SMPTE 292M, HDMI 및 콤포넌트)을 지원하는 미디어 인터페이스를 통해 변환된다.
디코더(212)에서 복호화가 완료된 스테레오스코픽 영상은 픽셀버퍼(213)에 랜더링되고 PBO(215)를 이용하여 CPU관리 영역의 메모리 공간으로 이동된다. 그 후 해당 스테레오스코픽 영상은 PCM음성데이터와 미디어간 동기화를 수행한 후 재생된다.
즉, 미디어간 동기화를 완료한 음성 및 영상 프레임은 버퍼에 저장된 후, 미디어내(intramedia) 동기화를 수행한다. 미디어내 동기화는 정의된 타이머 인터럽트의 발생시간에 기초한다. 동기화를 완료한 영상 프레임은 재생 버퍼에 입력된 후 GPU 가속에 의해 복호화되며 재생을 위해 GBR 색공간의 형태로 변환된다.
상술한 바와 같이 DXT 부호화는 입력 색공간 형태로 RGB(A)를 수용한다. 이를 위해서 8비트 YCbCr 색공간을 갖는 영상 프레임을 캡쳐해 32비트 RGBA 색공간으 로 변환하는 방법과 32비트 RGBA를 직접 캡쳐해 부호화하는 방법이 있다.
색공간 변환을 위한 처리 부하(processing load)나 직접 캡쳐 후 복사할 때 발생하는 메모리 대입연산은 높은 시스템 부하를 발생시키므로 2K 영상의 실시간 처리 성능을 떨어트린다. 실제로, 표준 C의 memcpy() 함수로 32비트 RGBA 영상을 메모리 복사한 후 어셈블리 구현을 이용해 DXT1 부호화하면 대용량 메모리 복사의 영향으로 인해 초당 약 27 프레임 이하의 처리 성능을 보인다. 32비트 RGBA는 16비트 YCbCr에 비해 2배의 메모리공간을 필요로 하며, 초당 약 250Mbytes의 실시간 메모리 복사가 요구된다.
이하, 도면을 참조하여 본 발명의 일실시예에 의한 스테레오스코픽 다중화 및 저비율 압축 전송 방법에 대하여 설명한다.
도 5는 본 발명의 일실시예에 의한 압축 및 패킷화 단계를 포함하지 않는 다중화단계를 설명하기 위한 흐름도로서, 카메라(110)0로부터 좌우안 영상을 입력받으면(S310) 입력된 영상을 프레임으로 동기화하여 프레임버퍼에 저장하고(S320), 그리고, 프레임 버퍼의 영상프레임을 그래픽스 가속을 이용하여 다중화하는 단계(S330)와 그리고 영상을 출력하는 단계(S340)를 포함하여 이루어진다.
단계 S310은 컴포넌트 출력을 SMPTE 292M신호로 변환하도록 구성하고, 단계 S320은 젠록에 의하여 입력 영상프레임의 수평 및 수직 신호를 시간 동기화시키는 단계(S321), SMPTE 292M신호를 환형버퍼에 저장하는 단계(S322), 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 FBT에 기록하는 단계(S323), 그리고 프레임 버퍼 테이블에서 좌우안 프레임의 시간 정보를 읽어 동기화시킨 후 좌우 영상을 각각 출력하는 단계를 포함하여 이루어진다(S324).
특히 버퍼에 저장되는 영상은 4:2:2 크로마 포멧 또는 RGB(A)의 형태로 저장되고 저장시간 정보등을 FBT에 기록할 때는 상기 SMPTE 292M 신호를 하드웨어 내부에서 프레임화하여 고유 메모리주소에 주기적으로 복사하는 것을 특징으로 한다.
단계 S330은 그래픽스 가속을 통하여 좌우안 영상을 다중화하는 것을 특징으로 한다. 상세하게는 스케일러에서 프레임 버퍼에 저장된 좌우안 영상의 메모리 주소를 참조하여 영상들을 크기변환하는 단계(S332)와 크기 변환된 영상들을 변화부에서 스테레오 스코픽 영상으로 변환하는 단계(S333), 변환된 영상을 랜더링하는 단계(S334), 렌더링된 영상을 바인딩하는 단계(S335) 및 바인딩된 영상을 메모리 공간으로 비동기 되읽음을 통하여 상기 스테레오스코픽 영상을 형성하는 단계(336)를 포함하여 이루어진다.
상기의 본 발명에 의한 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 기록 장치이다. 예를 들어, ROM, RAM, Cache, 하드 디스크, 광디스크, 플로피 디스크, 자기 테이프 등이 있다. 또한, 캐리어 웨이브의 형태로 구현되는 것도 포함하며, 예를 들어 인터넷을 통한 전송 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상에서 본 발명은 기재된 구체 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.
도 1은 DXT1 부호화를 설명하기 위한 도면,
도 2는 본 발명의 일실시예에 의한 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치를 예시한 블록도,
도 3은 도 2의 장치 중 다중화기기의 상세 블록도를 도시한 도면,
도 4는 본 발명의 일실시예에 의한 수신부의 상세 블록도를 예시한 도면,
그리고,
도 5는 본 발명의 일실시예에 의한 압축 및 패킷화 단계를 포함하지 않는 다중화단계를 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호 설명>
110 : 카메라 120 : 인터페이스
122 : 컨버터 124 : HD-SDI
126 : 젠록(Genlock) 130 : 다중화기
131 : 환형버퍼 132 : FBT
133 : 동기부 134 : 스케일러
135 : 변환부 136 : 픽셀버퍼
137 : PBO 138 : 리드백(Rwad-Back)
140 : 엔코더 150 : 영상 RTP 패킷부
156 : 색변환부 158 : 인터페이스
160 : 오디오 RTP 패킷화 170 : 네트워크 인터페이스
200 : 수신부

Claims (24)

  1. 입력되는 영상프레임을 캡쳐하는 미디어 캡쳐 인터페이스;
    상기 입력 영상프레임의 수평 및 수직 신호를 시간 동기화시키는 젠록;
    상기 영상프레임을 실시간으로 다중화하는 프레임 버퍼를 구비한 다중화기;
    상기 프레임 버퍼의 영상프레임을 압축하는 엔코더; 및
    상기 엔코더의 압축영상을 패킷화하여 송신하는 영상 알티피(RTP) 패킷부;
    를 포함하여 구성되는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  2. 제 1항에 있어서,
    상기 미디어 캡쳐 인터페이스는
    컴포넌트 출력을 SMPTE 292M신호로 변환하는 신호변환기;를 더 포함하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  3. 제 2항에 있어서,
    상기 다중화기는
    상기 SMPTE 292M신호를 프레임으로 저장하는 환형 버퍼;
    상기 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 기록하는 프레임 버퍼 테이블; 및
    상기 프레임 버퍼 테이블에서 좌우안 프레임의 시간 정보를 읽어 동기화시킨 후 좌우 영상을 각각 출력하는 동기부;
    를 더 포함하여 구성되는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  4. 제 3항에 있어서,
    상기 프레임 버퍼에 저장된 영상은
    4:2:2 크로마 포멧 또는 RGB(A)의 형태로 저장되는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  5. 제 3항에 있어서,
    상기 프레임 버퍼는
    상기 SMPTE 292M 신호를 하드웨어 내부에서 프레임화하여 메모리 직접 참조를 통하여 사용자 영역의 고유 메모리주소에 주기적으로 복사하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  6. 제 3항에 있어서,
    상기 다중화기는
    그래픽스 가속을 통하여 좌우안 영상의 크기변환과 크기 변환된 영상을 다중화하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  7. 제 6항에 있어서,
    상기 크기 변환은
    선형 보간 필터를 이용하여 가로축 또는 세로축을 2:1로 축소하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  8. 제 6항에 있어서,
    상기 다중화기는
    상기 프레임 버퍼에 저장된 좌우안 영상의 메모리 주소를 참조하여 영상들을 크기변환하는 스케일러;
    상기 크기 변환된 영상들을 스테레오 스코픽 영상으로 변환하는 변환부;
    상기 변환된 영상을 랜더링하는 픽셀 버퍼;
    상기 렌더링된 영상을 바인딩하는 픽셀버퍼객체; 및
    상기 바인딩된 영상을 메모리 공간으로 비동기 되읽음을 통하여 상기 스테레 오스코픽 영상을 형성하는 리드백;
    을 포함하여 구성되는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  9. 제 8항에 있어서,
    상기 픽셀버퍼객체는
    상기 픽셀 데이터의 처리와 되읽음을 분리하여 처리하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  10. 제 8항에 있어서,
    상기 리드백의 스테레오스코픽 영상은
    색변환 과정 또는 압축과정 또는 미디어 인터페이스를 통하여 영상이 출력되는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  11. 제 8항에 있어서,
    상기 다중화기는
    측면 배치 및 상하 배치 포맷을 지원하고 출력 포맷으로 네트워크 스트림 또 는 신호출력(SMPTE 292M, HDMI, 콤포넌트)을 지원하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  12. SMPTE 292M를 입력 신호원으로 하고 젠록에 의해 수평 및 수직 신호가 시간 동기화되며 프레임 버퍼 테이블을 통해 영상 간 동기화를 수행하는 영상 캡쳐부를 갖는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  13. 제 12항에 있어서,
    상기 프레임 버퍼 테이블은
    상기 SMPTE 292M신호를 저장하고 저장된 프레임 신호의 메모리 주소 및 시간정보 등을 기록하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  14. 스테레오스코픽 영상 전송 장치에 있어서,
    SMPTE 292M 신호의 무압축 네트워크 전송을 지원하고 DXT에 의해 저비율 압축된 스트림을 전송하는 스테레오스코픽 다중화 및 저비율 압축 전송 장치.
  15. (a)좌우안 영상을 입력받는 단계;
    (b)상기 입력된 영상을 프레임으로 동기화 및 다중화하여 저장하는 단계; 및
    (c)상기 저장된 영상프레임을 압축하고 패킷화하여 출력하는 단계;
    를 포함하여 이루어지는 스테레오스코픽 다중화 및 저비율 압축 전송 방법.
  16. 제 15항에 있어서,
    상기 (a)단계는
    컴포넌트 출력을 SMPTE 292M신호로 변환하는 신호변환 단계;를 더 포함하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 방법.
  17. 제 16항에 있어서,
    상기 (b)단계는
    SMPTE 292M신호를 환형버퍼에 저장하는 단계;
    저장된 프레임 신호의 메모리 주소 및 시간정보 등을 프레임 버퍼 테이블(FBT)에 기록하는 단계; 및
    상기 프레임 버퍼 테이블에서 좌우안 프레임의 시간 정보를 읽어 동기화시킨 후 좌우 영상을 다중화하여 출력하는 단계;
    를 더 포함하여 이루어지는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 방법.
  18. 제 17항에 있어서,
    상기 버퍼에 저장된 영상은
    4:2:2 크로마 포멧 또는 RGB(A)의 형태로 저장되는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 방법.
  19. 제 17항에 있어서,
    상기 입력된 영상 프레임은
    수평 및 수직 신호를 시간 동기화시키는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 방법.
  20. 제 17항에 있어서,
    상기 시간정보 등을 기록하는 단계는
    상기 SMPTE 292M 신호를 내부 버퍼에서 프레임화하여 고유 메모리주소에 주기적으로 복사하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전 송 방법.
  21. 제 15항에 있어서,
    상기 (b)단계는
    그래픽스 가속을 통하여 좌우안 영상의 크기변환을 행하는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 방법.
  22. 제 16항에 있어서,
    상기 (b)단계는
    스케일러에서 상기 프레임 버퍼에 저장된 좌우안 영상의 메모리 주소를 참조하여 영상들을 크기변환하는 단계;
    상기 크기 변환된 영상들을 스테레오 스코픽 영상으로 변환하는 단계;
    상기 변환된 영상을 랜더링하는 단계;
    상기 렌더링된 영상을 바인딩하는 단계; 및
    상기 바인딩된 영상을 메모리 공간으로 비동기 되읽음을 통하여 상기 스테레오스코픽 영상을 형성하는 단계;
    를 포함하여 이루어지는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 방법.
  23. 제 22항에 있어서,
    상기 되읽음을 통하여 형성된 스테레오스코픽 영상은
    색변환 과정 후 미디어 인터페이스를 통한 출력 또는 색변환 과정 생략 후 미디어 인터페이스를 통한 출력 또는 압축과정 후 네트워크 인터페이스를 통한 출력 중 어느 하나 이상으로 출력되는 것을 특징으로 하는 스테레오스코픽 다중화 및 저비율 압축 전송 방법.
  24. 상기 제 15항 내지 제 23항 중의 어느 한 항의 스테레오스코픽 다중화 및 저비율 압축 전송 방법에 대하여 프로그램 소스를 기록한 기록매체.
KR1020080113563A 2008-11-14 2008-11-14 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체 KR100970992B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080113563A KR100970992B1 (ko) 2008-11-14 2008-11-14 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080113563A KR100970992B1 (ko) 2008-11-14 2008-11-14 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체

Publications (2)

Publication Number Publication Date
KR20100054586A true KR20100054586A (ko) 2010-05-25
KR100970992B1 KR100970992B1 (ko) 2010-07-20

Family

ID=42279296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080113563A KR100970992B1 (ko) 2008-11-14 2008-11-14 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체

Country Status (1)

Country Link
KR (1) KR100970992B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383839B1 (ko) * 2010-10-27 2014-04-10 도시바삼성스토리지테크놀러지코리아 주식회사 멀티미디어 시스템
KR101538114B1 (ko) * 2014-05-23 2015-07-23 가천대학교 산학협력단 모바일 스마트 기기 내에서 다중 코덱 기반으로 끊김 없이 동영상을 재생할 수 있도록 하는 동영상 처리 장치 및 방법
US9093015B2 (en) 2012-01-27 2015-07-28 Samsung Electronics Co., Ltd. Display apparatus, upgrade apparatus, control method thereof, and display system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383839B1 (ko) * 2010-10-27 2014-04-10 도시바삼성스토리지테크놀러지코리아 주식회사 멀티미디어 시스템
US9093015B2 (en) 2012-01-27 2015-07-28 Samsung Electronics Co., Ltd. Display apparatus, upgrade apparatus, control method thereof, and display system
KR101538114B1 (ko) * 2014-05-23 2015-07-23 가천대학교 산학협력단 모바일 스마트 기기 내에서 다중 코덱 기반으로 끊김 없이 동영상을 재생할 수 있도록 하는 동영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR100970992B1 (ko) 2010-07-20

Similar Documents

Publication Publication Date Title
JP5189167B2 (ja) 画像を処理するための方法およびシステム
US20050041736A1 (en) Stereoscopic television signal processing method, transmission system and viewer enhancements
EP2234406A1 (en) A three dimensional video communication terminal, system and method
US20030156188A1 (en) Stereoscopic video
US8810628B2 (en) Image processing apparatus and image processing method
US9601156B2 (en) Input/output system for editing and playing ultra-high definition image
KR20160034282A (ko) 정보 처리 장치 및 방법
KR101528863B1 (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
JP2022513715A (ja) 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法
WO1999004566A1 (en) Method and system for multiplexing image signal, method and system for demultiplexing image signal, and transmission medium
JP2014502443A (ja) 深さ表示マップの生成
US10334219B2 (en) Apparatus for switching/routing image signals through bandwidth splitting and reduction and the method thereof
US7593580B2 (en) Video encoding using parallel processors
JP2016092837A (ja) 映像圧縮装置、映像再生装置および映像配信システム
JP4086344B2 (ja) 画像送信装置及び制御方法
CN112235606A (zh) 一种多层视频处理方法、系统和可读存储介质
KR100970992B1 (ko) 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체
EP2312859A2 (en) Method and system for communicating 3D video via a wireless communication link
JP3850015B2 (ja) ディジタルビデオ信号記録再生装置および伝送装置
WO2016006746A1 (ko) 초고해상도 영상 처리를 위한 장치
JP2013518458A (ja) デジタルビデオストリーム内の情報及び／又はアプリケーションデータを転送する方法、及び、ビデオストリームを生成及び再生するための関連装置
JP4499204B2 (ja) 画像信号多重化装置および方法、並びに伝送媒体
WO2015132957A1 (ja) 映像機器及び映像処理方法
RU2787713C2 (ru) Способ и устройство предсказания блока цветности
US20230028326A1 (en) Image coding method based on partial entry point-associated information in video or image coding system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130531

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150707

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180711

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 10