KR100990565B1 - 하나의 비디오 파일에서 비디오 데이터의 다중 투사를처리하는 시스템 및 방법 - Google Patents

하나의 비디오 파일에서 비디오 데이터의 다중 투사를처리하는 시스템 및 방법 Download PDF

Info

Publication number
KR100990565B1
KR100990565B1 KR1020080058952A KR20080058952A KR100990565B1 KR 100990565 B1 KR100990565 B1 KR 100990565B1 KR 1020080058952 A KR1020080058952 A KR 1020080058952A KR 20080058952 A KR20080058952 A KR 20080058952A KR 100990565 B1 KR100990565 B1 KR 100990565B1
Authority
KR
South Korea
Prior art keywords
video stream
video
encoded
data field
projection
Prior art date
Application number
KR1020080058952A
Other languages
English (en)
Other versions
KR20090093747A (ko
Inventor
바산쓰 스와미나단
그래함 셀러스
Original Assignee
세이코 엡슨 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세이코 엡슨 가부시키가이샤 filed Critical 세이코 엡슨 가부시키가이샤
Publication of KR20090093747A publication Critical patent/KR20090093747A/ko
Application granted granted Critical
Publication of KR100990565B1 publication Critical patent/KR100990565B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

복수의 비디오 스트림을 처리하는 방법 및 시스템이 개시된다. 일예의 방법은 장면의 제 1 투사에 대응하는 제 1 비디오 스트림을 인코딩하는 단계와, 장면의 제 2 투사에 대응하는 제 2 비디오 스트림을 인코딩하는 단계를 포함한다. 공간적으로 가까운 투사에서의 유사성으로 인해, 인코딩된 제 2 비디오 스트림은 인코딩된 제 1 비디오 스트림보다 더 압축될 수 있다. 게다가, 인코딩된 제 1 비디오 스트림은 비디오 파일의 주 데이터 필드에 저장될 수 있고, 인코딩된 제 2 비디오 스트림은 비디오 파일의 추가 데이터 필드에 저장될 수 있다.

Description

하나의 비디오 파일에서 비디오 데이터의 다중 투사를 처리하는 시스템 및 방법{SYSTEMS AND METHODS FOR PROCESSING MULTIPLE PROJECTIONS OF VIDEO DATA IN A SINGLE VIDEO FILE}
본 발명은 비디오 스트림을 인코딩하는 분야에 관한 것이다. 더욱 상세하게는, 본 발명의 실시예는 추후에 멀티-뷰 디스플레이 상에서 재결합하기 위해 하나의 비디오 파일에서 비디오 스트림을 인코딩하는 방법 및 시스템에 관한 것이다.
전통적인 3-차원(3-D) 디스플레이는 통상 특수 편광 안경이나 셔터 안경을 통해 시청한다. 그러나 특수 안경의 사용은 특정한 환경에서는 번거로울 수 있다. 전통적인 3-D 디스플레이에 대한 하나의 매력적인 대안으로는 오토스테레오스코픽(autostereoscopic) 디스플레이가 있다. 오토스테레오스코픽 디스플레이는, 특수 안경이나 임의의 다른 특수 시청 장비를 통해 시청될 필요 없이 3-D 정지영상이나 비디오를 제공한다.
오토스테레오스코픽 디스플레이가 비디오를 3-D로 제공하기 위해서, 장면의 약간 다른 시점에 각각 대응하는 다중 2-D 비디오 투사 파일이 통상 하나의 인터리빙된 비디오 파일로 결합된다. 각 비디오 투사 파일은, 다른 투사 파일의 프레임에 대해 약간 공간적으로 이동된 프레임을 포함한다. 게다가, 원 비디오 투사 파일 각각은, 한 비디오 투사 파일로부터의 각 프레임이 다른 비디오 투사 파일 각각으로부터의 프레임에 대응하도록, 동일한 수의 프레임을 포함한다. 프레임은 예컨대 초당 대략 29 프레임의 프레임율로 디스플레이된다. 인터리빙된 비디오 파일의 정확한 포맷은 서로 다른 오토스테레오스코픽 디스플레이마다 다를 수 있다. 이러한 포맷에 상관없이, 인터리빙된 비디오 파일은 매우 큰 경향이 있으며, 인터리빙된 비디오 파일을 오토스테레오스코픽 디스플레이에 송신하기 전에, 인터리빙된 비디오 파일을 압축하는 것이 일반적으로 바람직할 수 있다.
하나의 공통된 비디오 압축 타입으로는 MPEG-2 비디오 압축이 있다. MPEG-2 표준 하에서, 비디오 파일의 원 프레임 각각은 세 가지 압축 프레임 타입, 즉 인트라 프레임(I-프레임), 예측 프레임(P-프레임) 또는 양방향 프레임(B-프레임) 중 하나로 압축된다.
I-프레임은 MPEG-2 비디오 파일 내의 모든 다른 프레임과 독립적으로 인코딩되는 데 반해, P 및 B-프레임은 의존적 프레임, 즉, 기준으로서 적어도 하나의 다른 프레임을 사용하여 인코딩되는 프레임이다. 예컨대, P-프레임은, I-프레임이나 다른 P-프레임과 같은 선행하는 프레임을 기준으로서 사용하여 인코딩된다. 소정의 프레임에서 다수의 픽셀이 통상 시간적으로 가까운 프레임에 대해 변하지 않기 때문에, P-프레임은 단지 이들 픽셀에 대한 이전 프레임을 지칭하며, 나머지 픽셀의 모션을 나타내기 위해 벡터를 사용할 수도 있다. 그에 따라, 시간적으로 가까운 프레임의 유사성 때문에, P-프레임은, I-프레임을 통해 가능한 것보다 더 높은 압축 을 달성할 수 있다. B-프레임은 P-프레임과 유사하지만, 그 데이터에 대해 양 시간 방향에 있는 프레임, 즉, 선행하는 I-프레임이나 P-프레임 및 후속하는 I-프레임이나 P-프레임을 기준으로 함으로써 훨씬 더 높은 압축을 달성할 수도 있다. B-프레임에 대한 계산 시간은 그러나 통상 P-프레임에 대한 것보다 더 크다. 소정의 MPEG-2 비디오 파일에서의 P-프레임 및/또는 B-프레임의 수는 변할 수 있다. 그러나 최소한의 품질을 보장하기 위해, I-프레임은 통상 특정한 최소 주파수로 비디오 파일에서 반복된다. 게다가, 각 I-프레임은 잠재적으로는 압축된 비디오 파일 내의 랜덤 액세스 포인트 역할을 할 수 있다.
오토스테레오스코픽 디스플레이는 통상 영상 데이터가 벤더(vendor)-특정 인터리빙된 포맷으로 제공될 것을 요구한다. 그러나 만약 비디오 투사 스트림이 MPEG 인코딩 이전에 인터리빙된다면, 인터리빙된 레이아웃은 보통 손실되고, 그리하여 오토스테레오스코픽 디스플레이에 의해 사용되기 위해 실행될 수 없다. 게다가, 개별적인 투사는, 이러한 투사가 인터리빙된된 이후 처리될 수 없다. 그에 따라, 다중 비디오 투사 스트림은 통상 분리되어 인코딩되고 후속하여 오토스테레오스코픽 디스플레이에 사용하기 위해 인터리빙된된 포맷으로 결합된다.
다중 비디오 스트림을 오토스테레오스코픽 디스플레이에 제공하는 한 가지 해법으로는, 다중 비디오 투사 스트림을 분리된 파일이나 컨테이너로서 인코딩하고, 그런 다음 다중 비디오 파일을 오토스테레오스코픽 디스플레이에 전달 하는 것이 있다. 이러한 해법은, 다중 비디오 파일이 오토스테레오스코픽 디스플레이에 의해 분리되어 수신되어야 하고 큰 저장 공간을 요구하며, 결국 높은 송신 대기시간을 요구하기 때문에 문제가 될 수 있다. 다중 압축된 비디오 투사 파일을 오토스테레오스코픽 디스플레이에 제공하는 다른 해법으로는, 다중 비디오 투사 스트림 각각으로부터의 대응하는 프레임을 병렬 배열(side-by-side arrangement) 형태로 결합하는 것이다. 그리하여 최종 스트림은 하나의 비디오 파일로서 저장될 수 있다. 이 해법은, 그러나, 비-오토스테레오스코픽 디스플레이와 후방 호환가능하지(backwards compatible) 않기 때문에, 또한 문제가 될 수 있다. 예컨대, 표준 비-오토스테레오스코픽 디스플레이는 원 프레임 각각을 병렬 배열 형태로 유저에게 동시에 디스플레이한다. 게다가, 다중의 원 프레임을 하나의 결합된 프레임으로 결합함으로써, 해상도가 손실된다.
일반적으로, 본 발명의 실시예는, 오토스테레오스코픽 디스플레이 상에서 추후에 재결합하기 위해 MPEG 비디오 파일과 같은 하나의 비디오 파일에 비디오 데이터의 다중 투사를 저장하는 방법 및 시스템에 관한 것이다. 제안된 발명의 예시적인 실시예는, 하나의 MPEG 비디오 파일에서 비디오 데이터의 다중 투사를 인코딩되게 할 수 있도록 변경된 MPEG 인코더 및 변경된 MPEG 디코더로 구현된다. 예컨대, 개시된 실시예는 하나의 MPEG-2 비디오 파일을 생성하는 단계를 포함하며, 여기서, 제 1 투사에 대응하는 제 1 비디오 스트림은 인코딩되어 비디오 파일의 주 데이터 필드에 저장될 수 있고, 제 2 투사에 대응하는 제 2 비디오 스트림은 예컨대 유저 데이터 필드와 같은 비디오 파일의 추가 데이터 필드에서 인코딩될 수 있다. 게다가, 제 2 스트림의 인코딩된 프레임은 제 1 스트림의 대응하는 인코딩된 프레임보다 더 압축될 수 있다. 이점으로 인해 유리하게는, 분리된 MPEG 비디오 파일의 압축율에 비해 개선된 데이터 압축율을 가진 하나의 MPEG-2 비디오 파일을 결국 얻을 수 있다. 이러한 접근법은, 결국 유저 데이터 필드에 저장된 제 2 스트림이 무시될 수 있는 비디오 파일을 얻을 수 있어서, 비디오 파일이 비-오토스테레오스코픽 디스플레이와 후방 호환가능하게 한다는 점에서 또한 유리하다.
본 발명의 하나의 예시적인 실시예는 복수의 비디오 스트림을 처리하는 방법에 관한 것이다. 이 방법은 장면의 제 1 투사에 대응하는 제 1 비디오 스트림을 인코딩하는 단계와, 장면의 제 2 투사에 대응하는 제 2 비디오 스트림을 인코딩하는 단계를 포함한다. 공간적으로 가까운 투사에서의 유사성으로 인해, 인코딩된 제 2 비디오 스트림은 인코딩된 제 1 비디오 스트림보다 더 압축될 수 있다.
다른 예시적인 실시예는 또한 복수의 비디오 스트림을 처리하는 방법에 관한 것이다. 이 방법에서, 제 1 장면의 제 1 투사에 대응하는 제 1 비디오 스트림은 인코딩되어 파일의 주 데이터 필드에 저장된다. 제 2 장면의 제 2 투사에 대응하는 제 2 비디오 스트림은 인코딩되어 파일의 추가 데이터 필드에 저장된다.
비디오 스트림 인코딩 시스템에 관한 예시적인 실시예에서, 입력 포트는 장면의 상이한 투사에 각각 대응하는 복수의 비디오 스트림을 수신하도록 적응될 수 있다. 비디오 스트림 인코딩 시스템은 또한, 복수의 비디오 스트림을 인코딩하고 비디오 스트림 중 적어도 하나를 비디오 스트림 중 다른 적어도 하나보다 더 압축하도록 적응된 인코더를 포함할 수 있다.
다른 예시적인 실시예는 메모리 장치와 디코더를 포함하는 비디오 스트림 디코딩 시스템에 관한 것이다. 메모리 장치는, 장면의 제 1 투사에 대응하는 제 1 비디오 스트림이 저장되는 주 데이터 필드와 장면의 제 2 투사에 대응하는 제 2 비디오 스트림이 저장되는 추가 데이터 필드를 포함하는 파일의 적어도 일부분을 저장하도록 적응될 수 있다. 디코더는 제 1 및 제 2 비디오 스트림을 디코딩하고, 디코딩된 제 1 및 제 2 비디오 스트림을 기초하여 출력 비디오 스트림을 생성하도록 적응될 수 있다.
이러한 과제 해결 수단 및 효과의 기재는 발명의 실시를 위한 구체적인 내용에서 상세하게 후술될 개념 중 선택된 것을 간략하게 소개하기 위해 제공된 것이다. 이러한 과제 해결 수단 및 효과의 기재는 청구 요지의 핵심 특성이나 필수 특징을 식별하기 위한 것이 아니며, 청구 요지의 범주에 대한 판정에 도움을 주기 위한 것으로 사용되기 위한 것도 아니다.
추가적인 특성은 다음의 상세한 설명에서 제기될 것이며, 그 중 일부는 이러한 상세한 설명으로부터 명백해질 것이거나, 본 명세서의 교훈을 실행함으로써 습득될 수 있을 것이다. 발명의 특성은 첨부된 청구범위에서 특히 지적된 장치 및 결합에 의해 실현 및 달성될 수 있다. 본 발명의 특성은 다음의 상세한 설명 및 첨부된 청구범위로부터 더욱 완전하게 드러나게 될 수 있거나, 이후에 제기된 본 발명을 실행함으로써 습득될 수 있을 것이다.
본 발명의 특성을 더 명백히 하기 위해, 본 발명의 더욱 상세한 설명은, 첨부된 도면에 예시된 특정한 실시예를 참조하여 제공될 것이다. 이들 도면은 본 발명의 단지 통상적인 실시예를 도시하며, 따라서 본 발명의 범주를 제한하는 것으로 간주되지 않음을 이해해야 한다. 본 발명은, 첨부된 도면을 사용하여, 더 전문적이고 상세하게 기술되고 설명될 것이다.
본 발명의 여러 실시예에 대한 다음의 상세한 설명에서, 그 일부를 형성하는 첨부된 도면이 참조되며, 이들 도면은 본 발명이 실행될 수 있는 특정한 실시예를 예시함으로써 도시되어 있다. 본 발명의 범주에서 벗어나지 않고도, 다른 실시예가 사용될 수 있고 구조적 변화가 이뤄질 수 있음을 이해해야 할 것이다.
다음의 상세한 설명은 멀티-뷰 비디오 스트림을 인코딩 및 디코딩하는 방법 및 시스템의 예시적인 실시예를 제공한다. 이러한 인코딩 방법 및 시스템은 인코딩 프로세스에 걸쳐서 장면의 각 "시청" 또는 투사를 분리하여 유지하면서 높은 수준의 압축을 달성하도록 적응될 수 있다. 그에 따라, 멀티-뷰 디코더 또는 싱글-뷰 디코더는 비디오 스트림 데이터의 최종 파일을 디코딩하는데 사용될 수 있고, 영상 처리가 장면의 개별 투사에 대해 실행될 수 있다.
도 1은 장면의 복수의 투사의 비디오 스트림과 인코딩된 비디오 파일(F-100)의 대응하는 구조를 인코딩하는 방법(M-100)을 도시한다. 방법(M-100)은, 파일(F-100)이 표준 싱글-뷰 디스플레이나 오토스테레오스코픽 디스플레이와 같은 멀티-뷰 디스플레이에 의해 디코딩될 수 있도록 비디오 스트림을 인코딩할 수 있다. 그에 따라, 인코딩은 표준 디스플레이와 후행 호환가능할 수 있다.
제 1 투사("투사 1")에 대응하는 제 1 비디오 스트림의 프레임은 예컨대 MPEG-2 규격(단계(M-102))에 따르는 것과 같은 표준 방식으로 인코딩될 수 있고, (단계(M-102)로부터 주 데이터 필드(F-102)까지 이어진 두꺼운 화살표에 의해 지시된 바와 같이) 파일(F-100)의 주 데이터 필드(F-102)에 저장될 수 있다. 주 데이터 필드(F-102)는 표준 MPEG-2 싱글-뷰 디코더가 보통 비디오 스트림 데이터를 디코딩하기 위해 액세스하는 데이터 필드일 수 있다. 제 1 비디오 스트림의 인코딩은 압축율 범위에서 실행될 수 있다. 그러나 특정한 최소 수준의 품질이 주 데이터 필드(F-102)에서 최소 주파수로 산재한 최소수의 I-프레임을 통해 보장될 수 있다. I-프레임은 또한 인코딩된 비디오 스트림에서 전방 또는 후방으로 건너뛰기 위한 랜덤 액세스 포인트 역할을 한다. 산재한 I-프레임 사이의 프레임은 파일 크기를 줄이기 위해 더욱 높게 압축된 P-프레임 및/또는 B-프레임으로서 인코딩될 수 있다.
다음으로, 투사 1의 인코딩된 제 1 프레임을 기준 프레임으로 사용하면, 투사 2의 프레임 1뿐만 아니라 투사 "n"까지의 임의의 추가적인 투사의 프레임 1도 인코딩될 수 있다(단계(M-104)). 투사 1의 프레임 1을 기준으로 사용하는 것은 투사 2 내지 "n"의 프레임 1을 투사 1의 프레임 1을 기준으로 하는 P-프레임 및/또는 B-프레임으로서 인코딩하는 것을 수반할 수 있다. 상기 기술분야, 배경기술 및 해결하고자 하는 과제 부분에서 설명한 바와 같이, P 및 B-프레임은, 시간적으로 가까운 프레임이 매우 유사한 경향이 있기 때문에, 높은 수준의 압축을 달성하기 위 해 다른 시간적으로 가까운 I-프레임 또는 P-프레임을 기준으로서 사용할 수 있다. 장면의 다른 공간적으로 가까운 투사에 대응하는 프레임이 또한 유사할 가능성이 있기 때문에, 투사 2 내지 "n"을 P 및 B-프레임으로서 인코딩하는 것은 유사한 수준의 압축을 달성할 수 있다. P-프레임은 투사 1의 시간적으로 대응하는 I 또는 P-프레임을 기준으로 하는데 반해, B-프레임은 투사 1의 시간적으로 대응하는 I 또는 P-프레임 이전 또는 이후의 프레임을 추가로 기준으로 할 수 있다.
결과적으로 인코딩된 프레임(들)은 예컨대 MPEG-2 표준에 의해 명시된 유저 데이터 필드와 같은 파일(F-100)의 추가 데이터 필드(F-104)에 저장될 수 있다. 투사 2 내지 "n"의 나머지 프레임은 유사한 방식으로, 즉 투사 1의 대응하는 프레임을 기준 프레임으로서 사용하여 인코딩될 수 있다. 그에 따라, 추가 데이터 필드(F-104)에 저장된 모든 프레임은 P-프레임 및/또는 B-프레임일 수 있는데 반해, 주 데이터 필드(F-102)에 저장된 프레임 중 적어도 일부는 I-프레임이다. 이처럼, 파일(F-100)은, 각 투사가 분리되어 인코딩되는 개별 파일 세트와 비교하여 크기가 감소된다. 만약 하나보다 많은 투사가 인코딩되고 유저 데이터 필드(F-104)에 저장된다면, 프레임은 그 각각의 투사에 따라 색인이 붙여질 수 있다.
방법(M-100) 및 파일(F-100)은 다른 환경에 적응될 수 있는 여러 구성 가능한 설정을 포함할 수 있다. 예컨대, 대역폭 또는 메모리 공간이 비용이 드는 경우, 투사 1의 프레임은 P 및/또는 B-프레임 대 I-프레임의 비율이 높게 인코딩될 수 있으며, 이것은 결과적으로 추가적인 처리를 수반할 수 있다. 다른 한편, 영상 품질이 대역폭/메모리 공간을 절약하는 것보다 더 중요한 경우, P 및/또는 B-프레임 대 I-프레임의 더 낮은 비율이 투사 1의 프레임을 인코딩할 때 사용될 수 있다. 게다가, P-프레임 및 B-프레임을 인코딩하는데 사용되는 기술은 영상 품질, 처리 시간, 프레임 크기 등과 같은 여러 양상을 개선하기 위해 변경될 수 있으며, 각 개선은 이들 양상과 관련된 다양한 절충점을 갖는다.
대응하는 비디오 스트림이 있는 둘 보다 많은 투사를 가지는 방법(M-100)의 실시예에서, 인코딩되고 유저 데이터 필드(F-104)에 저장된 모든 프레임은 주 데이터 필드(F-102)에 저장된 대응하는 프레임을 기준으로 하여 인코딩될 수 있다. 대안적으로, 유저 데이터 필드(F-104)에 저장된 프레임의 적어도 일부분은 유저 데이터 필드(F-104)에 이미 저장된 대응하는 프레임을 기준으로 하여 인코딩될 수 있다. 예컨대, 만약 투사 1이 장면의 가장 왼쪽 투사이고, 투사 2가 투사 1의 바로 오른쪽에 있으며, 투사 3이 투사 2의 오른쪽에 있다면, 압축률 및 품질은, 투사 2가 공간적으로 더 가까우며 그에 따라 그 프레임에서 더 적은 픽셀 차이를 가질 것이므로 투사 1을 기준으로 하는 대신 투사 2를 기준으로 투사 3을 인코딩함으로써 잠재적으로 개선될 수 있다. 그에 따라, 투사 2의 프레임 1이 인코딩되고 주 데이터 필드(F-102)에 저장된 후, 투사 3의 프레임 1은 유저 데이터 필드(F-104)에서 제 2 비디오 투사 스트림의 인코딩된 프레임을 기준으로 하여 인코딩될 수 있다. 투사 3의 프레임 2-"j"는 유사한 방식으로 인코딩될 수 있다. 더나아가, 제 4 투사의 프레임은 인코딩된 제 3 투사 프레임을 기준으로 하여 인코딩될 수 있으며, 마침내는 마지막 투사 "n"는 인코딩된 "n-1" 투사 프레임을 기준으로 하여 인코딩된다. P-프레임은 일반적으로 화질 면에서 I-프레임보다 덜 정밀하며, 가장 중앙의 투사에 대응하는 비디오 스트림은 주 데이터 필드(F-102)에서 주 스트림으로서 인코딩될 수 있어서, 왼쪽 투사 및 오른쪽 투사 양자를 인코딩하기 위한 기준으로서 I-프레임을 제공한다.
방법(M-100)은 인코딩 장치와 관련된 하나 이상의 프로세서나 회로에 의해 하드웨어적으로 구현되거나 소프트웨어/펌웨어로서 실행될 수 있다. 게다가, 방법(M-100)에 도시된 단계는 여러 방식으로 변경될 수 있다. 예컨대, 단계의 순서가 변경될 수 있고, 특정한 단계가 생략될 수 있고 및/또는 추가 단계가 더해질 수 있다. 특정한 실시예에서, 투사 2 내지 "n"의 프레임만이 아니라 모든 투사로부터의 프레임이 시간 순서로 인코딩될 수 있다. 그에 따라, 단계(M-102)는 생략될 수 있고, 단계(M-104)는 투사 1의 제 1 프레임뿐만 아니라 모든 다른 투사의 제 1 프레임을 인코딩하는 단계를 포함하도록 변경될 수 있다. 후속하는 단계는 투사 1의 프레임을 인코딩하는 단계를 포함하도록 유사하게 변경될 수 있다. 투사 2 내지 "n"에서 프레임 압축을 위한 기준 프레임을 제공하기 위해, 투사 1의 프레임이 각 단계에서 먼저 인코딩될 수 있다.
게다가, 파일(F-100)은 여러 다른 방식으로 포맷될 수 있다. 예컨대, 비록 단 하나의 주 데이터 필드(F-02) 및 하나의 유저 데이터 필드(F-104)가 도 1에 도시되어 있을지라도, 파일(F-100)은, 그 각자의 주 데이터 필드와 유저 데이터 필드를 각각 포함하는 복수의 패킷을 포함할 수 있다. 게다가, 패킷은 그 주 데이터 필드에서의 단 하나의 프레임과 그 유저 데이터 필드에서의 대응하는 투사(들)로부터의 프레임(들) 또는 각 주 데이터 필드 및 각 주 데이터 필드에 대응하는 하나 또 는 복수의 유저 데이터 필드에서의 프레임을 통해 인코딩될 수 있다. 만약 하나의 유저 데이터 필드가 복수의 프레임을 포함하는 각 주 데이터 필드와 관련하여 사용된다면, 유저 데이터 필드의 프레임은 그 시간 순서 및 그 각자의 투사에 따라 색인이 붙여질 수 있다. 만약 다중 유저 데이터 필드가 복수의 프레임을 포함하는 주 데이터 필드와 관련하여 사용된다면, 유저 데이터 필드에서의 수는 주 데이터 필드에 포함된 프레임의 수에 대응하여, 각 유저 데이터 필드는 주 데이터 필드에서의 하나의 프레임에 시간적으로 대응하는 프레임(들)을 포함하게 된다.
도 2는, 도 1에 기술된 방법 및 비디오 스트림 파일 포맷과 사용하기 위한 예시적인 비디오 스트림 인코딩 시스템(200)과 예시적인 비디오 스트림 디코딩 시스템(220)을 도시한다. 인코딩 시스템(200)은 입력 비디오 스트림을 수신하는 입력 포트(202)와, 입력 비디오 스트림을 인코딩하도록 적응된 인코더(204)와, 인코딩된 비디오 스트림을 저장하도록 적응된 메모리 장치(206)를 포함할 수 있다.
각 입력 비디오 스트림은 장면의 상이한 투사에 대응하며, 카메라나 메모리 장치와 같은 하나 이상의 외부 장치로부터 수신될 수 있다. 카메라와 함께 사용될 때, 인코딩 시스템(200)은 실시간으로 입력 비디오 스트림을 수신하고 인코딩할 수 있으며, 입력 포트(202)는 버퍼 뱅크를 포함할 수 있다. 특정한 실시예에서, 투사 중 하나 이상의 적어도 일부분은 컴퓨터로 생성된 그래픽일 수 있다. 대안적으로, 제 1 투사는 카메라로부터 수신될 수 있거나, 적어도 부분적으로 컴퓨터로 생성될 수 있으며, 다른 투사는 인위적으로 생성될 수 있거나 제 1 투사를 기초로 해서 추정될 수 있다. 게다가, 비록 입력 포트(202)가 입력 비디오 스트림을 병렬로 수신 하는 것으로 도시될지라도, 스트림 중 일부 또는 모두는 그 대신 직렬 방식으로 수신될 수 있다.
인코더(204)는 입력 비디오 스트림 중 적어도 하나를 입력 비디오 스트림 중 다른 적어도 하나보다 더 압축하도록 적응될 수 있다. 예컨대, 방법(M-100)을 참조하여 상술된 바와 같이, 제 1 투사에 대응하는 비디오 스트림은 적어도 일부 I-프레임을 포함하는 주 스트림으로서 인코딩될 수 있고, 파일(F-100)과 같은 MPEG-2 비디오 파일의 주 데이터 필드에 저장될 수 있다. 다른 투사에 대응하는 비디오 스트림은, 제 1 비디오 투사 스트림의 프레임을 기준으로 하고 그리하여 더 크게 압축되는 P-프레임 및/또는 B-프레임만을 포함할 수 있다. 게다가, 인코더(204)는 제 1 비디오 투사 스트림과 독립적으로 더 압축된 비디오 스트림을 MPEG-2 비디오 파일의 유저 데이터 필드에 저장하도록 더 적응될 수 있다. 그에 따라, 인코딩된 비디오 파일은 멀티-뷰 디코더 및 디스플레이뿐만 아니라 표준 싱글-뷰 디코더 및 디스플레이와 호환가능할 수 있으며, 이는 디코더가 디코딩 프로세스 동안에 유저 데이터 필드에서의 데이터를 선택적으로 무시할 수 있기 때문이다.
게다가, 각 비디오 스트림에 대해 파일에서 분리된 필드를 유지하는 것은, 투사가 디스플레이를 위해 결합되기 이전에 개별 투사의 후-처리를 용이하게 한다. 예컨대, 하나의 투사의 비디오 스트림은, 멀티-뷰 디스플레이 상에 디스플레이하기 전에, 샤프닝되거나(sharpened) 일부 다른 방식으로 처리될 필요가 있을 수 있다. 만약 처리되지 않은 투사가 단지 하나의 스트림으로 결합된다면, 인접한 픽셀은 다른 영상에 대응했을 것이다. 그러한 구성에서, 하나의 투사의 샤프닝과 같은 처리 기술은 달성될 수 없었을 것이며, 이는, 다른 영상 처리 기술처럼, 샤프닝이 인접한 픽셀 값을 기초로 해서 개별 픽셀 값을 변경하기 때문이다. 다른 한편, 만약 상이한 투사에 대응하는 비디오 스트림이 분리된 필드에 유지된다면, 종래의 샤프닝 프로세스는 다른 필드에 저장된 다른 투사에 영향을 미치거나 이러한 투사로부터 영향을 받지 않고도 하나의 투사에 더욱 쉽게 적용될 수 있다.
일단 비디오 파일이 인코딩되면, 이것은 송신 매체(215)를 통해 디코딩 시스템(220)과 같은 하나 이상의 디코딩 시스템으로 전송될 수 있다. 송신 매체(215)는 데이터를 이송하기 위한 유선 또는 무선 네트워크의 일부분, DVD 디스크, CDROM 디스크, 플래시 메모리 카드 또는 다른 저장 매체와 같은 이송 가능한 매체, 또는 직접 인터페이스일 수 있으며, 이러한 인터페이스에서, 예컨대 인코딩 시스템(200)과 디코딩 시스템(220)은 하나의 장치로 서로 통합되거나 서로 탈착 가능하게 연결되도록 적응된다. 만약 이송 가능한 매체가 송신 매체(215)로서 사용된다면, 메모리 장치(206)는 이송 가능한 매체를 생성하는데 사용될 수 있고, 메모리 장치(222)는 이송 가능한 매체에 액세스할 수 있는 판독기를 포함할 수 있다. 게다가, 비록 인코딩 시스템(200)의 메모리 장치(206)와 디코딩 시스템(220)의 메모리 장치(222)가 그 각자의 시스템과 통합되어 도시될지라도, 이들 중 하나 또는 양자는 인코딩 시스템(200) 및/또는 디코딩 시스템(220)에 탈착 가능하게 연결되도록 적응된 외부 장치일 수 있다.
디코딩 시스템(220)은, 도 1의 파일(F-100)과 같은 MPEG-2 파일의 일부분을 저장하도록 적응된 메모리 장치(222)와 MPEG-2 파일에 저장된 비디오 스트림을 디 코딩하고 출력 비디오 스트림을 생성하도록 적응된 디코더(224)를 포함할 수 있다. MPEG-2 파일은, 예컨대 주 데이터 필드에서의 제 1 투사에 대응하는 비디오 스트림과 유저 데이터 필드에서의 하나 이상의 다른 투사에 대응하는 하나 이상의 비디오 스트림을 통해 도 1의 파일(F-100)과 같은 포맷을 가질 수 있다.
디코더(224)는 비디오 스트림 중 하나 이상을 디코딩하고 제 1 및 제 2 디코딩된 비디오 스트림을 기초로 해서 출력 비디오 스트림을 생성하도록 적응될 수 있다. 출력 비디오 스트림은 멀티-뷰 디스플레이와 사용하기 위해 멀티-뷰 포맷에 부합하게 생성될 수 있다. 예컨대, 멀티-뷰 포맷은 패럴랙스 배리어(parallax barrier)가 장착된 멀티-뷰 디스플레이와 호환가능한 인터리빙된 포맷일 수 있다. 출력 비디오 스트림은 디스플레이(226)에 전달될 수 있고, 디스플레이(226)는 (도시된 바와 같이) 디코딩 시스템(220)과 통합되거나 디코딩 시스템(220) 외부에 있을 수 있다. (도시되지 않은) 각 투사에 대응하는 프레임 버퍼는 또한 비디오 스트림이 디코딩되는 대로 이들을 저장하기 위해 디코더(224)와 디스플레이(226) 사이에 포함될 수 있다.
인코딩 및 디코딩 시스템(200 및 220)은 도 2의 예시적인 실시예에 도시된 것과 다른 요소, 입력 및/또는 출력을 포함할 수 있다. 게다가, 인코딩 및 디코딩 시스템(200 및 220)은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 결합을 사용하여 구현될 수 있다. 예컨대, 인코딩 및 디코딩 시스템(200 및 220)은, 도시된 기능 블록의 하나 이상의 기능을 실행하기 위해 전용 프로세서와 같은 하나 이상의 회로를 포함할 수 있다. 본 명세서에서 사용된 바와 같이, 용어, 회로는 또한 디지털 프로세서, 아날로그 프로세서, 프로그램 가능한 로직 어레이 및 장치, 프로그램 가능한 어레이 로직, 필드 프로그램 가능한 게이트/로직 어레이, 전기적으로 소거 가능한/프로그램 가능한 판독 전용 메모리, 마이크로컨트롤러, 주문형 회로 등과 같은 다른 소자를 포함할 수 있다. 본 발명에 부합하는 특정한 실시예에서, 여러 기능 블록의 기능은 또한, 전자 장치의 중앙 회로나 프로세서상의 하나 이상의 쓰레드(thread)로서 구현될 수 있다. 예컨대, 인코더(204)는 본 명세서에서 기술한 방법에 따라 비디오 스트림을 인코딩하기 위한 컴퓨터로 실행 가능한 명령을 실행하도록 구성된 마이크로프로세서로서 구현될 수 있다. 디코더(224)는 유사하게는 프로그램 가능한 프로세서로서 구현될 수 있다.
예시된 실시예가 특정한 비디오 압축 프로토콜 환경, 즉 MPEG-2 비디오 압축에서 기술되었지만, MPEG-1, MPEG-4 등과 같은 다른 형태의 비디오 압축도 사용될 수 있었음을 또한 이해해야 한다.
본 명세서의 실시예는 여러 컴퓨터 하드웨어 구현을 포함하는 특수용도 또는 범용 컴퓨터를 포함할 수 있다. 실시예는 또한 컴퓨터로 수행 가능한 명령이나 데이터 구조를 전달하거나 저장하기 위한 컴퓨터로 판독 가능한 매체를 포함할 수 있다. 그러한 컴퓨터로 판독 가능한 매체는 범용 또는 특수용도 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있다. 예를 들어, 이것으로 제한되는 것은 아니지만, 그러한 컴퓨터로 판독 가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 저장 장치, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 컴퓨터로 실행 가능한 명령이나 데이터 구조 형태로 원하는 프로그램 코드 수 단을 전달하거나 저장하는데 사용될 수 있고 범용이나 특수용도 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 정보가 네트워크나 다른 통신 연결(유선, 무선, 또는 유선이나 무선의 결합 중 어느 하나)을 통해 컴퓨터에 전송되거나 제공될 때, 컴퓨터는 당연히 이러한 연결을 컴퓨터로 판독 가능한 매체로서 인식한다. 그에 따라, 임의의 그러한 연결은 당연히 컴퓨터로 판독 가능한 매체라고 한다. 상기의 결합은 또한 컴퓨터로 판독 가능한 매체의 범주 내에 포함되어야 한다.
컴퓨터로 판독 가능한 명령은 예컨대 범용 컴퓨터, 특수용도 컴퓨터, 또는 특수용도 처리 장치가 특정한 기능 또는 기능 그룹을 실행하게 하는 명령 및 데이터를 포함한다. 비록 본 발명의 요지가 구조적 특성 및/또는 방법론적 단계(acts)에 특정되는 표현으로 기술되었을지라도, 첨부된 청구범위에 한정된 본 발명의 요지는 상술된 특정한 특성이나 단계로 반드시 제한되지는 않음을 이해해야 한다. 오히려, 상술된 특정한 특성 및 단계는 청구범위를 구현하는 예시적인 형태로서 개시된다.
본 발명은 그 사상이나 필수 특징에서 벗어나지 않고 다른 특정한 형태로 구현될 수 있다. 기술된 실시예는 모든 면에서 단지 예시적이지만 제한적이지는 않은 것으로 간주되어야 한다. 본 발명의 범주는, 그러므로 전술한 상세한 설명보다는 첨부된 청구범위에 의해서 지정된다. 청구범위에 등가인 것의 의미와 범위 내에 있는 모든 변화는 청구범위의 범주 내에 포함될 것이다.
도 1은 본 발명의 실시예에 따른 다중 비디오 스트림 및 대응하는 비디오 파일 포맷을 인코딩하는 방법을 예시한다.
도 2는 본 발명의 실시예에 따라 다중 비디오 스트림을 인코딩하는 인코딩 시스템의 한 예에 대한 블록도를 상반부에서 예시하며, 다중 비디오 스트림을 디코딩하는 디코딩 시스템의 한 예에 대한 블록도를 하반부에서 예시한다.

Claims (19)

  1. 복수의 비디오 스트림을 처리하는 방법으로서,
    장면의 제 1 투사에 대응하는 제 1 비디오 스트림을 인코딩하는 단계; 및
    상기 장면의 제 2 투사에 대응하는 제 2 비디오 스트림을 인코딩하는 단계를 포함하며,
    최종 인코딩된 제 2 비디오 스트림은 최종 인코딩된 제 1 비디오 스트림보다 더 압축되고, 상기 제 2 비디오 스트림은 상기 제 1 비디오 스트림의 적어도 일부분을 기준으로서 사용하여 인코딩되며,
    상기 복수의 비디오 스트림은 멀티-뷰 포맷(multi-view format)에 부합하게 처리되고,
    상기 멀티-뷰 포맷은 패럴랙스 배리어(parallax barrier)가 장착된 멀티-뷰 디스플레이와 호환가능한 인터리빙된 포맷(interleaved format)인, 복수의 비디오 스트림을 처리하는 방법.
  2. 삭제
  3. 청구항 1에 있어서, 상기 제 2 비디오 스트림은 상기 제 1 비디오 스트림보다 더 의존적인 프레임을 포함하도록 인코딩되며, 의존적인 프레임은 적어도 하나의 다른 프레임을 기준으로서 사용하여 인코딩되는 프레임인, 복수의 비디오 스트림을 처리하는 방법.
  4. 청구항 3에 있어서, 상기 제 2 비디오 스트림의 의존적인 프레임은 인트라(intra) 프레임을 포함하지 않는, 복수의 비디오 스트림을 처리하는 방법.
  5. 청구항 1에 있어서,
    파일의 주 데이터 필드에 상기 제 1 비디오 스트림을 저장하는 단계;
    상기 파일의 추가 데이터 필드에 상기 제 2 비디오 스트림을 저장하는 단계를 더 포함하는, 복수의 비디오 스트림을 처리하는 방법.
  6. 청구항 5에 있어서, 상기 추가 데이터 필드는 디코딩 프로세스 동안에 선택적으로 무시되는 벤더 배제 필드(vendor exclusive field)인, 복수의 비디오 스트림을 처리하는 방법.
  7. 청구항 5에 있어서, 상기 파일은, 주 데이터 필드가 추가 데이터 필드와 독립적이 되게 하는 포맷을 갖는, 복수의 비디오 스트림을 처리하는 방법.
  8. 청구항 5에 있어서, 상기 파일은 비디오 파일 표준에 부합하는 포맷을 갖는, 복수의 비디오 스트림을 처리하는 방법.
  9. 청구항 7에 있어서, 상기 비디오 파일 표준은 MPEG 표준인, 복수의 비디오 스트림을 처리하는 방법.
  10. 청구항 5에 있어서,
    상기 장면의 제 3 투사에 대응하는 제 3 비디오 스트림을 인코딩하는 단계를 더 포함하며,
    최종 인코딩된 제 3 비디오 스트림은 상기 인코딩된 제 1 비디오 스트림보다 더 압축되는, 복수의 비디오 스트림을 처리하는 방법.
  11. 청구항 10에 있어서,
    상기 제 3 비디오 스트림을 상기 추가 데이터 필드에 저장하는 단계를 더 포함하는, 복수의 비디오 스트림을 처리하는 방법.
  12. 복수의 비디오 스트림을 처리하는 방법으로서,
    제 1 장면의 제 1 투사에 대응하는 제 1 비디오 스트림을 인코딩하는 단계;
    파일의 주 데이터 필드에 상기 제 1 비디오 스트림을 저장하는 단계;
    제 2 장면의 제 2 투사에 대응하는 제 2 비디오 스트림을 인코딩하는 단계; 및
    상기 파일의 추가 데이터 필드에 상기 제 2 비디오 스트림을 저장하는 단계를 포함하며,
    상기 복수의 비디오 스트림은 멀티-뷰 포맷에 부합하게 처리되고,
    상기 멀티-뷰 포맷은 패럴랙스 배리어가 장착된 멀티-뷰 디스플레이와 호환가능한 인터리빙된 포맷인, 복수의 비디오 스트림을 처리하는 방법.
  13. 청구항 12에 있어서, 상기 제 2 비디오 스트림의 프레임은 상기 제 1 비디오 스트림의 프레임을 기준으로서 사용하여 인코딩되는, 복수의 비디오 스트림을 처리하는 방법.
  14. 장면의 상이한 투사에 각각 대응하는 복수의 비디오 스트림을 수신하는 입력 포트;
    상기 복수의 비디오 스트림을 인코딩하는 인코더를 포함하며,
    상기 인코더는 상기 비디오 스트림 중 적어도 하나를 상기 비디오 스트림 중 다른 적어도 하나보다 더 압축하고, 상기 복수의 비디오 스트림 중 제 2 비디오 스트림은 상기 복수의 비디오 스트림 중 제 1 비디오 스트림의 적어도 일부분을 기준으로서 사용하여 인코딩되고,
    상기 인코더는 멀티-뷰 포맷에 부합하게 상기 복수의 비디오 스트림을 인코딩하고,
    상기 멀티-뷰 포맷은 패럴랙스 배리어가 장착된 멀티-뷰 디스플레이와 호환가능한 인터리빙된 포맷인, 비디오 스트림 인코딩 시스템.
  15. 청구항 14에 있어서,
    인코딩된 비디오 스트림을 저장하는 메모리 장치를 더 포함하며,
    상기 인코더는 또한, 상기 인코딩된 비디오 스트림 중 제 1 스트림을 상기 메모리 장치상의 파일의 제 1 데이터 필드에 저장하고, 상기 인코딩된 비디오 스트림 중 제 2 스트림을 상기 메모리 장치상의 파일의 제 2 데이터 필드에 저장하는, 비디오 스트림 인코딩 시스템.
  16. 청구항 14에 있어서, 상기 인코더는 또한 상기 인코딩된 비디오 스트림 중 제 1 스트림에서의 프레임 중 적어도 일부를 인트라(intra) 프레임으로서 인코딩하고, 상기 인코딩된 비디오 스트림 중 제 2 스트림에서의 프레임 모두를 예측(predicted) 프레임, 양방향(bidirectional) 프레임, 또는 예측 프레임 및 양방향 프레임으로서 인코딩하는, 비디오 스트림 인코딩 시스템.
  17. 장면의 제 1 투사에 대응하는 제 1 비디오 스트림이 저장되는 주 데이터 필드와, 상기 장면의 제 2 투사에 대응하는 제 2 비디오 스트림이 저장되는 추가 데이터 필드를 포함하는 파일의 적어도 일부분을 저장하는 메모리 장치로서, 상기 제 2 비디오 스트림은 상기 제 1 비디오 스트림의 적어도 일부분을 기준으로서 사용하여 인코딩되는, 메모리 장치; 및
    상기 제 1 및 제 2 비디오 스트림을 디코딩하고, 상기 제 1 및 제 2 디코딩된 비디오 스트림을 기초로 해서 출력 비디오 스트림을 생성하는 디코더를 포함하며,
    상기 디코더는 멀티-뷰 포맷에 부합하게 상기 출력 비디오 스트림을 생성하고,
    상기 멀티-뷰 포맷은 패럴랙스 배리어가 장착된 멀티-뷰 디스플레이와 호환가능한 인터리빙된 포맷인, 비디오 스트림 디코딩 시스템.
  18. 삭제
  19. 삭제
KR1020080058952A 2008-02-28 2008-06-23 하나의 비디오 파일에서 비디오 데이터의 다중 투사를처리하는 시스템 및 방법 KR100990565B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/039,253 2008-02-28
US12/039,253 US20090219985A1 (en) 2008-02-28 2008-02-28 Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File

Publications (2)

Publication Number Publication Date
KR20090093747A KR20090093747A (ko) 2009-09-02
KR100990565B1 true KR100990565B1 (ko) 2010-10-29

Family

ID=40652693

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080058952A KR100990565B1 (ko) 2008-02-28 2008-06-23 하나의 비디오 파일에서 비디오 데이터의 다중 투사를처리하는 시스템 및 방법

Country Status (5)

Country Link
US (1) US20090219985A1 (ko)
EP (1) EP2096870A3 (ko)
JP (1) JP2009207136A (ko)
KR (1) KR100990565B1 (ko)
TW (1) TW200937967A (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
JP4546246B2 (ja) 2002-10-05 2010-09-15 デジタル ファウンテン， インコーポレイテッド 連鎖的暗号化反応の系統的記号化および復号化
CN1954501B (zh) 2003-10-06 2010-06-16 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法
CN103124182B (zh) 2004-05-07 2017-05-10 数字方敦股份有限公司 文件下载和流系统
CN101686107B (zh) 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
EP2512135B1 (en) 2007-04-12 2015-03-18 Thomson Licensing Tiling in video encoding and decoding
EP2203836A4 (en) 2007-09-12 2014-11-05 Digital Fountain Inc GENERATING AND COMMUNICATING SOURCE IDENTIFICATION INFORMATION TO ENABLE RELIABLE COMMUNICATIONS
US9036714B2 (en) 2009-01-26 2015-05-19 Thomson Licensing Frame packing for video coding
CN105744284B (zh) 2009-02-19 2019-04-19 交互数字麦迪逊专利控股公司 使用3d视频格式的装置
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
JP2011107589A (ja) * 2009-11-20 2011-06-02 Sony Corp 立体表示装置
WO2011094019A1 (en) * 2010-01-29 2011-08-04 Thomson Licensing Block-based interleaving
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
WO2012067399A2 (ko) * 2010-11-15 2012-05-24 엘지전자 주식회사 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US8736660B2 (en) 2011-03-14 2014-05-27 Polycom, Inc. Methods and system for simulated 3D videoconferencing
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
CN105474638A (zh) * 2014-05-27 2016-04-06 联发科技股份有限公司 提供投射显示系统待显示的图像或视频的系统以及通过投射显示系统显示或投射图像或视频的系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341520A (ja) 1998-05-28 1999-12-10 Kdd Corp ステレオ動画像用符号化装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE38802E1 (en) * 1994-03-19 2005-09-27 Sony Corporation Method for reproducing compressed information data from a disk using a spatial frequency less than the track pitch
JPH09327041A (ja) * 1996-06-03 1997-12-16 Sanyo Electric Co Ltd 記録媒体、立体画像表示方法
US6366617B1 (en) * 1998-10-09 2002-04-02 Matsushita Electric Industrial Co., Ltd. Programmable filter for removing selected user data from an MPEG-2 bit stream
US7271803B2 (en) * 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6480537B1 (en) * 1999-02-25 2002-11-12 Telcordia Technologies, Inc. Active techniques for video transmission and playback
JP2001054140A (ja) * 1999-08-11 2001-02-23 Sukurudo Enterprise Kk ステレオ映像帯域圧縮符号化方法および復号化方法ならびに記録媒体
US7039116B1 (en) * 2000-11-07 2006-05-02 Cisco Technology, Inc. Methods and apparatus for embedding and format conversion of compressed video data
EP1453011A4 (en) * 2001-10-11 2005-04-06 Yappa Corp SYSTEM FOR DISPLAYING 3D IMAGES ON THE WEB
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
GR1004257B (el) * 2002-06-05 2003-06-09 Μεθοδος στερεοσκοπικης απεικονισης
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
US7466336B2 (en) * 2002-09-05 2008-12-16 Eastman Kodak Company Camera and method for composing multi-perspective images
US7926080B2 (en) * 2002-11-07 2011-04-12 Microsoft Corporation Trick mode support for VOD with long intra-frame intervals
US20040111526A1 (en) * 2002-12-10 2004-06-10 Baldwin James Armand Compositing MPEG video streams for combined image display
WO2005083637A1 (es) * 2004-02-27 2005-09-09 Td Vision Corporation, S.A. De C.V. Método y sistema de decodificación digital de imágenes de video 3d estereoscópicas
US7236175B2 (en) * 2004-08-13 2007-06-26 National Center For High Performance Computing Apparatus for projecting computer generated stereoscopic images
US7672378B2 (en) * 2005-01-21 2010-03-02 Stmicroelectronics, Inc. Spatio-temporal graph-segmentation encoding for multiple video streams
JP5090337B2 (ja) * 2005-04-08 2012-12-05 リアルディー インコーポレイテッド 平面パススルーを有する自動立体ディスプレイ
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
KR100943914B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
KR100754205B1 (ko) * 2006-02-07 2007-09-03 삼성전자주식회사 다시점 동영상 부호화 장치 및 방법
US8248462B2 (en) * 2006-12-15 2012-08-21 The Board Of Trustees Of The University Of Illinois Dynamic parallax barrier autosteroscopic display system and method
US8923399B2 (en) * 2007-01-24 2014-12-30 Lg Electronics Inc. Method and an apparatus for processing a video signal
KR101115547B1 (ko) * 2007-04-24 2012-03-05 노키아 코포레이션 미디어 파일들에서의 다중 디코딩 시각들을 시그날링
KR20090004658A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341520A (ja) 1998-05-28 1999-12-10 Kdd Corp ステレオ動画像用符号化装置

Also Published As

Publication number Publication date
JP2009207136A (ja) 2009-09-10
US20090219985A1 (en) 2009-09-03
KR20090093747A (ko) 2009-09-02
EP2096870A3 (en) 2011-08-17
TW200937967A (en) 2009-09-01
EP2096870A2 (en) 2009-09-02

Similar Documents

Publication Publication Date Title
KR100990565B1 (ko) 하나의 비디오 파일에서 비디오 데이터의 다중 투사를처리하는 시스템 및 방법
US8487981B2 (en) Method and system for processing 2D/3D video
CN111837397A (zh) 基于子图像码流的视角相关视频编码中的错误消除的码流指示
US20110157309A1 (en) Hierarchical video compression supporting selective delivery of two-dimensional and three-dimensional video content
US20150172544A1 (en) Panorama based 3d video coding
US20140161172A1 (en) Software hardware hybrid video encoder
US9560379B2 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
EP2932711B1 (en) Apparatus and method for generating and rebuilding a video stream
US20180007375A1 (en) Image encoding and decoding methods and devices thereof
US11388437B2 (en) View-position and angle dependent processing of point cloud data
CN112153391B (zh) 视频编码的方法、装置、电子设备及存储介质
US20150304640A1 (en) Managing 3D Edge Effects On Autostereoscopic Displays
US20150365698A1 (en) Method and Apparatus for Prediction Value Derivation in Intra Coding
JP2014528190A (ja) カメラおよび／または深度パラメータのシグナリング
KR100746005B1 (ko) 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
US8854435B2 (en) Viewpoint navigation
KR101476532B1 (ko) Hevc nal 유닛 구문 구조의 확장
CN102308319A (zh) 用于编码数据与三维渲染的系统与格式
US20110063298A1 (en) Method and system for rendering 3d graphics based on 3d display capabilities
Willner et al. Mobile 3D video using MVC and N800 internet tablet
CN116097652B (zh) 基于视口变化的双流动态gop访问
US9787966B2 (en) Methods and devices for coding interlaced depth data for three-dimensional video content
WO2024077616A1 (zh) 编解码方法、装置、设备、及存储介质
US20230345020A1 (en) Method for processing video data stream, video decoding apparatus, and method for encoding data stream
CN115733986A (zh) 编码、封装及显示方法、装置及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141002

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150917

Year of fee payment: 6