KR19990045067A - 입체 비디오 코딩을 위한 가시 오프셋 추정 - Google Patents

입체 비디오 코딩을 위한 가시 오프셋 추정 Download PDF

Info

Publication number
KR19990045067A
KR19990045067A KR1019980047444A KR19980047444A KR19990045067A KR 19990045067 A KR19990045067 A KR 19990045067A KR 1019980047444 A KR1019980047444 A KR 1019980047444A KR 19980047444 A KR19980047444 A KR 19980047444A KR 19990045067 A KR19990045067 A KR 19990045067A
Authority
KR
South Korea
Prior art keywords
image
lower layer
layer image
incremental
offset
Prior art date
Application number
KR1019980047444A
Other languages
English (en)
Inventor
쑤에민 첸
Original Assignee
매클린토크 샤운 엘
제너럴 인스트루먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매클린토크 샤운 엘, 제너럴 인스트루먼트 코포레이션 filed Critical 매클린토크 샤운 엘
Publication of KR19990045067A publication Critical patent/KR19990045067A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

입체 비디오 전송시스템에서는, 증가층 화상은 하부층 화상을 이용하여 디스패리티 예측되고, 이 하부층 화상은 내안 카메라 렌즈(inter-ocular camera lens) 분리를 보상하기 위해 그 하부층 화상을 우측으로 이동시킴으로써 상기 증가층 화상과 더 밀접하게 정합된다. 디스패리티 예측에 대한 모션 벡터의 검색범위는 코딩효율을 향상시키기 위해 축소된다. 엔코더에서, 증가층 화상과 하부층 화상간의 최적 오프셋(x)은 증가층 화상과 하부층 화상간의 최소 평균에러나 최소 평균제곱에러에 따라 결정된다. 이 오프셋(x)은 오프셋 검색범위(X)에 의해 바운드된다. 하부층 화상의 우측 최상의 x화소열은 소거되고, 하부층 화상의 좌측 최상의 x열은 증가층 화상을 디스패리티 예측하는데 사용하기 위한 기준화상을 얻기 위해 하부층 화상을 x화소만큼 우측으로 효과적으로 이동시키도록 메워진다. VOP 등과 같은 제멋대로의 형상의 화상에 대해서는, 좌측 최상부는 소거되고, 우측 최상부는 메워진다. 디코더에서, 오프셋값(x)은 유효하다면 복구되어 기준 프레임을 재구성하는데 사용된다.

Description

입체 비디오 코딩을 위한 가시 오프셋 추정
본 발명은 입체 비디오 데이터를 코딩하기 위한 장치 및 방법에 관한 것으로, 특히 동일한 시간 기준점에서 우측 및 좌측 채널 가시 사이의 장면의 최적 오프셋을 추정하기 위한 시스템에 관한 것이다. 이 시스템은 코딩효율을 향상시키기 위해 디스패리티[disparity; 즉, 크로스 채널(cross-channel) 또는 크로스 층(cro ss-layer)] 예측에 대한 모션 벡터 검색범위를 줄인다.
디지털 기술은 아날로그 기술보다 아주 높은 질의 신호를 전달할 수 있기 때문에, 소비자에게 비디오 및 오디오 서비스를 전송하는데 대변혁을 일으켰고, 전에는 이용할 수 없었던 부가적인 특징을 제공한다. 디지털 시스템은, 특히 케이블 텔레비전 네트워크를 통해 방송되거나, 위성에 의해 케이블 텔레비전 가입자에게 방송되거나, 혹은 직접 가정의 위성 텔레비전 수신기로 방송되는 신호에 대해 유리하다. 이러한 시스템에서는, 서브스크라이버(subscriber)가 원래의 비디오 및 오디오신호를 재구성하기 위해 데이터를 신장 및 해독하는 수신기/디스크램블러(des crambler)를 통해 디지털 데이터 스트림을 수신한다. 디지털 수신기는 이 처리에 사용하기 위해 마이크로컴퓨터와 메모리 기억소자를 포함하고 있다.
고화질 비디오 및 오디오를 여전히 제공하면서 저가의 수신기를 제공하기 위해서는, 처리되는 데이터의 양을 제한하는 것이 필요하게 된다. 더욱이, 디지털신호의 전송에 유효한 대역폭은 물리적인 속박, 현존하는 통신 프로토콜 및 정부의 규제 등에 의해 제한될 수도 있다. 따라서, 특정의 비디오화면(예컨대, 프레임)내에서 인접한 화소 사이의 공간적인 상관을 이용하여 각종의 프레임내 데이터 압축구조가 발전되어 왔다.
더욱이, 프레임간의 압축구조는 모션 입축 데이터 및 블록정합 모션추정 알고리즘을 이용함으로써 연속적인 프레임의 대응하는 영역 사이에서 시간 상관을 이용하고 있다. 이 경우, 모션 벡터는 현 블록을 가장 밀접하게 닮은 이전 화상의 블록을 식별함으로써 화상의 현 화면의 각 블록마다 결정된다. 전체의 현 화면은, 그 후에 대응하는 블록쌍 사이의 차이를 나타내는 데이터를 대응하는 쌍을 식별하는데 필요한 모션 벡터와 함께 전송함으로써 디코더에서 재구성될 수 있다. 블록정합 모션추정 알고리즘은 이산코사인변환(discrete cosine transform: DCT) 등과 같은 블록에 기초를 둔 공간압축기술과 결합될 때 특히 유효하다.
부가적으로, 여기에 레퍼런스로서 혼합된 문헌 「ISO/IEC JTC1/SC29/WG11 N1088(ITU-T Recommendation H.262), entitled "Proposed Draft Amendment No. 3 to 13818-2(Multi-view Profile)", November 1995」 및 그 개정안 3에 개시된 동화상 전문가 그룹(Motion Picture Experts Group: MPEG) MPEG-2 다중 가시 프로파일(Multi-view Profile: MVP) 등의 제안된 입체 비디오 전송포맷 뿐만 아니라, 문서 「ISO/IEC JTC1/SC29/WG11 N1277, Tampere, Finland, July 1996」에 개시된 MPEG-4 비디오 검증모델(Verification Model: VM)에 관심이 증대되고 있다.
입체 비디오는 더 큰 깊이의 필드를 갖는 복합 프레임을 생성하기 위해 동일 화상의 오프셋 가시(offset view)를 약간 제공함으로써, 3차원(3-D) 효과를 만들어낸다. 이러한 시스템에서는, 2중 카메라를 2개의 분리된 비디오신호에 사건을 기록하기 위해 약 2.5인치 또는 65㎜ 떨어져서 위치시킬 수 있다. 카메라의 간격은 사람의 좌측 및 우측 눈 사이의 거리, 즉 내안 분리(inter-ocular separation)에 가깝다. 더욱이, 어떤 입체 비디오 캠코더의 경우에는, 2개의 렌즈가 하나의 캠코더 헤드내에 조립되고, 따라서 예컨대 화상을 가로질러 움직일 때 동기하여 움직이게 된다. 2개의 비디오신호는 통상의 인간 시각에 대응하는 필드의 깊이를 갖는 화상을 생성하기 위해 전송되어 수신기에서 재결합될 수 있다. 다른 특별한 효과도 제공할 수 있다.
MPEG MVP 시스템은 다중화된 신호로 전송되는 2개의 비디오층을 포함하고 있다. 첫째로, 베이스(예컨대, 하부)층은 3차원 물체의 좌측 가시(left view)를 나타낸다. 둘째로, 증가(예컨대, 보조 또는 상부)층은 물체의 우측 가시(right view)를 나타낸다. 우측 및 좌측 가시가 동일 물체의 것이고, 서로에 관하여 약간만 오프셋하고 있기 때문에, 통상적으로 베이스 및 증가층의 비디오 화상 사이에 상당한 정도의 상관(correlation)이 있다. 이 상관은 베이스층에 비례하여 증가층의 데이터를 압축하는데 사용할 수 있고, 따라서 주어진 화질을 유지하기 위해 증가층에 전송될 필요가 있는 데이터의 양을 줄인다. 화질은 일반적으로 비디오 데이터의 양자화 레벨에 대응한다.
MPEG MVP 시스템은, I-화면(intra-coded picture), P-화면(predictive-coded picture) 및 B-화면(bi-directionally predictive-coded picture)의 3가지 타입의 비디오 화면을 포함하고 있다. 더욱이, 베이스층이 프레임이나 필드구조의 비디오 시퀀스를 조정하는 반면에, 증가층은 프레임구조만을 조정한다. I-화면은 어떤 다른 화면을 참조하는 일없이 단일 비디오화면을 완전히 묘사한다. 개선된 에러은폐(error concealment)에 대해서는, 모션 벡터는 I-화면을 포함시킬 수 있다. 베이스층의 P-화면 및 B-화면 모두가 I-화면으로부터 예측되기 때문에, I-화면에서의 에러는 디스플레이되는 비디오상에 더 큰 충격을 위한 포텐셜을 갖는다. 더욱이, 증가층에서의 화면은 디스패리티 예측(disparity prediction)으로서 알려진 크로스층 예측처리에 의해 베이스층의 화면으로부터 예측할 수 있다. 층내의 한 프레임으로부터 다른 프레임으로의 예측은 일시적인 예측(temporal prediction)으로서 알려져 있다.
베이스층에서는, P-화면은 이전의 I 또는 P-화면에 기초하여 예측된다. 기준은 최초의 I 또는 P-화면으로부터 미래의 P-화면까지이고, 순방향 예측(forward prediction)으로서 알려져 있다. B-화면은 가장 가까운 최초의 I 또는 P-화면 및 가장 가까운 최종 I 또는 P-화면으로부터 예측된다.
증가층에서는, P-화면은 (a) 증가층에서 가장 최근에 해독된 화면, (b) 디스플레이순서에서 가장 최근의 베이스층 화면, 또는 (c) 디스플레이순서에서 다음의 하부층 화면으로부터 예측할 수 있다. 케이스 (b)는 통상적으로 디스플레이순서에서 가장 최근의 베이스층 화면이 I-화면일 때 사용된다.
더욱이, 증가층의 B-화면은 (d) 순방향 예측을 위해 가장 최근에 해독된 증가층 화면 및 디스플레이순서에서 가장 최근의 하부층 화면, (e) 순방향 예측을 위해 가장 최근에 해독된 증가층 화면 및 디스플레이순서에서 역방향 예측(backward prediction)을 위한 다음의 하부층 화면, 또는 (f) 디스플레이순서에서 순방향 예측을 위한 가장 최근의 하부층 화면 및 디스플레이순서에서 역방향 예측을 위한 다음의 하부층 화면을 이용하여 예측할 수 있다. 디스플레이순서에서 가장 최근의 하부층 화면이 I-화면일 때는, I-화면은 예측 코딩(예컨대, 순방향 예측이 없을 수 있음)을 위해 사용할 수 있을 뿐이다.
예측모드 (a), (b) 및 (d)만이 MPEG MVP 시스템내에 포함된다는 점에 주의해야 한다. MVP 시스템은 각 모드 (a)∼(f)를 포함하는 MPEG 일시 스칼라빌러티 코딩(temporal scalability coding)의 서브세트이다.
하나의 선택구성에서는, 증가층은 P 및 B-화면을 갖추고 있지만, I-화면은 없다. 미래의 화면(즉, 아직 디스플레이되지 않은 화면)에 대한 기준은 역방향 예측이라고 부른다. 증가층내에서는 역방향 예측이 없다는 점에 주의해야 한다. 따라서, 증가층 화면은 디스플레이순서로 전송된다. 역방향 예측이 압축률을 증가시키기에 아주 유용한 상황에 있다. 예컨대, 도어를 열 때의 장면에서는, 현 화면을 도어가 이미 열린 미래의 화면에 기초하여 도어 뒤에 있는 것이 무엇인가에 따라 예측할 수 있다.
B-화면은 최대의 압축을 가져오지만, 또한 최대의 에러를 내포하고 있다. 에러전파를 제거하기 위해서, B-화면은 베이스층의 다른 B-화면으로부터 전혀 예측할 수 없다. P-화면은 더 적은 에러 및 더 적은 압축을 가져온다. I-화면은 최소의 압축을 가져오지만, 랜덤 액세스(random access)를 제공할 수 있다.
디스패리티 예측에 대해서는, 예컨대 하부층 화상이 단독으로 또는 증가층 기준화상과 조합해서 증가층 화상에 대한 기준화상으로서 사용되는 경우가 있다. 증가층 화상은 미리 정의된 검색영역을 검색하여 기준화상내에서 최적정합 화상을 찾아내고, 그후 기준화상의 최적정합 화상의 화소를 이용하여 증가층 화상의 화소를 차분 암호화함으로써 모션보상된다. 코드화된 증가층 영역에 대한 최적정합 화상의 상대 변위를 정의하는 모션 벡터는, 디코더에서의 증가층 화상의 재구성을 허용하기 위해 차분 암호화된 화소데이터와 함께 전송된다. 매크로블록 기초에 의해 매크로블록에 처리가 발생하게 된다.
그렇지만, 모션 벡터 검색범위가 증가할 때, 디스패리티 예측에 대한 처리 및 메모리 저장 요구가 증가한다. 부가적으로, 디스패리티 벡터의 불충분한 가변길이코딩[예컨대, 허프만 코딩(Huffman coding)]이 생긴다. 이는, 더 고가로 되거나 또는 더 느린 엔코딩/디코딩장치로 되게 한다. 따라서, 입체 비디오 시스템에서의 디스패리티 예측된 증가층 화상의 코딩효율을 향상시키기 위한 시스템을 갖추는 것이 유리하다. 이 시스템은, 입체 비디오 카메라의 내안 분리를 감안하여 증가층 화상과 더 밀접하게 정합하는 이동된 하부층 화상을 제공하지 않으면 안된다. 그리고 이 시스템은 직사각형 뿐만 아니라 제멋대로의 형상의 화상을 포함하는 각종의 화상크기와 양립할 수 있어야만 한다.
더욱이, 이 시스템은 MPEG-1, MPEG-2, MPEG-4, H.261 및 H.263 등의 각종의 현존하는 제안된 비디오 코딩 표준과 호환가능해야만 한다.
이 시스템은 기준 프레임을 재구성할 때에 디코더에 의해 사용되는 오프셋값의 전송을 제공해야만 한다. 또한, 이 시스템은 엔코더에서 모션 벡터 검색범위를 축소함으로써 오프셋값의 전송을 허용하지 않는 비디오 표준의 경우에도 유효해야만 한다. 더욱이, 이 기술은 정지화상 및 화상의 시퀀스에 적합해야만 한다.
본 발명은 상기한 이점 및 다른 이점을 갖는 시스템을 제공한다.
본 발명은 상기한 점을 감안하여 이루어진 것으로, 내안 카메라 렌즈 분리를 보상함으로써 입체 비디오 전송시스템의 코딩효율을 향상시키기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.
도 1은 본 발명에 따른 입체 비디오용의 코더/디코더구조의 블록도,
도 2는 입체 비디오 카메라 모델의 개략도,
도 3은 증가층에서의 P-화면에 대한 디스패리티 예측모드를 설명하는 도면,
도 4는 B-화면에 대한 증가층 예측모드를 설명하는 도면,
도 5는 본 발명에 따른 좌측 가시화상의 처리를 설명하는 도면,
도 6은 본 발명에 따른 엔코더 처리흐름을 설명하는 도면,
도 7은 본 발명에 따른 디코더 처리흐름을 설명하는 도면,
도 8은 본 발명에 따른 디스패리티 예측 및 모션 벡터 검색을 설명하는 도면,
도 9는 본 발명에 따른 모션 벡터을 설명하는 도면,
도 10은 본 발명에 따른 증가층 디코더 구조의 블록도이다.
〈도면의 주요부분에 대한 부호의 설명〉
100 --- 카메라장치, 105 --- 리멀티플렉서(REMUX),
110 --- 증가형 엔코더, 115 --- 하부 엔코더,
120 --- 시스템 멀티플렉서(SYS. MUX),
122 --- 디코더,
125 --- 시스템 디멀티플렉서(SYS. DEMUX),
130 --- 디코더, 135 --- 하부 디코더,
140 --- 리멀티플렉서(REMUX), 300 --- I-화면,
310 --- P-화면, 400 --- I-화면,
410, 420 --- B-화면, 500 --- 좌측 가시화상,
510 --- 우측 가시화상, 520 --- x열,
530 --- 메워진 영역, 535 --- 좌측 가시화상,
540 --- 이동된 좌측 가시화상, 810, 850, 860 --- P-화면,
820, 830 --- B-화면, 840 --- I-화면,
900, 920, 930 --- 매크로블록, 910, 940 --- 검색범위,
1010 --- 파서, 1020 --- DRAM,
1030 --- 메모리 관리자, 1040 --- 신장/예측 처리장치.
본 발명에 따르면, 내안 카메라 렌즈 분리를 보상함으로써 입체 비디오 전송시스템의 코딩효율을 향상시키기 위한 방법 및 장치가 제공된다.
그 하부층의 하부층 화상을 이용하여 입체 비디오신호의 증가층의 증가층 화상을 예측하기 위한 방법은, 상기 증가층 화상과 상기 하부층 화상간의 최적 오프셋(x)을 최소 평균에러나 최소 평균제곱에러에 따라 결정하는 단계와, 상기 증가층 화상을 디스패리티 예측하는데 사용하기 위한 기준화상을 얻기 위해 상기 최적 오프셋에 따라 상기 하부층 화상을 이동시키는 단계를 구비하여 이루어진다.
상기 이동단계는, 상기 하부층 화상의 최종(예컨대, 좌측 최상)의 x화소열을 소거하고, 전에 존재하는 최초의 화소열(즉, 이동시키기 전의 좌측 최상의 열)에 따라 최초(예컨대, 좌측 최상)의 x화소열을 메움으로써 수행된다.
상기 증가층 화상은 모션 보상을 이용하여 기준화상으로부터 디스패리티 예측되고, 매크로블록 등의 최적정합 화상은 상기 이동시키는 일없이 상기 하부층 화상의 검색범위에 대하여 축소되는 검색범위를 이용하여 상기 기준화상내에서 얻어진다.
추정된 오프셋은, 최적 오프셋을 찾기 위해 추정된 오프셋에 의해 결정된 범위내에서 하부층 화상을 검색하는 경우에, 카메라 포커스 파라미터 및 내안 분리에 따라 결정될 수 있다.
상기 증가층 화상 및 상기 하부층 화상은, VOP(video object plane)나 다른 제멋대로의 형상의 화상뿐만 아니라 직사각형 화상(예컨대, 프레임)으로 구성될 수 있다.
새로운 최적 오프셋(x)은, 상기 하부층 화상에 대해 장면변화가 검출된 경우에 결정될 수 있다. 장면변화가 검출되지 않은 경우에는, 상기 하부층의 이전 화상으로부터의 오프셋을 최적 오프셋(x)으로서 사용할 수 있다. 선택적으로, 새로운 최적 오프셋(x)은 하부층의 새로운 GOP에 대하여 결정될 수 있다.
최적 오프셋(x)은, 기준화상을 재생성하기 위해 디코더에 의해 사용되는 상기 입체 비디오신호에 전송될 수 있다.
최소 평균에러에 대해서는, 최적 오프셋(x)은 다음 값이 최소화되도록 결정되며, 상기 하부층 화상은 좌측 가시화상이고, 상기 증가층 화상은 우측 가시화상이다.
여기에서, yL및 yE는 각각 하부 및 증가층 화상의 휘도 화소값(luminance pixel value)을 나타내고, i 및 j는 각각 하부 및 증가층 화상의 수평 및 수직 데카르트좌표(Cartesian coordinate)를 나타내며, h는 하부층 화상의 높이를 나타내고, w는 하부층 화상의 폭을 나타낸다.
또, 최소 평균제곱에러에 대해서는, 최적 오프셋(x)은 다음 값으로 되도록 결정된다.
색차 데이터(chrominance data)에 대한 오프셋은 4:2:0 비디오에 대하여이다.
더욱이, 대응하는 장치 및 디코더도 제공된다.
(발명의 실시형태)
이하, 첨부된 예시도면을 참조하여 본 발명의 실시형태를 설명한다.
입체 비디오 시스템에서의 우측 및 좌측 채널 가시 사이의 장면의 최적 오프셋을 추정하기 위한 방법 및 장치가 제공된다.
도 1은 입체 비디오용의 코더/디코더구조의 블록도이다. MPEG MVP 표준 및 유사한 시스템은 하부층(베이스층) 및 증가층 또는 상부층을 포함하는 2개의 비디오층의 코딩을 필요로 한다. 그러한 응용의 경우, 하부층은 좌측 가시에 할당되고, 증가층은 우측 가시에 할당된다. 도 1의 코더/디코더(coder/decoder; 예컨대, codec)구조에 있어서는, 하부층 및 증가층 비디오 시퀀스는 일시적 리멀티플렉서(REMUX; 105)에 의해 수신된다. 시분할 다중화(TDMX)를 이용함으로써, 증가층 비디오는 증가형 엔코더(enhancement encoder; 110)에 공급되고, 베이스층 비디오는 하부 엔코더(lower encoder; 115)에 공급된다. 하부층 비디오 데이터는 디스패리티 예측을 위해 증가형 엔코더(110)에 공급될 수도 있다는 점에 주의해야 한다.
그후, 암호화된 증가층 및 베이스층은, 일반적으로 도면부호 122로 나타낸 디코더로의 전송을 위해 전송 스트림으로서 시스템 멀티플렉서(SYS. MUX; 120)에 공급된다. 전형적으로, 전송경로로는 케이블 시스템 헤드엔드로의 위성링크 또는 소비자의 가정으로 위성을 통한 직접경로가 있다. 디코더(122)에서, 전송 스트림은 시스템 디멀티플렉서(SYS. DEMUX; 125)에서 디멀티플렉스된다. 암호화된 증가층 데이터는 증가형 디코더(130)로 공급되고, 암호화된 하부층 데이터는 하부 디코더(135)로 공급된다. 이 경우, 해독(decoding)은 병렬처리구성으로 하부 및 증가층 모두 동시에 수행되는 것이 바람직하다. 또한, 증가형 디코더(130) 및 하부 디코더(135)는 한번에 한 화면씩 순차적으로 해독을 수행하는 경우에 공통의 처리하드웨어를 공유할 수도 있다.
해독된 하부층 데이터는 분리된 데이터 스트림으로서 하부 디코더(135)로부터 출력되고, 일시적 리멀티플렉서(140)로 공급된다. 일시적 리멀티플렉서(140)에서는, 증가층 출력신호를 제공하기 위해 도시된 바와 같이 해독된 베이스층 데이터 및 해독된 증가층 데이터가 결합된다. 그리고, 증가층 및 하부층 출력신호는 가시용의 디스플레이장치에 공급된다.
도 2는 입체 비디오 카메라 모델의 개략도이다. 일반적으로 도면부호 100으로 나타낸 카메라장치는, 내안 거리(δ; 130), 전형적으로 65㎜만큼 분리된 각각의 축(125,115)을 갖는 우측 가시렌즈(120)와 좌측 가시렌즈(110)를 포함하고 있다. 축(115,125)은 카메라평면(140)과 교차한다. 상기 카메라장치(100)는 장면의 2개의 분리된 레코딩(recording)이 얻어지도록 각각의 렌즈를 갖춘 2개의 동일한 카메라를 포함하고 있다. 이들 카메라는 평행축 및 CCD(charge coupled device) 등의 코플레이너(coplanar) 화상센서를 갖추고서 방향을 취하고 있다. 따라서, 주어진 순간에 장면의 2개의 화상의 변위(디스패리티)는 주로 수평선상에 존재하고, 렌즈(110,120)의 수평분리에 의해 발생한다.
입체 이미징 시스템은 한 장면의 2개의 가시를 제공하기 위해 인간 시각계의 원리를 복제한다. 관찰자의 대응하는 좌측 눈 및 우측 눈에 적당한 디스플레이상의 적절한 가시를 제공함으로써, 그 장면의 2개의 약간 다른 원근 가시(perspec tive view)가 각 망막에 모사(模寫)된다. 그때에 뇌는 이들 화상을 하나의 가시로 융합시키고, 관찰자는 향상된 깊은 지각을 통해 추가된 사실성을 제공하는 입체 비디오(입체 환영)의 감동을 경험한다.
입체 비디오 데이터를 유효하게 전송하기 위해서, 두 가시의 화상의 코딩(예컨대, 압축)이 유효하지 않으면 안된다. 입체 비디오의 유효한 코딩은 모션 보상 뿐만 아니라 디스패리티(예컨대, 크로스 채널 또는 크로스 층) 예측에 의존한다. 좌측 가시 화면과 우측 가시 화면간의 디스패리티 예측에 대한 모션 벡터 검색범위를 줄임으로써, 낮은 복잡성을 갖는 엔코더를 실현할 수 있다. 이것은, 동일한 일시 기준점에서 두 가시의 화면 사이의 장면의 전체적인 위치오프셋을 최적으로 추정함으로써 이루어진다.
여기에 제시된 시스템은 어쩌면 입체 비디오 코딩의 디스패리티 예측에 대해 실험하는 MPEG-2 다중가시 프로파일(MVP) 및 MPEG-4 비디오 검증모델(VM)(버전 3.0 이상)의 성능향상 옵션을 사용한다. MVP(또는 MPEG-4 MV 3.0)는 2개의 층, 즉 하부 또는 베이스층 및 증가층의 코딩을 필요로 한다. 입체 비디오 코딩에 대해서는, 하부층은 좌측 가시에 할당되고, 증가층은 우측 가시에 할당된다. P-화면 및 B-화면에 대한 MVP에서의 증가층의 디스패리티 추정/예측모드는 매크로블록을 기본으로 하는 블록정합기술로 이루어진다. MVP 디코더에 있어서, 이들 예측모드는 도 3, 도 4 및 도 8에 나타내어져 있다.
입체 비디오 코딩의 경우, 시점(視點)의 오프셋으로 인하여 디스패리티 예측된 각 매크로블록에 대한 수평 디스패리티 벡터가 예상된다. 실제로, 이것은 이들 디스패리티 벡터의 불충분한 가변길이코딩(VLC; 허프만 코딩)을 일으킨다. 본 발명은, 추정된 디스패리티 벡터의 코딩이 더 유효해지도록 입체 가시의 수평오프셋을 결정하는 방법의 문제를 처리한다.
본 발명에 따르면, 좌측 가시화상이 적절한 수의 화소에 의해 오프셋하여 오프셋 좌측 가시화상과 우측 가시화상 사이의 변위를 줄일 수 있게 된다. 따라서, 이 새로운 화상쌍에 기초를 둔 디스패리티 예측은 더 유효해지게 된다.
도 3은 증가층의 P-화면에 대한 디스패리티 예측모드를 설명하는 도면이다. 여기에서, 증가층의 P-화면(310)은 일시적으로 일치하는 하부층의 I-화면(300)을 이용하여 디스패리티 예측된다.
도 4는 증가층의 B-화면에 대한 예측모드를 설명하는 도면이다. 여기에서, 증가층의 B-화면(410)은 순방향 예측 및 디스패리티 예측을 이용하여 예측된다. 특히, B-화면(410)은 가장 최근에 해독된 증가층 화면인 다른 B-화면(420) 및 디스플레이순서에서 가장 최근의 하부층 화면인 I-화면(400)을 이용하여 순방향 예측된다.
도 5는 본 발명에 따른 좌측 가시화면의 처리를 설명하는 도면이다. 본 발명의 전체적인 수평위치 오프셋기술은 현존하는 입체 코딩 표준과 호환성을 유지하면서 코딩효율을 향상시킨다. 전체적인 수평위치 오프셋방법은 좌측 가시화상의 수평위치이동을 얻는다. 따라서, (이동된) 좌측 가시화상과 대응하는 우측 가시화상간의 디스토션(distortion)이 최소화된다. 이 기술은, MPEG-4 표준에서 설명한 것과 같은 VOP(Video Object Planes)뿐만 아니라 직사각형 화상 예컨대 MPEG-2 표준에서 사용된 것과 같은 비디오 프레임이나 화면 또는 그 서브부분 등과 같은 제멋대로의 형상의 화상에 적용할 수 있다. 특히 좌측 가시화상에서의 VOP는, VOP의 좌측 최상의 에지에서 VOP상으로 수직으로 확장되는 좌측 최상의 x화소를 소거하고, VOP의 우측 최상의 에지에서 개시하는 x화소를 메움으로써 우측으로 이동된다. 따라서, 우측 최상의 에지는 x화소만큼 수평으로 확장된다. 따라서, VOP의 위치는 우측 가시화상의 대응하는 VOP에 대해 위치를 정한 좌측 가시프레임에 대하여 이동된다. 일반적으로, VOP가 그 프레임의 수직경계로 확장되지 않는다고 가정하면, 좌측 가시프레임의 우측 최상부 및 좌측 최상부는 변화하지 않는다.
도 5에는 좌측 가시화상(500) 및 우측 가시화상(510)이 나타내어져 있다. 파라미터 h와 w는 각각 양 화상에 대한 높이와 깊이를 나타낸다. 예컨대, NTSC 영상의 경우는 h=480, w=704이고, PAL 영상의 경우는 h=576, w=704이다. 파라미터 yL(i,j) 및 yR(i,j)는 각각 좌측(또는 하부) 및 우측 가시화상의 휘도 화소값(lumi nance pixel value)을 나타낸다. 파라미터 yR(i,j)는 yE(i,j)라고 표시해도 좋다. 여기에서, 아래에 기입한 "E"는 증가층을 나타낸다.
이 기술은, 좌측 가시화상은 하부층에 있고, 우측 가시화상은 증가층에 있다고 가정하고 논의한다. 그렇지만, 이 기술은 우측 가시화상이 하부층에 있고, 좌측 가시화상이 증가층에 있는 입체 비디오 시스템에도 용이하게 적용할 수 있는 것이다.
좌측 가시화상(500)은 특징(505)을 포함하고, 우측 가시화상(510)은 같지만 프레임내의 다른 상대위치에 있는 특징(515)을 포함한다. 특히, 화상(500)은 상대적으로 화상(510)의 좌측으로 거리(x)만큼 오프셋하고 있다. 제1단계에서, 값(x)은 결정해야 할 수평오프셋으로서, 미리 할당되거나 미리 결정된 범위(X), 즉 0≤x≤X내에서 떨어진다고 가정하고 있다.
본 발명의 제1실시예에 따른 전체적인 수평위치 오프셋기술은, 다음 식이 최소화되도록 하는 수평오프셋 정수치(x)를 찾는 것이다.
여기에서, yL및 yE는 각각 하부 및 증가층 화상의 휘도 화소값을 나타내고, i 및 j는 각각 하부 및 증가층 화상의 수평 및 수직 데카르트좌표(Cartesian coordinate)를 나타내며, h는 각 화상의 높이를 나타내고, w는 각 화상의 폭을 나타낸다.
이 기술은 증가층 및 하부층 화상의 화소값 사이의 최소 평균제곱에러를 사용한다. h(w-x)는 h의 함수가 아니라 곱셈을 나타낸다는 점에 주의해야 한다. Dist_L2(x)가 최소로 되도록 하는 오프셋(x)을 찾기 위해 0≤x≤X에 대해 철저한 검색이 수평으로 수행된다.
본 발명의 다른 실시예에서는, 다음 식이 최소로 되도록 하는 오프셋(x)을 찾는다.
증가층 및 하부층 화상의 화소값 사이의 최소 평균에러를 사용하는 이 기술은, 감소된 계산요구를 가지고 실현할 수 있다.
본 발명의 다른 실시예에서는, 수평오프셋(xest)은 카메라 초점 파라미터 및 내안 분리(δ)를 이용함으로써 추정된다. 예컨대, 10개의 화소(예컨대, +/-5)의 추정 오프셋이 사용될 수 있다. 그때에 Dist_L1(x) 또는 Dist_L2(x)가 최소로 되도록 하는 오프셋(x)을 찾기 위해 max{xest-5, 0}≤i≤{xest+5}에 대해 수평으로 철저한 수평검색이 수행된다.
디스패리티 추정 및 예측에 대한 좌측 가시 기준프레임은 다음과 같이 해서 얻어진다. 엔코더에서 수평오프셋(x)을 결정한 후에, 기준 프레임이 원형(origi nal)으로부터 구성되고, 우측 가시화상의 디스패리티 추정/예측을 위해 좌측 가시화상을 재구성한다. 영상 표준이 오프셋값(x)이 디코더로 전송되도록 하면, 오프셋(x)이 디코더에서 추출되고, 기준 프레임이 우측 가시화상의 디스패리티 추정/예측을 위해 해독된 좌측 가시화상으로부터 재구성된다. 오프셋은 아마도, 예컨대 화면 헤더의 유저 데이터부분으로 전송된다.
휘도 화소에 대한 기준 프레임의 구성처리는, 제2단계에서 좌측 가시화상의 최종 x열을 소거함으로써 이루어진다. 엔코더에서는 원래의 좌측 가시화상이 사용되고, 디코더에서는 해독된 좌측 가시화상이 사용된다. 좌측 가시화상(535)을 참조하면, 그 화상(535)의 우측에서 최종 x열(520)이 소거된다.
제3단계에서는, 좌측 가시화상(540)의 각 행에 대해 그 행의 제1의 화소값을 갖는 행의 최초에 x화소를 충전(充塡)한다. 이 충전(예컨대, 메움)처리는 MPEG-4 표준에서 설명한 바와 같이 달성할 수 있다. 메워진 영역(530)은 화상(540)의 좌측에 나타나 있다. 앞 단계의 결과로서, 대응하는 우측 가시화상과 더욱 밀접하게 정합하는 오프셋 또는 이동된 좌측 가시화상(540)이 얻어진다.
색차 화소 데이터(chrominance pixel data)에 대해서는, 동일한 단계로 이루어진 디스패리티 예측을 위한 기준 프레임의 구성처리가 주어지지만,즉 다음 정수로 내림하는 x/2의 수평오프셋을 갖는다. 이것은, 4:2:0 비디오 포맷이라고 한다. 상기 오프셋은 필요에 따라 다른 포맷에 대해 변경할 수도 있다.
도 6은 본 발명에 따른 엔코더 처리흐름을 설명하는 도면이다. 이 처리는 수평오프셋값(x)을 디코더로 전송할 수 있는 경우에 대응하여 나타낸 것이다. 예컨대 MPEG-2 표준을 가지고 수평오프셋을 전송할 수 없는 경우에 대해서도, 도 8 및 도 9와 관련하여 후술하는 바와 같이 엔코더에서의 디스패리티 벡터 검색의 복잡성을 줄이기 위해 수평오프셋값(x)을 여전히 사용할 수 있다.
오프셋값(x)은 각종의 프로토콜에 따라 결정된다. 예컨대, x는 비디오 시퀀스에서 연속적인 화상마다 계산되고 저장된다. 그렇지만, 이것은 계산적으로 성가시고, 불필요할지도 모른다. 또, 오프셋(x)은 장면변화가검출된 경우나 새로운 GOP(group of pictures)의 개시시에 결정될 수도 있다. GOP는 다른 GOP의 화면을 참조하지 않고 해독될 수 있는 하나 이상의 연속적인 화면을 가리킨다. 오프셋(x)을 재계산하기 위한 최적 기준의 선택은, 실현의 복잡성 및 영상특성에 기초를 두고 있어야만 한다.
오프셋(x)이 현 화상에 대해 새로 재계산되지 않으면, 이전에 기억된 오프셋을 사용할 수 없다.
블록(610)에서 좌측 가시화상이 공급되고, 여기에서 장면변화나 새로운 GOP가 검출되는지 어떤지를 결정하게 된다. 그렇다면, 블록(620)에서 오프셋 검색범위(X; 여기에서 0≤x≤X)가 예컨대 마이크로컴퓨터에 의해 사용되는 메모리내로 로드된다. 그렇지 않다면, 블록(600)에서 최종 장면으로부터 결정된 수평오프셋(x)이 사용된다.
블록(630)에서, 오프셋(x)이 전술한 최소 평균에러나 최소 평균제곱에러를 이용하여 결정된다. 이 절차를 위해 우측 가시화상 데이터가 사용된다. 블록(640)에서, 도 5와 관련하여 설명한 절차를 이용하여 기준 프레임이 구성된다. 또한, 이 절차를 위해 우측 가시화상 데이터도 사용된다.
블록(650)에서, 새로 구성된 기준 프레임이 최적정합 매크로블록을 결정하기 위해 검색된다. 즉 검색범위는, 지금 코드화되는 우측 가시 매크로블록과 가장 밀접하게 정합하는 하나의 기준 프레임 매크로블록을 결정하기 위해 각 매크로블록이 현재 코드화되는 우측 가시 매크로블록과 비교되는 기준 프레임으로 제한된다. 기준 프레임이 원래의 좌측 가시화상에 대하여 오프셋하기 때문에, 이것은 우측 가시화상과 더 밀접하게 닮고, 축소된 검색범위가 최적정합 매크로블록을 얻기 위해 사용될 수도 있다. 예컨대, 도 9와 관련하여 후술하는 바와 같이 검색범위는 예컨대 64×48화소로부터 8×8화소로 축소될 수도 있다.
블록(660)에서, 우측 가시화상이 MVP 표준에서 설명한 것과 같은 알려진 기술을 이용하여 암호화된다. 블록(670)에서, 도 7과 관련하여 후술하는 바와 같이 암호화된 데이터 및 오프셋(x)이 예컨대 위성방송 CATV 네트워크내의 디코더로 전송된다. 검색범위를 줄이기 위해 오프셋을 엔코더에서만 사용할 수 있는 경우에는, 오프셋값(x)의 전송을 위해 어떤 비디오 통신 표준이 제공되지 않을지도 모른다.
도 7은 본 발명에 따른 디코더 처리흐름을 설명하는 도면이다. 이 경우에는, 오프셋(x)이 코드화된 비트스트림의 비디오 데이터와 함께 전송되는 것으로 한다. 블록(700)에서, 수평오프셋이 코드화 비트스트림으로부터 추출된다. 블록(710)에서는, 좌측 가시화상이 통상의 방법으로 해독된다. 블록(720)에서는, 기준 프레임이 오프셋(x)을 이용하여 구성된다. 블록(730)에서는, 우측 가시화상이 암호화된 우측 가시화상 데이터 및 기준 프레임을 이용하여 디스패리티 예측된다. 기준 프레임의 최적정합 매크로블록을 식별하기 위해 오프셋(x) 및 모션 벡터가 사용되고, 최적정합 매크로블록의 화소데이터와 차분 암호화된 우측 가시화상 데이터의 합을 이용하여 완전한 우측 가시화상이 복구된다.
예컨대 MPEG-2 표준을 가지고 수평오프셋을 전송할 수 없는 경우에 대해서도, 예컨대 모션 벡터 검색범위를 줄임으로써 엔코더에서의 디스패리티 벡터 검색의 복잡성을 줄이기 위해 수평오프셋을 여전히 사용할 수 있다.
도 8은 본 발명에 따른 디스패리티 예측 및 모션 벡터 검색을 설명하는 도면이다. 증가층은 P-화면(810), B-화면(820) 및 B-화면(830)을 포함하고 있고, 반면에 하부층은 I-화면(840), P-화면(850) 및 P-화면(860)을 포함하고 있다. 예측은 화살표가 기준 화상으로부터 예측된 화상으로 지시하도록 화살표의 방향에 의해 지시된다. 예컨대, P-화면(850)의 각 매크로블록은 I-화면(840)의 대응하는 최적정합 매크로블록을 이용하여 예측된다.
각각의 i번째 매크로블록에 관해서는, 모션 벡터(vx,vy)가 예측된 매크로블록에 대한 최적정합 매크로블록의 상대변위를 가리킨다. 하부층 예측에 관해서는, 예측이 각 매크로블록의 비오프셋 위치(non-offset position)에 중심을 두고 있다. 예컨대, 각 예측된 매크로블록의 상부 좌측 화소는 비오프셋 좌표(0,0)로서 취해질 수도 있다.
B-화면(820)은 하부층의 P-화면(850)을 이용하여 디스패리티 예측되고, 증가층의 P-화면(810)을 이용하여 일시적으로 예측된다. 디스패리티 예측에 관해서는, 수평오프셋(x)이 상술한 바와 같이 결정된다. 다음으로, B-화면(820)의 매크로블록이 P-화면(850)의 최적정합 매크로블록에 위치를 정함으로써 디스패리티 예측된다. 이 경우, 디스패리티 추정/예측은 (0,0)이라기 보다 (x,0)에 중심을 두고 있다. 즉, 추정이 오른쪽으로 x화소만큼 이동된다.
디스패리티 벡터(vx,vy)는 베이스층 및 증가층의 화소의 대응하는 매크로블록 사이의 위치 차를 나타내고, 디코더에서 디스패리티 예측된 증가층 화면의 재구성을 위해 사용된다. 특히, 증가층의 검색 윈도우 매크로블록에 대한 화소좌표가 (xs,ys)이고, 베이스층의 검색 윈도우 매크로블록에 대한 화소좌표가 (xr,yr)인 경우, 디스패리티 벡터는 v=(vx,vy)=(xs-xr, ys-yr)이다. 따라서, 디스패리티 벡터는 검색 윈도우와 기준 윈도우 사이의 위치 또는 천이 차의 단위이다. 디스패리티 벡터는 디코더에서 디스패리티 예측된 증가층 화면을 재구성하는데 사용하기 위한 우측 가시 채널 데이터 스트림에 전송될 수도 있다.
더욱이, P-화면(810)을 이용한 B-화면(820)의 일시적인 예측은 각각의 i번째 매크로블록에 대해 (vx,vy)에 중심을 두고 있다.
디스패리티 예측 및 모션 벡터 검색처리는 도 9를 참조하여 더 잘 이해할 수 있다.
도 9는 본 발명에 따른 모션 벡터 검색을 설명하는 도면이다. 도 8과 관련하여 설명한 바와 같이, 벡터(vx,vy)는 P-화면(850)의 i번째 매크로블록(900)에 대한 I-화면(840)의 최적정합 매크로블록(920)을 정의한다. 이 벡터는 2개의 화면 사이의 화상의 일시적인 이동의 양을 나타낸다. 최적정합 매크로블록(920)을 찾기 위해 검색범위(910)가 이용된다. 검색범위는 16×16 매크로블록(900)에 대한 64×48의 편차에 대응하여 82×64화소의 총크기를 갖게 된다.
증가층(82)의 매크로블록의 디스패리티 예측에 관해서는, i번째 매크로블록(930)은 (x,0)에 중심을 두고, 예컨대 16×16 매크로블록에 대한 8×8의 편차에 대응하여 24×24화소의 총크기를 갖는 더 작은 검색범위(940)내의 매크로블록과 비교된다. 매크로블록(930)을 차분 암호화하기 위한 최적정합 매크로블록이 매크로블록(930) 근처의 화소의 더 작은 이웃에 있을 것 같기 때문에, 오프셋값(x)은 더 작은 검색범위가 사용되도록 한다. 따라서, 더 빠른 처리시간 및 저감된 메모리요구를 실현할 수 있다.
부가적으로, 오프셋값이 디코더로 전송될 때, 각 디스패리티 벡터가 더 작기 때문에 디스패리티 벡터의 더 유효한 가변길이코딩(예컨대, 허프만 코딩)이 생기고, 따라서 전송되어야만 하는 데이터의 양을 줄인다.
또, P-화면(850)의 매크로블록(900)과 코시트(co-sit)하고 있는 B-화면(820)의 매크로블록도 벡터(vx,vy)에 의해 정의되는 매크로블록(920)에 중심을 두고 있는 P-화면(810)에서 더 작은 검색범위를 이용할 수 있다. 예컨대, 우측 가시 시퀀스에 대한 모션 벡터 검색범위도 8×8 편차만큼 작게 축소될 수 있다. 이것은, B-화면(820)과 P-화면(810)간의 상관이 P-화면(850)과 I-화면(840)간의 상관과 유사할 수 있기 때문에 사실이다.
도 10은 본 발명에 따른 증가층 디코더구조의 블록도이다. 일반적으로 도면부호 130으로 나타낸 디코더는, 압축된 증가층 데이터를 수신하기 위한 입력단자(1005)와, 그 데이터를 파싱하기 위한 전송레벨 신택스 파서(transport level syntax parser; 1010)를 포함하고 있다. 파싱된 데이터는 중앙처리장치를 구비할 수도 있는 메모리 관리자(1030)에 공급된다. 메모리 관리자(1030)는, 예컨대 다이내믹 랜덤 액세스 메모리(DRAM)로 구성될 수도 있는 메모리(1020)와 통신한다. 수평오프셋(x)은 증가층 데이터와 통신하거나, 그렇지 않으면 입체 비디오신호에 공급된다. 해독된 하부층 데이터 및 오프셋(x)을 이용하여 기준 프레임이 구성된다.
또, 메모리 관리자(1030)는 신장/예측 처리장치(1040)와도 통신하고, 단자(1050)를 통해 해독된 하부층 데이터를 수신한다. 이 때, 해독된 하부층 데이터는 디스패리티 예측된 증가층 화면을 해독하는 경우에 처리장치(1040)에 의해 그후에 사용되기 위해 메모리(1020)에 일시적으로 저장될 수도 있다.
신장/예측 처리장치(1040)는, 예컨대 에러 검출 및 정정, 모션 벡터 해독, 역양자화, 역이산코사인변환, 허프만 디코딩 및 예측계산 등과 같은 처리기능의 다양성을 제공한다. 신장/예측 처리장치(1040)에 의해 처리된 후에, 해독된 증가층 데이터는 메모리 관리자에 의해 출력된다. 또한, 해독된 데이터는 도시하지 않은 수단을 통해 신장/예측 처리장치(1040)로부터 직접 출력되도록 해도 좋다.
하부층에 대하여 아날로그구조를 사용하도록 해도 좋다. 더욱이, 증가층 및 하부층 디코더는 공통의 하드웨어를 공유하도록 해도 좋다. 예컨대, 메모리(1020) 및 처리장치(1040)를 공유하도록 해도 좋다.
테스트 결과, 본 발명의 가시 오프셋 추정기술은 입체 비디오신호에 대한 코딩효율을 효과적으로 향상시킬 수 있다는 것이 확인되었다. 오프셋 추정기술은 MPEG-2 MVP 프로그램으로 실현되었고, ISO/IEC JTC1/SC29/WG11/MPEG-4의 D급 영상 테스트 시퀀스와 어떤 다른 시퀀스를 통해 실행되었다. X=20화소의 오프셋 검색범위를 가지고 테스트한 결과의 예를 표1에 나타낸다. 코딩효율의 향상률이 2.0∼5.2의 비트/프레임 범위의 MVP에 걸쳐 있다. PSNR은 신호대 잡음비의 피크치를 나타낸다. 모든 화면 타입은 P-화면이다.
표 1
시퀀스 양자화레벨Q PSNR 총 코드화 비트 향상률(bits/frame) 우측 가시비트율
터널(Tunnel):(오프셋 값 x=2;프레임 번호 n=50번째) 26 31 210,818 2% 3Mbits/sec
터널:(오프셋 값 x=2;프레임 번호 n=50번째) 33 30 172,011 4% 2Mbits/sec
펀 페어(Fun Fair):(오프셋 값 x=8; 프레임 번호 n=2번째) 26 31 223,939 2.3% 3Mbits/sec
펀 페어:(오프셋 값 x=8; 프레임 번호 n=2번째) 33 30 181,071 5.2% 2Mbits/sec
보상후의 잔여 매크로블록을 0으로 하거나, 또는 어떤 고주파 DCT 계수를 0으로 하는 임계치(T)를 사용함으로써, 코딩효율의 더 한층의 향상을 달성할 수 있다.
상기 표1로부터 알 수 있는 바와 같이, 본 발명은 동일한 일시 기준점에서 우측 및 좌측 채널 가시 사이의 장면의 최적 오프셋(x)을 추정하기 위한 시스템을 제공한다. 이 시스템은 코딩효율을 향상시키기 위해 디스패리티(즉, 크로스 채널 또는 크로스 층) 예측에 대한 모션 벡터 검색범위를 줄인다. 오프셋은 하부층에 장면변화나 새로운 GOP가 있을 때 재계산되도록 해도 좋다.
엔코더에서, 증가층 화상과 하부층 화상 사이의 최적 오프셋(x)은 증가층 및 하부층 화상 사이의 최소 평균에러나 증가층 및 하부층 화상 사이의 최소 평균제곱에러에 따라 결정된다. 이 오프셋(x)은 오프셋 검색범위(X)에 의해 바운드(bound)된다. 하부층 화상의 우측 최상의 x화소열은 소거되고, 하부층 화상의 좌측 최상의 x열은 증가층 화상을 디스패리티 예측하는데 사용하기 위한 기준화상을 얻기 위해 하부층 화상을 x화소만큼 우측으로 효과적으로 이동시키도록 메워진다. VOP 등과 같은 제멋대로의 형상의 화상에 관해서는, 좌측 가시화상의 VOP는 VOP상에서 수직으로 확장되는 좌측 최상의 x화소열을 소거하고 VOP의 우측 최상의 에지에서 시작하는 x열의 화소로 메움으로써 우측으로 이동된다.
기준 프레임은 최적정합 매크로블록을 얻기 위해 검색되고, 우측 가시 데이터는 차분 암호화된다. 디코더에서, 오프셋값(x)은 유효하다면 복구되어 디스패리티 예측을 위한 기준 프레임을 재구성하는데 사용된다.
또한, 본 발명은 여러 가지의 특정한 실시예와 관련하여 설명했지만, 이에 한정되지 않고, 발명의 요지를 이탈하지 않는 범위내에서 여러 가지로 변형하여 실시할 수 있음은 물론이다.
이상 설명한 바와 같이 본 발명에 의하면, 내안 카메라 렌즈 분리를 보상함으로써 입체 비디오 전송시스템의 코딩효율을 향상시키기 위한 방법 및 장치를 제공할 수 있다.

Claims (40)

  1. 그 하부층의 하부층 화상을 이용하여 입체 비디오신호의 증가층의 증가층 화상을 예측하기 위한 방법에 있어서,
    상기 증가층 화상과 상기 하부층 화상간의 최적 오프셋(x)을 (a) 상기 증가층 화상과 상기 하부층 화상의 화소값 사이의 최소 평균에러 및 (b) 상기 증가층 화상과 상기 하부층 화상의 화소값 사이의 최소 평균제곱에러의 한쪽에 따라 결정하는 단계와,
    상기 증가층 화상을 디스패리티 예측하는데 사용하기 위한 기준화상을 얻기 위해 상기 최적 오프셋에 따라 상기 하부층 화상을 이동시키는 단계를 구비하여 이루어진 것을 특징으로 하는 화상예측방법.
  2. 제1항에 있어서, 상기 증가층 화상은 모션 보상을 이용하여 상기 기준화상으로부터 디스패리티 예측되고,
    최적정합 화상은 상기 이동시키는 일없이 상기 하부층 화상의 검색범위에 대하여 축소되는 검색범위를 이용하여 상기 기준화상내에서 얻어지는 것을 특징으로 하는 화상예측방법.
  3. 제1항에 있어서, 적어도 카메라 포커스 파라미터 및 내안 분리의 한쪽에 따라 추정된 오프셋을 결정하는 단계와,
    상기 최적 오프셋을 찾기 위해 상기 추정된 오프셋에 의해 결정된 범위내에서 상기 하부층 화상을 검색하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 화상예측방법.
  4. 제1항에 있어서, 0≤x≤X로 되는 상기 최적 오프셋(x)을 찾기 위해 수평 오프셋 범위(X)내에서 검색하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 화상예측방법.
  5. 제1항에 있어서, 상기 증가층 화상 및 상기 하부층 화상은 VOP(video object plane)로 구성된 것을 특징으로 하는 화상예측방법.
  6. 제1항에 있어서, 상기 증가층 화상 및 상기 하부층 화상은 제멋대로의 형상을 하고 있는 것을 특징으로 하는 화상예측방법.
  7. 제6항에 있어서, 상기 이동단계는, x화소의 폭을 갖는 VOP의 좌측 최상의 에지영역을 소거하는 단계와,
    우측 최상의 에지부분을 x화소의 폭만큼 확장하기 위해 VOP의 우측 최상의 에지부분을 메우는 단계를 구비하고 있는 것을 특징으로 하는 화상예측방법.
  8. 제1항에 있어서, 상기 이동단계는, 상기 화부층 화상의 우측 최상의 x열의 화소를 소거하는 단계와,
    상기 하부층 화상의 좌측 최상부를 x열의 화소로 메우는 단계를 구비하고 있는 것을 특징으로 하는 화상예측방법.
  9. 제1항에 있어서, 상기 하부층 화상에 대해 장면변화가 검출된 경우에 새로운 최적 오프셋(x)을 결정하고, 장면변화가 검출되지 않은 경우에 상기 하부층의 이전 화상으로부터의 오프셋을 상기 최적 오프셋(x)으로서 사용하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 화상예측방법.
  10. 제1항에 있어서, 상기 하부층의 새로운 GOP에 대하여 새로운 최적 오프셋(x)이 결정되는 것을 특징으로 하는 화상예측방법.
  11. 제1항에 있어서, 기준화상을 재생성하기 위해 디코더에 의해 사용되는 상기 입체 비디오신호에 상기 최적 오프셋(x)을 전송하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 화상예측방법.
  12. 제1항에 있어서, 상기 최소 평균에러에 대해서는, 상기 최적 오프셋(x)은 다음 값이 최소화되도록 결정되며, 상기 하부층 화상이 좌측 가시화상이고, 상기 증가층 화상이 우측 가시화상인 것을 특징으로 하는 화상예측방법.
    (여기에서, yL및 yE는 각각 하부 및 증가층 화상의 휘도 화소값을 나타내고, i 및 j는 각각 하부 및 증가층 화상의 수평 및 수직 데카르트좌표(Cartesian coordinate)를 나타내며, h는 하부층 화상의 높이를 나타내고, w는 하부층 화상의 폭을 나타낸다.)
  13. 제12항에 있어서, 상기 최소 평균에러에 대해서는, 색차 화소값에 대한 최적 오프셋이인 것을 특징으로 하는 화상예측방법.
  14. 제1항에 있어서, 상기 최소 평균제곱에러에 대해서는, 상기 최적 오프셋(x)은 다음 값이 최소화되도록 결정되며, 상기 하부층 화상이 좌측 가시화상이고, 상기 증가층 화상이 우측 가시화상인 것을 특징으로 하는 화상예측방법.
    (여기에서, yL및 yE는 각각 하부 및 증가층 화상의 휘도 화소값을 나타내고, i 및 j는 각각 하부 및 증가층 화상의 수평 및 수직 데카르트좌표를 나타내며, h는 하부층 화상의 높이를 나타내고, w는 하부층 화상의 폭을 나타낸다.)
  15. 제14항에 있어서, 상기 최소 평균제곱에러에 대해서는, 색차 화소값에 대한 최적 오프셋이인 것을 특징으로 하는 화상예측방법.
  16. 그 하부층의 하부층 화상을 이용하여 입체 비디오신호의 증가층의 증가층 화상을 예측하기 위한 장치에 있어서,
    상기 증가층 화상과 상기 하부층 화상간의 최적 오프셋(x)을 (a) 상기 증가층 화상과 상기 하부층 화상의 화소값 사이의 최소 평균에러 및 (b) 상기 증가층 화상과 상기 하부층 화상의 화소값 사이의 최소 평균제곱에러의 한쪽에 따라 결정하는 수단과,
    상기 증가층 화상을 디스패리티 예측하는데 사용하기 위한 기준화상을 얻기 위해 상기 최적 오프셋에 따라 상기 하부층 화상을 이동시키는 수단을 구비하여 구성된 것을 특징으로 하는 화상예측장치.
  17. 제16항에 있어서, 상기 증가층 화상은 모션 보상을 이용하여 상기 기준화상으로부터 디스패리티 예측되고,
    최적정합 화상은 상기 이동시키는 일없이 상기 하부층 화상의 검색범위에 대하여 축소되는 검색범위를 이용하여 상기 기준화상내에서 얻어지는 것을 특징으로 하는 화상예측장치.
  18. 제16항에 있어서, 적어도 카메라 포커스 파라미터 및 내안 분리의 한쪽에 따라 추정된 오프셋을 결정하는 수단과,
    상기 최적 오프셋을 찾기 위해 상기 추정된 오프셋에 의해 결정된 범위내에서 상기 하부층 화상을 검색하는 수단을 더 구비하여 구성된 것을 특징으로 하는 화상예측장치.
  19. 제16항에 있어서, 0≤x≤X로 되는 상기 최적 오프셋(x)을 찾기 위해 수평 오프셋 범위(X)내에서 검색하는 수단을 더 구비하여 구성된 것을 특징으로 하는 화상예측장치.
  20. 제16항에 있어서, 상기 증가층 화상 및 상기 하부층 화상은 VOP로 구성된 것을 특징으로 하는 화상예측장치.
  21. 제16항에 있어서, 상기 증가층 화상 및 상기 하부층 화상은 제멋대로의 형상을 하고 있는 것을 특징으로 하는 화상예측장치.
  22. 제21항에 있어서, 상기 이동시키는 수단은, x화소의 폭을 갖는 VOP의 좌측 최상의 에지영역을 소거하고, 우측 최상의 에지부분을 x화소의 폭만큼 확장하기 위해 VOP의 우측 최상의 에지부분을 메우는 것을 특징으로 하는 화상예측장치.
  23. 제16항에 있어서, 상기 이동시키는 수단은, 상기 화부층 화상의 우측 최상의 x열의 화소를 소거하고, 상기 하부층 화상의 좌측 최상부를 x열의 화소로 메우는 것을 특징으로 하는 화상예측장치.
  24. 제16항에 있어서, 상기 하부층 화상에 대해 장면변화가 검출된 경우에 새로운 최적 오프셋(x)을 결정하고, 장면변화가 검출되지 않은 경우에 상기 하부층의 이전 화상으로부터의 오프셋을 상기 최적 오프셋(x)으로서 사용하는 수단을 더 구비하여 구성된 것을 특징으로 하는 화상예측장치.
  25. 제16항에 있어서, 상기 하부층의 새로운 GOP에 대하여 새로운 최적 오프셋(x)이 결정되는 것을 특징으로 하는 화상예측장치.
  26. 제16항에 있어서, 기준화상을 재생성하기 위해 디코더에 의해 사용되는 상기 입체 비디오신호에 상기 최적 오프셋(x)을 전송하는 수단을 더 구비하여 구성된 것을 특징으로 하는 화상예측장치.
  27. 제16항에 있어서, 상기 최소 평균에러에 대해서는, 상기 최적 오프셋(x)은 다음 값이 최소화되도록 결정되며, 상기 하부층 화상이 좌측 가시화상이고, 상기 증가층 화상이 우측 가시화상인 것을 특징으로 하는 화상예측장치.
    (여기에서, yL및 yE는 각각 하부 및 증가층 화상의 휘도 화소값을 나타내고, i 및 j는 각각 하부 및 증가층 화상의 수평 및 수직 데카르트좌표를 나타내며, h는 하부층 화상의 높이를 나타내고, w는 하부층 화상의 폭을 나타낸다.)
  28. 제27항에 있어서, 상기 최소 평균에러에 대해서는, 색차 화소값에 대한 최적 오프셋이인 것을 특징으로 하는 화상예측장치.
  29. 제16항에 있어서, 상기 최소 평균제곱에러에 대해서는, 상기 최적 오프셋(x)은 다음 값이 최소화되도록 결정되며, 상기 하부층 화상이 좌측 가시화상이고, 상기 증가층 화상이 우측 가시화상인 것을 특징으로 하는 화상예측장치.
    (여기에서, yL및 yE는 각각 하부 및 증가층 화상의 휘도 화소값을 나타내고, i 및 j는 각각 하부 및 증가층 화상의 수평 및 수직 데카르트좌표를 나타내며, h는 하부층 화상의 높이를 나타내고, w는 하부층 화상의 폭을 나타낸다.)
  30. 제29항에 있어서, 상기 최소 평균제곱에러에 대해서는, 색차 화소값에 대한 최적 오프셋이인 것을 특징으로 하는 화상예측장치.
  31. 그 하부층의 하부층 화상을 이용하여 입체 비디오신호의 증가층의 증가층 화상을 예측하기 위한 디코더에 있어서,
    상기 입체 비디오신호로부터 상기 증가층 화상과 상기 하부층 화상간의 최적 오프셋(x)을 복구하기 위한 수단과,
    상기 증가층 화상을 디스패리티 예측하는데 사용하기 위한 기준화상을 얻기 위해 상기 최적 오프셋에 따라 상기 하부층 화상을 이동시키는 수단을 구비하여 구성되고,
    상기 증가층 화상과 상기 하부층 화상간의 최적 오프셋(x)이 (a) 상기 증가층 화상과 상기 하부층 화상의 화소값 사이의 최소 평균에러 및 (b) 상기 증가층 화상과 상기 하부층 화상의 화소값 사이의 최소 평균제곱에러의 한쪽에 따라 결정되는 것을 특징으로 하는 디코더.
  32. 제31항에 있어서, 상기 증가층 화상은 모션 보상을 이용하여 상기 기준화상으로부터 디스패리티 예측되고,
    최적정합 화상은 상기 이동시키는 일없이 상기 하부층 화상의 검색범위에 대하여 축소되는 검색범위를 이용하여 상기 기준화상내에서 얻어지는 것을 특징으로 하는 디코더.
  33. 제31항에 있어서, 상기 증가층 화상 및 상기 하부층 화상은 VOP로 구성된 것을 특징으로 하는 디코더.
  34. 제31항에 있어서, 상기 증가층 화상 및 상기 하부층 화상은 제멋대로의 형상을 하고 있는 것을 특징으로 하는 디코더.
  35. 제34항에 있어서, 상기 이동시키는 수단은, x화소의 폭을 갖는 VOP의 좌측 최상의 에지영역을 소거하고, 우측 최상의 에지부분을 x화소의 폭만큼 확장하기 위해 VOP의 우측 최상의 에지부분을 메우는 것을 특징으로 하는 디코더.
  36. 제31항에 있어서, 상기 이동시키는 수단은, 상기 화부층 화상의 우측 최상의 x열의 화소를 소거하고, 상기 하부층 화상의 좌측 최상부를 x열의 화소로 메우는 것을 특징으로 하는 디코더.
  37. 제31항에 있어서, 상기 최소 평균에러에 대해서는, 상기 최적 오프셋(x)은 다음 값이 최소화되도록 결정되며, 상기 하부층 화상이 좌측 가시화상이고, 상기 증가층 화상이 우측 가시화상인 것을 특징으로 하는 디코더.
    (여기에서, yL및 yE는 각각 하부 및 증가층 화상의 휘도 화소값을 나타내고, i 및 j는 각각 하부 및 증가층 화상의 수평 및 수직 데카르트좌표를 나타내며, h는 하부층 화상의 높이를 나타내고, w는 하부층 화상의 폭을 나타낸다.)
  38. 제37항에 있어서, 상기 최소 평균에러에 대해서는, 색차 화소값에 대한 최적 오프셋이인 것을 특징으로 하는 디코더.
  39. 제31항에 있어서, 상기 최소 평균제곱에러에 대해서는, 상기 최적 오프셋(x)은 다음 값이 최소화되도록 결정되며, 상기 하부층 화상이 좌측 가시화상이고, 상기 증가층 화상이 우측 가시화상인 것을 특징으로 하는 디코더.
    (여기에서, yL및 yE는 각각 하부 및 증가층 화상의 휘도 화소값을 나타내고, i 및 j는 각각 하부 및 증가층 화상의 수평 및 수직 데카르트좌표를 나타내며, h는 하부층 화상의 높이를 나타내고, w는 하부층 화상의 폭을 나타낸다.)
  40. 제39항에 있어서, 상기 최소 평균제곱에러에 대해서는, 색차 화소값에 대한 최적 오프셋이인 것을 특징으로 하는 디코더.
KR1019980047444A 1997-11-07 1998-11-06 입체 비디오 코딩을 위한 가시 오프셋 추정 KR19990045067A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/966,277 US6043838A (en) 1997-11-07 1997-11-07 View offset estimation for stereoscopic video coding
US8/966,277 1997-11-07

Publications (1)

Publication Number Publication Date
KR19990045067A true KR19990045067A (ko) 1999-06-25

Family

ID=25511147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980047444A KR19990045067A (ko) 1997-11-07 1998-11-06 입체 비디오 코딩을 위한 가시 오프셋 추정

Country Status (9)

Country Link
US (1) US6043838A (ko)
EP (1) EP0915433B1 (ko)
JP (1) JPH11262032A (ko)
KR (1) KR19990045067A (ko)
CN (1) CN1226786A (ko)
CA (1) CA2252324C (ko)
DE (1) DE69829931T2 (ko)
NO (1) NO985170L (ko)
TW (1) TW426835B (ko)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351563B1 (en) * 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
EP1418766A3 (en) * 1998-08-28 2010-03-24 Imax Corporation Method and apparatus for processing images
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치
BR0015959A (pt) * 1999-12-14 2002-08-06 Scientific Atlanta Sistema e método para o processamento de vìdeo adaptativo com alocação de recursos coordenados
EP1269761A1 (en) * 2000-03-31 2003-01-02 Koninklijke Philips Electronics N.V. Encoding of two correlated sequences of data
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
US7200261B2 (en) 2000-08-25 2007-04-03 Fujifilm Corporation Parallax image capturing apparatus and parallax image processing apparatus
WO2002043399A2 (en) * 2000-11-23 2002-05-30 Koninklijke Philips Electronics N.V. Videocoding method and corresponding encoder
JP2004531925A (ja) * 2001-03-05 2004-10-14 インタービデオインコーポレイテッド 圧縮されたビデオビットストリームにおける冗長な動きベクトルを符号化し復号するシステム及び方法
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
US7274857B2 (en) * 2001-12-31 2007-09-25 Scientific-Atlanta, Inc. Trick modes for compressed video streams
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
US7454123B2 (en) * 2002-06-06 2008-11-18 Intel Corporation Personal video recorder having reduced overscan coding
ES2515090T3 (es) * 2002-07-31 2014-10-29 Koninklijke Philips N.V. Método y aparato para codificar una señal de vídeo digital
KR100565791B1 (ko) * 2003-08-04 2006-03-29 삼성전자주식회사 모션백터 추정장치 및 모션백터 추정방법
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
US7966642B2 (en) * 2003-09-15 2011-06-21 Nair Ajith N Resource-adaptive management of video storage
US20050100098A1 (en) * 2003-10-23 2005-05-12 Gong-Sheng Lin Highly integrated mpeg-4 video decoding unit
CN1926576A (zh) * 2004-02-27 2007-03-07 Td视觉有限公司 用于数字编码3d立体视频图像的方法和系统
CA2557534A1 (en) * 2004-02-27 2005-09-09 Td Vision Corporation S.A. De C.V. Method and system for digital decoding 3d stereoscopic video images
US8600217B2 (en) * 2004-07-14 2013-12-03 Arturo A. Rodriguez System and method for improving quality of displayed picture during trick modes
US7623682B2 (en) * 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
KR100688383B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
JP4562774B2 (ja) * 2004-10-12 2010-10-13 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置
KR100636785B1 (ko) * 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
KR101005998B1 (ko) * 2005-07-05 2011-01-05 산요덴키가부시키가이샤 입체 화상 처리 방법 및 입체 화상 처리 장치 및 프로그램이 저장된 기록 매체
WO2007007923A1 (en) * 2005-07-11 2007-01-18 3R Inc. Apparatus for encoding and decoding multi-view image
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101357982B1 (ko) * 2006-01-09 2014-02-05 톰슨 라이센싱 멀티-뷰 비디오 코딩을 위한 축소 해상도 갱신 모드를제공하는 방법 및 장치
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
CN101166271B (zh) * 2006-10-16 2010-12-08 华为技术有限公司 一种多视点视频编码中的视点差补偿方法
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
US8155461B2 (en) * 2007-03-27 2012-04-10 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding multi-view image
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
KR101381601B1 (ko) * 2007-05-14 2014-04-15 삼성전자주식회사 다시점 영상 부호화 및 복호화 장치
WO2008140190A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
US20090033791A1 (en) * 2007-07-31 2009-02-05 Scientific-Atlanta, Inc. Video processing systems and methods
KR20110039537A (ko) * 2008-07-21 2011-04-19 톰슨 라이센싱 3ｄ 비디오 신호들을 위한 멀티 표준 코딩 장치
US8300696B2 (en) * 2008-07-25 2012-10-30 Cisco Technology, Inc. Transcoding for systems operating under plural video coding specifications
US9251621B2 (en) * 2008-08-14 2016-02-02 Reald Inc. Point reposition depth mapping
US8400496B2 (en) * 2008-10-03 2013-03-19 Reald Inc. Optimal depth mapping
US8300089B2 (en) * 2008-08-14 2012-10-30 Reald Inc. Stereoscopic depth mapping
JP5202190B2 (ja) * 2008-08-28 2013-06-05 キヤノン株式会社 画像処理方法及び画像処理装置
US8610726B2 (en) * 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US20100079653A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Portable computing system with a secondary image output
US7881603B2 (en) 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
EP2395772A3 (en) 2008-09-30 2013-09-18 Panasonic Corporation Glasses and display device
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
US8428122B2 (en) * 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
JP4875127B2 (ja) 2009-09-28 2012-02-15 パナソニック株式会社 三次元画像処理装置
US8619128B2 (en) * 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
CN102823242B (zh) 2010-01-22 2016-08-10 汤姆森特许公司 基于取样超分辨率视频编码和解码的方法和装置
WO2011090798A1 (en) 2010-01-22 2011-07-28 Thomson Licensing Data pruning for video compression using example-based super-resolution
US8817072B2 (en) 2010-03-12 2014-08-26 Sony Corporation Disparity data transport and signaling
FR2958824A1 (fr) 2010-04-09 2011-10-14 Thomson Licensing Procede de traitement d'images stereoscopiques et dispositif correspondant
WO2012033972A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
WO2012033963A2 (en) * 2010-09-10 2012-03-15 Thomsen Liscensing Methods and apparatus for decoding video signals using motion compensated example-based super-resolution for video compression
KR101640404B1 (ko) * 2010-09-20 2016-07-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity
LU91745B1 (en) * 2010-10-15 2012-04-16 Iee Sarl Range image pixel matching method
CN103404155A (zh) * 2010-12-08 2013-11-20 汤姆逊许可公司 具有自适应视差的3d显示方法和系统
WO2012098890A1 (ja) * 2011-01-21 2012-07-26 パナソニック株式会社 動画像符号化装置および動画像符号化方法
EP2676446B1 (en) * 2011-02-15 2018-07-04 Thomson Licensing DTV Apparatus and method for generating a disparity map in a receiving device
KR101763944B1 (ko) * 2011-02-18 2017-08-01 엘지디스플레이 주식회사 영상표시장치
JP2012257198A (ja) * 2011-05-17 2012-12-27 Canon Inc 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
EP4213483A1 (en) * 2011-05-27 2023-07-19 Sun Patent Trust Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
US8989271B2 (en) 2011-05-31 2015-03-24 Panasonic Intellectual Property Corporation Of America Decoding method and apparatus with candidate motion vectors
BR122021004576B1 (pt) * 2011-06-28 2022-07-26 Samsung Electronics Co., Ltd Aparelho de decodificação de vídeo
MX341415B (es) 2011-08-03 2016-08-19 Panasonic Ip Corp America Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
TWI456975B (zh) 2011-08-23 2014-10-11 Acer Inc 立體影像處理裝置與方法
CN102984538B (zh) * 2011-09-05 2015-02-25 宏碁股份有限公司 立体图像处理装置与方法
CN102984548B (zh) * 2011-09-05 2014-12-31 中国移动通信集团公司 3d立体视频编码传输方法及装置
CN108881903B (zh) 2011-10-19 2022-01-04 太阳专利托管公司 图像编码方法及装置、图像解码方法及装置、编解码装置
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
TWI461066B (zh) * 2011-11-03 2014-11-11 Ind Tech Res Inst 彈性調整估算搜尋範圍的移動估算方法及視差估算方法
WO2013109112A1 (ko) * 2012-01-19 2013-07-25 삼성전자 주식회사 시점 변환을 위한 다시점 비디오 예측 방법 및 그 장치, 시점 변환을 위한 다시점 비디오 예측 복원 방법 및 그 장치
CN104322062B (zh) * 2012-06-26 2016-12-21 英特尔公司 跨层跨通道样本预测
WO2014000168A1 (en) * 2012-06-27 2014-01-03 Intel Corporation Cross-layer cross-channel residual prediction
KR20140080884A (ko) * 2012-12-20 2014-07-01 주식회사 팬택 계층적 비디오 코딩에서 색차 블록의 화면 내 예측 모드를 복호화하는 방법 및 이러한 방법을 사용하는 장치
US20140241612A1 (en) * 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
US9998750B2 (en) 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
US10045014B2 (en) * 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
US9356061B2 (en) 2013-08-05 2016-05-31 Apple Inc. Image sensor with buried light shield and vertical gate
US9537779B2 (en) * 2013-10-11 2017-01-03 Huawei Technologies Co., Ltd. System and method for real-time traffic delivery
CN105215098B (zh) * 2015-10-27 2017-10-13 安徽哈科数控机床制造有限公司 一种折弯机及其使用方法
EP4388745A1 (en) * 2021-08-19 2024-06-26 MediaTek Inc Method and apparatus for hardware-friendly template matching in video coding system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5652616A (en) * 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence

Also Published As

Publication number Publication date
EP0915433A2 (en) 1999-05-12
JPH11262032A (ja) 1999-09-24
MX9809262A (es) 2007-02-27
DE69829931D1 (de) 2005-06-02
CA2252324A1 (en) 1999-05-07
NO985170D0 (no) 1998-11-05
EP0915433B1 (en) 2005-04-27
DE69829931T2 (de) 2006-02-23
CN1226786A (zh) 1999-08-25
EP0915433A3 (en) 2000-02-23
CA2252324C (en) 2005-09-27
TW426835B (en) 2001-03-21
NO985170L (no) 1999-05-10
US6043838A (en) 2000-03-28

Similar Documents

Publication Publication Date Title
US6043838A (en) View offset estimation for stereoscopic video coding
US6072831A (en) Rate control for stereoscopic digital video encoding
EP0838959B1 (en) Synchronization of a stereoscopic video sequence
US5652616A (en) Optimal disparity estimation for stereoscopic video coding
US5568200A (en) Method and apparatus for improved video display of progressively refreshed coded video
KR101177663B1 (ko) 입체적 3ｄ-비디오 이미지 디지털 디코딩 시스템 및 방법
US6055012A (en) Digital multi-view video compression with complexity and compatibility constraints
KR101697598B1 (ko) 가상 뷰 이미지 합성 방법 및 장치
US5619256A (en) Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US20070041443A1 (en) Method and apparatus for encoding multiview video
US20070104276A1 (en) Method and apparatus for encoding multiview video
US20090190662A1 (en) Method and apparatus for encoding and decoding multiview video
WO2006080739A1 (en) Method and apparatus for encoding and decoding multi-view video using image stitching
JP2006191357A (ja) 再生装置および再生プログラム
Lim et al. A multiview sequence CODEC with view scalability
EP1917814A1 (en) Method and apparatus for encoding multiview video
Yang et al. An MPEG-4-compatible stereoscopic/multiview video coding scheme
JP2006140618A (ja) ３次元映像情報記録装置及びプログラム
Chen et al. MPEG-2 multiview profile and its application in 3D TV
Ziegler Digital stereoscopic imaging and applications. A way towards new dimensions. The RACE II Project DISTIMA
Forman et al. Compression of full-parallax integral 3D-TV image data
MXPA98009262A (en) View offset estimation for stereoscopic video coding
Lim et al. Motion/disparity compensated multiview sequence coding
Hasan et al. Survey on Error Concealment Strategies and Subjective Testing of 3D Videos

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
SUBM Surrender of laid-open application requested