KR20050122717A - 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 - Google Patents

시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 Download PDF

Info

Publication number
KR20050122717A
KR20050122717A KR1020040048340A KR20040048340A KR20050122717A KR 20050122717 A KR20050122717 A KR 20050122717A KR 1020040048340 A KR1020040048340 A KR 1020040048340A KR 20040048340 A KR20040048340 A KR 20040048340A KR 20050122717 A KR20050122717 A KR 20050122717A
Authority
KR
South Korea
Prior art keywords
view
video
bitstream
decoding
present
Prior art date
Application number
KR1020040048340A
Other languages
English (en)
Other versions
KR100679740B1 (ko
Inventor
손광훈
임정은
Original Assignee
학교법인연세대학교
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020040048340A priority Critical patent/KR100679740B1/ko
Application filed by 학교법인연세대학교 filed Critical 학교법인연세대학교
Priority to PCT/KR2005/001969 priority patent/WO2006001653A1/en
Priority to CN2005800248006A priority patent/CN101023681B/zh
Priority to CN2010101357573A priority patent/CN101902656A/zh
Priority to CN2010101357554A priority patent/CN101895768A/zh
Priority to US11/571,235 priority patent/US20090103619A1/en
Priority to EP05756733A priority patent/EP1772022A1/en
Priority to JP2007517962A priority patent/JP2008503973A/ja
Publication of KR20050122717A publication Critical patent/KR20050122717A/ko
Application granted granted Critical
Publication of KR100679740B1 publication Critical patent/KR100679740B1/ko
Priority to JP2011000757A priority patent/JP2011109690A/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은, 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 방대한 다시점 동영상 데이터에 대하여 효율적으로 부호화 및 복호화를 수행하고, 송신단에서 비트스트림을 생성할 때 시점에 대한 정보를 헤더에 추가함으로써 수신단에서 원하는 시점에 해당하는 동영상을 복호화할 수 있도록 하기 위한, 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 전처리부, 움직임 추정/보상부, 변이 추정/보상부, 비트율 제어부 및 차영상 부호화부를 포함하여 구성되는 부호화 장치에서, 입력되는 다시점 동영상 데이터 중 기준이 되는 동영상은 MPEG-2 인코더로 부호화를 수행하여 메인 비트스트림을 생성하고, 그 외의 시점 동영상들에 대하여 보조 비트스트림을 생성하기 위한, 시점 선택이 가능한 다시점 동영상 부호화 방법에 있어서, 상기 보조 비트스트림에 "시점 정보(view information)"를 삽입하여 복호화 장치에서 원하는 시점만 복원하도록 하는 것을 특징으로 함.
4. 발명의 중요한 용도
본 발명은 3차원 방송 시스템이나 3차원 정보 단말기 등에 이용됨.

Description

시점 선택이 가능한 다시점 동영상 부호화/복호화 방법{Method for Coding/Decoding for Multiview Sequence where View Selection is Possible}
본 발명은 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법에 관한 것으로, 특히 방대한 다시점 동영상 데이터에 대하여 효율적으로 부호화 및 복호화를 수행하고, 수신단에서 원하는 시점에 해당하는 동영상을 복호화할 수 있는, 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법에 관한 것이다.
현재의 멀티미디어는 단순한 텍스트와 2차원 영상만을 보여주는 것이 아니라, 인간의 시각, 청각, 촉각, 후각, 미각 등의 오감을 통합적으로 인지하여 사물이나 상황을 정확하고 생생하게 파악할 수 있도록 해준다. 이러한 멀티미디어는 통신과 결합하여 더욱 중요한 의미를 갖게 되며, 고속·대용량의 정보 전송 기술이 발달하면서 화상 전화, 원격 회의, 원격 쇼핑 등의 멀티미디어 통신이 가능해졌다.
이러한 멀티미디어 기술은 3차원 신호 처리 기술로까지 발전될 때 더더욱 생동감 있는 힘을 발휘할 것이다. 이를 위해 인간의 생활 공간을 현실적이며 자연적으로 재현할 수 있는 3차원 영상 처리 및 통신 기술의 개발이 필요하다.
한편, 우리가 살고 있는 세계는 상·하·좌·우만 있는 2차원이 아니고, 깊이감까지 포함된 3차원의 세계이다. 따라서, 사람들은 평면처럼 느껴지는 2차원 영상뿐만 아니라 깊이감까지 느낄 수 있는 입체감 및 현실감을 위해 3차원 입체 영상에 대해 관심이 높아지게 되었고, 현재 3차원 영상 처리 기술이 통신, 방송, 가상 현실, 교육, 의료, 오락 등 여러 분야에서 응용되고 있다.
2차원 영상으로 3차원을 표현하는 가장 간단한 방식은 스테레오 방식이다. 스테레오 영상은 좌·우 영상으로 구성되어 있기 때문에, 데이터의 양이 방대해지는 문제점이 있다. 이는 대용량의 저장 장치와 네트워크, 그리고 고속의 컴퓨터 시스템을 요구한다. 또한, 스테레오 영상 각각을 독립적으로 부호화할 경우 2차원 영상을 전송하기 위한 대역폭보다 약 두 배의 대역폭이 요구된다. 이를 시간축으로 확장한 스테레오 동영상이나 시간축과 시점축으로 확장한 다시점 동영상일 때는 시점수에 비례하여 데이터 양이 방대해지고 요구되는 대역폭도 증가된다.
최근 3차원 영상에 대한 관심이 고조됨에 따라, 각 기관 및 대학 등에서 3차원 영상 압축 및 복원, 디스플레이 시스템에 대한 연구가 진행되고 있다.
이러한 3차원 영상 시스템의 수신단에서는, 다시점 동영상을 복호화하고 디스플레이할 수 있는 3차원 디스플레이가 필요하다. 현재 개발되어 있는 3차원 액정 표시 장치(liquid crystal display; LCD) 모니터는, 한 명의 관찰자에게 입체감을 제공하는 디스플레이이며, 최근에 여러 명의 관찰자에게 입체감 및 사실감을 제공할 수 있는 3차원 다시점 디스플레이 모니터가 개발 중에 있다.
그러나, 3차원 다시점 동영상은 시점수가 증가함에 따라 데이터양과 연산량이 증가하므로 이를 효율적으로 부호화 및 복호화를 수행할 수 있는 다시점 동영상 부호화/복호화기(CODEC)가 요구된다. 또한, 수신단에서 사용자가 보유하고 있는 디스플레이에 따라 원하는 시점만 복호화하는 것도 요구된다.
본 발명은 상기한 바와 같은 요구에 부응하기 위하여 제안된 것으로, 방대한 다시점 동영상 데이터에 대하여 효율적으로 부호화 및 복호화를 수행하고, 송신단에서 비트스트림을 생성할 때 시점에 대한 정보를 헤더에 추가함으로써 수신단에서 원하는 시점에 해당하는 동영상을 복호화할 수 있도록 하기 위한, 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 부호화의 기본 단위로서 "GGOP(group of GOP(group of picture))" 구조를 제안함으로써, 시점의 수와 카메라 사이의 베이스라인의 간격에 따라 유동적으로 여러 가지 타입을 가지면서 다시점 동영상을 부호화하기 위한, 다시점 동영상 부호화/복호화 방법을 제공하는데 또 다른 목적이 있다.
또한, 본 발명은 MPEG-2(moving picture experts group-2)와의 호환성을 위하여, 기준이 되는 동영상은 MPEG-2로 부호화를 수행하여 메인 비트스트림을 생성하고, 나머지 시점들에 해당되는 동영상들은 변이 벡터 및 움직임 벡터를 이용하여 보조 비트스트림을 생성하여 복호단에 전송하기 위한, 다시점 동영상 부호화/복호화 방법을 제공하는데 또 다른 목적이 있다.
상기 목적을 달성하기 위한 본 발명은, 전처리부, 움직임 추정/보상부, 변이 추정/보상부, 비트율 제어부 및 차영상 부호화부를 포함하여 구성되는 부호화 장치에서, 입력되는 다시점 동영상 데이터 중 기준이 되는 동영상은 MPEG-2 인코더로 부호화를 수행하여 메인 비트스트림을 생성하고, 그 외의 시점 동영상들에 대하여 보조 비트스트림을 생성하기 위한, 시점 선택이 가능한 다시점 동영상 부호화 방법에 있어서, 상기 보조 비트스트림에 "시점 정보(view information)"를 삽입하여 복호화 장치에서 원하는 시점만 복원하도록 하는 것을 특징으로 하는 시점 선택이 가능한 다시점 동영상 부호화 방법을 제공한다.
또한, 본 발명은 MPEG-2 복호화를 수행하는 메인 비트스트림 복호화부와, 보조 비트스트림 복호화부를 포함하여 구성되는 복호화 장치에서, 보조 비트스트림-"시점 정보(view information)"가 삽입됨-의 복호화를 수행하기 위한, 시점 선택이 가능한 다시점 동영상 복호화 방법에 있어서, 상기 보조 비트스트림의 픽쳐 헤더 정보에서 상기 "시점 정보(view information)"를 확인하여, 현재 복호화하는 데이터가 몇 번째 시점인지를 확인한 후에, 사용자가 소유하는 디스플레이부에 적합한 시점만을 취합하여 디스플레이하는 것을 특징으로 하는 시점 선택이 가능한 다시점 동영상 복호화 방법을 제공한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1은 본 발명이 적용되는 다시점 동영상 부호화 장치의 구성도이다.
본 발명의 부호화 방법은, MPEG-2와의 호환성을 위하여 기준이 되는 동영상은 MPEG-2 인코더로 부호화를 수행하여 메인 비트스트림(main bitstream)을 생성하고, 그 외의 시점 동영상들에 대하여는 보조 비트스트림(auxiliary bitstream)을 생성한다. 즉, 메인 비트스트림은 'I(이에 대해서는 추후에 설명하기로 함)' 프레임이 포함되어 있는 동영상에 대한 데이터가 포함되어 있고, 보조 비트스트림은 그 외의 동영상들을 변이 추정 및 움직임 추정을 통하여 부호화한 정보들이 포함된다.
본 발명의 부호화 방법은, 보조 비트스트림에 "시점 정보(view information)"를 삽입하여 복호화기에서 원하는 시점만 복원할 수 있는 정보를 제공하여 줄 수 있다. 이를 위하여, "시점 정보(view information)"는 보조 비트스트림 내의 픽쳐 헤더 부분에 n 비트로 삽입이 된다. 이때 n 비트는 최대 2n 개의 시점까지 지원할 수 있다.
도면에 도시된 바와 같이, 본 발명이 적용되는 다시점 동영상 부호화 장치는, 전처리부(110), 움직임 추정/보상부(120, 130), 변이 추정/보상부(140), 비트율 제어부(150) 및 차영상 부호화부(160, 170)를 포함하여 구성된다.
상기 전처리부(110)는 전처리부(10)는 다시점 동영상(multiview sequence)(A) 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 전처리 과정을 통해 다시점 동영상 데이터들 간의 상관도를 높여 변이 추정 및 움직임 추정으로 나온 벡터들의 신뢰도를 증가시켜 변이 추정/보상부(140) 및 움직임 추정/보상부(120, 130)와, 차영상 부호화부(160, 170)에 제공한다. 여기서, 임발란싱(imbalancing)문제는 기준 영상과 보정해야 될 보정영상의 평균과 분산을 이용하여 보정하고, 노이즈는 간단하게 미디언 필터를 사용하여 임발란싱 문제를 제거할 수 있다.
또한, 상기 전처리부(110)는 보조 비트스트림에 "시점 정보(view information)"를 삽입하여 복호화기에서 원하는 시점만 복원할 수 있는 정보를 제공하는 기능을 담당한다. 이를 도 2를 참조로 설명하면 다음과 같다.
도 2는 본 발명에 따라 생성된 보조 비트스트림의 일실시예 구성도이다.
도면에 도시된 바와 같이, 본 발명에 따라 삽입되는 "시점 정보(view information)"(210)는, 보조 비트스트림 내의 픽쳐 헤더 부분에 n 비트로 삽입될 수 있다. 이때, n 비트는 최대 2n 개의 시점까지 지원할 수 있다.
상기 변이 추정/보상부(120, 130) 및 움직임 추정/보상부(140)는 'I' 픽쳐를 포함하고 있는 동영상 축을 기준으로 변이 벡터 및 움직임 벡터를 추정하고, 반화소 보상 방법을 이용하여 보상하며, 차영상 부호화부(160, 170)는 상기 전처리부(110)로부터 제공되는 원영상과 상기 변이 추정/보상부(120, 130) 및 움직임 추정/보상부(140) 보상된 복원 영상의 차정보에 대하여, 보다 나은 영상 화질과 입체감을 제공하기 위하여 부호화를 수행하여, 제공되는 다시점 동영상에 대한 비트스트림을 생성할 수 있다.
또한, 비트율 제어부(150)는 각 프레임에 효율적인 비트량을 할당하기 위한 비트율을 제어할 수 있다.
MPEG-2에서, 부호화의 기본 단위는 GOP(Group Of Pictures)로써, 'I' 픽쳐(picture), 'P' 픽쳐, 및 'B' 픽쳐로 구성이 된다. 'I' 픽쳐는 인트라 부호화를 수행하는 것으로 동영상의 랜덤 액세스를 가능하게 한다. 'P' 픽쳐는 이전에 부호화된 'I' 픽쳐나 'P' 픽쳐를 기준 영상으로 하여 움직임 벡터를 단방향으로 추정하고, 'B' 픽쳐는 'I' 픽쳐와 'P' 픽쳐를 이용하여 움직임 벡터를 양방향으로 추정한다. GOP의 길이, 즉 'N'은 'I' 픽쳐 사이의 거리를 의미하고, 'M'은 'I' 픽쳐와 'P' 픽쳐 사이의 거리를 나타낸다.
다시점 동영상을 부호화하기 위하여, 본 발명에서는 다시점 동영상 부호화의 기본 단위인 "GGOP(Group of GOP)" 구조를 제안하기로 한다.
본 발명의 "GGOP"는 MPEG-2의 GOP와 달리 시간축 및 시점축에 해당되는 픽쳐들을 포함하고 있다. 즉, "GGOP" 구조를 이용하여 공간상의 상관성, 시간축상의 상관성, 시점간의 상관성을 제거하여 효율적으로 다시점 동영상을 부호화할 수 있다.
도 3a 내지 도 3c는 본 발명에 따라 5시점 동영상을 부호화하기 위한 "GGOP"의 일실시예 구조도로써, 각각 "One-I" 타입, "Two-I" 타입, "Five-I" 타입을 의미한다. 이때, N=6, M=3일 경우를 예를 들어 설명하는 것으로 한다.
도면에 도시된 바와 같이, 본 발명의 "GGOP" 구조 중 "One-I" 타입은 1개의 'I' 픽쳐, 1개의 'Pt' 픽쳐, 4개의 'Bt' 픽쳐, 4개의 'Ps' 픽쳐 및 20개의 'Bt,s' 픽쳐로 구성되어 있다.
여기서 'Pt' 픽쳐와 'Bt' 픽쳐는 MPEG-2에서 사용되었던 'P' 픽쳐와 'B' 픽쳐와 같이 움직임 벡터를 각각 단방향 및 양방향으로 수행하는 픽쳐 타입이다. 'Ps' 픽쳐는 시점간의 상관성, 즉 변이 추정을 이용하여 복원하는 영상이고 'Bt,s' 픽쳐는 시간축으로는 움직임 벡터, 시점축으로는 변이 벡터 또는 두 벡터의 보간으로 복원된 영상을 의미한다.
상기 도 3a와 같이, N=6, M=3일 경우의 "One-I" 타입에서, 기준이 되는 동영상, 즉 MPEG-2로 부호화할 동영상은 1개가 포함되어 있다. 여기서 화살표는 변이 벡터 및 움직임 벡터를 예측하기 위한 방향을 의미한다.
'I' 픽쳐가 포함되어 있는 기준 동영상인 '… Bt, Bt, I, Bt, Bt, Pt, …'는 MPEG-2와의 호환성을 위하여 MPEG-2 인코더로 부호화를 수행하고 비트스트림 또한 MPEG-2의 신택스와 같게 설정하였다. 이때, 기준 동영상에 해당하는 비트스트림을 메인 비트스트림(main bitstream)으로 정의한다. 그 외의 시점에 해당되는 동영상의 데이터는 보조 비트스트림(auxiliary bitstream)으로 정의한다. 따라서 상기 도 3a와 같은 5시점 "One-I" 타입일 경우에는 1개의 메인 비트스트림과 1개의 보조 비트스트림을 생성할 수 있다.
다시점 동영상을 획득할 때의 카메라 사이의 간격, 즉 베이스라인이 클 경우에는 시점간의 에러가 증가될 수 있다. 기준이 되는 동영상이 한 개만 있다면 기준 시점에서 많이 떨어져 있는 시점축에 해당되는 동영상들은 화질의 열화가 발생될 수 있다. 따라서 베이스라인이 큰 다시점 카메라로부터 획득한 다시점 동영상을 부호화할 경우에는 두 개 이상의 기준 동영상이 요구된다.
상기 도 3b는 5시점 "Two-I" 타입을 나타낸 것으로, 베이스라인이 큰 다시점 카메라로부터 획득한 다시점 동영상을 부호화하기 위하여 제안된 것이다. 이때, 다시점 동영상 부호화기는 2개의 메인 비트스트림과 1개의 보조 비트스트림을 생성할 수 있다.
세 번째 시점에서의 'Bs' 픽쳐는 각각 이웃하는 좌·우 영상에서 예측된 변이를 사용하거나 두 변이의 보간으로 복원된 픽쳐 타입을 의미한다.
한편, 상기 도 3c의 "Five-I" 타입은 변이 추정을 수행하지 않고 다시점 동영상을 각각 MPEG-2 동영상으로 간주하여 독립적으로 부호화할 수 있다. 이 경우 5개의 메인 비트스트림이 생성되고 변이 추정은 수행하지 않았기 때문에 보조 비트스트림은 생성되지 않는다.
상기 도 3a 내지 도 3c를 사용하여 설명한 본 발명의 일실시예에서는, 5시점 동영상에 해당하는 "GGOP" 구조를 그 예를 들었으나, 이는 시점수가 증가하여도 확장이 가능하다.
도 4a 및 도 4b는 본 발명에 따라 9시점 동영상을 부호화하기 위한 "GGOP"의 일실시예 구조도로써, 각각 "Two-I" 타입과 "Three-I" 타입을 나타내고 있다. 이 경우에도 MPEG-2와의 호환성을 위하여 'I' 픽쳐가 포함되어 있는 기준 동영상은 MPEG-2 인코더로 부호화를 한 후, 메인 비트스트림을 생성한다. 마찬가지로 그 외의 시점 동영상들은 보조 비트스트림을 생성하게 된다.
상기 도 4a는 N=6, M=3일 경우에 "Two-I" 타입에 대한 "GGOP" 구조로써, 2개의 'I' 픽쳐, 2개의 'Pt' 픽쳐, 6개의 'Ps' 픽쳐, 6개의 'Bs' 픽쳐 및 38개의 'Bt,s' 픽쳐로 구성되어 있다.
상기 도 4b는 베이스라인이 클 경우의 다시점 카메라로부터 획득한 9시점 동영상에 대한 "GGOP" 구조로 이 경우에는 3개의 메인 비트스트림과 1개의 보조 비트스트림이 생성된다. 또한, 5시점 동영상을 위한 "Five-I" 타입과 같이 변이 추정을 사용하지 않고 각 시점에 해당되는 동영상을 개별적으로 MPEG-2 인코더를 이용하여 부호화를 수행할 수 있다.
본 발명에서는, 수신단에서 보유하고 있는 디스플레이의 특징을 고려하여 원하는 시점에 해당되는 동영상만 복원 가능하게 하는 개념을 제안하기로 한다.
도 5는 본 발명의 다시점 동영상 복호화 방법의 개념을 설명하기 위한 일실시예 개략도이다.
도면에 도시된 바와 같이, 본 발명의 복호화 방법에서, 다시점 동영상 비트스트림은 수신단에서 보유하고 있는 디스플레이의 종류에 따라 원하는 시점만 선택하여 복원 가능하다.
예를 들어, 송신단에서는 5시점 동영상을 부호화하여 수신단으로 전송하였을 때, 수신단에서는 3시점 동영상만을 디스플레이할 다시점 모니터가 있을 경우에는, 사용자는 5시점뿐만 아니라 3시점 동영상도 볼 수 없게 된다. 이는 송신단에서 다시점 동영상을 부호화할 때 시점에 대한 정보가 없기 때문에 발생되는 문제로 본 발명은 이러한 문제점들을 해결하고자 하는 것이다.
즉, 송신단에서 5시점 동영상을 부호화하여 전송하였을 때, 수신단에서 3시점 동영상만을 디스플레이할 수 있는 3차원 다시점 모니터가 있다면, 사용자가 5시점 중 원하는 3개의 시점만 선택하여 복원 가능하게 할 수 있다.
또한, 수신단에서 다시점 모니터가 보유되지 않고 2차원 동영상만 디스플레이할 수 있는 모니터가 있다면, 메인 비트스트림만을 복원하여 디스플레이에 전송할 수 있다.
도 6은 본 발명에 따라 복호화를 수행하기 위하여 전송되는 헤더 정보를 설명하기 위한 비트스트림의 일실시예 구조도이다.
도면에 도시된 바와 같이, 다시점 동영상 비트스트림들을 생성할 때 픽쳐 헤더 정보에 "시점 정보(view information)"를 삽입하여, 현재 부호화하고 있는 픽쳐가 몇 번째 시점의 데이터인지를 나타내는 정보를 알릴 수 있다. 시점에 대한 정보는 n 비트로 설정되고 이는 2n 시점의 동영상까지 지원할 수 있다.
도 7은 본 발명이 적용되는 다시점 동영상 복호화 장치의 구성도이다.
도면에 도시된 바와 같이, 본 발명이 적용되는 복호화 장치는, 메인 비트스트림 복호화부(710)와 보조 비트스트림 복호화부(720)를 포함하여 구성된다.
상기 메인 비트스트림 복호화부(710)는 MPEG-2 디코더로 복호화를 수행하고, 상기 보조 비트스트림 복호화부(720)는 변이 벡터 및 움직임 벡터를 이용하여 복호화를 수행한다. 이때, 수신단에서 원하는 시점만을 복호화하기 위하여 픽쳐 헤더 정보에서 "시점 정보(view information)"를 확인하여 현재 디코딩하는 데이터가 몇 번째 시점에 해당되는지를 확인한다.
본 발명에 따르면 이와 같이 원하는 시점만을 복원해 주기 때문에 디코딩 시간 및 복호화부의 계산량을 감소시킬 수 있다.
도 8a 내지 도 8e와 도 9a 내지 도 9e는 각각 본 발명의 부호화/복호화 방법을 설명하기 위한 다시점 동영상의 일예로서, 5시점의 경우를 설명하기 위한 것이다. 실험에 사용한 영상 크기는 720×576, 매크로 블록의 크기는 16×16이고, 변이 추정을 위한 x 방향의 탐색 범위는 -16~16으로 설정하였고 평행식 카메라를 가정하였기 때문에 y 방향의 탐색 범위는 설정하지 않았다. 움직임 추정을 위하여 x 방향 및 y 방향의 탐색 범위는 -16~16으로 설정하였다. 또한, 실험에서 사용한 영상 포맷은 Y:U:V 4:2:0로 설정하였다.
도 10은 상기 도 8a 내지 도 8e의 5시점 동영상의 다양한 비트율에서의 부호화 결과를 설명하기 위한 일실시예 그래프이다.
도면에 도시된 바와 같이, "One-I" 타입과 "Two-I" 타입을 변이 추정을 수행하지 않은 "Five-I" 타입과 비교하였을 때, 비슷한 비트율에서 좋은 효율을 보임을 확인할 수 있다.
한편, 본 발명에서는 유동성이 있는 "GGOP"구조를 제안하였다. 즉 베이스라인이 큰 다시점 동영상을 부호화하기 위해서는 시점간의 상관성을 보완해 주기 위한 "Two-I" 타입을 적용하고 베이스라인이 작은 다시점 동영상에 대하여는 "One-I" 타입을 적용하여 "Two-I" 타입과 비교할 때 'I' 프레임을 제외한 나머지 픽쳐 타입에 더 많은 비트량을 할당한다.
도 11a 및 도 11b는 상기 도 9a의 동영상의 다양한 비트율에서의 부호화 결과를 설명하기 위한 일실시예 그래프로서, 각각 베이스라인이 작은 경우와 베이스라인이 큰 경우를 나타낸 것이다.
도면에 도시된 바와 같이, 베이스라인이 작은 다시점 동영상에서는 "One-I" 타입이 PSNR면에서 좋은 효율을 보였고, 베이스라인이 큰 다시점 동영상에서는 "Two-I" 타입이 PSNR면에서 "One-I" 타입과 비교할 때 성능이 우수함을 확인할 수 있다.
도 12a 및 도 12b는 각각 베이스라인이 큰 영상을 "One-I" 타입과 "Two-I" 타입으로 부호화를 수행하였을 경우의 결과 영상을 비교한 일예시도이다.
도면에 도시된 바와 같이, 베이스라인이 큰 다시점 동영상일 경우 시점간의 상관성이 감소하므로, 이를 보완하기 위하여 'I' 프레임을 증가시킨 "Two-I" 타입이 더 좋은 효율이 있음을 확인하였다. 따라서 다시점 동영상에 대하여, 베이스라인의 크기에 따라 본 발명의 "GGOP" 구조가 유동성이 있음을 알 수 있다.
한편, 본 발명의 "GGOP" 구조에서 'Bt,s' 프레임은 변이 벡터 또는 움직임 벡터 중에 예측 에러가 적은 벡터를 선택하거나 두 벡터의 평균 합을 사용한다. 만약 움직임이 큰 다시점 동영상일 경우에는 움직임 벡터로 복원하는 것보다 변이 벡터로 복원하는 것이 에러를 더 감소시키기 때문에 변이 벡터만을 선택한다. 반대로 시점축으로 상관도가 감소하면 움직임 벡터를 이용하여 예측하는 것이 더 효율적이므로 움직임 벡터를 선택한다.
도 13a 내지 도 13b는 본 발명의 Bt,s 프레임의 성능을 설명하기 위한 결과 영상의 일예로서, 도 13a는 다시점 동영상을 MPEG-2 동영상으로 간주하여 독립적으로 부호화를 수행하였을 경우의 결과 영상이며, 도 13b는 본 발명에 따라 부호화를 수행한 경우의 결과 영상이다.
도 13a에 도시된 바와 같이, 종래의 MPEG-2는 움직임이 큰 영역에 대해서 변이 벡터를 이용하여 예측할 수 없기 때문에 에러가 크게 발생한다. 그러나, 본 발명에 따르면 움직임이 큰 영역일 경우 움직임 벡터 대신 변이 벡터로 예측을 할 수 있어서 에러를 감소시킬 수 있다.
본 발명에 따르면, 송신단에서 메인 비트스트림과 보조 비트스트림을 수신단에 전송하면, 수신단에서는 원하는 시점만 복원 가능하다.
도 14a 내지 도 14d는 수신단에 스테레오 동영상만 디스플레이할 수 있는 3차원 모니터가 있을 경우, 상기 도 9a 내지 도 9e의 5시점의 비트스트림을 수신받은 사용자가 2번째 시점과 4번째 시점을 선택하였을 때의 결과 영상의 일예로, 도 14a 및 도 14b는 MPEG-2 복호화기를 사용하여 획득한 결과 영상이고, 도 14c 및 도 14d는 본 발명의 복호화 방법을 사용하여 복호화한 결과 영상을 나타낸 것이다.
도면에 도시된 바와 같이, 상기 도 14c 및 도 14d의 영상이 더 선명함을 확인할 수 있다. 이는, 상기 도 14a 및 도 14b는 오직 변이 벡터를 이용하여 복원한 결과이고, 도 14c 및 도 14d는 'Bt,s' 프레임을 포함하고 있기 때문에 움직임 벡터가 크거나 변이 벡터가 큰 경우에 예측 에러를 감소시킬 수 있기 때문이다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 베이스라인의 간격을 고려하여 효율적으로 다시점 동영상을 부호화하고, MPEG-2와의 호환성도 유지하면서, 수신단에 원하는 시점만 선택하여 복호화함으로써, 보다 유동성있고 효율적인 부호화 및 복호화를 수행할 수 있도록 하는 효과가 있다.
도 1은 본 발명이 적용되는 다시점 동영상 부호화 장치의 구성도,
도 2는 본 발명에 따라 생성된 보조 비트스트림의 일실시예 구성도,
도 3a 내지 도 3c는 본 발명에 따라 5시점 동영상을 부호화하기 위한 "GGOP"의 일실시예 구조도,
도 4a 및 도 4b는 본 발명에 따라 9시점 동영상을 부호화하기 위한 "GGOP"의 일실시예 구조도,
도 5는 본 발명의 다시점 동영상 복호화 방법의 개념을 설명하기 위한 일실시예 개략도,
도 6은 본 발명에 따라 복호화를 수행하기 위하여 전송되는 헤더 정보를 설명하기 위한 비트스트림의 일실시예 구조도,
도 7은 본 발명이 적용되는 다시점 동영상 복호화 장치의 구성도,
도 8a 내지 도 8e는 본 발명의 부호화/복호화 방법을 설명하기 위한 다시점 동영상의 일예,
도 9a 내지 도 9e는 본 발명의 부호화/복호화 방법을 설명하기 위한 다시점 동영상의 일예,
도 10은 상기 도 8a 내지 도 8e의 5시점 동영상의 다양한 비트율에서의 부호화 결과를 설명하기 위한 일실시예 그래프,
도 11a 및 도 11b는 상기 도 9a의 동영상의 다양한 비트율에서의 부호화 결과를 설명하기 위한 일실시예 그래프,
도 12a 및 도 12b는 베이스라인이 큰 영상을 각각 "One-I" 타입과 "Two-I" 타입으로 부호화를 수행하였을 경우의 결과 영상을 비교한 일예시도,
도 13a 내지 도 13b는 본 발명의 Bt,s 프레임의 성능을 설명하기 위한 결과 영상의 일예,
도 14a 내지 도 14d는 수신단에 스테레오 동영상만 디스플레이 할 수 있는 3차원 모니터가 있을 경우, 상기 도 9a 내지 도 9e의 5시점의 비트스트림을 수신받은 사용자가 2번째 시점과 4번째 시점을 선택하였을 때의 결과 영상의 일예.
* 도면의 주요 부분에 대한 부호의 설명
110 : 전처리부 120, 130 : 움직임 추정/보상부
140 : 변이 추정/보상부 150 : 비트율 제어부
160, 170 : 차영상 부호화부 710 : 메인 비트스트림 복호화부
720 : 보조 비트스트림 복호화부

Claims (5)

  1. 전처리부, 움직임 추정/보상부, 변이 추정/보상부, 비트율 제어부 및 차영상 부호화부를 포함하여 구성되는 부호화 장치에서, 입력되는 다시점 동영상 데이터 중 기준이 되는 동영상은 MPEG-2 인코더로 부호화를 수행하여 메인 비트스트림을 생성하고, 그 외의 시점 동영상들에 대하여 보조 비트스트림을 생성하기 위한, 다시점 동영상 부호화 방법에 있어서,
    상기 보조 비트스트림에 "시점 정보(view information)"를 삽입하여 복호화 장치에서 원하는 시점만 복원하도록 하는 것
    을 특징으로 하는 시점 선택이 가능한 다시점 동영상 부호화 방법.
  2. 제 1항에 있어서,
    상기 "시점 정보(view information)"는,
    상기 보조 비트스트림 내의 픽쳐 헤더 부분에 n 비트로 삽입되는 것임
    을 특징으로 하는 시점 선택이 가능한 다시점 동영상 부호화 방법.
  3. 제 1항에 있어서,
    상기 움직임 추정/보상부 및 상기 변이 추정/보상부가 공간상의 상관성, 시간상의 상관성 및 시점간의 상관성을 제거하여 입력되는 동영상의 움직임 및 변이를 추정/보상하되,
    움직임 벡터를 단방향으로 추정(Pt)하고, 움직임 벡터를 양방향으로 추정(Bt)하고, 변이 추정을 이용하여 복원(Ps)하고, 변이 벡터 또는 움직임 벡터 중 예측 에러가 적은 벡터를 선택하거나 또는 두 벡터의 평균합을 사용하여 복원(Bt,s)하는 것
    을 특징으로 하는 시점 선택이 가능한 다시점 동영상 부호화 방법.
  4. 제 3항에 있어서,
    카메라 사이의 간격(베이스라인)이 큰 경우에는,
    적어도 두 개 이상의 기준 동영상을 설정-기준 동영상의 수는 메인 비트스트림의 수와 동일함-하여 움직임 및 변이를 추정/보상하되,
    각각 이웃하는 좌우 영상에서 예측된 변이를 사용하여 복원(Bs 프레임)하는 것
    을 더 포함하는 것을 특징으로 하는 시점 선택이 가능한 다시점 동영상 부호화 방법.
  5. MPEG-2 복호화를 수행하는 메인 비트스트림 복호화부와, 보조 비트스트림 복호화부를 포함하여 구성되는 복호화 장치에서, 보조 비트스트림-"시점 정보(view information)"가 삽입됨-의 복호화를 수행하기 위한, 다시점 동영상 복호화 방법에 있어서,
    상기 보조 비트스트림의 픽쳐 헤더 정보에서 상기 "시점 정보(view information)"를 확인하여, 현재 복호화하는 데이터가 몇 번째 시점인지를 확인한 후에,
    사용자가 소유하는 디스플레이부에 적합한 시점만을 취합하여 디스플레이하는 것
    을 특징으로 하는 시점 선택이 가능한 다시점 동영상 복호화 방법.
KR1020040048340A 2004-06-25 2004-06-25 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 KR100679740B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020040048340A KR100679740B1 (ko) 2004-06-25 2004-06-25 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
CN2005800248006A CN101023681B (zh) 2004-06-25 2005-06-24 一种多视点视频位流的解码方法和解码装置
CN2010101357573A CN101902656A (zh) 2004-06-25 2005-06-24 一种多视点视频位流的解码方法及其解码装置
CN2010101357554A CN101895768A (zh) 2004-06-25 2005-06-24 一种多视点视频位流的解码方法及其解码装置
PCT/KR2005/001969 WO2006001653A1 (en) 2004-06-25 2005-06-24 Method of coding and decoding multiview sequence and method of displaying thereof
US11/571,235 US20090103619A1 (en) 2004-06-25 2005-06-24 Method of coding and decoding multiview sequence and method of displaying thereof
EP05756733A EP1772022A1 (en) 2004-06-25 2005-06-24 Method of coding and decoding multiview sequence and method of displaying thereof
JP2007517962A JP2008503973A (ja) 2004-06-25 2005-06-24 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法
JP2011000757A JP2011109690A (ja) 2004-06-25 2011-01-05 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040048340A KR100679740B1 (ko) 2004-06-25 2004-06-25 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법

Publications (2)

Publication Number Publication Date
KR20050122717A true KR20050122717A (ko) 2005-12-29
KR100679740B1 KR100679740B1 (ko) 2007-02-07

Family

ID=35782029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040048340A KR100679740B1 (ko) 2004-06-25 2004-06-25 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법

Country Status (6)

Country Link
US (1) US20090103619A1 (ko)
EP (1) EP1772022A1 (ko)
JP (2) JP2008503973A (ko)
KR (1) KR100679740B1 (ko)
CN (3) CN101902656A (ko)
WO (1) WO2006001653A1 (ko)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR100780844B1 (ko) * 2006-04-28 2007-11-29 광주과학기술원 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체
KR100811649B1 (ko) * 2006-01-11 2008-03-11 연세대학교 산학협력단 다시점 부호화 방법과 그에 사용되는 비트율 제어 방법
KR100813064B1 (ko) * 2006-05-19 2008-03-14 엘지전자 주식회사 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
KR100829857B1 (ko) 2005-12-08 2008-05-16 한국전자통신연구원 다시점 영상을 이용한 홈쇼핑 서비스 시스템 및 그 방법
EP1972141A1 (en) * 2006-01-07 2008-09-24 Electronics and Telecommunications Research Institute Method and apparatus for inter-viewing reference in multi-viewpoint video coding
WO2009131287A1 (en) * 2008-04-23 2009-10-29 Lg Electronics Inc. Method for encoding and decoding image of ftv
KR100934673B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100934676B1 (ko) * 2006-01-12 2009-12-31 엘지전자 주식회사 다시점 비디오의 처리
KR100968920B1 (ko) * 2006-01-05 2010-07-14 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체
KR101039204B1 (ko) * 2006-06-08 2011-06-03 경희대학교 산학협력단 다시점 비디오 코딩에서의 움직임 벡터 예측 방법 및 이를이용한 다시점 영상의 부호화/복호화 방법 및 장치
KR20110139882A (ko) * 2010-06-24 2011-12-30 삼성전자주식회사 다시점 깊이 영상 부호화 장치 및 그 방법, 그리고, 다시점 깊이 영상 복호화 장치 및 그 방법
CN102378030A (zh) * 2010-08-24 2012-03-14 索尼公司 图像处理装置和图像处理方法
US8325814B2 (en) 2006-06-19 2012-12-04 Lg Electronics Inc. Method and apparatus for processing a video signal
US8520961B2 (en) 2006-10-13 2013-08-27 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
US8532178B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
USRE44680E1 (en) 2006-01-12 2013-12-31 Lg Electronics Inc. Processing multiview video
KR101366289B1 (ko) * 2006-12-13 2014-02-21 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US9571835B2 (en) 2006-07-12 2017-02-14 Lg Electronics Inc. Method and apparatus for processing a signal

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5091143B2 (ja) * 2005-10-07 2012-12-05 韓國電子通信研究院 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
KR100754205B1 (ko) * 2006-02-07 2007-09-03 삼성전자주식회사 다시점 동영상 부호화 장치 및 방법
MX2008011652A (es) * 2006-03-29 2008-09-22 Thomson Licensing Metodos y aparatos para usarse en un sistema de codificacion de video de multiples vistas.
AU2007243966B2 (en) * 2006-05-03 2011-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for re-constructing media from a media representation
CN100438632C (zh) * 2006-06-23 2008-11-26 清华大学 一种交互式多视点视频的编码方法
EP2039168A2 (en) * 2006-07-05 2009-03-25 Thomson Licensing Methods and apparatus for multi-view video encoding and decoding
JP2009543462A (ja) * 2006-07-06 2009-12-03 トムソン ライセンシング マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置
ZA200900857B (en) * 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
JP5135342B2 (ja) * 2006-07-20 2013-02-06 トムソン ライセンシング マルチビュー・ビデオ符号化においてビューのスケーラビリティを信号伝達する方法および装置
WO2008048499A2 (en) 2006-10-13 2008-04-24 Thomson Licensing Reference picture list management syntax for multiple view video coding
CN101653000B (zh) * 2006-10-13 2013-01-02 汤姆逊许可公司 用于包含多视点视频编码的参考图像管理的方法
BRPI0719536A2 (pt) * 2006-10-16 2014-01-14 Thomson Licensing Método para utilização de uma unidade de camada genérica na rede de trabalho sinalizando uma reposição instantânea de decodificação durante uma operação em vídeo.
BRPI0718272A2 (pt) 2006-10-30 2013-11-12 Nippon Telegraph & Telephone Método de codificação e decodificação de vídeo, aparelho para os mesmos, programas para os mesmos, e meio de armazenamento o qual armazena os programas,
KR100823287B1 (ko) * 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
EP3182708B1 (en) * 2007-01-04 2019-03-06 InterDigital Madison Patent Holdings Methods and apparatus for multi-view information conveyed in high level syntax
JP5273816B2 (ja) * 2007-01-04 2013-08-28 トムソン ライセンシング 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置
KR20090099547A (ko) * 2007-01-04 2009-09-22 톰슨 라이센싱 멀티뷰 코딩 비디오에서 비디오 에러 정정을 위한 방법 및 장치
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
FI3920538T3 (fi) 2007-04-12 2023-04-05 Dolby Int Ab Limittäminen videon enkoodauksessa ja dekoodauksessa
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
JP2009004939A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
KR101398168B1 (ko) * 2007-10-10 2014-05-22 한국전자통신연구원 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법
RU2504917C2 (ru) * 2008-10-07 2014-01-20 Телефонактиеболагет Лм Эрикссон (Пабл) Файл медиаконтейнера
RU2689191C2 (ru) 2009-01-26 2019-05-24 Томсон Лайсенсинг Упаковка кадров для кодирования видео
JP5436458B2 (ja) * 2009-02-12 2014-03-05 日本電信電話株式会社 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
US12120326B2 (en) 2009-02-19 2024-10-15 Interdigital Madison Patent Holdings Method and apparatus for encoding and decoding 3D video content
JP2011087195A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
EP2529557A1 (en) 2010-01-29 2012-12-05 Thomson Licensing Block-based interleaving
BR112012020856A2 (pt) * 2010-02-23 2019-09-24 Nippon Telegraph & Telephone ver anexo.
JP4746702B1 (ja) * 2010-03-16 2011-08-10 シャープ株式会社 多視点画像符号化装置
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
AU2011296954B2 (en) * 2010-09-03 2016-02-11 Sony Corporation Encoding device and encoding method, as well as decoding device and decoding method
KR101512255B1 (ko) * 2010-12-17 2015-04-14 후지쯔 가부시끼가이샤 입체시 동화상 생성 장치 및 입체시 동화상 생성 방법
US9131217B2 (en) * 2011-12-09 2015-09-08 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
PL3917140T3 (pl) 2012-01-19 2023-12-04 Vid Scale, Inc. Sposób i urządzenie do sygnalizacji i tworzenia spisów obrazów odniesienia kodowania wideo
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US10009628B2 (en) * 2013-06-07 2018-06-26 Apple Inc. Tuning video compression for high frame rate and variable frame rate capture
NL2014986B1 (en) * 2015-06-18 2017-01-23 Filigrade B V Waste separation method.
KR20170029244A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 관리 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
TW335480B (en) * 1995-09-29 1998-07-01 Matsushita Electric Ind Co Ltd Method and apparatus for encoding a bistream for multi-angle connection
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JPH09200715A (ja) * 1996-01-19 1997-07-31 Canon Inc 通信装置、通信方法及び通信システム
CN1202500C (zh) * 1997-07-11 2005-05-18 皇家菲利浦电子有限公司 视听数据解码方法
JP3776595B2 (ja) * 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
CN1141845C (zh) * 2001-04-29 2004-03-10 王林 视点分离式立体电视机
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP2004007266A (ja) * 2002-05-31 2004-01-08 Sony Corp 画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体
JP2004048116A (ja) * 2002-07-08 2004-02-12 Monolith Co Ltd 画像データ符号化および復号のための方法および装置
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법

Cited By (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007052969A1 (en) * 2005-11-05 2007-05-10 Samsung Electronics Co., Ltd. Method and apparatus for encoding multiview video
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR100829857B1 (ko) 2005-12-08 2008-05-16 한국전자통신연구원 다시점 영상을 이용한 홈쇼핑 서비스 시스템 및 그 방법
US8548064B2 (en) 2006-01-05 2013-10-01 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method by using selected parallax for parallax compensation, apparatuses therefor, programs therefor, and storage media for storing the programs
KR100968920B1 (ko) * 2006-01-05 2010-07-14 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체
EP1972141A4 (en) * 2006-01-07 2017-04-05 Electronics and Telecommunications Research Institute Method and apparatus for inter-viewing reference in multi-viewpoint video coding
EP1972141A1 (en) * 2006-01-07 2008-09-24 Electronics and Telecommunications Research Institute Method and apparatus for inter-viewing reference in multi-viewpoint video coding
KR100811649B1 (ko) * 2006-01-11 2008-03-11 연세대학교 산학협력단 다시점 부호화 방법과 그에 사용되는 비트율 제어 방법
US8154585B2 (en) 2006-01-12 2012-04-10 Lg Electronics Inc. Processing multiview video
US7831102B2 (en) 2006-01-12 2010-11-09 Lg Electronics Inc. Processing multiview video
USRE44680E1 (en) 2006-01-12 2013-12-31 Lg Electronics Inc. Processing multiview video
KR100934676B1 (ko) * 2006-01-12 2009-12-31 엘지전자 주식회사 다시점 비디오의 처리
US8115804B2 (en) 2006-01-12 2012-02-14 Lg Electronics Inc. Processing multiview video
KR100934677B1 (ko) * 2006-01-12 2009-12-31 엘지전자 주식회사 다시점 비디오의 처리
US7856148B2 (en) 2006-01-12 2010-12-21 Lg Electronics Inc. Processing multiview video
US8553073B2 (en) 2006-01-12 2013-10-08 Lg Electronics Inc. Processing multiview video
US7817866B2 (en) 2006-01-12 2010-10-19 Lg Electronics Inc. Processing multiview video
KR100943914B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
KR100943912B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
KR100943915B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
KR100943913B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
KR100947234B1 (ko) * 2006-01-12 2010-03-12 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
US7817865B2 (en) 2006-01-12 2010-10-19 Lg Electronics Inc. Processing multiview video
US8170108B2 (en) 2006-03-30 2012-05-01 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR100934672B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100949979B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100949981B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100949977B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100949983B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100949976B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100949974B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100949980B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100959538B1 (ko) * 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100959536B1 (ko) * 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100959537B1 (ko) * 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100949978B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100949975B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100943911B1 (ko) * 2006-03-30 2010-02-24 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100937431B1 (ko) * 2006-03-30 2010-01-18 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100934671B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100949982B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100934673B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US8559505B2 (en) 2006-03-30 2013-10-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
RU2530310C2 (ru) * 2006-03-30 2014-10-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования/кодирования сигнала видео
KR100934675B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100934674B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US8634475B2 (en) 2006-03-30 2014-01-21 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal using a reference picture list for inter-view prediction
US8363732B2 (en) 2006-03-30 2013-01-29 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8411744B2 (en) 2006-03-30 2013-04-02 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8428130B2 (en) 2006-03-30 2013-04-23 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8432972B2 (en) 2006-03-30 2013-04-30 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8457207B2 (en) 2006-03-30 2013-06-04 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8472519B2 (en) 2006-03-30 2013-06-25 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8483273B2 (en) 2006-03-30 2013-07-09 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8559523B2 (en) 2006-03-30 2013-10-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8526504B2 (en) 2006-03-30 2013-09-03 Lg Electronics Inc. Method and apparatus for decoding/encoding a multi-view video signal with inter-view reference picture list management
US8611427B2 (en) 2006-03-30 2013-12-17 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8611419B2 (en) 2006-03-30 2013-12-17 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8576920B2 (en) 2006-03-30 2013-11-05 Lg Electronics, Inc. Method and apparatus for decoding/encoding a video signal
US8571113B2 (en) 2006-03-30 2013-10-29 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8565319B2 (en) 2006-03-30 2013-10-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR100780844B1 (ko) * 2006-04-28 2007-11-29 광주과학기술원 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체
KR100813064B1 (ko) * 2006-05-19 2008-03-14 엘지전자 주식회사 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
KR101039204B1 (ko) * 2006-06-08 2011-06-03 경희대학교 산학협력단 다시점 비디오 코딩에서의 움직임 벡터 예측 방법 및 이를이용한 다시점 영상의 부호화/복호화 방법 및 장치
US8325814B2 (en) 2006-06-19 2012-12-04 Lg Electronics Inc. Method and apparatus for processing a video signal
US9571835B2 (en) 2006-07-12 2017-02-14 Lg Electronics Inc. Method and apparatus for processing a signal
US8649433B2 (en) 2006-08-25 2014-02-11 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532183B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8855200B2 (en) 2006-08-25 2014-10-07 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532184B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8767827B2 (en) 2006-08-25 2014-07-01 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532181B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532178B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8660179B2 (en) 2006-08-25 2014-02-25 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8630344B2 (en) 2006-08-25 2014-01-14 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532182B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8559508B2 (en) 2006-08-25 2013-10-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8761255B2 (en) 2006-08-25 2014-06-24 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8532180B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8559507B2 (en) 2006-08-25 2013-10-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8724700B2 (en) 2006-08-25 2014-05-13 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8681863B2 (en) 2006-08-25 2014-03-25 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8711932B2 (en) 2006-08-25 2014-04-29 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8718136B2 (en) 2006-08-25 2014-05-06 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
US8520961B2 (en) 2006-10-13 2013-08-27 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
KR101366092B1 (ko) * 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
KR101366288B1 (ko) * 2006-12-13 2014-02-21 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
KR101366289B1 (ko) * 2006-12-13 2014-02-21 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
WO2009131287A1 (en) * 2008-04-23 2009-10-29 Lg Electronics Inc. Method for encoding and decoding image of ftv
KR20110139882A (ko) * 2010-06-24 2011-12-30 삼성전자주식회사 다시점 깊이 영상 부호화 장치 및 그 방법, 그리고, 다시점 깊이 영상 복호화 장치 및 그 방법
CN102378030A (zh) * 2010-08-24 2012-03-14 索尼公司 图像处理装置和图像处理方法

Also Published As

Publication number Publication date
JP2008503973A (ja) 2008-02-07
WO2006001653A1 (en) 2006-01-05
CN101023681B (zh) 2010-10-06
JP2011109690A (ja) 2011-06-02
CN101023681A (zh) 2007-08-22
EP1772022A1 (en) 2007-04-11
CN101895768A (zh) 2010-11-24
US20090103619A1 (en) 2009-04-23
CN101902656A (zh) 2010-12-01
KR100679740B1 (ko) 2007-02-07

Similar Documents

Publication Publication Date Title
KR100679740B1 (ko) 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
KR100728009B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101450670B1 (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
US5619256A (en) Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
CN101248670B (zh) 视差矢量估计方法及对运动图像编码和解码的方法和设备
US20080205791A1 (en) Methods and systems for use in 3d video generation, storage and compression
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
Lim et al. A multiview sequence CODEC with view scalability
MX2008002391A (es) Metodo y aparato para codificar video de vistas multiples.
KR101390813B1 (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR20030083285A (ko) 다 시점 동영상 부호화 장치
EP1927250A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
KR100587952B1 (ko) 좌우영상의 비대칭적 크기로의 축소에 의한 보상을 수행하는 영상 부호화/복호화 장치 및 그 방법
KR100783722B1 (ko) 다양한 수신환경을 고려한 스테레오 비디오 부호화방법 및 장치
Jung et al. Efficient stereo video coding based on frame skipping for real-time mobile applications
Hasan et al. Survey on Error Concealment Strategies and Subjective Testing of 3D Videos
KR20080114450A (ko) 블록 인터리브드 방식의 양안 영상 정보를 포함하는 양안식영상 비트스트림 생성 방법 및 장치
Xiu Research on key technologies in multiview video and interactive multiview video streaming
KR20130063603A (ko) 부가 영상 부복호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111206

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee