KR20030083285A - 다 시점 동영상 부호화 장치 - Google Patents

다 시점 동영상 부호화 장치 Download PDF

Info

Publication number
KR20030083285A
KR20030083285A KR1020020021757A KR20020021757A KR20030083285A KR 20030083285 A KR20030083285 A KR 20030083285A KR 1020020021757 A KR1020020021757 A KR 1020020021757A KR 20020021757 A KR20020021757 A KR 20020021757A KR 20030083285 A KR20030083285 A KR 20030083285A
Authority
KR
South Korea
Prior art keywords
picture
view video
mpeg
disparity
motion
Prior art date
Application number
KR1020020021757A
Other languages
English (en)
Other versions
KR100481732B1 (ko
Inventor
손광훈
임정은
최병호
김제우
정혁구
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR10-2002-0021757A priority Critical patent/KR100481732B1/ko
Priority to US10/246,262 priority patent/US6999513B2/en
Publication of KR20030083285A publication Critical patent/KR20030083285A/ko
Application granted granted Critical
Publication of KR100481732B1 publication Critical patent/KR100481732B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다 시점 동영상 부호화 장치에 관한 것으로, 다 시점 동영상 소스 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 데이터간의 상관도를 높여 신뢰도를 증가시키는 전처리부; 다시점 동영상 데이터내의 변이 벡터 및 움직임 벡터를 추정하기 위하여 MPEG-2 구조를 시점축으로 확장하여 공간적/시간적 상관도를 이용하여 추정하는 변이 추정부 및 움직임 추정부; 변이 추정부 및 움직임 추정부에 의해 추정된 복원 영상을 반화소 보상 방법을 이용하여 보상하는 변이/움직임 보상부; 전처리부로부터 제공된 원 영상과 변이/움직임 보상부에 의해 보상된 복원 영상의 차 정보를 보다 나은 영상 화질과 입체감을 제공하기 위하여 부호화를 수행하는 차영상 부호화부; 차영상 부호화부에 의해 부호화된 복원 영상에 대하여 비트율에 따라 각 프레임에 효율적인 비트량을 할당하기 위한 비트율을 제어하는 비트율 제어부; 비트율 제어부에 의해 제어된 비트율에 따라 다 시점 동영상 소스 데이터에 대한 비트 스트림을 생성하는 엔트로피 부호화부를 구비한다. 따라서, 관찰자에게 사실감과 현장감을 제공할 수 있으며, 또한 MPEG-2 표준과의 호환성을 이룸으로 비디오 시장 진출이 매우 용이하며, 멀티미디어 정보를 다루는 3차원 단말기 기술과 결합하여 방송, 가전/통신, 교육/정보/훈련, 오락, 방위, 반도체, 컴퓨터/인터넷 상거래, 의료/생명, 우주항공, 영상, 문화, 건축 등의 거의 모든 산업 및 과학기술 분야에 적용 가능하며, 특히 시청, 감시, 표시, 진단 및 측정 도구로서 적용할 수 있다는 효과가 있다.

Description

다 시점 동영상 부호화 장치{APPARATUS FOR ENCODING OF MULTI VIEW MOVING PICTURE}
본 발명은 다 시점 동영상 부호화 장치에 관한 것으로, 잡음제거 및 임발란싱(Imbalancing) 문제 해결 등의 전처리 기술 및 다 시점 비디오의 정보량을 최소화하는 압축 알고리즘과 실제 시스템을 구현할 수 있도록 하는 다 시점 부호화 장치에 관한 것이다.
통상적으로, 영상 정보 전달을 위한 매체는 텔레비전과 같은 2차원 단말기 기술로부터 발전한 것이다. 다시 말해서, 흑백 영상에서 출발하여 칼라 영상, 즉 SD(Standard Definition : SD)급 텔레비전에서 고해상도 텔레비전(예로, HDTV)으로발전함에 따라 영상 정보의 데이터 량은 증가하는 추세인 것이다.
이에, 현재 영상 정보는 평면적인 2차원의 세계가 아니라 공간을 포함하는 3차원적인 것이므로, 현실감 및 자연 자체의 멀티미디어 정보의 전달을 위해서는 그 자체 그대로 재현할 수 있는 3차원 영상 정보와 관련된 기술의 개발이 필요하게 되었다.
보다 상세하게 설명하면, 도 1은 MPEG-2 표준 규격(Moving Picture Experts Group : MPEG-2)의 시간 확장성을 응용하여 구현되는 멀티뷰 프로파일의 부호화기 및 복호화기에 대한 도면이다.
즉, MPEG-2에서 제공하는 확장성(scalability)은 하나의 영상장비를 사용해서 다른 해상도나 형식을 갖는 영상을 동시에 복호화하기 위한 것이며, MPEG-2에서 지원하는 확장성 중에서 시간 확장성은 화면율(frame rate)을 높임으로써 시각적 화질을 향상시키기 위한 기술이다. 멀티 뷰 프로파일은 이러한 시간 확장성을 고려하여 스테레오 동영상에 적용한 것이다.
실질적으로, 스테레오 동영상 개념을 갖는 부호화기 및 복호화기의 구조는 도 1의 시간 확장성과 같은 구조를 갖는 것으로, 스테레오 동영상 중 좌측 영상들은 베이스 뷰 인코더(base view encoder)로 입력되며, 스테레오 동영상의 우측 영상들은 시간적으로 위치한 보조의 뷰 인코더(temporal auxiliary view encoder)로 입력된다.
이러한 부호화기는 시간 확장성을 위한 것으로서, 시간적으로 베이스 레이어(base layer)의 영상들 사이에 영상을 만드는 인터레이어 인코더(interlayerencoder)인 것이다.
이에 따라, 좌측 영상을 따로 부호화 및 복호화하면 보통의 동영상을 얻을 수 있으며, 좌측 영상과 우측 영상을 동시에 부호화 및 복호화하면 입체 동영상을 구현할 수 있는 것이다. 여기서, 동영상 전송이나 저장을 위해 두 영상의 시퀀스를 합치거나 분리할 수 있는 시스템 멀티플렉스 및 시스템 디멀티플렉스가 필요한 것이다.
그리고, 도 2는 MPEG-2 멀티 뷰 프로파일(Multi-View Profile : MVP)을 이용한 스테레오 동영상 부호화기/복호화기에 대하여 도시한 도면이다.
다시 말해서, 베이스 레이어는 움직임 보상 및 이산 여현 변환(DCT: Discrete Cosine Transform)을 이용하여 부호화하고 역과정을 통하여 복호화하며, 시간적으로 위치한 보조의 뷰 인코더(temporal auxiliary view encoder)는 복호화된 베이스 레이어(base layer)의 영상을 바탕으로 예측한 템포널 인터레이어 인코더(temporal interlayer encoder)의 역할을 한다.
즉, 두 개의 변이 예측 또는 각각 한 개의 변이 예측 및 움직임 보상 예측이 여기에 사용될 수 있으며, 베이스 레이어(base layer)의 부호화 및 복호화기와 마찬가지로 시간적으로 위치한 보조의 뷰 인코더(temporal auxiliary view encoder)는 변이 및 움직임 보상 DCT 부호화기 및 복호화기를 포함한다.
또한, 움직임 예측/보상 부호화 과정에서 움직임 예측기와 보상기가 필요한 것처럼 변이 보상 부호화 과정은 변이 예측기와 보상기가 필요하며, 블록 기반의 움직임/변이 예측 및 보상에 덧붙여 부호화 과정에서는 예측된 결과 영상과 원영상과 차영상들의 DCT, DCT 계수의 양자화, 그리고 가변장 부호화 등이 포함된다. 반대로 복호화 과정은 가변장 복호화, 역 양자화, 역 DCT등의 과정인 것이다.
MPEG-2 부호화는 B-픽쳐를 위한 쌍방향 움직임 예측으로 인해서 매우 효율적인 압축방법이며, 시간 확장성도 상당히 효율적이기 때문에, 단지 쌍방향 예측만을 사용한 B-픽쳐를 우측 영상의 부호화에 사용하여 고효율의 압축을 얻을 수 있다.
다음으로, 도 3을 참조하면 쌍방향 예측을 위해 두 개의 변이 예측을 사용하여 시차만을 고려한 예측 부호화에 대한 도면으로서, 좌측 영상은 논 스케레블(non-scalable) MPEG-2 encoder를 사용하여 부호화하고, 우측 영상은 복호화된 좌측 영상을 바탕으로 MPEG-2 시간적으로 위치한 보조의 뷰 인코더(temporal auxiliary view encoder)를 사용하여 부호화한다.
즉, 두 개의 다른 좌측 영상으로부터 구한 예측을 사용하여 B-픽쳐로 부호화한다. 이때, 두 개의 참조영상 중 하나는 시간적으로 디스플레이될 때의 좌측 영상이며, 다른 하나는 시간적으로 다음에 나올 좌측 영상이다.
그리고, 두 개의 예측은 움직임 추정/보상과 마찬가지로 순방향(forward), 역방향(backward), 양방향(interpolated)의 세 가지 예측모드를 만든다. 여기서 순방향 모드는 같은 시간의 좌측 영상으로부터 예측한 변이를 의미하며, 역방향 모드는 바로 다음의 좌측 영상으로부터 예측한 변이를 의미한다. 이러한 방법의 경우, 우측 영상의 예측은 두 개의 좌측 영상의 변이 벡터를 통해 이루어지기 때문에, 이런 형태의 예측방법을 변이만을 고려한 예측 부호화라고 하며, 결국, 부호화기에서는 우측 동영상의 각 프레임마다 두 개의 변이 벡터를 추정하고, 복호화기에서는이 두 변이 벡터를 이용하여 좌측 동영상으로부터 우측 동영상을 복호화한다.
도 4는 도 3에 도시된 쌍방향 예측을 통한 B-픽쳐를 사용하지만 쌍방향 예측의 방향은 한 개의 변이 추정과 한 개의 움직임 추정을 사용한다. 즉, 하나는 동 시간대의 좌측 영상으로부터의 변이 예측과 바로 이전 시간의 우측 영상으로부터의 움직임 예측을 사용한다.
그리고, 변이만을 고려한 예측 부호화와 마찬가지로 쌍방향 예측도 순방향, 역방향 그리고 양방향 모드로 불리는 3가지의 예측모드를 만들어낸다. 여기서 순방향 모드는 복호화된 우측 영상으로부터의 움직임 예측을 말하며, 역방향 모드는 복호화된 좌측 영상으로부터의 변이 예측을 의미한다.
따라서, MPEG-2 멀티 뷰 프로파일(Multi-View Profile : MVP)의 규격 자체는 실제 스테레오 동영상에 적합하도록 설계되어 있어 다 시점 동영상에 대한 부호화기의 구조는 전혀 언급이 되어 있지 않다는 문제점이 있어 다수의 사람에게 동시에 입체감 및 현장감을 제공하기 위한 다 시점 동영상을 효율적으로 제공할 수 있는 부호화기가 필요한 것이다.
또한, MPEG-2는 동영상 부호화 및 복호화에 대한 표준을 제시하고 있다. 즉, MPEG-2에서 규정하고 있는 픽쳐 형태는 도 5에 도시된 바와 같이, I 픽쳐, P 픽쳐, B 픽쳐의 세 가지가 있는데, I(Intra-coded) 픽쳐는 움직임 벡터 추정/보상을 이용하지 않고 단순히 그 픽쳐만을 DCT하여 부호화하고, P(Predictive coded) 픽쳐는 I 픽쳐 또는 다른 P 픽쳐를 참조하면서 움직임 추정/보상을 한 후, 나머지 차분의 데이터를 DCT하여 부호화하며, B(Bidirectionally Predictive coded) 픽쳐는 P 픽쳐와 같이 움직임 보상을 사용하지만 시간축 상에 있는 두 개의 프레임으로부터 움직임 추정/보상을 수행한다.
MPEG-2의 픽쳐는 B, B, I, B, B, P,.... 와 같은 구조를 갖고 있으며, I 픽쳐부터 다음의 I 픽쳐까지를 GOP(Group of Picture)라 칭하며, GOP내의 픽쳐 개수를 N이라고 하고 I 픽쳐와 P 픽쳐 사이 혹은 P 픽쳐와 P 픽쳐 사이의 픽쳐 개수를 M이라 정의한다.
그리고, MPEG-2는 한 개의 시점에 대한 동영상 부호화 및 복호화에 대한 표준이기 때문에 본 발명에서 필요로 하는 다 시점 동영상 데이터를 부호화하기 위해 구조에 대한 설계 및 다 시점의 정보를 나타내는 데이터에 대한 처리가 필요하며, MPEG-2에서 사용되는 동영상을 스테레오 동영상으로 확장하기 위하여 MVP를 제안하고는 있지만 다 시점 동영상의 확장을 위한 부호화기는 언급되지 않고 있다는 문제점이 있었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 그 목적은 잡음제거 및 임발란싱(Imbalancing) 문제 해결 등의 전처리 기술과 다 시점 비디오의 정보량을 최소화하기 위한 압축 알고리즘이 적용된 실질적인 시스템을 구현할 수 있도록 하는 다 시점 동영상 부호화 장치를 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명에서 다 시점 동영상 부호화 장치는 다 시점 동영상 소스 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 데이터간의 상관도를 높여 신뢰도를 증가시키는 전처리부; 다시점 동영상 데이터의 변이 벡터 및 움직임 벡터를 추정하기 위하여 MPEG-2 구조를 시점축으로 확장하여 공간적/시간적 상관도를 이용하여 추정하는 변이 추정부 및 움직임 추정부; 변이 추정부 및 움직임 추정부에 의해 복원된 영상을 반화소 보상 방법을 이용하여 보상하는 변이/움직임 보상부; 전처리부로부터 제공된 원 영상과 변이/움직임 보상부에 의해 보상된 복원 영상의 차 정보를 보다 나은 영상 화질과 입체감을 제공하기 위한 부호화를 수행하는 차영상 부호화부; 차영상 부호화부에 의해 부호화된 복원 영상에 대하여 비트율에 따라 각 프레임에 효율적인 비트량을 할당하기 위한 비트율을 제어하는 비트율 제어부; 비트율 제어부에 의해 제어된 비트율에 따라 다 시점 동영상 소스 데이터에 대한 비트 스트림을 생성하는 엔트로피 부호화부를 포함하는 것을 특징으로 한다.
도 1은 MPEG-2 멀티 뷰 프로파일(MVP: MultiView profile)의 부호화 및 복호화기에 대한 도면이고,
도 2는 MPEG-2 MVP를 이용한 스테레오 동영상 부호화기에 대하여 도시한 도면이며,
도 3은 쌍방향 예측을 위해 두 개의 변이 예측을 사용한 시차만을 고려한 예측 부호화에 대한 도면이며,
도 4는 쌍방향 예측을 위해 변이 벡터와 움직임 벡터를 사용한 예측 부호화 도면이며,
도 5는 MPEG-2에서 규정하고 있는 픽쳐 형태에 대하여 도시한 도면이며,
도 6은 본 발명에 따른 다 시점 동영상 부호화 장치에 대한 블록 구성도이며,
도 7은 본 발명의 일 실시 예에 따른 다 시점 동영상 부호화 구조에 대하여 도시한 도면이며,
도 8은 본 발명의 다른 실시 예에 따른 다 시점 동영상 부호화 구조에 대하여 도시한 도면이며,
도 9는 본 발명의 다른 실시 예에 따른 다 시점 동영상 부호화 구조에 대하여 도시한 도면이며,
도 10은 본 발명의 따른 다 시점 동영상 부호화기 및 복호화기에 대한 일 예를 도시한 도면이다.
<도면의 주요부분에 대한 부호의 설명>
10 : 전처리부 30 : 변이 추정부
40 : 움직임 추정부 50 : 변이/움직임 보상부
60 : 차영상 부호화부 70 : 비트율 제어부
80 : 엔트로피 부호화부
A : 다 시점 동영상 소스(multi view video source) 데이터
이하, 첨부된 도면을 참조하여 본 발명에 따른 일 실시예를 상세하게 설명하기로 한다.
도 6을 참조하면, 본 발명에 따른 다 시점 동영상 부호화 장치에 대한 블록 구성도로서, 전처리부(10)와, 변이 추정부(30)와, 움직임 추정부(40)와, 변이 움직임 보상부(50)와, 차영상 부호화부(60)와, 비트율 제어부(70)와, 엔트로피 부호화부(80)를 포함한다.
전처리부(10)는 다 시점 동영상 소스(multi view video source)(A) 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 전처리 과정을 통해 다 시점 동영상 소스(A) 데이터들 간의 상관도를 높여 변이 추정 및 움직임추정으로 나온 벡터들의 신뢰도를 증가시켜 변이 추정부(30) 및 움직임 추정부(40)와, 차영상 부호화부(60)에 제공한다. 여기서, 임발란싱(imbalancing)문제는 기준 영상과 보정해야 될 보정영상의 평균과 분산을 이용하여 보정하고 노이즈를 간단하게 미디언 필터를 사용하여 임발란싱 문제를 제거한다.
이후, 변이 추정부(30) 및 움직임 추정부(40)는 'I'를 포함하고 있는 동영상 축을 기준으로 도 7, 도 8 및 도 9에 도시된 바와 같은 화살표 방향으로 변이 벡터 및 움직임 벡터를 추정하여 변이/움직임 보상부(50)에 제공한다.
변이/움직임 보상부(50)는 변이 추정부(30) 및 움직임 추정부(40)에 의해 복원된 영상을 반화소 보상 방법을 이용하여 보상하여 차영상 부호화부(60)에 제공한다. 반화소 보상 방법을 이용할 때 참조하는 영상은 도7, 도8 및 도9에 도시한 화살표 방향과 같다.
이때, 변이/움직임 추정부(30, 40) 및 보상부(50)를 실행할 때, 도 7, 도 8 및 도 9에 도시된 다 시점 동영상 부호화 구조와 같이, 다 시점 변이 벡터와 이를 동영상으로 확장했을 때 발생되는 움직임 벡터를 효율적으로 이용하여 추정 방향을 설정할 수 있다. 즉, MPEG-2로 부호화하기 위한 구조를 시점축으로 확장하여 공간적/시간적 상관도를 이용할 수 있는 것이다.
차영상 부호화부(60)는 전처리부(10)로부터 제공되는 원 영상과 변이/움직임 보상부(50)에 의해 보상된 복원 영상의 차 정보를 보다 나은 영상 화질과 입체감을 제공하기 위하여 차 영상 부호화를 수행하여 비트율 제어부(70)에 제공한다.
비트율 제어부(70)는 차영상 부호화부(60)에 의해 부호화된 복원 영상에 대하여 비트율에 따라 각 프레임에 효율적인 비트량을 할당하기 위한 비트율을 제어하여 엔트로피 부호화부(80)에 제공한다. 여기서, 비트율 제어 방식은 MPEG-2 비트율 제어 방식을 사용하고 GGOP(Group GOP)내에 I 픽쳐가 한 개 포함되어 있는 구조는 GGOP를 한 개의 GOP로 간주하여 비트율 제어를 수행하며, GGOP내에 I 픽쳐가 두 개 포함되어 있는 구조는 GGOP를 각각 I 픽쳐 한 개씩 포함하는 두 개의 파트로 나누어 비트율 제어를 수행하며, 또한 나눠진 GGOP의 파트를 GOP로 간주하여 비트율 제어를 수행한다. GGOP내에 I 픽쳐가 다섯 개 포함되어 있는구조는 MPEG-2 스트림이 다섯 개 있는 것으로 간주하여 비트율 제어를 수행한다.
엔트로피 부호화부(80)는 비트율 제어부(70)에 의해 제어된 비트율에 따라 다 시점 동영상 소스(A) 데이터에 대한 비트 스트림을 생성한다.
여기서, 다 시점 동영상 소스(A) 데이터의 비트 스트림은 도 7, 도 8 및 도 9에 도시된 바와 같이, I 픽쳐가 포함되어 있는 시간(time)축은 MPEG-2의 비트 스트림과 동일한 구조로 만들고, I 픽쳐가 없는 시간축은 다 시점 동영상을 처리하기 위한 데이터들이 추가된다.
즉, 도 6에 도시된 다 시점 동영상 부호화 장치에서 생성되는 비트 스트림들은 MPEG-2와 호환성을 위하여 생성되는 주 비트 스트림인 MPEG-2 비트 스트림과 다 시점 동영상에 대한 데이터들이 포함되어 있는 보조 비트 스트림으로 구성된다.
이때, MPEG-2와 호환성을 위하여 생성되는 비트스트림은 MPEG-2 데이터 구조인 시퀀스 층, GOP 층, 픽쳐 층, 슬라이스 층, 매크로 블록 층, 블록 층으로 구성되고, 다 시점 동영상 소스(A) 데이터들에 대한 보조 비트 스트림은 I 픽쳐의 위치및 개수, 시점 수등의 정보가 들어가 있는 GGOP층과 I 픽쳐가 없는 시점(view)축의 변이 벡터 및 움직임 벡터, 차영상 부호화 정보들 및 그 외의 부가 정보들을 포함한다.
특히, MPEG-2의 구조를 유지하면서 다 시점 동영상 소스(A) 데이터들을 시퀀스 헤더, 시퀀스 확장 헤더, 픽쳐 헤더, 픽쳐 확장 헤더 부분에 추가로 삽입하였고, MPEG-2의 시퀀스 헤더에 컨스트랜드 파라미터 플래그(constrained parameters flag)를 이용하여 다 시점 동영상에 해당되는 데이터와 MPEG-2의 규격에 맞는 데이터를 구분한다.
여기서, 컨스트랜드 파라미터 플래그(constrained parameters flag)는 MPEG-1인지 MPEG-2인지 판단하는 플래그이지만, 다 시점 동영상 부호화기에서는 처리할 데이터들이 다 시점 동영상 신호인지 MPEG-2 동영상인지를 구분하는 플래그로 조절된다. 즉, '0'으로 설정되었을 때가 다 시점 동영상 데이터를 나타내고, '1' 일 때는 MPEG-2 동영상임을 나타낸다. 시퀀스 확장 층에서는 다 시점 동영상이 몇 개의 시점들로 구성되는지를 나타내는 플래그인 뷰 넘버(View Number)와 기준 영상, 즉 I 픽쳐의 수량을 나타내는 레퍼런스 프레임 넘버(Reference frame number)가 삽입된다.
그리고, 기준 영상(I 픽쳐)의 위치, 즉 시점과 시간축에 해당하는 위치를 나타내는 플래그인 레퍼런스 프레임 위치(Reference frame position)가 삽입되며, 픽쳐가 부호화되는 타입을 나타내는 픽쳐 코딩 타입(Picture Coding Type)은 MPEG-2에서와 동일하나 P 픽쳐와 B 픽쳐의 경우는 변이 벡터를 이용한 픽쳐 타입인지 움직임 벡터를 이용한 부호화 타입인지를 나타내는 정보도 추가하였다.
다시 말해서, P 픽쳐라도 변이 벡터와 움직임 벡터에 대한 타입을 구분하도록 다른 값들이 할당되며, 픽쳐 확장층에서 움직임 벡터 탐색 범위에 추가로 변이 벡터의 탐색 범위를 삽입시켜 변이 벡터에 대한 탐색 범위를 설정하며, 이를 위해 변이 벡터의 수평 방향의 탐색 범위를 나타내는 플래그인 디스페러티 수평 코드(disparity horizontal code)와 변이 벡터의 수직 방향의 탐색 범위를 나타내는 디스페러티 수직 코드(disparity vertical code) 플래그를 추가하였다.
또한, 본 발명에 따른 다 시점 동영상 부호화 장치를 이용하여 적용시킨 실시예로, 여러 명의 사용자에게 동시에 입체감 및 현장감을 제공할 수 있어 방송, 가전/통신, 교육/정보/훈련, 오락, 방위, 반도체, 컴퓨터/인터넷 상거래, 의료/생명, 우주항공, 영상, 문화, 건축 등의 거의 모든 산업 및 과학기술 분야에 적용 가능한 것으로, 도 10을 참조하면 자연 영상을 다 시점 카메라로 획득하여 다 시점 동영상 부호화기 및 복호화기를 통해 압축 및 복원하여 3DTV나 3차원 정보 단말기등을 이용하여 원거리에 있는 관찰자들에게 현장감 있는 자연 영상들을 제공할 수 있는 것이다.
또한, 다시점 동영상을 획득하는 카메라 파라미터(camera parameter)에 의해 발생되는 변이 벡터의 차이에 따라 다시점 동영상을 효율적으로 적용하기 위하여 도 7 및 8을 고안한다. 변이 벡터의 차이가 작은 다시점 동영상 구조에 대하여는 도 7을 사용하며, 변이 벡터의 차이가 큰 다시점 동영상 구조에 대하여는 도 8을 사용하여 변이 벡터 추정과정에 의하여 발생되는 에러를 감소시킨다.
상기와 같이 설명한 본 발명은 잡음제거 및 임발란싱 문제(Imbalancing problem) 해결 등의 전처리 기술과 다 시점 비디오의 정보량을 최소화하기 위한 압축 알고리즘이 적용된 실질적인 시스템, 즉 기존의 2차원 비디오 신호에 입체감을 추가하여 부호화하는 시스템을 구현함으로써, 관찰자에게 사실감과 현장감을 제공할 수 있으며, 또한 MPEG-2 표준과의 호환성을 이룸으로 비디오 시장 진출이 매우 용이하며, 멀티미디어 정보를 다루는 3차원 단말기 기술과 결합하여 방송, 가전/통신, 교육/정보/훈련, 오락, 방위, 반도체, 컴퓨터/인터넷 상거래, 의료/생명, 우주항공, 영상, 문화, 건축 등의 거의 모든 산업 및 과학기술 분야에 적용 가능하며, 특히 시청, 감시, 표시, 진단 및 측정 도구로서 적용할 수 있다는 효과가 있다.

Claims (15)

  1. 다시점 동영상 소스(multi view video source) 데이터를 부호화하는 동영상 장치에 있어서,
    상기 다 시점 동영상 소스 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 상기 데이터간의 상관도를 높여 신뢰도를 증가시키는 전처리부;
    상기 다시점 동영상 데이터의 변이 벡터 및 움직임 벡터를 추정하기 위하여 MPEG(Moving Picture Experts Group : MPEG-2)-2 구조를 시점축으로 확장하여 공간적/시간적 상관도를 이용하여 추정하는 변이 추정부 및 움직임 추정부;
    상기 변이 추정부 및 움직임 추정부에 의해 복원된 영상을 반화소 보상 방법을 이용하여 보상하는 변이/움직임 보상부;
    상기 전처리부로부터 제공된 원 영상과 상기 변이/움직임 보상부에 의해 보상된 복원 영상의 차 정보를 보다 나은 영상 화질과 입체감을 제공하기 위한 부호화를 수행하는 차영상 부호화부;
    상기 차영상 부호화부에 의해 부호화된 복원 영상에 대하여 비트율에 따라 각 프레임에 효율적인 비트량을 할당하기 위한 비트율을 제어하는 비트율 제어부;
    상기 비트율 제어부에 의해 제어된 비트율에 따라 다 시점 동영상 소스 데이터에 대한 비트 스트림을 생성하는 엔트로피 부호화부를 포함하는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  2. 제 1 항에 있어서, 상기 전처리부는,
    상기 노이즈 제거 및 기준 영상과 보정해야 될 보정영상의 평균과 분산을 통해 보정하여 임발란싱 문제를 제거하는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  3. 제 1 항에 있어서,
    상기 변이/움직임 추정부를 실행할 경우, 다 시점 변이 벡터와 이를 동영상으로 확장했을 때 발생되는 움직임 벡터를 이용하여 추정 방향을 설정하는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  4. 제 1 항에 있어서,
    상기 비트율 제어부에 의해 제어되는 비트율 제어는 MPEG-2 비트율 제어 방식을 사용하고 GGOP(Group GOP)내에 I 픽쳐가 한 개 포함되어 있는 구조는 GGOP를 한 개의 GOP로 간주하여 비트율 제어를 수행하며, 상기 GGOP내에 I 픽쳐가 두 개 포함되어 있는 구조는 GGOP를 각각 I 픽쳐 한 개씩 포함하는 두 개의 파트로 나누어 비트율 제어를 수행하며, 상기 GGOP내의 I 픽쳐가 임의의 개수 포함된 구조는 MPEG-2 동영상이 상기 임의의 개수 포함된 것으로 간주하여 각각에 대하여 독립적으로 비트율을 제어하는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  5. 제 1 항에 있어서,
    상기 비트 스트림은 MPEG-2와의 호환성을 위하여 I 픽쳐가 포함된 시간(time)축에 대한 동영상에 대하여 MPEG-2의 비트 스트림과 동일한 구조인 주 비트 스트림(main bitstream)을 생성하며, I 픽쳐가 없는 시간축은 다 시점 동영상을 처리하기 위한 데이터들이 추가되어 있는 보조 스트림(auxiliary bitstream)으로 구성되는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  6. 제 5 항에 있어서,
    상기 비트 스트림들은 주 비트 스트림인 MPEG-2 동영상 비트 스트림과 다 시점 동영상에 대한 데이터들이 포함되어 있는 보조 비트 스트림으로 구성되는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  7. 제 6 항에 있어서,
    상기 보조 비트 스트림(auxiliary bitstream)은 I 픽쳐의 위치 및 개수, 시점 수, I 픽쳐가 없는 시점(view)축의 변이 벡터 및 움직임 벡터, 차영상 부호화 정보들 및 그 외의 부가 정보들을 포함하는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  8. 제 6 항에 있어서,
    상기 주 비트 스트림(main bit stream)은 MPEG-2와의 호환성을 위하여 MPEG-2의 구조인 시퀀스 층, GOP 층, 픽쳐 층, 슬라이스 층, 매크로 블록 층, 블록 층으로 구분되는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  9. 제 7 항에 있어서,
    상기 보조 비트 스트림(auxiliary bitstream)은 MPEG-2의 구조를 유지하면서 시퀀스 헤더, 시퀀스 확장 헤더, 픽쳐 헤더, 픽쳐 확장 헤더 부분에 추가로 삽입하였고, MPEG-2의 시퀀스 헤더에 컨스트랜드 파라미터 플래그(constrained parameters flag)를 이용하여 다 시점 동영상 소스에 해당되는 데이터와 MPEG-2의 규격에 맞는 데이터를 구분하는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  10. 제 9 항에 있어서,
    상기 컨스트랜드 파라미터 플래그(constrained parameters flag)는 MPEG-1인지 MPEG-2인지 판단하는 플래그로, 다 시점 동영상 부호화기에서는 처리할 데이터들이 다 시점 동영상 신호인지 MPEG-2 동영상인지를 구분하는 플래그로 조절되는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  11. 제 10 항에 있어서,
    상기 플래그가 '0'으로 설정되었을 경우 다 시점 동영상 데이터를 나타내고, 상기 플래그가 '1'로 설정되었을 경우 MPEG-2 동영상임을 나타내는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  12. 제 2 항에 있어서,
    상기 기준 영상에는 레퍼런스 프레임 넘버(Reference frame number)가 삽입되는 것으로, 상기 레퍼런스 프레임 넘버는 I 픽쳐의 수량을 나타내는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  13. 제 12 항에 있어서,
    상기 I 픽쳐의 위치에는 시점(view) 및 시간(time)축에 해당하는 위치를 나타내는 플래그인 레퍼런스 프레임 위치(Reference frame position)가 삽입되며, 상기 픽쳐의 픽쳐 코딩 타입(Picture Coding Type)이 P(Predictive coded) 픽쳐 및 B(Bidirectionally Predictive coded) 픽쳐일 경우, 변이 벡터를 이용한 픽쳐 타입인지 움직임 벡터를 이용한 부호화 타입인지를 나타내는 정보를 추가하는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  14. 제 13 항에 있어서,
    상기 P 픽쳐일 경우, 변이 벡터와 움직임 벡터에 대한 타입을 구분하도록 다른 값들을 할당하며, 픽쳐 확장층에서 움직임 벡터 탐색 범위에 추가로 변이 벡터의 탐색 범위를 삽입시켜 변이 벡터에 대한 탐색 범위를 설정하며, 상기 변이 벡터의 수평 방향의 탐색 범위를 나타내는 플래그인 디스페러티 수평 코드(disparity horizontal code)와 변이 벡터의 수직 방향의 탐색 범위를 나타내는 디스페러티 수직 코드(disparity vertical code) 플래그를 추가하는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
  15. 제 1 항에 있어서,
    상기 다시점 동영상을 획득하는 카메라 파라미터(camera parameter)에 의해 발생되는 변이 벡터의 차이에 따라 다시점 동영상을 효율적으로 적용하기 위해 GGOP내에 I 프레임이 한 개인 구조와 GGOP내에 I 프레임이 두 개인 구조를 사용하며, 상기 변이 벡터의 차이가 작은 다시점 동영상 구조에 대하여 I 프레임이 한 개인 구조를 사용하여 부호화하며, 상기 변이 벡터의 차이가 큰 다시점 동영상 구조에 대하여는 I 프레임이 두 개인 구조에 의해 부호화하며, 상기 변이 벡터 추정과정에 의해 발생되는 에러를 감소시키며, 상기 변이 벡터와는 별개로 임의의 개수의 MPEG-2 구조 비트스트림을 생성하고자 할 때는 I 프레임이 상기 임의의 개수 구조를 사용하는 것을 특징으로 하는 다 시점 동영상 부호화 장치.
KR10-2002-0021757A 2002-04-20 2002-04-20 다 시점 동영상 부호화 장치 KR100481732B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2002-0021757A KR100481732B1 (ko) 2002-04-20 2002-04-20 다 시점 동영상 부호화 장치
US10/246,262 US6999513B2 (en) 2002-04-20 2002-09-17 Apparatus for encoding a multi-view moving picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0021757A KR100481732B1 (ko) 2002-04-20 2002-04-20 다 시점 동영상 부호화 장치

Publications (2)

Publication Number Publication Date
KR20030083285A true KR20030083285A (ko) 2003-10-30
KR100481732B1 KR100481732B1 (ko) 2005-04-11

Family

ID=29244762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0021757A KR100481732B1 (ko) 2002-04-20 2002-04-20 다 시점 동영상 부호화 장치

Country Status (2)

Country Link
US (1) US6999513B2 (ko)
KR (1) KR100481732B1 (ko)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006062377A1 (en) 2004-12-10 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for universal coding for multi-view video
WO2006104351A1 (en) * 2005-03-31 2006-10-05 Industry-Academia Cooperation Group Of Sejong University Apparatus and method for encoding multi-view video using camera parameters, apparatus and method for generating multi-view video using camera parameters, and recoding medium storing program for implementing the methods
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR100716992B1 (ko) * 2005-02-04 2007-05-10 삼성전자주식회사 스테레오 영상 부호화 및 복호화 방법과 그 장치
KR100728009B1 (ko) * 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR100738867B1 (ko) * 2005-04-13 2007-07-12 연세대학교 산학협력단 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
KR100762812B1 (ko) * 2005-07-13 2007-10-02 폴리콤 인코포레이티드 비디오 에러 은닉 방법
KR100764797B1 (ko) * 2006-01-11 2007-10-08 연세대학교 산학협력단 고속 움직임 및 변이 추정 방법
KR100783722B1 (ko) * 2005-12-20 2007-12-07 한국철도기술연구원 다양한 수신환경을 고려한 스테레오 비디오 부호화방법 및 장치
KR100789753B1 (ko) * 2005-07-18 2008-01-02 한국전자통신연구원 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법
KR100813064B1 (ko) * 2006-05-19 2008-03-14 엘지전자 주식회사 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
KR100941640B1 (ko) * 2007-07-20 2010-02-11 연세대학교 산학협력단 맥 기반 영상 부호화 장치 및 이에 있어서 영상 부호화방법
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
US7822279B2 (en) 2005-10-11 2010-10-26 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view picture using camera parameter, and recording medium storing program for executing the method
US7876828B2 (en) 2004-08-03 2011-01-25 Sejong Industry-Academy Cooperation Foundation Method, medium, and apparatus predicting direct mode motion of a multi-angle moving picture
US8204133B2 (en) 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
KR101227601B1 (ko) * 2005-09-22 2013-01-29 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
KR101245251B1 (ko) * 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
US8542734B2 (en) 2006-02-07 2013-09-24 Samsung Electronics Co., Ltd. Multi-view video encoding apparatus and method
US8559515B2 (en) 2005-09-21 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
KR101350676B1 (ko) * 2006-01-09 2014-01-14 톰슨 라이센싱 멀티 뷰 비디오 코딩을 위한 방법 및 장치
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101367815B1 (ko) * 2012-08-31 2014-03-03 세종대학교산학협력단 적응적 움직임 벡터 예측에 기반한 비디오 데이터 디코딩 방법

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
KR100524077B1 (ko) * 2003-11-13 2005-10-26 삼성전자주식회사 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
JP2007525907A (ja) * 2004-02-27 2007-09-06 ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． 立体３ｄビデオイメージディジタルデコーディングのシステムおよび方法
WO2005083636A1 (es) * 2004-02-27 2005-09-09 Td Vision Corporation, S.A. De C.V. Método y sistema de codificación digital de imágenes de video 3d estereoscópicas
JP4421940B2 (ja) * 2004-05-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置および方法、並びに動画像復号化装置および方法
KR100679740B1 (ko) 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
US7953152B1 (en) 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
CA2594118C (en) * 2004-12-08 2015-07-21 Imagine Communications Ltd. Distributed statistical multiplexing of multi-media
US7710462B2 (en) 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US8854486B2 (en) 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US20060188014A1 (en) * 2005-02-23 2006-08-24 Civanlar M R Video coding and adaptation by semantics-driven resolution control for transport and storage
US8031870B2 (en) * 2005-03-24 2011-10-04 Kt Corporation Conditional access system for each transmitter in single frequency network, and a method thereof
KR100717681B1 (ko) * 2005-03-24 2007-05-11 주식회사 케이티프리텔 단일 주파수망에서의 암호화된 방송신호 송출 시스템 및 그방법
JP4160572B2 (ja) * 2005-03-31 2008-10-01 株式会社東芝 画像処理装置及び画像処理方法
KR100732961B1 (ko) 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
WO2006110007A1 (en) * 2005-04-13 2006-10-19 Industry-Academic Cooperation Foundation, Yonsei University Method for coding in multiview video coding/decoding system
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
KR100636785B1 (ko) * 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
EP1917814A4 (en) * 2005-08-22 2011-04-13 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING MULTI VIEW VIDEO
JP4663792B2 (ja) * 2005-09-21 2011-04-06 サムスン エレクトロニクス カンパニー リミテッド 多視点動映像を符号化及び復号化する装置及び方法
JP5059766B2 (ja) * 2005-09-22 2012-10-31 サムスン エレクトロニクス カンパニー リミテッド 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
WO2007037645A1 (en) * 2005-09-29 2007-04-05 Samsung Electronics Co., Ltd. Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vectors estimation method, and computer-redadable recording medium storing a program for executing the method
JP5091143B2 (ja) * 2005-10-07 2012-12-05 韓國電子通信研究院 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置
US20070103558A1 (en) * 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery
EP1972141A4 (en) * 2006-01-07 2017-04-05 Electronics and Telecommunications Research Institute Method and apparatus for inter-viewing reference in multi-viewpoint video coding
WO2007081713A1 (en) 2006-01-09 2007-07-19 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
CN101895744B (zh) * 2006-01-12 2013-03-20 Lg电子株式会社 处理多视图视频
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
WO2007081176A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
MX2008011652A (es) * 2006-03-29 2008-09-22 Thomson Licensing Metodos y aparatos para usarse en un sistema de codificacion de video de multiples vistas.
AU2012203039B2 (en) * 2006-03-29 2013-09-26 Interdigital Vc Holdings, Inc. Methods and apparatus for use in a multi-view video coding system
WO2007110000A1 (en) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
PL2008460T3 (pl) 2006-03-30 2017-10-31 Lg Electronics Inc Sposób i urządzenie do dekodowania/kodowania sygnału wideo
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
JP4605715B2 (ja) * 2006-06-14 2011-01-05 Ｋｄｄｉ株式会社 多視点画像圧縮符号化方法、装置及びプログラム
WO2007148907A1 (en) * 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
EP2039168A2 (en) * 2006-07-05 2009-03-25 Thomson Licensing Methods and apparatus for multi-view video encoding and decoding
ZA200900857B (en) 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
JP2009543462A (ja) * 2006-07-06 2009-12-03 トムソン ライセンシング マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置
JP5021739B2 (ja) * 2006-07-12 2012-09-12 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
CN100415002C (zh) * 2006-08-11 2008-08-27 宁波大学 多模式多视点视频信号编码压缩方法
KR100815486B1 (ko) * 2006-08-18 2008-03-20 광주과학기술원 다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체
KR101336204B1 (ko) 2006-08-18 2013-12-03 주식회사 케이티 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및디코더와 디코딩하는 방법
US8532178B2 (en) * 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
WO2008023917A1 (en) * 2006-08-25 2008-02-28 Enhanced Chip Technology Inc. Method and apparatus for encoding/decoding stereoscopic images/videos
JP4999854B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR101366092B1 (ko) * 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
WO2008051041A1 (en) * 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding
BRPI0718272A2 (pt) * 2006-10-30 2013-11-12 Nippon Telegraph & Telephone Método de codificação e decodificação de vídeo, aparelho para os mesmos, programas para os mesmos, e meio de armazenamento o qual armazena os programas,
US10291863B2 (en) * 2006-12-21 2019-05-14 InterDigital VC Holdings Inc. Method for indicating coding order in multi-view video coded content
KR100823287B1 (ko) * 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
KR100968204B1 (ko) * 2007-01-11 2010-07-06 전자부품연구원 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
KR101418627B1 (ko) * 2007-04-04 2014-07-15 톰슨 라이센싱 참조 화상 리스트 관리
KR101370286B1 (ko) * 2007-04-06 2014-03-06 삼성전자주식회사 레지듀얼 블록의 변형을 이용한 영상 부호화, 복호화 방법및 장치
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
US8488677B2 (en) * 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
KR101396975B1 (ko) 2007-07-23 2014-05-21 엘지전자 주식회사 디지털 티브이의 원격 제어 시스템 및 방법
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
WO2009045032A1 (en) * 2007-10-05 2009-04-09 Electronics And Telecommunications Research Institute Encoding and decoding method for single-view video or multi-view video and apparatus thereof
CN101415114B (zh) * 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
CN101170702B (zh) * 2007-11-23 2010-08-11 四川虹微技术有限公司 多视角视频编码方法
JP5400876B2 (ja) * 2008-06-16 2014-01-29 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化
JP5035195B2 (ja) * 2008-09-25 2012-09-26 Ｋｄｄｉ株式会社 画像生成装置及びプログラム
EP2209318A1 (en) * 2009-01-14 2010-07-21 Koninklijke Philips Electronics N.V. Spatiotemporal 3D (de) compression with non-matching picture prediction
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
KR20100089705A (ko) 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
EP2457378A4 (en) 2009-07-23 2016-08-10 Ericsson Telefon Ab L M METHOD AND DEVICE FOR IMAGE CODING AND DECODING
JP5622484B2 (ja) * 2009-08-20 2014-11-12 富士フイルム株式会社 発色感光性組成物、平版印刷版原版及び新規シアニン色素
CA2773156A1 (en) * 2009-09-07 2011-03-10 Radu Ciprian Bilcu An apparatus
WO2011049519A1 (en) * 2009-10-20 2011-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for multi-view video compression
EP2355510A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
JP5645450B2 (ja) * 2010-04-16 2014-12-24 キヤノン株式会社 画像処理装置および方法
WO2011160251A1 (en) * 2010-06-21 2011-12-29 Thomson Broadband R&D (Beijing) Co., Ltd. Method and apparatus for encoding/decoding image data
CN103026706B (zh) * 2010-07-21 2016-04-20 杜比实验室特许公司 用于多层帧兼容视频传输的系统及方法
CN101917619B (zh) * 2010-08-20 2012-05-09 浙江大学 一种多视点视频编码快速运动估计方法
JP5747559B2 (ja) * 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
US9143757B2 (en) * 2011-04-27 2015-09-22 Electronics And Telecommunications Research Institute Method and apparatus for transmitting and receiving stereoscopic video
US20140078254A1 (en) * 2011-06-15 2014-03-20 Mediatek Inc. Method and Apparatus of Motion and Disparity Vector Prediction and Compensation for 3D Video Coding
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
KR20130018628A (ko) * 2011-08-09 2013-02-25 삼성전자주식회사 다시점 비디오 예측 부호화 방법 및 그 장치, 다시점 비디오 예측 복호화 방법 및 그 장치
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
EP3462742A1 (en) 2011-11-11 2019-04-03 GE Video Compression, LLC Multi-view coding with exploitation of renderable portions
EP2777256B1 (en) 2011-11-11 2017-03-29 GE Video Compression, LLC Multi-view coding with effective handling of renderable portions
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP2015502102A (ja) * 2011-11-28 2015-01-19 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３ｄコンテンツ・バージョンの生成のための処理装置およびコンテンツ取得のための関連装置
SG11201405038RA (en) * 2012-04-24 2014-09-26 Mediatek Inc Method and apparatus of motion vector derivation for 3d video coding
WO2014075236A1 (en) * 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding
CN104782128B (zh) * 2012-11-14 2017-10-24 寰发股份有限公司 用于三维或多维视图视频编码的方法及其装置
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
CN105359529B (zh) * 2013-07-16 2018-12-07 寰发股份有限公司 用于三维或多视图视频编码的方法及装置
US9906768B2 (en) * 2013-07-26 2018-02-27 Qualcomm Incorporated Use of a depth condition in 3DV codec

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法
US6151362A (en) * 1998-10-30 2000-11-21 Motorola, Inc. Joint rate control for stereoscopic video coding
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US7848425B2 (en) 2002-12-27 2010-12-07 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding stereoscopic video
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
US7817181B2 (en) 2004-01-20 2010-10-19 Sejong Industry - Academy Cooperation Foundation Method, medium, and apparatus for 3-dimensional encoding and/or decoding of video
US7876828B2 (en) 2004-08-03 2011-01-25 Sejong Industry-Academy Cooperation Foundation Method, medium, and apparatus predicting direct mode motion of a multi-angle moving picture
US8855210B2 (en) 2004-10-12 2014-10-07 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
US8204133B2 (en) 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
WO2006062377A1 (en) 2004-12-10 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for universal coding for multi-view video
KR100760258B1 (ko) * 2004-12-10 2007-09-19 한국전자통신연구원 범용적 다시점 동영상 부호화/복호화 장치 및 방법
KR100716992B1 (ko) * 2005-02-04 2007-05-10 삼성전자주식회사 스테레오 영상 부호화 및 복호화 방법과 그 장치
US8565530B2 (en) 2005-03-31 2013-10-22 Industry-Academia Cooperation Group Of Sejong University Encoding and decoding multi-view video while accommodating absent or unreliable camera parameters
US8891612B2 (en) 2005-03-31 2014-11-18 Samsung Electronics Co., Ltd. Encoding and decoding multi-view video while accommodating absent or unreliable camera parameters
WO2006104351A1 (en) * 2005-03-31 2006-10-05 Industry-Academia Cooperation Group Of Sejong University Apparatus and method for encoding multi-view video using camera parameters, apparatus and method for generating multi-view video using camera parameters, and recoding medium storing program for implementing the methods
US8031767B2 (en) 2005-03-31 2011-10-04 Samsung Electronics Co., Ltd. Encoding and decoding multi-view video while accommodating absent or unreliable camera parameters
US8228981B2 (en) 2005-03-31 2012-07-24 Samsung Electronics Co., Ltd. Encoding and decoding multi-view video while accommodating absent or unreliable camera parameters
KR100738867B1 (ko) * 2005-04-13 2007-07-12 연세대학교 산학협력단 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
KR100762812B1 (ko) * 2005-07-13 2007-10-02 폴리콤 인코포레이티드 비디오 에러 은닉 방법
US8369406B2 (en) 2005-07-18 2013-02-05 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
US9154786B2 (en) 2005-07-18 2015-10-06 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
KR100789753B1 (ko) * 2005-07-18 2008-01-02 한국전자통신연구원 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법
KR100728009B1 (ko) * 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
US8559515B2 (en) 2005-09-21 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101227601B1 (ko) * 2005-09-22 2013-01-29 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
US8542739B2 (en) 2005-09-29 2013-09-24 Samsung Electronics Co., Ltd. Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vector estimation method, and computer-readable recording medium storing a program for executing the method
US7822279B2 (en) 2005-10-11 2010-10-26 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view picture using camera parameter, and recording medium storing program for executing the method
KR101244911B1 (ko) * 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR100783722B1 (ko) * 2005-12-20 2007-12-07 한국철도기술연구원 다양한 수신환경을 고려한 스테레오 비디오 부호화방법 및 장치
KR101350676B1 (ko) * 2006-01-09 2014-01-14 톰슨 라이센싱 멀티 뷰 비디오 코딩을 위한 방법 및 장치
US8842729B2 (en) 2006-01-09 2014-09-23 Thomson Licensing Methods and apparatuses for multi-view video coding
US9143782B2 (en) 2006-01-09 2015-09-22 Thomson Licensing Methods and apparatus for multi-view video coding
US9521429B2 (en) 2006-01-09 2016-12-13 Thomson Licensing Methods and apparatus for multi-view video coding
US9525888B2 (en) 2006-01-09 2016-12-20 Thomson Licensing Methods and apparatus for multi-view video coding
US10194171B2 (en) 2006-01-09 2019-01-29 Thomson Licensing Methods and apparatuses for multi-view video coding
KR100764797B1 (ko) * 2006-01-11 2007-10-08 연세대학교 산학협력단 고속 움직임 및 변이 추정 방법
US8542734B2 (en) 2006-02-07 2013-09-24 Samsung Electronics Co., Ltd. Multi-view video encoding apparatus and method
KR101245251B1 (ko) * 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
KR100813064B1 (ko) * 2006-05-19 2008-03-14 엘지전자 주식회사 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
KR100941640B1 (ko) * 2007-07-20 2010-02-11 연세대학교 산학협력단 맥 기반 영상 부호화 장치 및 이에 있어서 영상 부호화방법
KR101367815B1 (ko) * 2012-08-31 2014-03-03 세종대학교산학협력단 적응적 움직임 벡터 예측에 기반한 비디오 데이터 디코딩 방법

Also Published As

Publication number Publication date
US6999513B2 (en) 2006-02-14
KR100481732B1 (ko) 2005-04-11
US20030202592A1 (en) 2003-10-30

Similar Documents

Publication Publication Date Title
KR100481732B1 (ko) 다 시점 동영상 부호화 장치
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
KR100728009B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101227601B1 (ko) 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
KR100751422B1 (ko) 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US9131247B2 (en) Multi-view video coding using scalable video coding
US5619256A (en) Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US20070147502A1 (en) Method and apparatus for encoding and decoding picture signal, and related computer programs
WO2007035054A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
JP6106757B2 (ja) ビデオデータデコーディング方法及びビデオデータデコーディング装置
JP2009505604A (ja) 多視点動映像を符号化する方法及び装置
JPH10257527A (ja) ステレオビデオ符号化のための最適ディスパリティ見積
Daribo et al. Motion vector sharing and bitrate allocation for 3D video-plus-depth coding
JP2007180982A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
Yang et al. An MPEG-4-compatible stereoscopic/multiview video coding scheme
WO2006110007A1 (en) Method for coding in multiview video coding/decoding system
KR20140035065A (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
KR100587952B1 (ko) 좌우영상의 비대칭적 크기로의 축소에 의한 보상을 수행하는 영상 부호화/복호화 장치 및 그 방법
JP2012028960A (ja) 画像復号装置、画像復号方法および画像復号プログラム
JP2006522530A (ja) ビデオを符号化し、復号化する方法及び相当する装置
KR20110118744A (ko) 쓰리디 티브이 동영상 부호화 방법, 복호화 방법
Lim et al. Motion/disparity compensated multiview sequence coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee