KR101158491B1 - 다시점 영상 부호화, 복호화 방법 및 그 장치. - Google Patents

다시점 영상 부호화, 복호화 방법 및 그 장치. Download PDF

Info

Publication number
KR101158491B1
KR101158491B1 KR1020090037007A KR20090037007A KR101158491B1 KR 101158491 B1 KR101158491 B1 KR 101158491B1 KR 1020090037007 A KR1020090037007 A KR 1020090037007A KR 20090037007 A KR20090037007 A KR 20090037007A KR 101158491 B1 KR101158491 B1 KR 101158491B1
Authority
KR
South Korea
Prior art keywords
image
depth information
encoding
information image
video image
Prior art date
Application number
KR1020090037007A
Other languages
English (en)
Other versions
KR20100066304A (ko
Inventor
방건
엄기문
김태원
장은영
허남호
김진웅
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to CN201410026092.0A priority Critical patent/CN103716642B/zh
Priority to US13/133,576 priority patent/US9143796B2/en
Priority to CN200980156340.0A priority patent/CN102308585B/zh
Priority to EP09832105.2A priority patent/EP2375752A4/en
Priority to PCT/KR2009/007328 priority patent/WO2010068020A2/ko
Priority to CN201410026265.9A priority patent/CN103796027B/zh
Publication of KR20100066304A publication Critical patent/KR20100066304A/ko
Application granted granted Critical
Publication of KR101158491B1 publication Critical patent/KR101158491B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

부호화 및 복호화된 다시점 비디오 영상을 이용하여, 다시점 비디오 영상에 대응되는 깊이정보 영상을 부호화 및 복호화하는 다시점 영상 부호화, 복호화 방법 및 그 장치에 관한 기술이 개시된다. 이러한 기술에 따르면, 인터 및 인트라 예측을 수행하여 다시점 비디오 영상을 부호화하는 단계; 및 상기 인터 및 인트라 예측에 따른 예측 정보 중 하나 이상을 이용하여, 상기 다시점 비디오 영상에 대응되는 깊이정보 영상을 부호화하는 단계를 포함하는 다시점 영상 부호화 방법이 제공된다.
부호화, 복호화, 깊이정보 영상

Description

다시점 영상 부호화, 복호화 방법 및 그 장치.{APPARATUS AND METHOD FOR ENCODING DEPTH IMAGE}
본 발명은 부호화 및 복호화된 다시점 비디오 영상을 이용하여, 다시점 비디오 영상에 대응되는 깊이정보 영상을 부호화 및 복호화하는 다시점 영상 부호화, 복호화 방법 및 그 장치에 관한 것이다.
최근, 디지털 방송(Digital Television, DTV)을 통해 다시점 영상을 방송하려는 연구가 진행중에 있다. 인간의 눈으로 보는 실제 영상과 유사한 다시점 영상을 방송하기 위해서는, 다시점 영상을 만들어 전송하고 이를 수신하여 디스플레이 장치로 재생하여야 한다. 그러나, 다시점 영상은 데이터 량이 매우 많기 때문에 현재의 디지털 방송 시스템에서 사용되는 채널의 대역폭(bandwidth)으로는 수용하기 어렵다. 따라서, 다시점 영상을 부호화하여 복호화하는 기술에 관한 연구가 진행되고 있다.
다시점 영상 부호화(MVC)는 시점이 각각 다른 복수의 카메라로부터 획득한 복수의 비디오 영상 및 복수의 비디오 영상에 대응하는 복수의 깊이정보 영상, 즉 다시점 영상을 부호화하는 것이다. 복수의 카메라들은 동일한 객체(object)에 대하여 거리 및/또는 대향 방향에 있어서 일정한 규칙에 따라 서로 이격되어 배치된다. 그 결과 다시점 영상은 이를 구성하는 각 시점의 영상 사이에 높은 상관관계가 존재한다. 각 시점의 영상 간의 높은 상관관계를 적절히 이용하면, 다시점 영상 부호화에서 부호화 효율을 현저히 향상시킬 수 있다. 다만, 동일한 피사체에서 반사되는 빛은 방향에 따라서 다를 수 있기 때문에, 부호화 효율을 극대화시키기 위해서는 이를 고려하는 것이 바람직하다.
현재 표준화 작업이 활발하게 진행 중인 다시점 영상 부호화에서는, 기존의 동영상 코딩에 관한 국제 표준인 H.264/MPEG-4 part10 Advanced Video Coding (이하, H.264/AVC라 한다)을 기반으로 하면서, 전술한 다시점 영상의 특성을 고려하여 부호화 효율을 향상시키는 방법을 모색하고 있다. 예를 들어, H.264/AVC에 규정되어 있는 조인트 스케일러블 비디오 코딩(Joint Scalable Video Coding, JSVC)에서 시간적 스케일러빌리티(Temporal scalability)를 지원하기 위해 수행되는 방법인 계층적인 B-영상(hierarchical B-pictures) 코딩 처리를 시점 내(intra-view) 예측 코딩에도 적용하고 있다. 그리고 다시점 영상 부호화에서는 시점 간(inter-View) 예측 처리도 병행해서 수행하여 부호화 효율의 향상을 이루고자 한다. 이에 따라, 입체 영상을 연구하는 관련 단체에서도 디지털 텔레비전 방송을 통한 3차원 입체 영상의 전송 및 수신에 대한 연구가 활발하게 진행되고 있는데, 현재는 HD(High Definition)급 스테레오 영상의 전송 및 수신을 목표로 하고 있다. 여기서, HD 급 영상은 1920x1080 크기의 인터레이스드(interlaced) 영상 또는 1024x720크기의 프로그레시브(progressive) 영상을 말한다.
도 1은 종래의 다시점 영상 부호화/복호화 시스템을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 종래의 다시점 영상 부호화/복호화 시스템은 제1비디오 영상 부호화부(101), 제1비디오 영상 복호화부(103), 제1깊이정보 영상 부호화부(105), 제1깊이영상 복호화부(107), 제2비디오 영상 부호화부(109), 제2비디오 영상 복호화부(111), 제2깊이정보 영상 부호화부(113) 및 제2깊이영상 복호화부(115)로 구성된다.
제1 및 제2비디오 영상과 제1 및 제2깊이정보 영상 각각은 제1 및 제2비디오 영상 부호화부(101, 109)와 제1 및 제2깊이정보 영상 부호화부(105, 113)로 입력된다. 제1 및 제2비디오 영상은 각각 시점이 다른 영상이며, 제1및 제2깊이정보 영상 각각은 제1 및 제2비디오 영상에 대응되며 깊이 정보를 포함하는 영상이다. 다시점 영상 부호화/복호화 시스템에서 비디오 영상은 두 개 이상일 수 있으며, 깊이정보 영상은 비디오 영상의 개수에 대응될 수 있다. 이 때 다시점 비디오 영상 각각은 다른 시점의 비디오 영상이 이용되어 부호화될 수 있다. 즉, 다시점 비디오 영상 사이에는 높은 상관관계가 존재하기 때문에 예를 들어, 제1비디오 영상이 먼저 부호화된 경우에, 제2비디오 영상 부호화부(109)는 부호화된 제1비디오 영상을 참조하여 제2비디오 영상을 부호화할 수 있다. 깊이정보 영상도 마찬가지로 부호화 될 수 있다.
부호화된 영상 각각은 제1 및 제2비디오 영상 복호화부(103, 111)와 제1 및 제2깊이정보 영상 복호화부(107, 115)로 입력되어 복호화된다.
2차원 영상은 부호화된 제1 또는 제2비디오 영상이 복호화된 영상이며, 3차원 영상은 부호화된 제1 및 제2비디오 영상 및 부호화된 제1깊이정보 영상이 복호화된 영상이다. 여기서, 제1비디오 영상은 기준 시점에 대한 비디오 영상일 수 있다. 다시점 영상은 부호화된 제1 및 제2비디오 영상 및 부호화된 제1 및 제2깊이정보 영상이 복호화된 영상이다.
즉, 종래의 다시점 영상 부호화/복호화 시스템에서 다시점 비디오 영상과 깊이정보 영상에 대한 부호화 및 복호화는 각각 독립적으로 수행된다.
본 발명은 다시점 비디오 영상에 대응하는 깊이정보 영상을 보다 효율적으로 부호화 및 복호화하여, 다시점 영상을 보다 효율적으로 부호화 및 복호화하기 위한 다시점 영상 부호화, 복호화 방법 및 그 장치를 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은 인터 및 인트라 예측을 수행하여 다시점 비디오 영상을 부호화하는 단계; 및 상기 인터 및 인트라 예측에 따른 예측 정보 중 하나 이상을 이용하여, 상기 다시점 비디오 영상에 대응되는 깊이정보 영상을 부호화하는 단계를 포함하는 다시점 영상 부호화 방법을 제공한다.
또한 상기 목적을 달성하기 위한 본 발명은 다시점 비디오 영상에 대응되는 제1깊이정보 영상과 제2깊이정보 영상의 스케일이 동일하도록 조절하는 단계; 및 상기 스케일이 조절된 제2 깊이정보 영상을 참조하여 상기 스케일이 조절된 제1 깊이정보 영상을 부호화하는 단계를 포함하는 다시점 영상 부호화 방법을 제공한다.
또한 상기 목적을 달성하기 위한 본 발명은 인터 및 인트라 예측을 통해 다시점 비디오 영상을 부호화하는 비디오 영상 부호화부; 및 상기 비디오 영상 부호화에서 생성된 인터 및 인트라 예측 정보 중 하나 이상을 이용하여 상기 다시점 비디오 영상에 대응되는 깊이정보 영상을 부호화하는 깊이정보 영상 부호화부를 포함하는 다시점 영상 부호화 장치를 제공한다.
또한 상기 목적을 달성하기 위한 본 발명은 다시점 비디오 영상에 대응되는 제1깊이정보 영상과 제2깊이정보 영상의 스케일이 동일하도록 조절하는 스케일 조절부; 및 상기 스케일이 조절된 제2깊이정보 영상을 참조하여 상기 스케일이 조절된 제1깊이정보 영상을 부호화하는 깊이정보 영상 부호화부를 포함하는 다시점 영 상 부호화 장치를 제공한다.
또한 상기 목적을 달성하기 위한 본 발명은 인터 및 인트라 예측을 통해 부호화된 다시점 비디오 영상과, 상기 인터 및 인트라 예측에 따른 예측 정보 중 하나 이상이 이용되어 부호화된 깊이정보 영상을 수신하는 단계; 상기 부호화된 다시점 비디오 영상을 복호화하는 단계; 및 상기 깊이정보 영상의 부호화시에 사용된 예측 정보를 이용하여 상기 부호화된 깊이정보 영상을 복호화하는 단계를 포함하는 다시점 영상 복호화 방법을 제공한다.
본 발명에 따르면, 다시점 비디오 영상에 대한 깊이정보 영상을 부호화할 경우에 다시점 비디오 영상의 부호화시에 생성되는 예측 정보를 이용하여, 깊이정보 영상을 부호화함으로써 다시점 영상에 대한 부호화 효율을 높일 수 있다. 또한 복호화시에도 다시점 비디오 영상의 복호화시에 이용된 예측 정보를 깊이정보 영상의 복호화시에도 이용함으로써 다시점 영상에 대한 복호화 효율을 높일 수 있다.
이하 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것 이며, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
도 2는 본 발명에 따른 다시점 영상 부호화 방법에 대한 개념을 설명하기 위한 도면이다.
도 2에서, 제1깊이정보 영상(203)은 제1비디오 영상(201)에 대응되며, 제2깊이정보 영상(205)은 제2비디오 영상(207)에 대응된다. 그리고 제1비디오 영상(201)과 제2비디오 영상(207)은 동일한 카메라로 촬영되었으며, 시간적으로 차이가 있는 다른 프레임에 대한 영상이다.
도 2에 도시된 바와 같이, 제1비디오 영상(201)과 제1깊이정보 영상(203), 그리고 제2비디오 영상(205)과 제2깊이정보 영상(207)은 객체 윤곽선 및 시간축에서 객체들의 움직임 측면 등에서 유사성을 가진다. 이는 깊이 정보가 비디오 영상의 객체들과 카메라 사이의 거리를 숫자로 표현한 것이고, 깊이 정보를 나타내는 것이 깊이정보 영상이기 때문이다.
특히 부호화 시에, 비디오 영상과 깊이정보 영상에서의 객체 윤곽선은 인트라 예측에 따른 프레임내 예측 모드와 밀접한 관련이 있으며, 객체 움직임은 움직임 백터와 밀접한 관련이 있다. 즉, 비디오 영상과, 비디오 영상에 대응되는 깊이정보 영상을 각각 부호화할 경우, 비디오 영상과 깊이정보 영상 각각에서의 예측 모드와 움직임 백터는 서로 유사할 가능성이 높다. 따라서 비디오 영상과 깊이정보 영상에 대한 부호화를 독립적으로 수행하지 않고, 비디오 영상과 깊이정보 영상 사이의 유사성을 이용하여 부호화를 진행함으로써 부호화 효율을 높일 수 있다. 즉, 깊이정보 영상의 부호화시에 비디오 영상의 부호화시에 생성되는 예측 정보(예측 모드, 움직임 벡터 등)를 이용하여 다시점 영상에 대한 부호화를 수행하면 전체 부호화량을 감소시켜 부호화 효율을 높일 수 있다. 그리고 이 원리는 다시점 영상으로 확장될 수 있다.
도 3은 본 발명의 일실시예에 따른 다시점 영상 부호화, 복호화 시스템을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 본 발명에 따른 다시점 영상 부호화, 복호화 시스템은 다시점 영상 부호화 장치(301), 다시점 영상 복호화 장치(303)를 포함한다. 도 3에서는 제1 및 제2비디오 영상과, 제1 및 제2비디오 영상 각각에 대응되는 제1 및 제2깊이정보 영상에 대해 부호화 및 복호화가 수행되는 경우가 일실시예로서 설명된다.
다시점 영상 부호화 장치(301)는 제1 및 제2비디오 영상과 제1 및 제2비디오 영상을 입력받아 부호화를 수행한다. 제1 및 제2비디오 영상은 각각 시점이 다른 카메라로부터 촬영된 다시점 비디오 영상이다. 그리고 제1 및 제2깊이정보 영상은 스테레오 정합 또는 깊이 카메라로부터 획득될 수 있다.
다시점 영상 부호화 장치(301)는 인터 및 인트라 예측을 통해 다시점 영상, 즉 제1 및 제2비디오 영상과 제1 및 제2깊이정보 영상을 부호화한다. 이 때 다시점 영상 부호화 장치(301)는 비디오 영상의 부호화시에 생성되는 인터 및 인트라 예측에 따른 예측 정보 중 하나 이상을 이용하여, 비디오 영상에 대응되는 깊이정보 영상을 부호할 수 있다. 여기서, 예측 정보는 비디오 영상의 인터 예측에 따른 움직임 벡터 및 비디오 영상의 인트라 예측에 따른 예측 모드일 수 있다.
도 2에서 언급된 바와 같이, 비디오 영상과 깊이정보 영상의 움직임 벡터 및 예측 모드는 서로 유사하기 때문에 다시점 영상 부호화 장치(301)는 비디오 영상의 움직임 벡터 및 예측 모드 중 하나 이상을 이용하여 깊이정보 영상을 부호화할 수 있다. 다시점 영상 부호화 장치(301)는 부호화된 비디오 영상 및 깊이정보 영상을 하나의 비트스트림으로 전송할 수 있다.
다시점 영상 복호화 장치(303)는 다시점 영상 부호화 장치(301)로부터 부호화된 비디오 영상 및 깊이정보 영상을 수신하여 복호화한다. 그리고 다시점 영상 복호화 장치(303)는 다시점 영상의 부호화시에 사용된 예측 정보를 이용하여 부호화된 깊이정보 영상을 복호화한다. 깊이정보 영상은 다시점 영상 부호화 장치(301)에서 다시점 비디오 영상의 예측 정보가 이용되어 부호화되기 때문에, 부호화된 깊이정보 영상은 다시점 비디오 영상의 예측 정보가 이용되어 복호화될 필요가 있다. 이 경우 다시점 비디오 영상의 예측 정보가 깊이정보 영상의 부호화시에 이용되었다는 정보는 다시점 영상 부호화 장치(301)가 생성하는 비트스트림에 포함되어 다시점 영상 복호화 장치(303)로 제공되거나 또는 별도로 다시점 영상 복호화 장치(303)에 제공될 수 있다.
다시점 영상 부호화 장치(301) 및 다시점 영상 복호화 장치(303)는 모두 H.264/AVC 표준에 따라 부호화 및 복호화를 수행할 수 있다.
한편, 다시점 영상 부호화, 복호화 시스템은 분리기(303)를 더 포함할 수 있다. 분리기(303)는 2차원 영상, 3차원 영상 또는 다시점 영상이 재생되는데 이용될 수 있도록 복호화된 제1 및 제2비디오 영상과 복호화된 제1 및 제2깊이정보 영상을 각각 분리한다.
그리고 다시점 영상 부호화 장치(301)는 상기된 바와 같이, 이전에 부호화된 비디오 영상 및 깊이정보 영상을 이용하여, 이전에 부호화된 비디오 영상 및 깊이정보 영상과 시점이 다른 비디오 영상 및 깊이정보 영상을 부호화할 수 있다. 특히, 본 발명에 따른 다시점 영상 부호화 장치(301)는, 이전에 부호화된 깊이정보 영상을 참조하여 이전에 부호화된 깊이정보 영상과 시점이 다른 깊이정보 영상을 부호화할 경우에, 깊이정보 영상간 스케일을 조절하여 부호화할 수 있는데, 이는 도 5에서 보다 자세히 설명하기로 한다.
도 4는 본 발명에 따른 다시점 영상 부호화 장치(301)에서 예측 정보가 이용되는 방법을 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 비디오 영상 및 깊이정보 영상은 I 프레임, P 프레임, 및 B 프레임으로 구성된다. I 프레임에서는 인트라 예측을 통한 부호화가 수행되며, I 프레임을 통해 동영상의 랜덤 액세스가 가능하다. P 프레임은 이전에 부호화된 I 프레임이나 P 프레임을 기준 영상으로 하여 움직임 벡터를 단방향으로 추정하고, B 프레임은 I 프레임, P 프레임 및 B 프레임을 이용하여 움직임 벡터를 양 방향으로 추정한다. 즉, P 프레임 및 B 프레임에서는 인터 예측을 통한 부호화가 수행된다. 도 4에서 화살표는 참조하는 프레임을 나타낸다.
인트라 예측은 단일 프레임내에서 인접한 픽셀들의 그레이 레벨들 간의 강한 상관도(correlation)에 기초한 부호화 기술이다. 인트라 예측은 현재 프레임의 블록을 부호화하기 위해서 참조 프레임을 이용하는 것이 아니라, 부호화하려는 현재 프레임의 이전에 부호화된 영역을 이용하여 현재 블록의 예측 값을 계산한다. 인트라 예측 모드는 휘도 성분의 4×4 인트라 예측 모드, 8×8 인트라 예측 모드, 16×16 인트라 예측 모드 및 색차 성분의 인트라 예측모드 등으로 나뉜다. 현재 블록에 대하여 여러 가지 인트라 예측 모드 즉, 다양한 크기 및 다양한 인트라 예측 방향에 따라 인트라 예측을 수행하고, 그 중에 선택된 최적의 인트라 예측 모드에 따라 예측값을 생성한다. 예측 값이 생성되면, 현재 블록의 화소값과 예측 값의 차이인 레지듀(residue) 및 예측 모드에 대한 정보를 부호화함으로써 영상 부호화의 압축률을 높인다.
그리고 인터 예측은 비디오 시퀀스에 있어서 연속하는 프레임들 간에 유사성(similiarities)에 기초한 부호화 기술이다. 하나 이상의 참조 프레임을 이용하여 현재 프레임의 움직임을 블록 단위로 추정하고 보상하여 영상을 부호화하는 기술이다. 참조 프레임에서 현재 프레임과 유사한 블록을 검색하고 움직임 벡터를 추출한다. 그리고 현재 블록과 참조 프레임 내의 유사한 블록 사이의 레지듀를 부호화함으로써 영상 부호화의 압축률을 높인다. 이 때, 인터 예측에 따라 부호화된 영상을 복호화하기 위해서는 움직임 벡터가 필요하기 때문에 움직임 벡터 역시 함께 부호화된다.
본 발명에 따르면, 깊이정보 영상의 부호화시에 비디오 영상의 부호화에 따른 예측 정보가 이용된다. 즉, 도 4에 도시된 바와 같이, 깊이정보 영상의 I 프레임은 비디오 영상의 I 프레임의 부호화에 따른 예측 정보가 이용되어 부호화될 수 있다. 그리고 깊이정보 영상의 B, P 프레임은 비디오 영상의 B, P 프레임의 부호화에 따른 예측 정보가 이용되어 부호화될 수 있다. 이 경우 깊이정보 영상의 부호화시에 예측 모드 또는 움직임 벡터에 대한 정보를 포함시키지 않고 부호화를 할 수 있기 때문에 부호화의 효율이 증가될 수 있다.
즉, 본 발명에 따르면, 깊이정보 영상의 부호화시에 비디오 영상의 부호화에 따른 예측 정보를 이용한다는 정보를 포함하는 플래그 비트 등을 삽입한다. 그러면 부호화된 깊이정보 영상의 복호화시에 플래그 비트를 이용하여 비디오 영상의 복호화 정보를 이용할 수 있으므로 깊이정보 영상의 부호화에 따른 예측 모드 및 움직임 벡터를 부호화하지 않을 수 있다. 깊이정보 영상의 부호화에 따른 예측 모드 및 움직임 벡터보다 플래그 비트의 정보량이 작기 때문에 부호화의 효율이 증가될 수 있다.
그리고 이 때 비디오 영상은 깊이정보 영상보다 먼저 부호화되어 있음이 바람직하다. 또한 비디오 영상과 깊이정보 영상의 유사성이 이용되는 것이므로 동일 시점 및 동일 프레임에 대한 예측 정보를 이용하여 깊이정보 영상을 부호화하는 것이 바람직하다.
한편, 도 4에 도시된 바와 같이, 비디오 영상의 부호화시에 다른 시점에 대 한 비디오 영상의 프레임을 참조하거나, 깊이정보 영상의 부호화시에 다른 시점에 대한 깊이정보 영상의 프레임을 참조할 수 있다. B 및 P 프레임의 경우 다른 시점의 비디오 영상의 프레임이 참조되어 부호화될 수 있다. 예를 들어, 제2비디오 영상의 P 프레임에 대해서는 제1비디오 영상의 I 프레임이 참조되어 인터 예측에 따른 부호화가 수행될 수 있다. 이와 관련해서는 도 6에서 자세히 설명하기로 한다.
도 5는 본 발명의 제1실시예에 따른 다시점 영상 부호화 장치(301)를 나타내는 도면이다.
도 5에 도시된 바와 같이, 본 발명에 따른 다시점 영상 부호화 장치(301)는 비디오 영상 부호화부(501) 및 깊이정보 영상 부호화부(503)를 포함한다.
비디오 영상 부호화부(501)는 인터 및 인트라 예측을 수행하여 다시점 비디오 영상을 부호화한다. 도 5에서는 이해를 돕기 위해 비디오 영상 부호화부(501)가 다시점 비디오 영상 중 제1비디오 영상을 부호화하는 경우가 일실시예로서 설명된다.
깊이정보 영상 부호화부(503)는 인터 및 인트라 예측에 따른 예측 정보 중 하나 이상을 이용하여, 다시점 비디오 영상에 대응되는 깊이정보 영상을 부호화한다. 비디오 영상 부호화부(501)가 제1비디오 영상을 부호화하는 것과 대응하여 깊이정보 영상 부호화부(503)는 제1깊이정보 영상을 부호화한다.
그리고 상기된 바와 같이, 예측 정보는 비디오 영상의 인터 예측에 따른 움직임 벡터 및 비디오 영상의 인트라 예측에 따른 예측 모드일 수 있다.
보다 자세히, 깊이정보 영상 부호화부(503)는 움직임 벡터 생성부(505), 동일성 판단부(507), 플래그 비트 부호화부(509) 및 부호화부(511)를 포함한다.
움직임 벡터 생성부(505)는 참조 프레임을 이용하여 제1깊이정보 영상의 현재 프레임에 대한 움직임 벡터를 생성한다. 움직임 벡터 생성부(505)는 상기된 바와 같이, B 및 P 프레임을 현재 프레임으로 하여 참조 프레임을 설정하고 움직임 벡터를 생성한다.
동일성 판단부(507)는 현재 프레임에 대한 움직임 벡터와 인터 예측에 따른 움직임 벡터의 동일성을 판단한다. 즉, 동일성 판단부(507)는 비디오 영상 부호화부(501)에서 생성되는 움직임 벡터와 움직임 벡터 생성부(505)에서 생성되는 움직임 벡터의 동일성을 비교 판단한다. 판단 결과, 동일성이 인정되는 경우에 비디오 영상 부호화부(501)에서 생성되는 움직임 벡터가 깊이정보 영상의 부호화시에 이용된다.
플래그 비트 부호화부(509)는 동일성 판단부(507)의 동일성 판단 결과를 나타내는 플래그 비트를 생성하고 부호화한다. 예를 들어 동일성이 인정되는 경우 플래그 비트는 '1'일 수 있으며, 동일성이 인정되는 않는 경우 플래그 비트는 '0'일 수 있다.
부호화부(511)는 플래그 비트에 따라 현재 프레임에 대한 움직임 벡터를 포함하여, 깊이정보 영상을 부호화한다. 즉, 부호화부(511)는 플래그 비트에 따라 동일성이 인정되면 깊이정보 영상에 대한 움직임 벡터를 포함하여 깊이정보 영상을 부호화하고, 동일성이 인정되지 않으면, 깊이정보 영상에 대한 움직임 벡터를 포함 하지않고 깊이정보 영상을 부호화한다.
따라서 본 발명에 따르면, 동일성이 인정될 경우 움직임 벡터에 비해 정보량이 적은 플래그 비트만을 부호화하면 되므로 부호화 효율이 증가될 수 있다. 또한 본 발명에 따르면, 비디오 영상 부호화부(501)에서 생성되는 움직임 벡터와 움직임 벡터 생성부(505)에서 생성되는 움직임 벡터의 동일성이 인정되는 경우에 비디오 영상 부호화부(501)에서 생성되는 움직임 벡터를 이용함으로써 부호화의 정확성을 향상시킬 수 있다.
한편, 상기된 바와 같이 I 프레임은 움직임 벡터의 생성없이 예측 모드에 따라 부호화가 수행된다. 그리고 다시점 영상 부호화 장치(301)는 비디오 영상의 인트라 예측에 따른 예측 모드를 이용하여 깊이정보 영상을 부호화할 수 있다. 보다 자세히 설명하면, 플래그 비트 부호화부(509)는 비디오 영상 부호화부(501)에서 인트라 예측시 사용된 예측 모드를 이용하여 깊이정보 영상을 부호화하는지 여부를 나타내는 플래그 비트를 더 생성하고 부호화할 수 있다.
그리고 부호화부(511)는 예측 모드에 따라 인트라 예측을 수행하여 깊이정보 영상의 현재 프레임을 더 부호화할 수 있다. 즉, 부호화부(511)는 제1비디오 영상의 I 프레임과 제1깊이정보 영상의 I 프레임의 예측 모드가 동일하다는 전제하에 제1비디오 영상의 I 프레임내의 예측 모드를 이용하여 깊이정보 영상을 부호화한다.
따라서 본 발명에 따르면, 예측 모드에 대한 정보보다 정보량이 적은 플래그 비트만을 부호화하면 되므로 부호화 효율이 증가될 수 있다. 설계에 따라 다시 점 영상 부호화 장치(301)는 예측 모드 및 움직임 벡터 중 하나 이상을 이용하여 깊이정보 영상을 부호화할 수 있다. 또한 깊이정보 영상 부호화부(503)가 비디오 영상 부호화부(501)의 움직임 벡터를 이용하여 부호화할 경우에 동일성을 판단하지 않고, 동일성이 인정되는 것을 전제로 깊이정보 영상을 부호화할 수 있다.
그리고 인터 예측 및 인트라 예측은 매크로블록 타입(MB_TYPE)에 따라 수행될 수 있는데, 다시점 영상 부호화 장치(301)는 매크로블록 타입의 동일성을 먼저 판단하고 동일한 경우에 비디오 영상 부호화부(501)의 예측 정보를 이용하여 깊이정보 영상을 부호화할 수 있다.
한편, 다시점 영상 부호화 장치(301)는 필터부(미도시)를 더 포함할 수 있다. 필터부는 비디오 영상 및 깊이정보 영상 사이의 해상도 또는 프레임 률의 차이에 따라, 예측 정보가 깊이정보 영상 부호화부(503)에서 이용될 수 있도록 예측 정보를 조절한다. 예를 들어, 동일성 판단부(507)가 움직임 벡터의 동일성을 판단하는 경우에 필터부는 비디오 영상 부호화부(501)에서 동일성 판단부(507)로 입력되는 움직임 벡터의 스케일을 조절할 수 있다. 즉, 필터부는 비디오 영상 및 깊이정보 영상 사이의 프레임 률이 다른 경우 서브 샘플링(sub sampling)하거나, 해상도가 다를 경우 다운 샘플링(down sampling)하여 움직임 벡터의 스케일을 조절할 수 있다.
도 6은 본 발명의 제2실시예에 따른 다시점 영상 부호화 장치(301)를 나타내는 도면이다.
도 6에 도시된 바와 같이, 본 발명에 따른 다시점 영상 부호화 장치(301)는 스케일 조절부(601) 및 깊이정보 영상 부호화부(603)를 포함한다. 도 6에서는 제1 및 제2깊이정보 영상이 부호화되는 경우가 일실시예로서 설명된다. 제2깊이정보 영상은 제1깊이정보 영상과 시점이 다른 비디오 영상에 대한 깊이정보 영상이다.
스케일 조절부(601)는 다시점 비디오 영상에 대응되는 제1깊이정보 영상과 제2깊이정보 영상의 스케일이 동일하도록 조절한다. 상기된 바와 같이, 깊이정보 영상은 깊이 정보를 포함하며, 깊이 정보는 비디오 영상의 객체들과 카메라 사이의 거리를 숫자로 표현한 것이기 때문에 동일한 객체에 대하여 제1 및 제2깊이정보 영상 사이에 깊이 값, 즉 스케일에 차이가 존재할 수 있다. 제2깊이정보 영상의 부호화시에 제1깊이정보 영상이 참조되는 경우, 제1 및 제2깊이정보 영상 사이의 스케일의 차이는 오류를 유발할 수 있으므로, 스케일 조절부(601)는 예를 들어 제2깊이정보 영상을 기준으로 제1깊이정보 영상의 스케일을 조절하거나, 평균 값으로 제1 및 제2깊이정보 영상의 스케일을 조절할 수 있다.
깊이정보 영상 부호화부(603)는 스케일 조절부(601)에 의해 스케일이 조절된 제1 깊이정보 영상을 참조하여 스케일이 조절된 제2깊이정보 영상을 부호화한다. 도 4에 도시된 바와 같이, 제2깊이정보 영상의 P 프레임에 대하여 인터 예측에 따른 부호화를 수행할 경우에 제1깊이정보 영상의 I 프레임이 참조될 수 있다. 그리고 도 4에 도시되지는 않았지만 제2깊이정보 영상의 B 프레임에 대하여 인터 예측에 따른 부호화를 수행할 경우에 제1깊이정보 영상의 B 프레임이 참조될 수 있다. 이 때 깊이정보 영상 부호화부(603)는 스케일이 조절된 제1깊이정보 영상을 참 조하여, 스케일이 조절된 제2깊이정보 영상을 부호화할 수 있다.
한편, 다시점 비디오 영상은 도 5에 도시된 비디오 영상 부호화부(501)에 의해 부호화될 수 있다. 또한 본 발명에 따른 스케일 조절부(601) 및 깊이정보 영상 부호화부(603)에 두 개 이상의 깊이정보 영상의 스케일을 조절하여 부호화할 수 있다.
도 7은 본 발명의 제1실시예에 따른 다시점 영상 부호화 방법을 나타내는 도면이다.
도 7에 도시된 바와 같이, 본 발명에 따른 다시점 영상 부호화 방법은 단계 S701로부터 시작된다. 비디오 영상 부호화부(501)는 인터 및 인트라 예측을 수행하여 다시점 비디오 영상을 부호화한다(S701). 그리고 깊이정보 영상 부호화부(503)는 인터 및 인트라 예측에 따른 예측 정보 중 하나 이상을 이용하여, 다시점 비디오 영상에 대응되는 깊이정보 영상을 부호화한다(S703).
이하 단계 S703에 대해 보다 자세히 설명하기로 한다.
움직임 벡터 생성부(505)는 참조 프레임을 이용하여 깊이정보 영상의 현재 프레임에 대한 움직임 벡터를 생성하고(S705), 동일성 판단부(507)는 비디오 영상 부호화부(501)의 인터 예측에 따른 움직임 벡터 및 현재 프레임에 대한 움직임 벡터의 동일성을 판단한다(S707). 이 때 비디오 영상과 깊이정보 영상의 프레임 률 또는 해상도에 차이가 있을 경우 필터부는 비디오 영상 부호화부(501)의 인터 예측에 따른 움직임 벡터의 스케일을 조절할 수 있다.
그리고 플래그 비트 부호화부(509)는 동일성 판단 결과를 나타내는 플래그 비트를 생성하고 부호화한다(S709). 다음에 부호화부(509)는 플래그 비트에 따라 상기 현재 프레임에 대한 움직임 벡터를 포함하여, 깊이정보 영상을 부호화한다(S711). 단계 S707에서 동일성 판단 결과, 동일성이 인정되지 않을 경우 단계 S711에서는 움직임 벡터가 포함되어 부호화되며, 단계 S707에서 동일성이 인정되는 단계 S711에서는 움직임 벡터가 포함되지 않고 부호화된다.
한편, 본 발명에 따르면, 단계 S701에서 생성되는 인트라 예측에 따른 예측 모드를 이용하여, 깊이정보 영상의 부호화를 수행할 수 있다. 자세히 설명하면, 먼저 단계 S701에서 생성되는 인트라 예측에 따른 예측 모드가 플래그 비트 부호화부(509)로 전송되고, 플래그 비트 부호화부(509)는 예측 모드를 이용하여 깊이정보 영상을 부호화하는지 여부를 나타내는 플래그 비트를 생성하고 부호화한다. 그리고 부호화부(509)는 예측 모드에 따라 인트라 예측을 수행하여 깊이정보 영상을 부호화한다.
도 8은 본 발명의 제2실시예에 따른 다시점 영상 부호화 방법을 나타내는 도면이다.
도 8에 도시된 바와 같이, 본 발명에 따른 다시점 영상 부호화 방법은 단계 S801로부터 시작된다.
스케일 조절부(601)는 다시점 비디오 영상에 대응되는 제1깊이정보 영상과 제2깊이정보 영상의 스케일이 동일하도록 조절한다(S801). 이는, 예를 들어 제2깊 이정보 영상의 부호화시에 제1깊이정보 영상이 참조되는 경우, 제1 및 제2깊이정보 영상 사이의 스케일의 차이는 오류를 유발할 수 있기 때문이다.
그리고 깊이정보 영상 부호화부(603)는 단계 S801에서 스케일이 조절된 제1깊이정보 영상을 참조하여 제2깊이정보 영상을 부호화한다(S803). 단계 S801에서 두 개 이상의 깊이 정보의 스케일이 조절될 수 있으며, 단계 S803에서는 단계 S801에서 스케일이 조절된 두개 이상의 깊이 정보에 대하여 부호화가 수행될 수 있다.
도 9는 본 발명의 일실시예에 따른 다시점 영상 복호화 방법을 나타내는 도면이다.
도 9에 도시된 바와 같이, 본 발명에 따른 다시점 영상 복호화 방법은 단계 S901로부터 시작된다.
단계 S901에서는 인터 및 인트라 예측을 통해 부호화된 다시점 비디오 영상과, 인터 및 인트라 예측에 따른 예측 정보 중 하나 이상이 이용되어 부호화된 깊이정보 영상이 수신된다. 즉, 단계 S901에서는 본 발명에 따라 부호화된 비디오 영상과 깊이정보 영상이 수신된다. 부호화된 다시점 비디오 영상과 부호화된 깊이정보 영상은 하나의 비트스트림으로 전송될 수 있다.
단계 S903에서 부호화된 다시점 비디오 영상이 복호화된다. 그리고 단계 S905에서 깊이정보 영상의 부호화시에 사용된 예측 정보가 이용되어 부호화된 깊이정보 영상이 복호화된다. 깊이정보 영상의 부호화 과정에서 다시점 비디오 영상의 부호화에 따른 예측 정보가 이용되었으므로 단계 S905에서 역시 다시점 비디오 영 상의 부호화에 따른 예측 정보가 이용됨이 바람직하다. 단계 S905에서는 깊이정보 영상의 부호화 과정에서 생성된 플래그 비트가 참조되어 다시점 비디오 영상의 부호화에 따른 예측 정보가 이용될 수 있다.
또한 단계 S903 및 단계 S905에서의 복호화 수행은 H.264/AVC 표준에 따라 이루어질 수 있다.
한편, 전술한 바와 같은 본 발명에 따른 다시점 영상 부호화 및 복호화 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.
본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
도 1은 종래의 다시점 영상 부호화/복호화 시스템을 설명하기 위한 도면,
도 2는 본 발명에 따른 다시점 영상 부호화 방법에 대한 개념을 설명하기 위한 도면,
도 3은 본 발명의 일실시예에 따른 다시점 영상 부호화/복호화 시스템을 설명하기 위한 도면,
도 4는 본 발명에 따른 다시점 영상 부호화 장치(301)에서 예측 정보가 이용되는 방법을 설명하기 위한 도면,
도 5는 본 발명의 제1실시예에 따른 다시점 영상 부호화 장치(301)를 나타내는 도면,
도 6은 본 발명의 제2실시예에 따른 다시점 영상 부호화 장치(301)를 나타내는 도면,
도 7은 본 발명의 제1실시예에 따른 다시점 영상 부호화 방법을 나타내는 도면,
도 8은 본 발명의 제2실시예에 따른 다시점 영상 부호화 방법을 나타내는 도면,
도 9는 본 발명의 일실시예에 따른 다시점 영상 복호화 방법을 나타내는 도면이다.

Claims (10)

  1. 다시점 비디오 영상 및 상기 다시점 비디오 영상에 대응되는 깊이정보 영상을 이용하여 생성되는 다시점 영상을 부호화하는 방법에 있어서,
    인터 예측 및 인트라 예측을 이용하여 상기 다시점 비디오 영상을 부호화하는 단계; 및
    상기 인터 예측에 의해 생성되는 인터 예측 정보 또는 상기 인트라 예측에 의해 생성되는 인트라 예측 정보 중 적어도 하나를 이용하여, 상기 깊이정보 영상을 부호화하는 단계;를 포함하며,
    상기 깊이정보 영상을 부호화하는 단계는, 상기 부호화된 다시점 비디오 영상과 동일 시점 및 동일 프레임에서의, 상기 인터 예측 정보 또는 상기 인트라 예측 정보를 이용하여 상기 깊이정보 영상을 부호화하는 다시점 영상 부호화 방법.
  2. 제 1항에 있어서,
    상기 인터 예측 정보는
    상기 인터 예측에 따른 움직임 벡터이며,
    상기 인트라 예측 정보는
    상기 인트라 예측에 따른 프레임내 예측 모드인
    다시점 영상 부호화 방법.
  3. 제 2항에 있어서,
    상기 깊이정보 영상을 부호화하는 단계는
    참조 프레임을 이용하여 상기 깊이정보 영상의 현재 프레임에 대한 움직임 벡터를 생성하고 상기 현재 프레임에 대한 움직임 벡터와 상기 인터 예측에 따른 움직임 벡터의 동일성을 판단하는 단계;
    상기 동일성 판단 결과를 나타내는 플래그 비트를 생성하고 부호화하는 단계; 및
    상기 플래그 비트에 따라 상기 현재 프레임에 대한 움직임 벡터를 포함하여, 상기 깊이정보 영상을 부호화하는 단계
    를 포함하는 다시점 영상 부호화 방법.
  4. 제 3항에 있어서,
    상기 동일성을 판단하는 단계는
    상기 비디오 영상 및 상기 깊이정보 영상 사이의 해상도 또는 프레임 률의 차이에 따라, 상기 인터 예측에 따른 움직임 벡터의 스케일을 조절하는 단계를 포함하는
    다시점 영상 부호화 방법.
  5. 제 2항에 있어서,
    상기 깊이정보 영상을 부호화하는 단계는
    상기 예측 모드를 이용하여 상기 깊이정보 영상을 부호화하는지 여부를 나타내는 플래그 비트를 생성하고 부호화하는 단계; 및
    상기 예측 모드에 따라 인트라 예측을 수행하여 상기 깊이정보 영상을 부호화하는 단계
    를 포함하는 다시점 영상 부호화 방법.
  6. 다시점 비디오 영상에 대응되는 제1깊이정보 영상과 제2깊이정보 영상의 스케일이 동일하도록 조절하는 단계; 및
    상기 스케일이 조절된 제1깊이정보 영상을 참조하여 상기 스케일이 조절된 제2깊이정보 영상을 부호화하는 단계
    를 포함하는 다시점 영상 부호화 방법.
  7. 다시점 비디오 영상 및 상기 다시점 비디오 영상에 대응되는 깊이정보 영상을 이용하여 생성되는 다시점 영상을 부호화하는 장치에 있어서,
    인터 예측 및 인트라 예측을 이용하여 상기 다시점 비디오 영상을 부호화하는 비디오 영상 부호화부; 및
    상기 인터 예측에 의해 생성되는 인터 예측 정보 또는 상기 인트라 예측에 의해 생성되는 인트라 예측 정보 중 적어도 하나를 이용하여, 상기 깊이정보 영상을 부호화하는 깊이정보 영상 부호화부;를 포함하며,
    상기 깊이정보 영상을 부호화부는, 상기 부호화된 다시점 비디오 영상과 동일 시점 및 동일 프레임에서의, 상기 인터 예측 정보 또는 상기 인트라 예측 정보를 이용하여 상기 깊이정보 영상을 부호화하는 다시점 영상 부호화 장치.
  8. 제 7항에 있어서,
    상기 깊이정보 영상 부호화부는
    참조 프레임을 이용하여 상기 깊이정보 영상의 현재 프레임에 대한 움직임 벡터를 생성하는 움직임 벡터 생성부;
    상기 현재 프레임에 대한 움직임 벡터와 상기 인터 예측에 따른 움직임 벡터의 동일성을 판단하는 동일성 판단부;
    상기 동일성 판단 결과를 나타내는 플래그 비트를 생성하고 부호화하는 플래그 비트 부호화부; 및
    상기 플래그 비트에 따라 상기 현재 프레임에 대한 움직임 벡터를 포함하여, 상기 깊이정보 영상을 부호화하는 부호화부
    를 포함하는 다시점 영상 부호화 장치.
  9. 다시점 비디오 영상에 대응되는 제1깊이정보 영상과 제2깊이정보 영상의 스케일이 동일하도록 조절하는 스케일 조절부; 및
    상기 스케일이 조절된 제1깊이정보 영상을 참조하여 상기 스케일이 조절된 제2깊이정보 영상을 부호화하는 깊이정보 영상 부호화부
    를 포함하는 다시점 영상 부호화 장치.
  10. 인터 예측 및 인트라 예측을 통해 부호화된 다시점 비디오 영상과, 상기 인터 예측에 의해 생성되는 인터 예측 정보 또는 상기 인트라 예측에 의해 생성되는 인트라 예측 정보 중 적어도 하나를 이용하여 부호화된 깊이정보 영상을 수신하는 단계;
    상기 부호화된 다시점 비디오 영상을 복호화하는 단계; 및
    상기 깊이정보 영상의 부호화시에 사용된 상기 인터 예측 정보 또는 상기 인트라 예측 정보 중 적어도 하나를 이용하여, 상기 부호화된 깊이정보 영상을 복호화하는 단계;를 포함하며,
    상기 깊이정보 영상을 복호화하는 단계는, 상기 부호화된 다시점 비디오 영상과 동일 시점 및 동일 프레임에서의, 상기 인터 예측 정보 또는 상기 인트라 예측 정보를 이용하여 상기 깊이정보 영상을 복호화하는 다시점 영상 복호화 방법.
KR1020090037007A 2008-12-08 2009-04-28 다시점 영상 부호화, 복호화 방법 및 그 장치. KR101158491B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201410026092.0A CN103716642B (zh) 2008-12-08 2009-12-08 用于多视点视频编码/解码的方法
US13/133,576 US9143796B2 (en) 2008-12-08 2009-12-08 Multi-view video coding/decoding method and apparatus
CN200980156340.0A CN102308585B (zh) 2008-12-08 2009-12-08 多视点视频编码/解码方法和设备
EP09832105.2A EP2375752A4 (en) 2008-12-08 2009-12-08 APPARATUS AND METHOD FOR DECODING / ENCODING MULTIVUE VIDEO
PCT/KR2009/007328 WO2010068020A2 (ko) 2008-12-08 2009-12-08 다시점 영상 부호화, 복호화 방법 및 그 장치
CN201410026265.9A CN103796027B (zh) 2008-12-08 2009-12-08 用于多视点视频编码/解码的设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080124321 2008-12-08
KR20080124321 2008-12-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020110112774A Division KR101466849B1 (ko) 2008-12-08 2011-11-01 다시점 영상 부호화, 복호화 방법 및 그 장치.

Publications (2)

Publication Number Publication Date
KR20100066304A KR20100066304A (ko) 2010-06-17
KR101158491B1 true KR101158491B1 (ko) 2012-06-20

Family

ID=42365418

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020090037007A KR101158491B1 (ko) 2008-12-08 2009-04-28 다시점 영상 부호화, 복호화 방법 및 그 장치.
KR1020110112774A KR101466849B1 (ko) 2008-12-08 2011-11-01 다시점 영상 부호화, 복호화 방법 및 그 장치.

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020110112774A KR101466849B1 (ko) 2008-12-08 2011-11-01 다시점 영상 부호화, 복호화 방법 및 그 장치.

Country Status (5)

Country Link
US (1) US9143796B2 (ko)
EP (1) EP2375752A4 (ko)
KR (2) KR101158491B1 (ko)
CN (3) CN103796027B (ko)
WO (1) WO2010068020A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014168444A1 (ko) * 2013-04-11 2014-10-16 엘지전자 주식회사 비디오 신호 처리 방법 및 장치

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101893559B1 (ko) * 2010-12-14 2018-08-31 삼성전자주식회사 다시점 비디오 부호화/복호화 장치 및 방법
JP2012147332A (ja) * 2011-01-13 2012-08-02 Sony Corp 符号化装置および符号化方法、並びに復号装置および復号方法
WO2012099352A2 (ko) * 2011-01-20 2012-07-26 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
KR101303719B1 (ko) * 2011-02-03 2013-09-04 브로드콤 코포레이션 깊이 정보를 강화 계층으로 이용하기 위한 방법 및 시스템
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
BR112014003162A2 (pt) * 2011-08-09 2017-06-13 Samsung Electronics Co Ltd método para codificar dados de vídeo de múltiplas visualizações, método para decodificar dados de vídeo de múltiplas visualizações, e aparelho para decodificar dados de vídeo de múltiplas visualizações
WO2013022297A2 (ko) * 2011-08-09 2013-02-14 삼성전자 주식회사 다시점 비디오 데이터의 깊이맵 부호화 방법 및 장치, 복호화 방법 및 장치
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
JP2014528190A (ja) * 2011-08-12 2014-10-23 テレフオンアクチーボラゲット エル エム エリクソン（パブル） カメラおよび／または深度パラメータのシグナリング
KR20130022923A (ko) * 2011-08-26 2013-03-07 삼성전자주식회사 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
KR20130056684A (ko) * 2011-11-22 2013-05-30 삼성전자주식회사 컬러 영상과 깊이 영상에 관한 부가정보를 부호화/복호화 하는 장치 및 방법
KR20130056803A (ko) * 2011-11-22 2013-05-30 삼성전자주식회사 칼라영상을 이용해서 다시점 깊이영상을 부호화/복호화 하는 장치 및 방법
US20140341285A1 (en) * 2012-01-31 2014-11-20 Sony Corporation Image processing device and image processing method
WO2013115609A1 (ko) * 2012-02-02 2013-08-08 한국전자통신연구원 영상신호의 계층간 예측 방법 및 그 장치
KR20130116832A (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치
WO2013157822A1 (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 깊이 영상의 부호화 장치 및 방법, 그리고 복호화 장치 및 방법
US9961368B2 (en) 2012-04-24 2018-05-01 Lg Electronics Inc. Method and device for determining a unit of a transform unit used in video signal processing
WO2014065546A1 (ko) * 2012-10-22 2014-05-01 (주)휴맥스 3차원 비디오에서의 뷰간 움직임 예측 방법 및 뷰간 병합 후보 결정 방법
CN103795996B (zh) * 2012-11-01 2016-08-03 上海贝尔股份有限公司 3d视频传递方法和设备
US20150296197A1 (en) * 2012-11-27 2015-10-15 Intellectual Discovery Co., Ltd. Encoding/decoding method and encoding/decoding device using depth information
WO2014103966A1 (ja) 2012-12-27 2014-07-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
WO2014103967A1 (ja) * 2012-12-27 2014-07-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
WO2014107038A1 (ko) * 2013-01-04 2014-07-10 삼성전자주식회사 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
US9503723B2 (en) 2013-01-11 2016-11-22 Futurewei Technologies, Inc. Method and apparatus of depth prediction mode selection
KR101452625B1 (ko) * 2013-04-01 2014-10-24 한양대학교 산학협력단 3차원 영상의 인트라 예측 방법 및 장치
KR102105323B1 (ko) * 2013-04-15 2020-04-28 인텔렉추얼디스커버리 주식회사 객체 기반 적응적 밝기 보상 방법 및 장치
CN105393539B (zh) * 2013-07-24 2019-03-29 高通股份有限公司 用于纹理及深度译码的子pu运动预测
SG11201510554RA (en) 2013-07-24 2016-02-26 Qualcomm Inc Simplified advanced motion prediction for 3d-hevc
CN106105212A (zh) 2014-03-07 2016-11-09 高通股份有限公司 简化的子预测单元(sub‑pu)运动参数继承(mpi)
US20160050440A1 (en) * 2014-08-15 2016-02-18 Ying Liu Low-complexity depth map encoder with quad-tree partitioned compressed sensing
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
JP7105062B2 (ja) * 2017-12-21 2022-07-22 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
CN108924553B (zh) * 2018-06-20 2021-10-08 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
US11132819B2 (en) * 2018-12-13 2021-09-28 Konkuk University Industrial Cooperation Corp Method and apparatus for decoding multi-view video information
EP4014488A4 (en) * 2019-10-03 2022-12-21 Huawei Technologies Co., Ltd. CODING METHOD FOR A GEOMETRIC PARTITION MODE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100414629B1 (ko) 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
KR20070070015A (ko) * 2005-12-28 2007-07-03 엘지.필립스 엘시디 주식회사 액정표시장치
KR20080006495A (ko) * 2006-07-12 2008-01-16 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
WO2008053758A1 (fr) 2006-10-30 2008-05-08 Nippon Telegraph And Telephone Corporation Procédé de codage d'image dynamique, procédé de décodage, leur dispositif, leur programme et support de stockage contenant le programme

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060059769A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 영상신호의 엔코딩시에 베이스 레이어 픽처의 벡터를이용하기 위한 미세정보를 코딩하는 방법과 그 미세정보를이용하는 디코딩 방법
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US20060153300A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
KR100789753B1 (ko) 2005-07-18 2008-01-02 한국전자통신연구원 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법
US9131247B2 (en) * 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
US7667808B2 (en) 2005-12-28 2010-02-23 Lg Display Co., Ltd. Liquid crystal display device and method of driving the same
US20070177671A1 (en) 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
KR100966568B1 (ko) * 2006-03-30 2010-06-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
CN101222627A (zh) * 2007-01-09 2008-07-16 华为技术有限公司 一种多视点视频编解码系统以及预测向量的方法和装置
CN101222639B (zh) * 2007-01-09 2010-04-21 华为技术有限公司 多视点视频技术中的视间预测方法、编码器和解码器
CN101617537A (zh) 2007-01-17 2009-12-30 Lg电子株式会社 用于处理视频信号的方法和装置
WO2008108566A1 (en) 2007-03-02 2008-09-12 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
KR101396948B1 (ko) 2007-03-05 2014-05-20 경희대학교 산학협력단 하이브리드 다시점 및 계층화 비디오 코딩 방법과 장치
KR101301181B1 (ko) 2007-04-11 2013-08-29 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
EP2232875A2 (en) * 2008-01-11 2010-09-29 Thomson Licensing Video and depth coding
KR101625058B1 (ko) * 2008-11-10 2016-05-27 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100414629B1 (ko) 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
KR20070070015A (ko) * 2005-12-28 2007-07-03 엘지.필립스 엘시디 주식회사 액정표시장치
KR20080006495A (ko) * 2006-07-12 2008-01-16 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
WO2008053758A1 (fr) 2006-10-30 2008-05-08 Nippon Telegraph And Telephone Corporation Procédé de codage d'image dynamique, procédé de décodage, leur dispositif, leur programme et support de stockage contenant le programme

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014168444A1 (ko) * 2013-04-11 2014-10-16 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US10080030B2 (en) 2013-04-11 2018-09-18 Lg Electronics Inc. Video signal processing method and device

Also Published As

Publication number Publication date
KR20110133532A (ko) 2011-12-13
CN103796027A (zh) 2014-05-14
CN103796027B (zh) 2017-05-10
CN102308585B (zh) 2014-02-26
CN102308585A (zh) 2012-01-04
WO2010068020A3 (ko) 2011-10-27
EP2375752A4 (en) 2014-03-19
WO2010068020A9 (ko) 2010-08-05
CN103716642B (zh) 2017-09-05
US9143796B2 (en) 2015-09-22
KR101466849B1 (ko) 2014-12-03
EP2375752A2 (en) 2011-10-12
CN103716642A (zh) 2014-04-09
KR20100066304A (ko) 2010-06-17
WO2010068020A2 (ko) 2010-06-17
US20110261883A1 (en) 2011-10-27

Similar Documents

Publication Publication Date Title
KR101158491B1 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치.
US9712819B2 (en) Image encoding method and image decoding method
JP2023085341A (ja) 深度マップの推定および更新を用いる効率的なマルチビュー符号化
US8274551B2 (en) Method and apparatus for generating header information of stereoscopic image data
US20150172714A1 (en) METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING
CN109068143B (zh) 视频数据解码方法和视频数据解码设备
CN107318027B (zh) 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序
EP2932711B1 (en) Apparatus and method for generating and rebuilding a video stream
EP2868089A1 (en) Method and apparatus of disparity vector derivation in 3d video coding
US20130271567A1 (en) Image processing method and apparatus for predicting motion vector and disparity vector
US10045048B2 (en) Method and apparatus for decoding multi-view video
US9602831B2 (en) Method and apparatus for processing video signals
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
US20130100245A1 (en) Apparatus and method for encoding and decoding using virtual view synthesis prediction
US20140301455A1 (en) Encoding/decoding device and method using virtual view synthesis and prediction
KR20120084628A (ko) 다시점 영상 부호화／복호화 장치 및 방법
KR102133936B1 (ko) ３ｄ 비디오 부호화／복호화 장치 및 부호화／복호화 방법
Belbel et al. Improved inter-view correlations for low complexity MV-HEVC
KR102020024B1 (ko) 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 8