KR20120097383A - 3ｄ(비디오)에서 깊이 전이들의 효율적인 코딩 - Google Patents

3ｄ(비디오)에서 깊이 전이들의 효율적인 코딩 Download PDF

Info

Publication number
KR20120097383A
KR20120097383A KR1020127015217A KR20127015217A KR20120097383A KR 20120097383 A KR20120097383 A KR 20120097383A KR 1020127015217 A KR1020127015217 A KR 1020127015217A KR 20127015217 A KR20127015217 A KR 20127015217A KR 20120097383 A KR20120097383 A KR 20120097383A
Authority
KR
South Korea
Prior art keywords
transition
depth
pixels
information
video data
Prior art date
Application number
KR1020127015217A
Other languages
English (en)
Other versions
KR101768855B1 (ko
Inventor
빌헬무스 헨드릭쿠스 알폰수스 브룰스
크리스티안 바레캄프
군네비에크 레이니어르 베르나르더스 마리아 크레인
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20120097383A publication Critical patent/KR20120097383A/ko
Application granted granted Critical
Publication of KR101768855B1 publication Critical patent/KR101768855B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Abstract

비디오 데이터 신호(15)를 인코딩하는 방법과 디코딩하는 방법이 제공된다. 인코딩은 이미지 내 픽셀들에 대한 컬러 정보(51)를 제공하는 단계, 픽셀들에 대한 깊이 정보(52)를 가진 깊이 맵을 제공하는 단계, 이미지 내 전이 영역(61, 72)의 폭(63, 73)을 표시하는 전이 정보(56, 57, 60, 70,71)를 제공하는 단계, 컬러 정보(51), 깊이 맵(52) 및 전이 정보(56, 57, 60, 70,71)를 나타내는 인코딩된 데이터를 포함하는 비디오 데이터 신호(15)를 생성하는 단계(24)를 포함하고, 상기 전이 영역(61, 72)은 깊이 전이 및 전경 물체와 배경 물체의 컬러들이 혼합되는 혼합된 픽셀들을 포함한다. 디코딩은 전이 영역들(61, 72)의 폭(63, 73)을 결정하기 위한, 그리고 전이 영역들(61, 72) 내부의 픽셀들에 대한 알파 값들(53)을 결정하기 위해 전이 정보(56, 57, 60, 70,71)를 사용하는 것을 포함한다. 결정된 알파 값들(53)은 전경 물체 및 배경 물체의 전이시 혼합된 픽셀의 컬러를 결정하는데 사용된다.

Description

3Ｄ(비디오)에서 깊이 전이들의 효율적인 코딩{EFFICIENT CODING OF DEPTH TRANSITIONS IN 3D(VIDEO)}
본 발명은 비디오 데이터 신호를 인코딩하는 방법에 관한 것으로서, 상기 방법은 이미지 내 픽셀들에 대한 컬러 정보를 제공하는 단계, 픽셀들에 대한 깊이 정보를 가진 깊이 맵을 제공하는 단계, 전경 물체와 배경 물체의 컬러들이 혼합되는 혼합된 픽셀들에 대한 전이 정보를 제공하는 단계 및 컬러 정보, 깊이 정보, 전이 정보를 나타내는 인코딩된 데이터를 포함하는 비디오 데이터 신호를 생성시키는 단계를 포함한다.
본 발명은 또한 비디오 데이터 신호를 디코딩하는 방법, 인코더, 디코더, 인코딩 또는 디코딩하기 위한 컴퓨터 프로그램 제품들, 비디오 데이터 신호 및 디지털 데이터 캐리어에 관한 것이다.
새로이 부각되는 삼차원(3D) 비디오의 기술 분야에서, 제 3 차원을 비디오 데이터 신호로 인코딩하기 위한 다양한 방법들이 존재한다. 3D 비디오를 표현하기 위한 유명한 접근법은 하나 이상의 이차원(2D) 이미지들에 제 3 차원의 정보를 제공하는 깊이 표현을 추가하여 이용하는 것이다. 이 접근법은 또한 2D 이미지들이 3D 이미지 데이터에 포함된 2D 이미지들과는 상이한 뷰포인트들 및 시야각으로 생성되도록 한다. 이런 접근법은 3D 뷰들이 비교적 낮은 복잡성으로 생성되도록 하고 효율적인 데이터 표현을 제공하는 것을 포함하여 많은 장점들을 제공함으로써, 예를 들어 3D 비디오 신호들을 위한 저장 및 통신 자원 요구들을 감소시킨다.
상이한 뷰포인트들로 이미지들을 생성할 때, 상이한 물체들의 상이한 깊이들은 새로운 경계들을 생성하기 위해 무엇이 행해지기보다 물체 경계들의 이동을 야기한다. 물체 경계들의 이동이 이미지의 질을 감소시키는 의도하지 않는 효과들을 야기할 수 있다. 예를 들어, 초점이 벗어난 전경 물체로부터의 빛 반사가 초점이 맞는 배경 물체와 섞일 때, 비현실적으로 보이는 경계들이 나타날 수 있다. 이 문제는 대개 비디오 데이터 신호의 독립된 층으로 전송되는 알파 맵(alpha map)을 사용하여 해결될 수 있다.
알파 맵은 컬러가 전경 물체에 의해 부분적으로 결정되고 배경 물체에 의해 부분적으로 결정되는 곳에서 각 픽셀에 대해 이것이 전경 픽셀, 배경 픽셀 또는 혼합된 픽셀인지 나타내는 알파 값들을 포함한다. 이 알파 값은 혼합 비율을 반영한다. 그 이후 이런 혼합된 픽셀들은 또한 '불특정' 픽셀들로서 언급된다. 컬러들의 혼합은 또한 블렌딩(blending)이라 불린다. 인코딩 목적들을 위해, 알파 값들은 수동으로 할당되거나 예측된 기존 데이터로부터 검색될 수 있다. 알파 예측 알고리즘은 통상적으로 '불특정' 지역에서 모든 픽셀들에 대한 알파의 값을 예측하기 위해 전경 및 배경으로부터 공간적으로 근처에 있는 샘플들을 사용한다. 이 예측 과정을 용이하게 하기 위해, 각 픽셀에 대해 그것이 전경, 배경 또는 불특정인지를 나타내는 소위 트라이맵(trimap)이 먼저 생산된다. 공간적으로 근처에 있는 다양한 샘플들은 불특정 지역에서 픽셀에 대한 전경 값, 배경 값 및 알파 값을 예측하기 위해 전경 및 배경의 근처에서 얻어진다. 새로운 뷰를 생성할 때, 이동된 전경 픽셀 값은 새로운 배경과 혼합된다.
통상적으로, 알파 맵은 전경 픽셀들에 대한 값 '1' 또는 배경 픽셀들에 대한 값 '0'를 가지는 비교적 큰 영역들을 포함한다. 이런 영역들 사이에서, 알파 값들은 '0'에서 '1'로 또는 그 반대로 빠른 전이를 만든다. 이것은 예를 들어 전경 물체가 초점에서 벗어난 곳에서 물체 전이들에 대한 경우 및 머리카락과 같이 매우 얇은 물체들에 대한 경우로, 여기서 이런 물체들을 다루는 메카니즘(mechanism)으로 투명성(transparency)을 사용하는 것이 편리하다. 유리창들, 등등처럼 큰 지역들을 넘는 실제 투명성은 자연적인 비디오에서는 자주 발생하지 않는다. 알파 맵에서의 공간적으로 빠른 변화들은 그것들을 압축하는 것을 다소 비효율적으로 만들고 비디오 데이터 신호의 전송 비용을 증가시킨다.
본 발명의 목적은 도입부에서 기술된 비디오 데이터 신호를 인코딩하는 방법을 제공하는 것이며, 이 방법은 새롭게 렌더된 뷰들에서 원활한 물체 전이들을 유지하는 동안 전송 비용을 감소시킨다.
본 발명의 제 1 양태에 따라, 이 물체는 비디오 데이터 신호를 인코딩하는 방법을 제공함으로써 얻어지며, 상기 방법은 이미지 내 픽셀들에 대한 컬러 정보를 제공하는 단계, 픽셀들에 대한 깊이 정보를 가진 깊이 맵을 제공하는 단계, 이미지 내 전이 영역의 폭을 표시하는 전이 정보를 제공하는 단계, 컬러 정보, 깊이 맵 및 전이 정보를 나타내는 인코딩된 데이터를 포함하는 비디오 데이터 신호를 생성하는 단계를 포함하고, 상기 영역은 깊이 전이 및 전경 물체와 배경 물체의 컬러들이 혼합되는 혼합된 픽셀들을 포함한다.
전이 영역에서 모든 픽셀들에 대한 알파 값들을 제공하도록 하는 것 대신에, 본 발명에 따른 방법은 단지 깊이 전이 주변의 전이 영역의 폭에 대한 약간의 정보를 요구한다. 이하에서 더 자세히 설명될 바와 같이, 전이 영역의 폭에 대한 정보가 다수의 상이한 형태들로 제공될 수 있다. 전이 영역의 폭에 대한 정보를 제공하는 것의 주요 장점은 각 '불특정' 픽셀에 대한 정확한 알파 값들을 제공하는 것을 불필요하게 만든다는 것이다. 전이 영역의 폭이 알려질 때, 불특정 픽셀들은 깊이 전이의 위치 주변의 픽셀들의 밴드를 만드는 것에 의해 결정된다. 불특정 픽셀들의 위치가 주어지면, 알파 값들은 상이한 방법들로 생성될 수 있다.
제 1, 깊이 전이까지의 '불특정' 픽셀의 거리 및 픽셀 자신(로컬(local) 전경 또는 로컬(local) 배경)의 깊이가 각각의 픽셀들의 알파 값들을 생성하기 위해 이용될 수 있다. 예를 들어, 알파가 로컬 배경의 0에서 로컬 전경의 1로 불특정 픽셀들을 넘어 선형적으로 달라지는 곳에서 선형 함수가 사용될 수 있다. 그 밖에, 비-선형 프로필들(profiles)이 물론 가능하다. 알파 값들만 갖는 것은 픽셀이 비뚤어진 쪽으로 배경과 혼합된 컬러를 혼합함으로써 새로운 뷰의 대략적인 렌더링을 하기에 충분하다. 정확하지 않음에도 불구하고, 이것은 시각적으로는 희미한 지역들을 다루는데 적당한 방법일 것이다.
제 2, 알파는 각각 두 가지 미지의 것들이 픽셀 당 예측되는(즉: 전경 값 및 알파(데이터 스트림에서 배경 맵이 이미 있다고 추정)) 또는 세 가지 미지의 것들이 예측되는(즉: 전경 값, 배경 값 및 알파) 곳에서 공지의 알파 예측 기술들을 사용하여 생성될 수 있다. 따라서 바람직하게는 깊이 전이를 형성하는 전경 및/또는 배경 물체들의 깊이 값들이 알파 값들을 결정할 때 고려된다. 이들 깊이 값들은 이미 깊이 맵으로부터 가능하다.
본 발명에 따른 방법은 매우 적은 양의 데이터로부터 보통의 알파 값들을 유도할 수 있도록 한다. 그 결과, 이미지 질에 해로운 영향을 미치지 않고 전송 비용들이 감소된다.
본 발명 방법의 일 실시예에서, 전이 정보는 깊이 맵을 포함한다. 깊이 맵은 특정 깊이 전이에 포함된 픽셀들의 수를 규정한다. 이런 맵은 전이 영역의 폭을 규정하기 위해 하나의 정수 값만을 필요로 한다. 종래 기술에서 사용된 알파 맵과 비교하면, 이 방법은 각 픽셀에 대해 알파 값이 포함되어 비슷한 정보를 제공하는데 훨씬 적은 데이터를 사용한다. 현실적인 경우는 예를 들어 폭 관련 데이터를 깊이 또는 '전통적인' 알파 채널과 같은 또 다른 정보가 Y-채널에서 코딩되는 표준 YUV 4:2:0 비디오의 U-채널 및/또는 V-채널에서 공급하는 것이다.
폭 지도에서 사용되는 데이터 양은 폭을 데이터 블록들에 할당함으로써 더 감소될 수 있고, 그렇게 하여 폭 지도의 규모를 효과적으로 축소시킨다. 깊이 전이들 사이의 거리가 블록 사이즈보다 더 크는 한, 고-해상도 원본의 복원은 가장 가까운 블록의 폭 값들을 주어진 깊이 전이에 할당함으로써 가능하다. 현실적인 경우에서 DC 값이 통상적으로 압축에 취약하기 때문에, U 및/또는 V 채널의 DC 값이 폭 데이터를 저장하는데 사용될 것이라는 것을 의미한다.
대안적인 실시예에서, 2진 맵(binary map)은 각 픽셀에 대해 그것이 전이 영역에 있는지 여부를 나타낸다. 그래서 전이 영역의 폭은 전이 영역에서 픽셀들의 수를 카운팅함으로써 쉽게 결정될 수 있고, 알파 값은 전이 영역의 폭 및 픽셀의 위치를 사용하여 전이 영역에서 각 픽셀에 대해 결정될 수 있다. 이 2진 맵은 공지의 알파 맵들과 유사하나, 8-비트 알파 값들을 사용하는 대신에 각 픽셀에 대해 단지 '1' 또는 '0'를 사용한다. 비록 2진 맵의 실시예가 폭 맵의 이전 실시예보다 더 많은 픽셀들에 대해 비-제로 값들을 사용하지만, 데이터의 전체 양은 여전히 낮으며 이전 실시예에서 보다 훨씬 낮을 수 있다.
2진 맵에서 사용된 데이터의 양은 2진 맵의 규모를 축소함으로써 훨씬 더 감소될 수 있다. 따라서 낮은 해상도 2진 맵은 전이 영역의 대략적인 예측을 하는 것으로서 사용될 수 있다. 전이 영역에서의 픽셀들에 대해 알파 값들의 예측이 만들어진다. 그러나 규모가 축소된 2진 지도는 바람직하게는 알파 값들이 결정되기 전에 본래의 높은 해상도 2진 맵을 복원하는데 사용된다.
다른 실시예에는 폭 맵을 사용하지 않으나, 룩-업 테이블(look-up table)을 사용한다. 룩-업 테이블은 상이한 전이 깊이들에 대한 폭 매개 변수들을 포함할 수 있다. 전이 영역의 폭은 이미지 내 깊이 전이와 초점의 평면 사이의 거리에 강하게 의존한다. 초점의 평면에 가까우면, 전이들은 급격하고 전이 영역의 폭은 작다. 초점면으로부터 멀어지면, 전이 영역들은 넓어진다. 전이 깊이는, 예를 들어 전이 깊이를 야기하는 전경 또는 배경 물체의 깊이로서 규정될 수 있다. 전이 깊이는 또한 전경 및 배경 물체의 깊이 값들 사이에 있는 어딘가에서 규정될 수 있다. 가장 좋은 결과들은 전경 및 배경 물체들의 깊이 값들의 특정 쌍에 대한 폭 매개 변수들을 제공할 때 얻을 수 있다. 그러면 전이 깊이는 깊이 전이를 야기하는 두 물체들의 깊이 값들의 조합으로서 규정된다.
또 다른 실시예에서 폭보다는, 알파 맵 복원에 대한 방법(고정된 곡선들, 로컬 예측)이 룩업 테이블에서 구체화될 수 있다. 앞에 설명된 것처럼, 많은 방법들이 알파 데이터를 생성하기 위해 존재한다. 선호되는 방법은 내용(예를 들어 머리 주변 대 다른 물체들 주변)에 의존할 수 있으며, 이 내용은 폭 데이터를 가지는 이런 데이터들을 통합하거나 2진 맵을 대신하여 불특정 지역의 위치뿐만 아니라 복원 방법을 코딩하는 세 개의 값들을 가진 맵들을 취함으로써 표시될 수 있다. 폭 데이터는 통상적으로 알파 복원 방법을 나타내기 위한 몇 개의 비트들을 남기고 8 비트들보다 적은 것으로 표현될 수 있다. 이런 폭은 예를 들어 정수 나눗셈(DIV 계산)을 이용하여 추출될 수 있으며, 반면에 알파 복원 방법은 계수 계산(modulus operation; MOD)을 이용하여 얻을 수 있다.
전이 정보는 깊이 전이의 깊이 및 비디오 데이터를 캡쳐하는데 사용되는 카메라 설정의 약간의 매개 변수들을 포함할 수 있다는 것을 주목하라. 발명자는 전이 영역의 폭이, 예를 들어 전이 깊이 및 초점 길이 및 카메라 렌즈의 개구수 (numerical aperture)로부터 결정될 수 있다는 것을 인지한다.
본 발명의 추가적인 양태에 따라, 비디오 데이터 신호를 디코딩하는 방법이 제공되고, 상기 비디오 데이터 신호는 이미지 내 픽셀들에 대한 컬러 정보, 픽셀들에 대한 깊이 정보를 가진 깊이 맵 및 전이 영역의 폭을 표시하는 전이 정보를 포함하고, 상기 전이 영역은 깊이 전이 및 전경 물체와 배경 물체의 컬러들이 혼합되는 혼합된 픽셀들을 포함한다. 디코딩 방법은 비디오 데이터 신호를 수신하는 단계, 전이 영역의 폭을 결정하는 단계, 혼합된 픽셀들의 알파 값들을 결정하는 단계 및 알파 값들에 기초하는 혼합된 픽셀들 및 컬러 정보를 결정하는 단계를 포함한다. 전이 영역의 폭을 결정하는 단계는 전이 정보에 기초한다. 알파 값들을 결정하는 단계는 전이 영역의 폭에 기초하고, 혼합된 픽셀들의 알파 값은 깊이 전이와의 거리에 의존한다.
디코딩 방법에서, 알파 값들은 비디오 데이터 신호로 인코딩된 전이 정보로부터 생성된다. 선호되는 디코딩 방법에서, 알파 값들은 또한 깊이 전이를 야기하는 전경 물체 및/또는 배경 물체의 깊이에 의존한다. 비디오 데이터를 캡쳐하는데 사용되는 카메라 설정의 매개 변수들을 고려하는 것은 계산된 알파 값들 및 도출된 픽셀 컬러들의 정확도를 향상시킬 수 있다.
본 발명의 이런 및 다른 양태들은 이후 기술될 실시예들로부터 명백해지며 실시예들을 참조하여 더 상세하게 설명될 것이다.
본 발명에 따른 비디오 데이터 신호를 인코딩하는 방법은 새롭게 렌더된 뷰들에서 원활한 물체 전이들을 유지하는 동안 전송 비용을 감소시킨다.
도 1은 본 발명에 따라 비디오 데이터를 인코딩하는 시스템의 블록도.
도 2 및 도 3은 전이 영역에서 컬러들의 혼합을 도시하는 도면.
도 4는 본 발명에 따라 전이 정보의 그래픽 표현을 도시하는 도면.
도 5는 테이블에 저장될 수 있는 전이 정보의 그래픽 표현을 도시하는 도면.
도 6은 본 발명에 따라 폭 맵의 예를 도시하는 도면.
도 7a 및 도 7b는 본 발명에 따라 생성된 전이 정보를 가진 2진 맵들의 예들을 도시하는 도면.
도 8은 본 발명에 따라 비디오 데이터를 디코딩하는 시스템의 블록도.
도 9는 본 발명에 따라 디코딩 방법의 흐름도.
도 1은 본 발명에 따라 비디오 데이터를 인코딩하는 시스템의 블록도를 도시한다. 이 시스템은 두 개의 디지털 비디오 카메라들(11, 12) 및 인코더(10)를 포함한다. 제 1 카메라 및 제 2 카메라는 약간 상이한 위치에서뿐만 아니라 약간 상이한 각도에서, 동일한 장면(100)을 기록한다. 두 개의 비디오 카메라들(11, 12)로부터 기록계의 디지털 비디오 신호들은 인코더(10)로 전달된다. 인코더는 예를 들어 전용 인코딩 박스, 컴퓨터 안의 비디오 카드 또는 함수가 범용 마이크로프로세서에 의해 실행되어지도록 시행되는 소프트웨어의 일부일 수 있다. 대안적으로, 비디오 카메라들(11, 12)은 아날로그 비디오 카메라들이고 아날로그 비디오 신호들은 그들이 인코더(10)에 대해 입력으로 제공되기 전에 디지털 비디오 신호들로 변환된다. 비디오 카메라들이 인코더(10)와 결합되면, 인코딩은 장면(100)을 기록하는 동안 발생할 수 있다. 먼저 장면(100)을 기록한 후에 기록된 비디오 데이터를 인코더로 제공하는 것이 또한 가능하다. 본 발명에 따른 방법은 비디오 데이터 신호를 인코딩하는 특별한 방법을 고려한 것이고, 비디오 데이터를 얻기 위한 특별한 방법들에는 제한되지 않는다는 것이 주목된다. 예를 들어, 하나의 카메라에 의해서만 얻어지는 비디오 데이터에 깊이 정보를 추가하는 것이 또한 가능하다.
인코더(10)는 비디오 카메라들(11, 12)로부터 직접 또는 간접적으로 디지털 비디오 데이터를 수신하고, 디지털 비디오 신호 둘 다를 하나의 3D 비디오 신호 (15)로 결합한다. 비디오 카메라들(11, 12) 둘 다는 하나의 3D 비디오 카메라에서 결합될 수 있다는 것이 주목된다. 훨씬 많은 뷰포인트들로부터 장면(100)을 캡쳐하기 위해 두 개 이상의 비디오 카메라들을 사용하는 것이 또한 가능하다.
이하에서, 본 발명에 따른 인코딩 및 디코딩 방법들과 종래 기술분야의 방법들과의 차이점들이 단일 이미지를 사용하여 설명될 것이다. 3D 비디오 신호는 다수의 이런 이미지들의 시퀀스로서 보여질 수 있다. 인코더(10) 및 디코더에 의해 사용되는 정보의 일부가 다수의 이미지들에 의해 공유될 수 있다는 것이 주목된다. 약간의 매개 변수들은 특정 이미지 또는 장면(순차적인 이미지들의 집합)에 대해 구체화될 것이다. 또 다른 매개 변수들은 완전한 비디오에 유용할 것이다. 당업자는 비디오에서 상이한 이미지들에 대해 동일한 매개 변수들을 사용하는 가능성들을 인지할 것이다.
종래 기술의 인코더들에서는, 생성된 3D 비디오 신호는 이미지 내 픽셀들에 대한 컬러 정보(51)를 가진 2D 이미지 층, 픽셀들에 대해 깊이 정보를 가진 깊이 맵(52) 및 어떻게 전경 컬러와 배경 컬러가 깊이 전이 및 깊이 전이 가까이에서 혼합되는지를 나타내는 알파 값들을 가진 알파 맵(53)을 포함할 수 있다. 상기 기술된 형태는 도 2에서 도시되며, 여기서 이미지는 다수의 픽셀들로 하나의 2D 이미지 선(51)으로 개략적으로 도시된다. 전경 값 F(
Figure pct00001
220)에서 배경 값 B(
Figure pct00002
20)으로의 점진적인 전이는 경계들에서 관찰될 수 있다. 전이 영역들의 폭은 U이다. 이 영역들은 파선들로 둘러싸인다. Z로 표시된, 관련 깊이 맵(52)은 이미지 선(51) 아래에서 도시된다. 전이 영역들은 전경 물체로서, 동일한 깊이 값 ＺB 을 가진다. 전경에서 배경 물체로의 정확한 전이가 잘 규정되지 않기 때문에 이것은 임의적 선택이다. 이 도면에서 세번째 그림은 알파 채널(53)을 도시한다. 알파 채널(53)에서, 낮은 값(여기서: 0에 가까운)은 대응 픽셀에 대한 우세한 공헌이 배경 픽셀에서 나온 것임을 나타내고, 반면에 높은 값(여기서: 1에 가까운)은 우세한 공헌이 전경 픽셀에서 나온 것임을 나타낸다. 전이 영역의 외부에서 알파 값들은 규정되지 않는다. 종래 기술의 알파 맵들(53)은 이미지(51)의 각 전이 영역에서 각 픽셀의 알파 값을 포함한다.
카메라로 이미지를 캡쳐하는 것에 내재하는 흐림 효과(blurring effect)는 도 3에서 더 상세하게 도시된다. 위치 Ci에서 픽셀은 다수의 가중된 공헌들, 즉 가중들이 배경 가우스(Gaussian;54)의 왼쪽 표시된 부분(B)에서 반영되는, 주변 배경 픽셀들로부터 하나의 가중된 합 및 가중들이 전경 가우스(55)의 오른쪽 표시된 부분(A)에서 반영되는, 전경 픽셀들과 가까운 곳으로부터 하나의 가중된 합을 수신한다. 가우스 곡선들의 형태들은 카메라 세팅들(예을 들어 초점 길이, 개구수) 및 물체에서 카메라까지의 거리에 의존하고, 또한 깊이로서 언급된다. 따라서 장면을 캡쳐하는 동안 사용되는 개구 및 초점에 대한 세팅들은 가우스들의 형태와 가우스 곡선들의 폭을 결정할 것이다. 이 결과, 깊이 전이들 가까이에서 혼합된 픽셀들이 존재한다.
이미지들이 이미 흐려졌기 때문에 디코딩된 이미지 데이터로부터 카메라 흐림 과정을 시뮬레이팅하는 것이 가능하지 않다는 것에 주목하는 것이 중요하다. 이것은 우리가 어느 곳에서나 날카롭게 될 수 있는 컴퓨터 그래픽 이미지들을 가지는 경우에만 가능하다. 그러면 우리는 그 과정 동안 카메라 광학의 효과를 시뮬레이팅할 수 있다. 그러나, 전이 영역들의 적당한 폭을 선택함으로써 흐림 과정을 설명하는 것이 가능하고 선형 또는 비-선형 함수를 사용하여 전이 영역에서 알파를 0에서 1로 점진적으로 변화하도록 할 수 있다.
도 4는 본 발명에 따른 예시적인 인코딩 방법의 블록도를 도시한다. 인코딩 방법은 카메라들(11, 12)로부터 기록된 디지털 비디오 데이터를 사용하고 본 발명에 따른 비디오 데이터 신호(15)를 제공한다. 기초 이미지 제공 단계(21)에서, 적어도 장면의 제 1 이미지는 비디오 데이터 신호(15)에서 내포되기 위해 제공된다. 이 기초 이미지는 두 개의 카메라(11, 12) 중 하나로부터 생성되는 표준 2D 비디오 데이터일 수 있다. 인코더(10)는 또한 두 개의 기초 이미지들을 사용할 수 있다; 하나는 제 1 카메라(11)에서 나온 것이고 하나는 제 2 카메라(12)에서 나온 것이다. 기록된 비디오의 각 프레임에서 모든 픽셀들의 컬러 값들이 기초 이미지들로부터 도출될 수 있다. 기초 이미지들은 특정 뷰포인트들에서 보여지는 것처럼 바로 그 시간 때의 장면을 나타낸다. 상이한 뷰포인트로부터 동일 이미지를 보여주는, 추가적인 이미지들이 포함될 수 있다.
3D 인에이블 단계(22)에서, 비디오 카메라들(11, 12)로부터 들어오는 비디오 데이터는 기초 이미지에 깊이 정보를 추가하는데 사용된다. 이 추가된 정보는 상이한 뷰포인트로부터 동일한 장면의 렌더링된 이미지를 생성하기 위해 디코더를 인에이블한다. 인코더는 기록된 표준 비디오 데이터로부터 깊이 정보를 도출하기 위해 공지된, 바람직하게는 표준적인 방법들을 사용한다. 본 발명에 따른 인코딩 방법은 외부 소스로부터 발생되고 이미 깊이 정보를 포함하는 3D 비디오 데이터 상에서 또한 수행될 수 있다.
전이 정보 생성 단계(23)에서, 인코더(10)는 이미지 내 전이 영역의 폭을 표시하는 정보를 생성한다. 이 전이 정보는 상기 기술된 바와 같이, 그리고 도 5에서 도 7을 참조하여 이하에서 기술될 바와 같이 다수의 상이한 형태로 제공될 수 있다.
신호 생성 단계(24)에서, 이전 단계들(21, 22, 23)에서 제공된 정보가 본 발명에 따른 비디오 데이터 신호(15)를 생성하기 위해 사용된다. 비디오 데이터 신호(15)는 적어도 2D 이미지, 깊이 정보 및 전이 정보를 나타낸다. 추가적으로, 비디오 데이터 신호(15)는 높은 정확성을 가진 전이 정보로부터 알파 값들을 도출하기 위해 디코더를 인에이블하기 위한 매개 변수들을 포함할 수 있다. 이런 매개 변수들은 사용된 카메라들(11, 12)의 카메라 위치들, 조명 조건들 또는 개구수 및 초점 길이와 같은, 비디오 데이터가 캡쳐될 당시에 카메라 설정을 기술하는 매개 변수들을 포함할 수 있다.
도 5는 테이블에 저장될 수 있는 전이 정보의 그래픽 표현을 도시한다. 본 발명에 따라, 테이블이 폭 매개 변수들(56, 57; U(ZF))이 상이한 전이 깊이들(Z)에 따라 발견될 수 있는 곳에서 제공될 수 있다. 이런 테이블로부터, 디코더(10)는 대응 깊이(Z)에서 전경 물체의 경계에서 전이 영역의 폭(U(ZF))을 발견할 수 있다. 초점이 맞는(f) 전경 물체의 경계에서의 전이 영역은 좁을 것이다. 이런 물체의 깊이에 대응하는 폭 매개 변수(57)는 다른 깊이들에서의 폭 매개 변수들(56)보다 작다. 초점이 벗어날수록, 전이 영역은 더 넓어진다. 전경 물체의 깊이를 대신하여 또는 추가하여, 테이블은 배경 물체의 깊이를 사용할 수 있다. 대안적으로, 테이블은 이미지에서 서로를 오버랩핑하는(overlapping) 전경 및 배경 물체들의 깊이 값들의 특정 쌍들에 대한 폭 매개 변수들을 포함한다. 폭 매개 변수들(56,57; U(ZF))은 디코더가 이미지 내의 전이 영역의 폭을 결정하는 것을 가능하게 한다. 폭 매개 변수들(56,57; U(ZF))은 예를 들어 두 물체들로부터 컬러 기여도를 가지는 다수의 픽셀들일 수 있다.
도 6은 본 발명에 따른 폭 맵(60)의 일부의 예를 도시한다. 폭 맵(60)의 큰 부분들은 비어있다. 폭 맵(60)은 이미지 내 깊이 전이에 대응하는 위치에서 폭 매개 변수들을 가진 선(62)을 포함한다. 전이 영역은 파선(61)에 의해 표시되고 폭 매개 변수들로부터 결정될 수 있다. 종래 기술에 따른 알파 맵에서, 전이 영역에서의 모든 픽셀들은 알파 값을 가져야 한다. 폭 맵(62)에서, 폭 전이를 표시하는 선(62) 상의 픽셀들만이 비-제로 값을 가진다. 디코더는 이 하나의 값으로부터 전이 영역의 폭(63)을 도출하고, 전이 영역에서의 다른 픽셀들의 알파 값들을 생성하기 위해 이것을 사용한다.
도 6에 도시된 예시적인 상황에서, 깊이 전이는 전이 영역의 중앙에 있다. 대안적으로, 깊이 전이는 전이 영역의 경계에 있을 수 있고, 폭 매개 변수는 전이 영역에 속한, 깊이 전이의 좌/우/위/아래 면에서 픽셀들의 수를 표시한다. 추가적인 실시예에서, 깊이 전이는 자연스럽게 전이 영역과 전경 물체 사이의 경계 또는 전이 영역과 배경 물체의 경계에 있을 수 있다.
폭 맵에서 사용되는 데이터의 양은 폭을 데이터 블록들에 할당함으로써 더 감소될 수 있고, 그리하여 폭 맵의 규모를 효과적으로 축소할 수 있다. 폭 전이들 사이의 거리가 블록 크기보다 더 커지는 한, 고-해상도 원본의 복원은 주어진 깊이 전이에 가장 가까운 블록의 폭 값들을 할당함으로써 가능해진다. 현실적인 경우에서 DC 값들이 통상적으로 압축에 취약하기 않으므로, 표준 YUV 4:2:0 비디오의 U 및/또는 V 채널의 DC 값이 폭 데이터를 저장하기 위해 사용된다.
도 7a 및 도 7b는 본 발명에 따라 생성된 전이 정보를 지닌 2진 맵들(70, 71)의 예들을 도시한다. 도 7b에서 2진 맵(71)은 도 7a의 2진 맵의 규모가 축소된 버젼이다. 도 7a의 고 해상 2진 맵(70)은 전이 영역(72)에서는 각 픽셀에 대해 '1'을, 그리고 전이 영역(72)이 아닌 곳에서는 각 픽셀에 대해 '0'을 포함한다. 디코더는 연속적인 '1'의 수를 카운팅함으로써 전이 영역의 폭을 쉽게 도출할 수 있다. 이 폭을 사용하여, 알파 값들은 계산될 수 있다. 이 2진 맵(70)은 종래 기술의 알파 맵과 동일한 양의 데이터를 포함한다. 그러나 알파 맵이 예를 들어 알파 값들을 코딩하기 위해 8-비트 값을 사용하는 동안, 폭 맵(70)은 단지 픽셀 당 단일 비트를 사용한다. 따라서 본 발명에 따른 폭 맵(70)은 전송 비용들을 감소시킨다.
축소된 2진 맵(71)에서, 이미지는 예를 들어 10×10 픽셀들의 섹션(section)들(74)로 나뉘어진다. 각각의 섹션(74)에 대해, 오직 하나의 비트가 그 섹션이 깊이 전이를 포함하는지 안하는지를 나타내는데 필요하다. 디코더는 완전한 섹션들 (74)을 전이 영역으로 여길 것이나, 이것은 그렇게 정확한 알파 예측들이 아니고 낮은 질의 이미지들을 발생시킨다. 그러나, 도 7b에서 파선(75)으로 보여질 수 있는 것처럼, 낮은 해상도 2진 맵(71)은 전이 영역을 정확하게 복원하는데 충분한 정보를 제공한다. 이 복원 이후, 디코더는 도 7a의 보다 고해상도 2진 맵(70)을 사용할 때처럼 유사한 정확성을 가진 알파 값들을 결정할 수 있다.
도 8은 본 발명에 따른 비디오 데이터를 디코딩하는 시스템의 블록도를 도시한다. 상기 시스템은 비디오 데이터 신호(15)를 수신하고, 비디오 데이터 신호 (15)를 디스플레이(31)에 의해 디스플레이되기에 적합한 디스플레이 신호로 전환시키는 디코더를 포함한다. 비디오 데이터 신호(15)는 방송 신호의 일부분으로서 예를 들어, 케이블 또는 위성 통신망(satellite transmission)을 통해 디코더(30)에 도달한다. 비디오 데이터 신호(15)는 또한 예를 들어 인터넷 또는 주문형 비디오 서비스(video-on-demand service)를 통해 요구에 맞춰 제공될 수 있다. 대안적으로, 비디오 데이터 신호(15)는 DVD 또는 블루 레이 디스크(Blu-ray disc)처럼, 디지털 데이터 캐리어 상에 제공된다.
디스플레이(31)는 도 1의 시스템의 인코더에 의해 캡쳐되고 인코딩된 화면의 3D 표현을 제공할 수 있다. 디스플레이(31)는 디코더(30)를 포함할 수 있고 디코더(30)에 연결될 수 있다. 예를 들어, 디코더(30)는 하나 이상의 기본적인 텔레비젼 또는 컴퓨터 디스플레이들에 연결되는 3D 비디오 수신기의 일부일 수 있다. 바람직하게는, 디스플레이는 상이한 뷰들을 뷰어의 상이한 눈들에 제공할 수 있는 전용 3D 디스플레이(31)이다.
도 9는 도 8의 디코더(30)에 의해 수행될 수 있는 디코딩 방법의 흐름도를 도시한다. 비디오 데이터 수신 단계(41)에서, 인코더에 의해 인코딩되는 비디오 데이터 신호(15)는 디코더(30)의 입력에서 수신된다. 이 수신된 비디오 데이터 신호(15)는 상기 기술된 바와 같이 이미지, 깊이 정보 및 전이 정보를 나타내는 인코딩된 데이터를 포함한다. 전이 정보는 예를 들어 테이블 또는 폭 맵의 형태로 제공될 수 있다. 상기 인코딩된 데이터는 카메라 설정 매개 변수들처럼 추가 정보를 포함할 수 있다.
폭 결정 단계(42)에서, 전이 정보는 이미지 내 전이 영역들의 폭을 결정하는데 사용된다. 알파 결정 단계(43)에서, 상기 결정된 폭이 전이 영역들에서 픽셀들에 대한 알파 값들을 계산하는데 사용된다. 디코더는 단순한 폭 정보 및 깊이 정보 이상을 사용할 수 있다. 예를 들어, 깊이 전이를 야기하는 물체에 대한 카메라 설정 매개 변수들 및 깊이 정보가 알파 값들을 결정하는데 유용할 수 있다. 픽셀 혼합 과정(44)에서, 이미지의 알파 값들 및 컬러 정보는 전이 영역들에서 모든 픽셀들의 컬러 값들을 결정하기 위해 결합된다.
본 발명에 따르는 방법들, 인코더 및 디코더 장치들은 비디오 데이터 신호를 인코딩하는 방법, 데이터 신호를 디코딩하는 방법, 인코더 장치, 디코더 장치를 참조하여 특히 설명된다. 그러나 본 발명은 비디오 데이터 신호를 전송하는 방법, 인코딩 방법의 모든 단계들뿐만 아니라 인코딩된 비디오 신호를 전송하는 추가적인 단계를 포함하는 방법 내에서 적용될 수 있다. 반대로 본 발명은 비디오 데이터 신호를 수신하는 방법, 디코딩 방법의 모든 단계들뿐만 아니라 인코딩된 비디오 데이터 신호를 수신하는 추가적인 단계를 포함하는 방법에 적용될 수 있다.
비디오 데이터 신호는 유선 또는 무선 채널을 통해 전송 및/또는 수신될 수 있고, 예를 들어 비디오 데이터 신호는 IEEE1394 링크, IP 링크를 통해 전송될 수 있다. 마찬가지로 비디오 데이터 신호는 무선 IEEE802.11 링크 또는 UWB 링크와 같은, 인-홈 네트워크(in-home network)의 무선 링크를 통해 전송될 수 있다.
본 발명은 비디오 데이터 신호에 대한 전송기 및/또는 수신기에서 구체화될 수 있다. 본 발명에 따른 전송기는 본 발명에 따른 인코더 장치를 포함하고 인코딩된 비디오 데이터 신호를 전송하는 전송 수단을 추가로 포함한다. 바람직하게는 인코더의 출력은 전송 수단으로서 기능한다. 반대로, 본 발명에 따른 수신기는 디코더 장치를 포함하고 인코딩된 비디오 데이터 신호를 수신하는 수신기 수단을 추가로 포함한다; 이것은 유선 또는 무선 채널을 통해 도달하는 데이터를 처리하는 것이다. 상기 나타난 바와 같이, 전송 및 수신 수단의 성질은 데이터를 교환하는데 사용되는 채널의 유형에 의존한다.
대안적으로 채널을 통해 인코딩된 비디오 데이터 신호를 전송 및/또는 수신하는 것 대신에, 인코딩된 비디오 데이터 신호는 또한 저장 매체로부터 저장될 수 있고/있거나 복원될 수 있다. 이런 실시예들에서, 각각의 방법들은 비디오 데이터 신호를 저장하고/하거나 저장 매체 또는 저장 장치로부터 비디오 데이터 신호를 복원하는 추가 단계를 포함한다.
저장 매체 또는 저장 장치는 CD, CD-R, CD-RW, DVD, DVD+R, DVD-R, DVD+RW, DVD-RW, 또는 블루-레이 디스크와 같은 광학 저장 매체일 수 있다. 마찬가지로 인코딩된 비디오 데이터 신호는 HDD 또는 고체 상태의 저장 매체 상에 저장될 수 있다. 결과적으로 저장 및/또는 복원 장치는 개인용 컴퓨터(Personal Computer), 개인용 비디오 녹화기(personal video recorder), 또는 블루-레이 플레이어와 같은 좀 더 큰 장치의 일부일 수 있다.
본 발명이 비디오 데이터 신호를 저장하는 및/또는 비디오 데이터 신호를 복원하는 장치에 포함될 때, 바람직하게는 비디오 데이터 신호를 제공하는 출력 또한 비디오 데이터 신호를 저장하는 수단을 포함한다. 반대로 이런 경우에서 비디오 데이터 신호를 수신하는 입력은 비디오 데이터 신호를 복원하는 수단을 포함한다.
당업자에게 명백한 것으로 각각의 수단은 포함되는 저장 매체 또는 저장 장치에 의해 변한다.
본 발명에 따른 디코더 및 인코더는 처리하는 수단을 포함하며, 예를 들어 디코더는 전이 영역의 폭을 결정하는 수단, 알파 값들을 결정하는 수단 및 컬러를 결정하는 수단을 포함한다. 이런 처리 수단이 플랫폼들(platforms)을 처리하는 넓은 범위에서 실행될 수 있다는 것은 당업자에게 명백하다. 이런 플랫폼들은 전용반도체(Application Specific Integrated Circuit), 또는 FPGAs와 같은, 전용 하드웨어로 구성될 수 있다. 그러나 이런 처리는 예를 들어 PC 환경 내에서, 범용 프로세서 또는 비디오 신호 프로세서와 같은 범용 처리 플랫폼상에서 수행하는 소프트웨어에서 또한 실행될 수 있다. 하이브리드 하드웨어 소프트웨어 해결책들도 고려된다. 본 발명에 따른 디코더 내의 수단에 관하여 기술되지만, 동일한 것이 본 발명에 따른 인코더 내의 수단에서도 적용된다.
본 발명은 투명도 값들 및 투명도 맵들과 관련하여 기술된다. 그러나 당해 기술분야의 당업자에게 본 발명이 불투명도(opacity) 값들 및 불투명도 맵들에 동일한 효과로 적용될 수 있다는 것이 명백하다. 투명도 및 불투명도는 하나는 물체가 투명한 정도를 규정하는 반면, 다른 하나는 물체가 불투명한 정도를 규정한다는 점에서 상당히 상보적이다.
본 발명이 또한 컴퓨터 프로그램들, 특히 실제로 본 발명을 놓도록 적응되는, 캐리어 상의 또는 안의 컴퓨터 프로그램들로 확장한다는 것을 인지할 것이다. 프로그램은 소스 코드, 목적 코드(object code), 부분적으로 컴파일된 (compiled) 형태처럼 소스와 목적 코드의 중간 코드의 형태일 수 있고, 또는 본 발명에 따른 방법의 실행에서 사용에 적합한 임의의 다른 형태일 수 있다. 이런 프로그램은 다수의 상이한 아키텍쳐 설계(architecture design)들을 가질 수 있다는 것 또한 인지될 것이다. 예를 들어, 본 발명에 따른 방법 또는 시스템의 기능을 실행하는 프로그램 코드는 하나 이상의 서브루틴들(subroutines)로 세분화될 수 있다. 이 서브루틴들 사이에서 기능을 분배하기 위한 다수의 상이한 방법들이 당업자에게 명백할 것이다. 서브루틴들은 자립형 프로그램(self-contained program)을 형성하기 위해 하나의 실행가능 파일에서 함께 저장될 수 있다. 이런 실행가능 파일은 컴퓨터 실행가능 명령들, 예를 들어 프로세서 명령들 및/또는 해석기 명령들(예를 들어 자바 해석기 명령들(Java interpreter instructions))을 포함할 수 있다. 대안적으로, 하나 이상의 서브 루틴들은 적어도 하나의 외부 라이브러리 파일(library file)에 저장될 수 있고, 예를 들어 실행 시간에 정적 또는 동적으로 주프로그램에 링크될 수 있다. 주프로그램은 서브루틴들 중 적어도 하나에 대한 적어도 하나의 호출(call)을 포함한다. 또한, 서브루틴들은 서로에 대한 함수 호출(function call)들을 포함한다. 컴퓨터 프로그램 제품에 관련된 실시예는 시작하는 방법들 중 적어도 하나의 처리 단계들 각각에 대응하는 컴퓨터 실행가능 명령들을 포함한다. 이 명령들은 서브루틴들로 세분화될 수 있고/있거나 정적으로 또는 동적으로 링크될 수 있는 하나 이상의 파일들에 저장될 수 있다. 컴퓨터 프로그램 제품과 관련된 또 다른 실시예는 시작하는 시스템 및/또는 제품들 적어도 하나의 수단 각각에 대응하는 컴퓨터 실행가능 명령들을 포함한다. 이 명령들은 서브루틴들로 세분화될 수 있고/있거나 정적으로 또는 동적으로 링크될 수 있는 하나 이상의 파일들에 저장될 수 있다.
컴퓨터 프로그램의 캐리어는 프로그램을 캐링(carrying)할 수 있는 장치 또는 임의의 엔티티(entity)일 수 있다. 예를 들어, 캐리어는 ROM, 예를 들어 CD ROM 또는 반도체 ROM과 같은 저장 매체, 또는 마크네틱 기록 매체, 예를 들어 플로피 디스크 또는 하드 디스크를 포함할 수 있다. 게다가, 캐리어는 전기적 또는 광학 신호와 같이 전송가능한 캐리어일 수 있으며, 이것은 전기적 또는 광학 케이블을 통해 또는 라디오 또는 다른 수단에 의해 운반될 수 있다. 프로그램이 이런 신호에서 구체화될 때, 캐리어는 이런 케이블 또는 다른 장치 또는 수단에 의해 구성될 수 있다. 대안적으로, 캐리어는 프로그램이 내재되어 있는 집적 회로, 관련 방법을 수행하도록 또는 관련 방법의 수행에 사용하도록 적응된 집적 회로일 수 있다.
상기 언급된 실시예들은 본 발명을 다소 제한하는 기술을 하며, 당해 기술 분야의 당업자는 첨부된 청구항들의 범위를 벗어나지 않고 다수의 대안적 실시예들을 설계할 수 있을 것이라는 것을 주목해야 한다. 청구항들에서, 괄호 사이에 위치된 임의의 참조 부호들은 청구항을 제한하는 것으로 구성되지 않는다. 동사 "포함한다"의 사용 및 이것의 활용은 청구항에서 언급된 것들 외의 요소들 및 단계들의 존재를 배제하지 않는다. 단수 표현은 복수의 그런 요소들의 존재를 배제하지 않는다. 본 발명은 몇몇 별개의 요소들을 포함하는 하드웨어 수단에 의해, 그리고 적합하게 프로그램된 컴퓨터 수단에 의해 실행될 수 있다. 몇몇 수단을 열거하는 장치 청구항에서, 이들 수단의 몇몇은 하나 및 하드웨어의 동일 아이템에 포함될 수 있다. 특정 기준들이 상호 상이한 종속항들에서 언급된다는 단순 사실이 이들 기준들의 혼합이 장점으로 사용될 수 없다는 것을 나타내지 않는다.

Claims (15)

  1. 비디오 데이터 신호(15)를 인코딩하는 방법에 있어서,
    이미지 내 픽셀들에 대한 컬러 정보(51)를 제공하는 단계,
    상기 픽셀들에 대한 깊이 정보(52)를 가진 깊이 맵을 제공하는 단계,
    상기 이미지 내 전이 영역(61, 72)의 폭(63, 73)을 표시하는 전이 정보(56, 57, 60, 70, 71)를 제공하는 단계로, 상기 전이 영역(61, 72)은 깊이 전이(62) 및 전경 물체와 배경 물체의 컬러들이 혼합되는 혼합된 픽셀들을 포함하는, 상기 전이 정보 제공 단계,
    상기 컬러 정보(51), 상기 깊이 맵(52) 및 상기 전이 정보(56, 57, 60, 70, 71)를 나타내는 인코딩된 데이터를 포함하는 상기 비디오 데이터 신호(15)를 생성하는 단계를 포함하는, 비디오 데이터 신호(15) 인코딩 방법.
  2. 제 1 항에 있어서,
    상기 전이 정보는 다수의 혼합된 픽셀들로서 상기 깊이 전이(62)에 대해 대응하는 폭을 규정하는 폭 맵(width map;60)을 포함하는, 비디오 데이터 신호(15) 인코딩 방법.
  3. 제 1 항에 있어서,
    상기 전이 정보는 상기 이미지 내 각 픽셀들에 대해 픽셀이 전이 영역(72) 내에 있는지 여부를 나타내는 2진 맵(70, 71)을 포함하는, 비디오 데이터 신호(15) 인코딩 방법.
  4. 제 3항에 있어서,
    상기 2진 맵(71)은 상기 이미지보다 낮은 해상도를 가지는, 비디오 데이터 신호(15) 인코딩 방법.
  5. 제 1 항에 있어서,
    상기 전이 정보(56, 57)는 상이한 전이 깊이들에 대해 폭 매개 변수들(56, 75)을 가진 테이블을 포함하는, 비디오 데이터 신호(15) 인코딩 방법.
  6. 제 5 항에 있어서,
    상기 전이 깊이들은 상기 깊이 전이에서 상기 전경 물체의 깊이로서 규정되는, 비디오 데이터 신호(15) 인코딩 방법.
  7. 제 5 항에 있어서,
    상기 전이 깊이들은 상기 깊이 전이에서 상기 전경 물체와 상기 배경 물체의 상기 깊이들의 조합으로서 규정되는, 비디오 데이터 신호(15) 인코딩 방법.
  8. 비디오 데이터 신호(15)를 디코딩하는 방법으로서, 상기 비디오 데이터 신호(15)는 이미지 내 픽셀들의 컬러 정보(51), 상기 픽셀들에 대한 깊이 정보(52)를 가진 깊이 맵 및 전이 영역(61, 72)의 폭(63, 73)을 표시하는 전이 정보(56, 57, 60, 70, 71)를 나타내는 인코딩된 데이터를 포함하고, 상기 전이 영역은 깊이 전이(62) 및 전경 물체와 배경 물체의 컬러들이 혼합되는 혼합된 픽셀들을 포함하는, 상기 디코딩하는 방법에 있어서,
    상기 비디오 데이터 신호(41)를 수신하는 단계,
    상기 전이 정보(56, 57, 60, 70,71)에 기초하여, 상기 전이 영역(61, 72)의 폭(63, 73)을 결정하는 단계,
    상기 전이 영역의 폭에 기초하여, 상기 혼합된 픽셀들의 알파 값들(53)을 결정하는 단계로서, 상기 혼합된 픽셀들의 상기 알파 값(53)은 상기 깊이 전이(62)까지의 거리에 의존하는, 상기 알파 값 결정 단계,
    상기 알파 값들(53) 및 상기 컬러 정보(51)에 기초하여 상기 혼합된 픽셀들의 컬러를 결정하는 단계를 포함하는, 비디오 데이터 신호(15) 디코딩하는 방법.
  9. 제 8 항에 있어서,
    상기 알파 값들(53)을 결정하는 단계는 상기 깊이 전이(62)의 깊이(52)에 더 기초하는, 비디오 데이터 신호 디코딩하는 방법.
  10. 비디오 데이터 신호(15)를 인코딩하는 인코더에 있어서,
    이미지 내 픽셀들에 대한 컬러 정보(51), 상기 픽셀들에 대한 깊이 정보(52)를 가진 깊이 맵 및 전이 영역(61, 72)의 폭(63, 73)을 표시하는 전이 정보(56, 57, 60, 70, 71)를 제공하는 수단으로서, 상기 전이 영역은 깊이 전이(62) 및 전경 물체와 배경 물체의 컬러들이 혼합되는 혼합된 픽셀들을 포함하는, 상기 제공 수단,
    상기 컬러 정보(51), 상기 깊이 정보(52) 및 상기 전이 정보를 나타내는 인코딩된 데이터를 포함하는 상기 비디오 데이터 신호(15)를 생성하는 수단, 및
    상기 비디오 데이터 신호(15)를 제공하는 출력 수단을 포함하는, 인코더.
  11. 비디오 데이터 신호(15)를 디코딩하는 디코더(30)에 있어서,
    비디오 데이터 신호(15)를 수신하는 입력 수단으로서, 상기 비디오 데이터 신호(15)는 이미지 내 픽셀들에 대한 컬러 정보(51), 상기 픽셀들에 대한 깊이 정보(52)를 가진 깊이 맵 및 전이 영역(61, 72)의 폭(63, 73)을 표시하는 전이 정보(56, 57, 60, 70, 71)를 나타내는 인코딩된 데이터를 포함하고, 상기 전이 영역은 깊이 전이(62) 및 전경 물체와 배경 물체의 컬러들이 혼합되는 혼합된 픽셀들을 포함하는, 상기 입력 수단,
    상기 전이 정보(56, 57, 60, 70, 71)에 기초하여, 상기 전이 영역(61, 72)의 상기 폭을 결정하는(63, 73) 수단,
    상기 전이 영역(61, 72)의 상기 폭(63, 73)에 기초하여, 상기 혼합된 픽셀들의 알파 값들(53), 상기 깊이 전이(62)까지의 거리에 의존하는 상기 혼합된 픽셀들의 상기 알파 값들(53)은 결정하는 수단, 및
    상기 알파 값들(53) 및 상기 컬러 정보(51)에 기초하여, 혼합된 픽셀들의 컬러를 결정하는 수단을 포함하는, 디코더.
  12. 비디오 데이터 신호를 인코딩하는 컴퓨터 프로그램 제품으로서, 상기 프로그램은 프로세서가 제 1 항에서 청구된 방법을 수행하도록 동작하는, 컴퓨터 프로그램 제품.
  13. 비디오 데이터 신호를 디코딩하는 컴퓨터 프로그램 제품으로서, 상기 프로그램은 프로세서가 제 8 항에서 청구된 방법을 수행하도록 동작하는, 컴퓨터 프로그램 제품.
  14. 비디오 데이터 신호(15)로서, 이미지 내 픽셀들에 대한 컬러 정보(51), 상기 픽셀들에 대한 깊이 정보(52)를 가진 깊이 맵 및 전이 영역(61, 72)의 폭(63, 73)을 표시하는 전이 정보(56, 57, 60, 70, 71)를 포함하고, 상기 전이 영역은 깊이 전이(62) 및 전경 물체와 배경 물체의 컬러들이 혼합되는 혼합된 픽셀들을 포함하는, 비디오 데이터 신호(15).
  15. 제 14 항에서 청구된 비디오 데이터 신호(15)를 인코딩한, 디지털 데이터 캐리어.
KR1020127015217A 2009-11-13 2010-11-08 3ｄ(비디오)에서 깊이 전이들의 효율적인 코딩 KR101768855B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09175913.4 2009-11-13
EP09175913 2009-11-13
PCT/IB2010/055054 WO2011058492A1 (en) 2009-11-13 2010-11-08 Efficient coding of depth transitions in 3d ((video))

Publications (2)

Publication Number Publication Date
KR20120097383A true KR20120097383A (ko) 2012-09-03
KR101768855B1 KR101768855B1 (ko) 2017-08-17

Family

ID=43566506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127015217A KR101768855B1 (ko) 2009-11-13 2010-11-08 3ｄ(비디오)에서 깊이 전이들의 효율적인 코딩

Country Status (7)

Country Link
US (3) US10097843B2 (ko)
EP (1) EP2499811B1 (ko)
JP (1) JP5731525B2 (ko)
KR (1) KR101768855B1 (ko)
CN (1) CN102598646B (ko)
TW (1) TWI504220B (ko)
WO (1) WO2011058492A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162412A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Image matting apparatus using multiple cameras and method of generating alpha maps
US8682091B2 (en) * 2011-08-18 2014-03-25 International Business Machines Corporation Real-time image compression
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
TWI544447B (zh) * 2011-11-29 2016-08-01 財團法人資訊工業策進會 擴增實境的方法及系統
US9691360B2 (en) * 2012-02-21 2017-06-27 Apple Inc. Alpha channel power savings in graphics unit
US10447990B2 (en) 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
US20130300823A1 (en) * 2012-05-10 2013-11-14 Jiun-Sian Chu Stereo effect enhancement systems and methods
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US10080036B2 (en) 2013-05-16 2018-09-18 City University Of Hong Kong Method and apparatus for depth video coding using endurable view synthesis distortion
JP6494249B2 (ja) * 2014-11-12 2019-04-03 キヤノン株式会社 画像形成装置、画像形成方法、プログラム
US10616551B2 (en) * 2017-01-27 2020-04-07 OrbViu Inc. Method and system for constructing view from multiple video streams
US10880475B2 (en) * 2018-10-25 2020-12-29 Korea Electronics Technology Institute Video conversion apparatus and system for generating 360-degree virtual reality video in real time
EP3800615A1 (en) * 2019-10-01 2021-04-07 Axis AB Method and device for image analysis

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2964931B2 (ja) * 1995-04-25 1999-10-18 富士ゼロックス株式会社 画像処理装置および画像形成装置
US5812787A (en) 1995-06-30 1998-09-22 Intel Corporation Video coding scheme with foreground/background separation
JP2870465B2 (ja) * 1995-07-24 1999-03-17 日本電気株式会社 ３次元参照画像切り出し方法及び装置並びに物体判定装置
US5838828A (en) * 1995-12-12 1998-11-17 Massachusetts Institute Of Technology Method and apparatus for motion estimation in a video signal
US5917937A (en) * 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
GB2354416B (en) 1999-09-17 2004-04-21 Technologies Limit Imagination Depth based blending for 3D graphics systems
US6670955B1 (en) 2000-07-19 2003-12-30 Ati International Srl Method and system for sort independent alpha blending of graphic fragments
US6901170B1 (en) * 2000-09-05 2005-05-31 Fuji Xerox Co., Ltd. Image processing device and recording medium
JP4596224B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7081892B2 (en) 2002-04-09 2006-07-25 Sony Computer Entertainment America Inc. Image with depth of field using z-buffer image data and alpha blending
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US7015926B2 (en) * 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
US7221366B2 (en) 2004-08-03 2007-05-22 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video
US7142209B2 (en) * 2004-08-03 2006-11-28 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
US7430339B2 (en) 2004-08-09 2008-09-30 Microsoft Corporation Border matting by dynamic programming
US8031774B2 (en) 2005-01-31 2011-10-04 Mediatek Incoropration Video encoding methods and systems with frame-layer rate control
TWI301953B (en) 2005-03-14 2008-10-11 Qisda Corp Methods and apparatuses for video encoding
EP1931150A1 (en) * 2006-12-04 2008-06-11 Koninklijke Philips Electronics N.V. Image processing system for processing combined image data and depth data
KR100846513B1 (ko) * 2007-01-15 2008-07-17 삼성전자주식회사 영상 처리 방법 및 장치
JP4793933B2 (ja) * 2007-03-12 2011-10-12 任天堂株式会社 画像処理プログラムおよび画像処理装置
WO2008122036A2 (en) * 2007-04-02 2008-10-09 Raytheon Company Methods and apparatus to selectively reduce streaming bandwidth consumption
JP4948273B2 (ja) * 2007-06-11 2012-06-06 キヤノン株式会社 情報処理方法及び情報処理装置
CN101690249B (zh) * 2007-06-26 2012-06-20 皇家飞利浦电子股份有限公司 用于编码3d视频信号的方法和系统、用于3d视频信号解码器的方法和系统
EP2009899A1 (en) * 2007-06-27 2008-12-31 Thomson Licensing Method of creating a gamut boundary descriptor preserving the discontinuities of an actual gamut surface
JP5642547B2 (ja) * 2007-08-31 2014-12-17 古野電気株式会社 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置
KR101484487B1 (ko) * 2007-10-11 2015-01-28 코닌클리케 필립스 엔.브이. 깊이-맵을 프로세싱하는 방법 및 디바이스
JP5112989B2 (ja) 2008-08-20 2013-01-09 株式会社ミツトヨ 光電式エンコーダ
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
US8306283B2 (en) * 2009-04-21 2012-11-06 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Focus enhancing method for portrait in digital image
US8659592B2 (en) * 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion
US8902229B2 (en) * 2010-01-13 2014-12-02 Samsung Electronics Co., Ltd. Method and system for rendering three dimensional views of a scene
US10217195B1 (en) * 2017-04-17 2019-02-26 Amazon Technologies, Inc. Generation of semantic depth of field effect

Also Published As

Publication number Publication date
US11438608B2 (en) 2022-09-06
WO2011058492A1 (en) 2011-05-19
EP2499811A1 (en) 2012-09-19
US20190028720A1 (en) 2019-01-24
JP5731525B2 (ja) 2015-06-10
US20120229603A1 (en) 2012-09-13
TW201141236A (en) 2011-11-16
CN102598646A (zh) 2012-07-18
TWI504220B (zh) 2015-10-11
US11601659B2 (en) 2023-03-07
CN102598646B (zh) 2014-05-07
JP2013511190A (ja) 2013-03-28
EP2499811B1 (en) 2019-08-28
KR101768855B1 (ko) 2017-08-17
US20220094953A1 (en) 2022-03-24
US10097843B2 (en) 2018-10-09

Similar Documents

Publication Publication Date Title
US11601659B2 (en) Efficient coding of depth transitions in 3D video
CN110351592B (zh) 动画呈现方法、装置、计算机设备和存储介质
KR101727094B1 (ko) ３ｄ 비디오에서 추가 뷰들을 생성하기 위한 뷰포인트들을 선택하는 방법
KR20220084407A (ko) 포인트 클라우드 표현을 통한 메시 압축
CA2559131C (en) Stereoscopic parameter embedding apparatus and stereoscopic image reproducer
JP2020536300A (ja) ３ｄシーンの点の属性を修正するための方法及び装置
TWI505694B (zh) 編碼器及編碼方法
US20200202608A1 (en) Method and apparatus for receiving a volumetric video stream
KR20090007384A (ko) 다중 뷰들의 효율적인 인코딩 방법
JP2010238108A (ja) 映像処理装置、映像処理方法及びコンピュータプログラム
JP2004504736A (ja) 三次元画像生成方法及び装置
US11190803B2 (en) Point cloud coding using homography transform
KR101254611B1 (ko) 비디오 재생 시스템에 대한 정상 플레이와 트릭 모드플레이에 대한 필름 그레인 시뮬레이션
JP2005269022A (ja) 符号化装置およびその方法、符号データ編集装置およびその方法、並びに、プログラムおよび記録媒体
US20230368489A1 (en) Enhancing image data for different types of displays
US20230164352A1 (en) Methods and devices for coding and decoding a multi-view video sequence
CN114897681A (zh) 基于实时虚拟视角插值的多用户自由视角视频方法及系统
EP3139341A1 (en) Methods, systems and apparatus for specular highlight reconstruction
Djaziri-Larbi et al. Voicing of animated GIF by data hiding: A technique to add sound to the GIF format
KR102484385B1 (ko) 이미지 부호화 및 복호화 장치 및 그 작동 방법
JP2011119926A (ja) 映像処理装置、映像処理方法及びコンピュータプログラム
KR102224299B1 (ko) 깊이 영상의 계층적 부호화, 복호화 방법 및 장치
WO2021160955A1 (fr) Procédé et dispositif de traitement de données de vidéo multi-vues
do Carmo Depth Coding based on Binary Tree Decomposition
TW201803340A (zh) 影像訊號處理裝置、影像訊號處理方法及電腦程式產品

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant