KR20100116520A - 3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템 및 방법 - Google Patents

3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20100116520A
KR20100116520A KR1020090117445A KR20090117445A KR20100116520A KR 20100116520 A KR20100116520 A KR 20100116520A KR 1020090117445 A KR1020090117445 A KR 1020090117445A KR 20090117445 A KR20090117445 A KR 20090117445A KR 20100116520 A KR20100116520 A KR 20100116520A
Authority
KR
South Korea
Prior art keywords
image data
depth
depth image
value
pixel value
Prior art date
Application number
KR1020090117445A
Other languages
English (en)
Inventor
이광순
이현
이봉호
윤국진
허남호
김진웅
이수인
오영진
이수영
김형석
이상섭
최성현
정철곤
김중규
Original Assignee
한국전자통신연구원
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 성균관대학교산학협력단 filed Critical 한국전자통신연구원
Publication of KR20100116520A publication Critical patent/KR20100116520A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Abstract

본 발명은, 3차원 영상 시스템에서 대용량의 3차원 영상 데이터를 이동 단말에 최적화하여 고속으로 이동 단말에게 제공하는 시스템 및 방법에 관한 것으로, 복수의 영상촬영기기로부터 얻어진 영상 데이터에 포함된 깊이 영상 데이터를 히스토그램을 이용하여 상기 깊이 영상 데이터를 양자화하고, 상기 양자화된 깊이 영상 데이터에서 경사도 방향으로 불연속성을 측정하고, 상기 측정한 불연속성을 이용하여 경사도 방향 기반 평활화 필터링하며, 상기 평활화 필터링된 깊이 영상 데이터의 화소 값을 시차값으로 변환하여 시차맵을 생성하고, 상기 생성된 시차 맵을 포함한 영상 데이터를 수신하여 상기 기준 영상을 3차원 영상 데이터로 렌더링 한 후, 상기 렌더링된 3차원 영상 데이터를 디스플레이한다.
Figure P1020090117445
3차원 영상 데이터, 깊이 영상 데이터, 시차 맵, 양자화, 평활화 필터링

Description

3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템 및 방법{System and method for providing 3D image data in 3D image system}
본 발명은 3차원 영상 시스템에 관한 것으로, 특히 3차원 영상 시스템에서 대용량의 3차원 영상 데이터를 이동 단말에 최적화하여 고속으로 이동 단말에게 제공하는 시스템 및 방법에 관한 것이다.
지상파 디지털 멀티미디어 방송(DMB: Digital Multimedia Broadcasting, 이하 ‘DMB’라고 칭하기로 함) 서비스가 사용화 되면서 이동통신 단말기, DMB 전용 수신기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등과 같은 휴대용 단말기를 통하여 이동 중에도 다양한 멀티미디어 방송을 시청할 수 있게 되었다. 상기 DMB는 디지털 방송 기술을 이용하여 이동 중에 TV, 동영상, 라디오 및 문자방송 수신이 가능한 서비스이다.
최근에는 사용자 편의성, 휴대성 등의 이유로 단말기가 소형화, 슬립화, 및 경량화되고 있다. 이와 같은 이유로, 휴대용 단말기에 구비된 디스플레이 화면도 소형화 되고 있다. 또한 이러한 방송 서비스들은 아날로그 방송 서비스에서 디지털 방송 서비스로 점차 진화하고 있으며, 영상 서비스를 제공하는 방식은 2차원 영상을 제공하던 형태에서 3차원 영상을 제공하는 형태로 발전하고 있다.
3차원 영상 서비스는 차세대 정보통신서비스로서 방송, 의료, 교육, 군사, 게임, 애니메이션 등 그 응용 분야가 다양하다. 또한, 3차원 비디오 처리 기술은 여러 분야에 공통적으로 요구되는 차세대 실감 3차원 입체 멀티미디어 정보통신의 핵심 기반 기술로서 이에 대한 연구가 활발히 진행되고 있다. 이러한 3차원 영상을 제공하기 위해서는 기존의 2차원 영상의 깊이 정보를 이용하여 3차원 영상을 생성하는 과정이 필요하다. 또한, 상기 깊이 영상을 이용하여 3차원 영상을 생성할 시, 상기 3차원 영상이 디스플레이될 환경, 예컨대 3차원 영상 시스템을 고려하여 상기 3차원 영상을 생성 해야 한다.
3차원 영상 시스템에서는 데이터의 전송을 위한 대역폭이 제한되어 있기 때문에 깊이 영상의 전송 효율을 보다 높이는 방법이 요구된다. 또한, 3차원 영상 시스템에서 주로 사용되는 영상의 해상도, 예컨대 VGA(Quarter Video Graphics Array)가 320 X 240이라고 가정하면, 영상의 최대 시차가 10을 넘지 않도록 3차원 영상을 설계 해야 피로감을 덜 느끼고 3차원 영상을 시청할 수 있다는 제약 사항이 존재한다. 따라서, 이러한 3차원 영상 시스템에서 깊이 영상을 이용하여 3차원 영상 서비스를 제공하는 방안이 요구된다.
따라서, 본 발명의 목적은, 3차원 영상 시스템에서 3차원 영상 데이터를 제공하는 시스템 및 방법을 제공한다.
그리고, 본 발명의 또 다른 목적은, 3차원 영상 시스템에서 대용량의 3차원 영상 데이터를 이동 단말에 최적화하여 고속으로 이동 단말에게 제공하는 시스템 및 방법을 제공한다.
상기한 목적들을 해결하기 위해 본 발명의 일 실시 예에 3차원 영상 데이터를 제공하는 시스템은, 복수의 영상촬영기기로부터 생성된 영상 데이터에 포함된 깊이 영상 데이터를 히스토그램을 이용하여 상기 깊이 영상 데이터를 양자화하는 제 1 필터링부; 상기 양자화된 깊이 영상 데이터에서 경사도 방향으로 불연속성을 측정하고, 상기 측정한 불연속성을 경사도 방향 기반 평활화 필터링하는 제 2 필터링부; 상기 평활화 필터링된 깊이 영상 데이터의 화소 값을 시차값으로 변환하여 시차맵을 생성하는 생성부; 및 상기 생성된 시차 맵과 상기 영상 데이터에 포함된 기준 영상 데이터를 소정의 데이터로 인코딩하는 인코딩부를 포함한다.
본 발명의 일 실시 예에 따른 3차원 영상 데이터를 제공 방법은, 복수의 영상촬영기기로부터 생성된 영상 데이터에 포함된 깊이 영상 데이터를 히스토그램을 이용하여 상기 깊이 영상 데이터를 양자화하는 단계; 상기 양자화된 깊이 영상 데 이터에서 경사도 방향으로 불연속성을 측정하고, 상기 측정한 불연속성을 경사도 방향 기반 평활화 필터링하는 단계; 상기 평활화 필터링된 깊이 영상 데이터의 화소 값을 시차값으로 변환하여 시차맵을 생성하는 단계; 상기 생성된 시차 맵을 이용하여 상기 기준 영상을 3차원 영상 데이터로 렌더링 하는 렌더링하는 단계를 포함한다.
본 발명은, 3차원 영상 시스템에서 3차원 영상 데이터를 제공할 수 있다. 또한 본 발명은, 3차원 영상 시스템에서 대용량의 3차원 영상 데이터를 이동 단말에 최적화하여 고속으로 이동 단말에게 제공할 수 있다. 또한, 본 발명은, 깊이 영상을 시차 맵으로 변환하여 전송하는 새로운 전송 방식으로 영상 데이터를 전송함으로써, 전송 시 코딩 효율을 높이고, 수신기에서 사용되는 메모리와 계산량을 감소시켜, 입체 영상을 효율적으로 생성하고 출력할 수 있다. 또한, 본 발명은, 영상 데이터의 깊이 영상 데이터에 대해 양자화 필터링을 수행하여 영상 데이터에서 객체간 경계와 입체감을 일치시킴으로써, 영상 데이터의 입체감 왜곡을 최소화할 수 있다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기 술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
본 발명은, 3차원 영상 시스템에서 3차원 영상 데이터를 제공하는 시스템 및 방법을 제안한다. 여기서, 후술할 본 발명의 실시 예에서는 3차원 영상 시스템에서 대용량의 3차원 영상 데이터를 이동 단말에 최적화하여 고속으로 이동 단말에게 제공하는 시스템 및 방법을 제공한다. 그러면 여기서, 도 1을 참조하여 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 송신 장치를 보다 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 송신 장치의 구조를 개략적으로 도시한 도면이다.
도 1을 참조하면, 상기 3차원 영상 데이터 송신 장치는, 수신부(100), 제 1 필터링부(120), 제 2 필터링부(140), 생성부(160), 인코딩부(180)를 포함한다. 여기서, 영상 데이터는, 도 1에 구체적으로 도시하지는 않았으나 다양한 형태의 복수의 영상 촬영기기들, 예컨대 다중 시점 비디오 카메라 또는 스테레오 비디오 카메라 및 깊이 카메라 등에 의해 촬영된 영상 데이터로서, 상기 영상 촬영기기들에서 상기 3차원 영상 데이터 송신 장치로 수신된다. 상기 영상 데이터는 기준 영상 데이터와 깊이 영상 데이터를 포함하고 있다. 상기 기준 영상 데이터는 2차원 영상 데이터를 의미하고, 깊이 영상 데이터는 깊이 정보를 포함하고 있는 영상, 예컨대 그레이 영상을 의미한다. 상기 깊이 정보는, 상기 깊이 영상 데이터의 프레임 내에서 소정 시점(viewpoint)으로부터 상기 프레임에 나타나 있는 객체까지의 거리를 지시하는 정보를 의미한다.
상기 수신부(100)는, 전술한 바와 같이 복수개의 카메라에 의해 촬영된 영상 데이터를 수신한다. 상기 제 1 필터링부(120)는 상기 수신부(100)가 수신한 영상 데이터에 포함되는 깊이 영상 데이터의 어두운 부분에서 밝은 부분까지의 화소 분포를 히스토그램(histogram)으로 나타내고, 상기 히스토그램을 이용하여 상기 깊이 영상 데이터를 양자화한다. 그러면 여기서, 도 2를 참조하여 본 발명의 실시 예에 따른 3차원 영상 시스템에서 제 1 필터링부(120)가 깊이 영상 데이터를 양자화하기 위해 표현한 히스토그램을 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터의 깊이 영상 데이터 및 상기 깊이 영상 데이터의 히스토그램을 도시한 도면이다.
도 2를 참조하면, 상기 히스토그램(220)은 상기 깊이 영상 데이터(210)의 어두운 부분에서 밝은 부분까지의 화소 분포를 나타낸 그래프로서, 그래프의 x 좌표는 0부터 255 범위의 숫자를 가진다. 이때, 깊이 영상 데이터(210)의 화소가 0에 가까울수록 어두운 색의 화소를 의미하고, 깊이 영상 데이터(210)의 화소가 255에 가까울수록 밝은 색의 화소를 의미한다. 또한, 그래프의 y 좌표는 상기 화소 분포의 범위, 예컨대 0부터 1500을 의미한다. 여기서, 화소 분포가 0에 가까울수록 화소의 분포가 낮음을 의미하고, 화소 분포가 1500에 가까울수록 화소의 분포가 높음을 의미한다. 그러면 여기서, 도 3을 참조하여 본 발명의 실시 예에 따른 3차원 영 상 시스템에서 3차원 영상 데이터를 송신하기 위해 히스토그램을 기반으로 깊이 영상 데이터를 양자화하는 과정을 보다 구체적으로 설명하기로 한다. 이러한 제 1 필터링부(120)의 양자화 과정은 깊이 영상 데이터를 이용하여 3차원 영상 데이터로 렌더링시 3차원 영상의 입체감을 보존하기 위함이다.
도 3은 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터송신 장치의 제 1 필터링부(120)가 깊이 영상 데이터를 양자화하는 과정을 도시한 도면이다.
도 3을 참조하면, 320단계에서 제 1 필터링부(120)는 히스토그램(220)에서 최대 분포를 가지는 최대 밝기 값, 예컨대 최대값을 검색한다. 여기서, 변수 n은 자연수이며, 상기 변수 n은 변수 max, 예컨대 각 화소의 최대 이동거리 보다 작아질 때까지 1씩 증가된다. 여기서, 깊이 영상 데이터를 기반으로 렌더링 후 생성되는 양안식 입체 영상(stereoscopic image)의 시차가 영상 데이터의 3%를 초과 할 경우에는 초점이 흘려지거나 눈의 피로도를 높여 사용자가 불편함을 느끼게 된다. 따라서, 상기 각 화소의 최대 이동거리는 깊이 영상 데이터의 가로 크기의 3% 미만의 크기, 예컨대 5로 결정된다.
그런 다음 제 1 필터링부(120)는, 330단계에서 상기 최대값의 ±30에 해당하는 값을 검색하고, 상기 변수 n의 값을 증가시킨다. 상기 제 1 필터링부(120)는, 340단계에서 상기 변수 n의 값이 상기 변수 max의 값보다 작으면, 상기 제 1 필터링부(120)는, 350단계에서 상기 330단계에서 검색된 상기 최대값의 ±30에 해당하는 값을 상기 히스토그램(220)에서 제외시킨다.
만약, 상기 제 1 필터링부(120)는, 340단계에서 상기 변수 n의 값이 상기 변수 max의 값보다 크면, 상기 제 1 필터링부(120)는, 상기 히스토그램(220)을 최대 이동거리만큼, 예컨대 5개로 구분하고, 각 구분된 구간에 해당하는 밝기 값을 평균화하여 상기 구간의 밝기 값을 상기 평균화된 밝기 값으로 변환한다. 이때, 밝기 값이 0에 해당하는 구간에 대해서는 상기와 같은 과정을 수행하지 않는다. 이는 깊이 영상 데이터의 배경의 밝기 값은 0의 값을 가지므로, 0의 값을 가지는 화소에 대해서는 상기와 같은 과정을 수행하지 않아도 깊이 영상 데이터의 배경에 해당하는 부분의 화소는 같은 크기의 이동거리를 갖게 된다.
하지만, 상기 양자화 필터링을 거친 깊이 영상 데이터를 이용하여 기준 영상데이터를 3차원 영상 데이터로 렌더링을 수행할 시, 상기 양자화된 깊이 영상 데이터에 포함된 객체의 경계 부분에서 홀(hole)이 크게 발생한다. 또한, 상기 양자화 필터링 과정을 통해서 상기 깊이 영상 데이터에 포함된 객체내의 밝기 값을 평균화된 중간 값으로 변환시키지 못하여 깊이 영상 데이터에 포함된 객체내에 홀(hole)이 크게 발생할 수 있다. 이를 위해 본 발명에서는 홀 영역이 발생하는 불연속성을 지닌 영역에 대해서 상기 불연속성 방향에 따라 평활화를 수행한다.
상기 제 2 필터링부(140)는 제 1 필터링부(120)에서 수신한 양자화 필터링을 거친 깊이 영상 데이터를 경사도 방향 기반 평활화 필터링하여 상기 깊이 영상 데이터에 포함된 객체의 경계 영역과 일치하는 비폐색 영역을 생성한다. 상기 깊이 영상 데이터를 이용하여 기준 영상 데이터를 3차원 영상 데이터로 렌더링할 시, 상기 깊이 영상 데이터의 가로 방향에서의 시점 변화만 고려하여 렌더링을 함으로써 사용자에게 입체감을 제공할 수 있다. 이와 같은 이유로 상기 깊이 영상 기반 렌더링 방법은 깊이 영상 데이터의 가로 방향에서의 시점 변화만을 고려하여 3차원 영상 데이터로 렌더링한다. 따라서, 상기 양자화된 깊이 영상 데이터를 이용하여 기준 영상 데이터를 3차원 영상 데이터로 렌더링시, 상기 양자화된 깊이 영상 데이터의 가로 방향에서의 시점 변화만을 고려하면 된다. 이때, 상기 양자화된 깊이 영상 데이터에 포함된 홀 영역은 가로 방향의 깊이 불연속 지점에서만 발생하기 때문에 불연속성의 방향이 가로 방향에 가까울수록 홀의 너비가 더 넓어지게 된다.
이를 위해, 제 2 필터링부(140)는 상기 깊이 영상 데이터의 경사도 방향으로 불연속성의 방향을 측정하고 적응 평활화 필터의 계수를 결정한다. 그러면 여기서는, <수학식 1> 및 <수학식 2>을 참조하여 상기 깊이 영상 데이터의 경사도 방향으로 불연속성의 방향과 적응 평활화 필터의 계수를 결정하는 과정을 보다 구체적으로 설명하기로 한다.
<수학식 1>은 상기 깊이 영상 데이터의 불연속성의 방향을 결정하기 위한 수학식이다.
Figure 112009073994184-PAT00001
상기 <수학식 1>을 참조하면, Gx는 필터의 x 축 값의 변화량, 예컨대 상기 양자화된 깊이 영상 데이터의 화소 값의 x 축 변화량을 의미한다. Gy는 필터의 y 축 값의 변화량, 예컨대 상기 화소 값의 y축 변화량을 의미한다. 즉, 제 2 필터링부(140)는 상기 깊이 영상 데이터의 x축 경사도 방향으로 불연속성의 방향은 상기 양자화된 깊이 영상 데이터의 x축 화소 값의 변화량에서 y축 화소 값의 변화량이 차지하는 비율을 tan 함수에 적용하여 결정한다.
<수학식 2>는 상기 깊이 영상 데이터를 불연속성의 방향으로 필터링하기 위해서 적응 평활화 필터의 계수를 결정하기 위한 수학식이다.
Figure 112009073994184-PAT00002
상기 <수학식 2>를 참조하면, w 는 필터 계수를 나타내고, 상기 필터 계수는 두 가지 조건에 의해 결정된다. 상기 는 경사도 크기를 나타내고, 상기 경사도 크기가 50보다 크지 않을 경우, 상기 필터 계수는 1의 값을 가진다.
반면, 상기 경사도 크기가 50보다 큰 경우, 전달 함수(g)에 의하여 상기 경사도가 클수록 필터 계수는 높은 값을 가진다. 여기서, 상기 전달 함수(g)는 입력 값과 출력 값 사이의 수학적 관계를 표현하는 함수로써, 상기 전달 함수에 입력되 는 값이 클수록 출력되는 값은 작아진다. 즉, 제 2 필터링부(140)는 상기 경사도 크기가 50보다 큰 경우, 전달 함수에 의하여 상기 경사도 크기가 클수록 필터 계수는 낮은 값을 가지도록 한다. 하지만, 제 2 필터링부(140)는 전달 함수에 의하여 출력되는 필터 계수를 1에서 마이너스 시킴으로써 상기 경사도가 클수록 필터 계수는 높은 값을 가지도록 한다. 이는 상기 양자화된 깊이 영상 데이터의 불연속성으로 인하여 생성되는 홀 영역에 대해서만 경사도 방향 기반 평화화를 적용하여 상기 홀 영역을 감소시키기 위함이다.
그런 다음, 상기 생성부(160)는 제 2 필터링부(140)로부터 수신한 깊이 영상 데이터를 와핑 방정식을 이용하여 상기 화소 값을 화소의 이동 거리로 변화하여 시차맵(disparity map)을 생성한다. 그러면 여기서는, 도 4를 참조하여 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터를 송신하기 위해 깊이 영상 데이터를 이용하여 상기 생성부(160)가 시차맵을 생성하는 과정을 보다 구체적으로 설명하기로 한다.
도 4는 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터송신 장치의 생성부(160)가 깊이 영상 데이터를 깊이 값으로 변환하여 생성한 시차맵을 설명하기 위한 도면이다.
도 4를 참조하면, 상기 생성부(160)는 제 2 필터링부(140)로부터 깊이 영상 데이터(410)을 수신한다. 여기서, 상기 깊이 영상 데이터(410)는 상기 제 1 필터링부(120) 및 제 2 필터링부(140)에서 양자화 및 경사도 방향 기반 평활화 필터링을 통해 생성된 영상 데이터이다. 상기 생성부(160)는 상기 제 1 필터링부(120) 및 제 2 필터링부(140)에서 양자화 및 경사도 방향 기반 평활화 필터링을 통해 생성된 상기 영상 데이터를 와핑방정식을 이용하여 3차원 영상 생성시 필요한 0부터 5사이의 시차(disparity) 값, 예컨대 시차맵으로 변환한다. 여기서, 그러면 여기서, 하기 <수학식 3>을 참조하여 상기 깊이 값을 시차로 각각 변환하기 위해 사용되는 와핑 방정식에 대해서 보다 구체적으로 설명하기로 한다.
Figure 112009073994184-PAT00003
상기 <수학식 3>을 참조하면, Znear는 상기 깊이 영상 데이터를 촬영한 카메라와 상기 깊이 영상 데이터에 포함된 객체 중 가장 가까운 거리에 있는 객체와의 거리를 의미한다. Zfar는 상기 깊이 영상 데이터를 촬영한 카메라와 상기 깊이 영상 데이터에 포함된 객체 중 가장 먼 거리에 있는 객체와의 거리를 의미한다. 또한, v는 상기 깊이 영상 데이터의 밝기 값을 의미하고, Z(v)는 상기 깊이 영상 데이터의 깊이 값을 의미한다. 여기서는, 상기 깊이 값을 추출하는 방법은 상기에서 설명하였으므로 그에 관한 자세한 설명은 생략한다. 그러면 여기서, 도 5를 참조하여 변화된 깊이 값에 따른 시차를 보다 구체적으로 설명한다.
도 5는 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 를 송신하기 위해 변환된 깊이 값에 따른 시차를 도시한 그래프이다.
도 5를 참조하면, x축은 변화된 깊이 값(Z(v))를 의미하고, y축은 변환된 깊이 값에 따른 시차를 의미한다. 여기서, 상기 y축의 시차 값은 x축의 변화된 깊이 값에 따라 연속적인 값을 가진다. 하지만, 상기 깊이 영상 데이터를 이용하여 3차원 영상으로 렌더링하고, 상기 렌더링된 3차원 영상의 시차를 계산하면 정수 값을 가진다. 이를 위해, 상기 연속적인 값은 정수 값으로 변하게 되므로, 상기 렌더링된 3차원 영상의 객체 내에 비폐색 영역이 발생한다.
그러므로, 상기 제 1 필터링부(120)과 제 2 필터링부(140)는 양자화 및 경사도 방향 기반 평활화 필터링을 통해 3차원 영상의 입체감을 보존하고, 홀의 크기를 줄인다. 그리고, 상기 생성부(160)는 상기 깊이 영상 데이터를 이용하여 시차맵을 생성하고, 상기 인코딩부(180)는 상기 시차맵과 영상 데이터로부터 추출된 기준 영상 데이터를 인코딩한다. 그런 다음, 상기 인코딩된 시차맵과 기준 영상 데이터를 포함한 소정의 데이터를 전송망을 통해 3차원 영상 데이터의 수신 장치로 전송된다. 그러면 여기서, 도 6을 참조하여 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 수신 장치를 보다 구체적으로 설명하기로 한다.
도 6은 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 수신장치의 구조를 개략적으로 도시한 도면이다.
도 6을 참조하면, 상기 3차원 영상 데이터 수신 장치는, 전송망을 통해서 시차 맵과 기준 영상 데이터를 포함한 소정의 데이터를 수신하며, 수신부(600), 디코딩부(610), 렌더링부(620), 및 디스플레이부(630)를 포함한다. 상기 수신부(600)는 상기 소정의 전송망을 통해 수신된 기준 영상 데이터와 시차 맵을 수신한다. 상기 디코딩부(610)는 상기 수신된 기준 영상 데이터와 시차 맵을 디코딩한다. 상기 렌더링부(620)는 상기 시차 맵을 이용하여 상기 기준 영상 데이터를 3차원 영상 데이터로 렌더링한다.
여기서, 시차 맵 기반 렌더링 방법과 깊이 영상 기반 렌더링 방법을 비교하면, 깊이 영상 기반 렌더링 방법은 기준 영상과 깊이 영상을 이용하여 3차원 영상을 생성하는 방법이다. 깊이 영상 기반 렌더링 방법은 상기 깊이 영상을 소정의 시점(viewpoint)으로부터 깊이 영상에 나타나 있는 개체까지의 거리를 깊이 맵으로 나타내고, 상기 기준 영상과 상기 깊이 맵을 이용하여 3차원 영상을 생성한다. 이때, 깊이 영상 기반 렌더링 방법은 상기 렌더링부(620)에서 상기 깊이 영상에 와핑 방정식을 이용하여 3차원 영상 생성에 필요한 시차(disparity) 정보로 변환이 필요하다. 하지만 시차 맵 기반 렌더링 방법은 도 1의 생성부(160)에서 이미 깊이 영상을 와핑 방정식을 이용하여 시차 맵으로 바꾸어 전송함으로써 렌더링부(620)에서 상기의 와핑 방정식을 사용하는 과정이 불필요하다. 다시 말해, 시차 맵 기반 렌더링 방법은 상기 3차원 영상 데이터 송신장치로부터 깊이 영상 데이터가 아닌 시차 맵을 전송 받기 때문에, 3차원 영상 데이터 수신장치에서는 상기 깊이 영상 데이터를 시차 맵으로 변환하는 과정을 필요로 하지 않는다. 따라서, 상기 시차 맵 기반 렌더링 방법은 상기 깊이 영상 기반 렌더링 방법에 비해 도 7에 도시한 바와 같이 렌더링 속도가 향상됨을 알 수 있다. 여기서, 도 7은 본 발명의 실시 예에 따른 시차 맵 기반 렌더링 방법과 일반적인 깊이 영상 기반 렌더링 방법을 이용한 렌더링 시 소요되는 시간을 비교한 도면이다. 보다 구체적으로 설명하면, 도 7에 도시한 바와 같이 상기 깊이 영상 기반 렌더링 방법에 비해 시차 맵 기반 렌더링 방법을 이용하여 렌더링시, 렌더링의 속도가 프레임 당 평균 0.003초, 예컨대 약 11.1 %가 개선됨을 확인할 수 있다.
도 8은 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터수신 장치의 렌더링부(620)가 3차원 영상 데이터송신 장치의 제 1 필터링부(120) 및 제 2 필터링부(140)에 의해 양자화 및 필터링된 깊이 영상 데이터를 이용하여 기준 영상 데이터를 3차원 영상 데이터로 렌더링한 경우 생성된 3차원 영상 데이터에 생성되는 홀과 소정의 방법을 이용하여 깊이 영상 데이터를 필터링된 기준 영상 데이터를 3차원 영상 데이터로 렌더링한 경우 생성된 3차원 영상 데이터에 생성되는 홀을 비교하기 위한 도면이다.
도 8을 참조하면, 810은 원본 깊이 영상 데이터를 이용하여 생성된 3차원 영상 데이터를 나타내고, 820은 상기 가우시안 평활화 필터링 방법 적용한 양자화된 깊이 영상 데이터를 이용하여 생성된 3차원 영상 데이터를 나타낸다. 또한, 830은 비대칭 가우시안 평활화 필터링 방법을 적용하여 생성된 3차원 영상 데이터를 나타낸다. 또한 840은 본 발명에서 제안한 양자화 및 경사도 방향 기반 적응 평활화 방법을 적용한 깊이 영상 데이터를 이용하여 생성된 3차원 영상 데이터를 나타낸다.
상기 810은 3차원 영상 데이터에 포함되는 객체 내에 비 폐색 영역으로 인하여 홀이 발생한다. 그러나, 820 및 830은 3차원 영상 데이터에 포함된 객체의 경계에서 홀이 발생하지 않고, 3차원 영상 데이터에 포함된 객체의 내부에서 발생한다. 이러한 홀은 3차원 영상 데이터의 입체감을 감소시키고, 객체의 입체감이 달라지게 하는 효과를 가져온다. 반면, 840은 3차원 영상 데이터에 포함되는 객체의 경계부분에서 홀이 발생한다. 상기 810과 상기 840을 비교하면, 상기 810에는 3차원 영상 데이터에 포함된 객체 내에서 발생했지만, 840은 3차원 영상 데이터에 포함된 객체 내에서 발생하는 홀이 현저히 줄어들었다. 그러면 여기서, 도 9를 참조하여 도 8의 3차원 영상 데이터에 존재하는 홀을 보간한 후의 입체감을 비교하여 구체적으로 설명하기로 한다.
도 9은 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터수신 장치의 렌더링부(620)가 3차원 영상 데이터송신 장치의 제 1 필터링부(120) 및 제 2 필터링부(140)에 의해 양자화 및 필터링된 깊이 영상 데이터를 이용하여 기준 영상 데이터를 3차원 영상 데이터로 렌더링한 경우 생성된 3차원 영상 데이터의 입체감과 소정의 방법을 이용하여 깊이 영상 데이터를 필터링한 기준 영상 데이터를 3차원 영상 데이터로 렌더링한 경우 생성된 3차원 영상 데이터의 입체감을 비교하기 위한 도면이다.
도 9를 참조하면, 910은 원본 깊이 영상 데이터를 이용하여 생성된 3차원 영상 데이터에 존재하는 홀을 보간한 3차원 영상 데이터의 일부분을 나타내고, 920은 가우시안 평활화 필터링 방법을 적용한 깊이 영상 데이터를 이용하여 생성된 3차원 영상 데이터에 존재하는 홀을 보간한 3차원 영상 데이터의 일부분을 나타낸다. 또한, 930은 비대칭 가우시안 평활화 필터링 방법을 적용한 깊이 영상 데이터를 이용하여 생성된 3차원 영상 데이터에 존재하는 홀을 보간한 3차원 영상 데이터의 일부 분을 나타내고, 940은 본 발명에서 제안한 양자화 및 경사도 방향 기반 적응 평활화 방법을 적용한 깊이 영상 데이터를 이용하여 생성된 3차원 영상 데이터에 존재하는 홀을 보간한 3차원 영상 데이터의 일부분을 나타낸다. 상기 910의 수직 경계 부분에서 뭉개짐과 같은 왜곡현상이 발생한다. 또한, 상기 920은 깊이 영상 데이터의 왜곡으로 인하여 수직 경계 부분이 휘어지는 현상이 발생하고, 상기 930은 경계 부분에서 뭉개지는 현상과 대각선 경계 부분이 휘어지는 왜곡 현상이 발생한다. 그러나, 본 발명에서 제안된 양자화 및 경사도 방향 기반 적응 평활화 방법을 적용한 940에서는 상기 910, 920, 930에서 발생한 경계 부분이 휘어지는 현상과 뭉개지는 현상을 막고, 객체의 외곽선을 보존 시켜주는 것을 확인할 수 있다. 따라서, 사용자가 객체의 외곽선과 일치된 입체감을 느낄 수 있다. 그러면 여기서, 도 9를 참조하여, 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 송신 과정을 보다 구체적으로 설명하기로 한다.
도 10은 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 송신 과정을 개략적으로 도시한 도면이다.
도 10을 참조하면, 상기 3차원 영상 데이터 송신 장치는, 1000단계에서 복수개의 카메라에 의해 촬영된 영상 데이터를 수신한다. 상기 영상 데이터는 깊이 영상 데이터와 기준 영상 데이터를 포함한다. 그런 다음, 상기 3차원 영상 데이터 송신 장치는, 1001단계에서 상기 깊이 영상 데이터를 양자화한다. 보다 구체적으로, 상기 3차원 영상 데이터 송신 장치는, 수신한 영상 데이터에 포함되는 깊이 영상 데이터의 어두운 부분에서 밝은 부분까지의 화소 분포를 히스토그램(histogram)으 로 나타내고, 상기 히스토그램을 이용하여 상기 깊이 영상 데이터를 양자화한다. 여기서, 상기 양자화 과정은 상기 도 3에서 설명하였으므로 자세한 설명은 생략하기로 한다.
다음으로, 상기 3차원 영상 데이터 송신 장치는, 1002단계에서 양자화 필터링을 거친 깊이 영상 데이터를 경사도 방향 기반 평활화 필터링하여 x축 방향의 불연속성을 평활화한다.
그런 다음, 상기 3차원 영상 데이터 송신 장치는, 1003단계에서 와핑 방정식을 이용하여 상기 깊이 값을 각각 화소 값의 이동 거리, 예컨대 시차(disparity)로 변환하여 시차 맵을 생성한다. 여기서, 상기 와핑 방정식은 상기 <수학식 3>을 설명하였으므로 그에 관한 상세한 설명은 생략하기로 한다. 그리고, 상기 3차원 영상 데이터 송신 장치는, 1004단계에서 상기 시차 맵과 상기 기준 영상 데이터를 인코딩하여 전송한다. 그러면 여기서, 도 11를 참조하여, 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 수신 과정을 보다 구체적으로 설명하기로 한다.
도 11은 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 수신 과정 개략적으로 도시한 도면이다.
도 11을 참조하면, 상기 3차원 영상 데이터 수신 장치는, 1100단계에서 소정의 전송망을 통해 수신된 기준 영상 데이터와 시차 맵을 수신하고, 상기 수신된 기준 영상 데이터와 시차 맵을 디코딩한다. 그런 다음, 상기 3차원 영상 데이터 수신 장치는, 1101단계에서 상기 시차 맵을 이용하여 상기 기준 영상 데이터를 3차원 영 상 데이터로 렌더링한다.
보다 구체적으로, 시차 맵 기반 렌더링 방법과 깊이 영상 기반 렌더링 방법을 비교하면, 깊이 영상 데이터 기반 방법은 기준 영상과 깊이 영상을 이용하여 3차원 영상을 생성하는 방법이다. 깊이 영상 기반 렌더링 방법은 상기 깊이 영상을 소정의 시점(viewpoint)으로부터 와핑 방정식을 이용하여 3차원 영상의 좌우 시점 영상에 필요한 시차(disparity)를 계산하여 기준 영상을 이용하여 3차원 영상을 생성한다. 이와는 다르게 시차 맵 기반 렌더링 방법은 도 10의 1003에서 와핑 방정식을 이용하여 깊이 영상을 시차 맵으로 생성하여 전송함으로써 도 11의 1101에서 깊이 영상을 시차로 변환하는 과정이 불필요하다. 다시 말해, 시차 맵 기반 렌더링 방법은 상기 3차원 영상 데이터 송신장치로부터 깊이 영상 데이터가 아닌 시차 맵을 전송 받기 때문에, 3차원 영상 데이터 수신장치에서는 상기 깊이 영상 데이터를 시차 맵으로 변환하는 과정을 필요로 하지 않는다. 그런 다음, 상기 3차원 영상 데이터 수신 장치는, 1102단계에서 상기 3차원 영상 데이터를 디스플레이한다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 송신 장치의 구조를 개략적으로 도시한 도면,
도 2는 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터의 깊이 영상 데이터 및 상기 깊이 영상 데이터의 히스토그램을 도시한 도면,
도 3은 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터송신 장치의 제 1 필터링부(120)가 깊이 영상 데이터를 양자화하는 과정을 도시한 도면,
도 4는 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터송신 장치의 생성부(160)가 깊이 영상 데이터를 깊이 값으로 변환하여 생성한 시차맵을 설명하기 위한 도면,
도 5는 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터를 송신하기 위해 변환된 깊이 값에 따른 시차를 도시한 그래프,
도 6은 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 수신장치의 구조를 개략적으로 도시한 도면,
도 7은 본 발명의 실시 예에 따른 시차 맵 기반 렌더링 방법과 일반적인 깊이 영상 데이터 기반 렌더링 방법을 이용한 렌더링시 소요되는 시간을 비교한 도면,
도 8은 본 발명의 실시 예에 따른 3차원 영상 시스템에서 시스템에서 3차원 영상 데이터수신 장치의 렌더링부(620)에 의해 생성된 3차원 영상 데이터를 비교하기 위한 도면,
도 9는 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 송신 과정을 개략적으로 도시한 도면,
도 10은 본 발명의 실시 예에 따른 3차원 영상 시스템에서 3차원 영상 데이터 수신 과정을 개략적으로 도시한 도면이다.

Claims (10)

  1. 3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템에 있어서,
    복수의 영상촬영기기로부터 수신된 영상 데이터에 포함된 깊이 영상 데이터를 히스토그램을 이용하여 상기 깊이 영상 데이터를 양자화하는 제 1 필터링부;
    상기 양자화된 깊이 영상 데이터에서 경사도 방향으로 불연속성을 측정하고, 상기 측정한 불연속성을 이용하여 경사도 방향 기반 평활화 필터링하는 제 2 필터링부;
    상기 양자화 및 경사도 방향 기반 평활화 필터링된 깊이 영상 데이터의 화소 값을 시차값으로 변환하여 시차맵을 생성하는 생성부; 및
    상기 생성된 시차 맵과 상기 영상 데이터에 포함된 기준 영상 데이터를 소정의 데이터로 인코딩하는 인코딩부
    를 포함함을 특징으로 하는 3차원 영상 데이터 제공 시스템.
  2. 제 1 항에 있어서, 상기 제 1 필터링부는,
    상기 히스토그램에서 상기 깊이 영상 데이터의 최대 화소값을 이용하여 상기 깊이 영상 데이터의 모든 화소 값에 대해 구간을 나누는 것을 특징으로 하는 3차원 영상 데이터 제공 시스템.
  3. 제 1 항에 있어서, 상기 제 1 필터링부는,
    상기 화소값에 대한 구간마다 상기 최대 화소 값과 상기 깊이 영상 데이터의 화소 값을 비교하여 소정의 화소값에 해당하는 상기 깊이 영상 데이터의 화소 값을 상기 히스토그램에서 제외시켜 양자화하는 것을 특징으로 하는 3차원 영상 데이터 제공 시스템.
  4. 제 1 항에 있어서, 상기 제 2 필터링부는,
    상기 경사도 방향 기반 평활화 필터링을 통해 상기 양자화된 깊이 영상 데이터에 포함된 비폐색 영역을 보간하는 것을 특징으로 하는 3차원 영상 데이터 제공 시스템.
  5. 제 1 항에 있어서, 상기 생성부는,
    상기 평활화 필터링된 깊이 영상 데이터의 화소 값을 상기 깊이 영상 데이터에서의 깊이 값으로 변환한 후, 상기 깊이 값을 와핑(warping)하여 시차 값으로 변환하는 것을 특징으로 하는 3차원 영상 데이터 제공 시스템.
  6. 제1항에 있어서,
    상기 영상 데이터를 표시하는 수신기를 더 포함하며,
    상기 수신기는,
    소정의 3차원 영상에 대한 시차 맵과 기준 영상 데이터가 포함된 데이터를 수신하고, 상기 수신한 데이터에서 상기 시차 맵과 상기 기준 영상 데이터를 각각 디코딩하는 디코딩부;
    상기 디코딩된 시차 맵을 이용하여 상기 기준 영상을 3차원 영상 데이터로 렌더링하는 렌더링부; 및
    상기 렌더링된 3차원 영상 데이터를 디스플레이하는 디스플레이부
    를 포함함을 특징으로 하는 3차원 데이터 제공 시스템.
  7. 3차원 영상 시스템에서 3차원 영상 데이터 제공 방법에 있어서,
    복수의 영상촬영기기로부터 수신된 영상 데이터에 포함된 깊이 영상 데이터의 히스토그램을 이용하여 상기 깊이 영상 데이터를 양자화하는 단계;
    상기 양자화된 깊이 영상 데이터에서 경사도 방향으로 불연속성을 측정하고, 상기 측정한 불연속성을 경사도 방향 기반 평활화 필터링하는 단계;
    상기 평활화 필터링된 깊이 영상 데이터의 화소 값을 시차값으로 변환하여 시차맵을 생성하는 단계;
    상기 생성된 시차 맵을 이용하여 상기 기준 영상을 3차원 영상 데이터로 렌 더링 하는 렌더링 단계; 및
    상기 렌더링된 3차원 영상 데이터를 디스플레이하는 단계
    를 포함함을 특징으로 하는 3차원 영상 데이터 제공 방법.
  8. 제 7 항에 있어서, 상기 양자화하는 단계는,
    상기 히스토그램에서 상기 깊이 영상 데이터의 최대 화소값을 이용하여 상기 깊이 영상 데이터의 화소 값의 구간을 나누고, 상기 화소값의 구간마다 상기 최대 화소 값과 상기 깊이 영상 데이터의 화소 값을 비교하여 소정의 화소값에 해당하는 상기 깊이 영상 데이터의 화소 값을 상기 히스토그램에서 제외시켜 양자화하는 것을 특징으로 하는 3차원 영상 데이터 제공 방법.
  9. 제 7 항에 있어서, 상기 평활화 필터링하는 단계는,
    상기 경사도 방향 기반 평활화 필터링을 통해 상기 양자화된 깊이 영상 데이터에 포함된 비폐색 영역을 보상하는 것을 특징으로 하는 3차원 영상 데이터 제공 방법.
  10. 제 7 항에 있어서, 상기 생성하는 단계는,
    상기 평활화 필터링된 깊이 영상 데이터의 화소 값을 상기 깊이 영상 데이터에서의 깊이 값으로 변환한 후, 상기 깊이 값을 와핑(warping) 방정식을 이용하여 시차 값으로 변환하는 것을 특징으로 하는 3차원 영상 데이터 제공 방법.
KR1020090117445A 2009-04-22 2009-11-30 3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템 및 방법 KR20100116520A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090035220 2009-04-22
KR1020090035220 2009-04-22

Publications (1)

Publication Number Publication Date
KR20100116520A true KR20100116520A (ko) 2010-11-01

Family

ID=43403507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090117445A KR20100116520A (ko) 2009-04-22 2009-11-30 3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20100116520A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428866B1 (ko) * 2012-10-26 2014-08-12 한국과학기술원 스테레오 영상의 깊이감 조절 장치 및 방법
KR101475936B1 (ko) * 2013-05-03 2014-12-23 고려대학교 산학협력단 3d 영상 배포 시스템
KR20160004605A (ko) * 2014-07-03 2016-01-13 성균관대학교산학협력단 깊이 와핑에 기반한 폐색 컬링을 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428866B1 (ko) * 2012-10-26 2014-08-12 한국과학기술원 스테레오 영상의 깊이감 조절 장치 및 방법
KR101475936B1 (ko) * 2013-05-03 2014-12-23 고려대학교 산학협력단 3d 영상 배포 시스템
KR20160004605A (ko) * 2014-07-03 2016-01-13 성균관대학교산학협력단 깊이 와핑에 기반한 폐색 컬링을 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Similar Documents

Publication Publication Date Title
Shi et al. Perceptual evaluation of light field image
CN101276060B (zh) 控制立体视图或多视图序列图像的动态深度的方法和装置
JP5763184B2 (ja) 3次元画像に対する視差の算出
JP5750505B2 (ja) 立体映像エラー改善方法及び装置
US8488870B2 (en) Multi-resolution, multi-window disparity estimation in 3D video processing
CN1956555B (zh) 三维图像处理设备和方法
EP2625861B1 (en) 3d video control system to adjust 3d video rendering based on user preferences
US20220377362A1 (en) Method, system and computer program product for encoding disparities between views of a stereoscopic image
KR101498535B1 (ko) 스테레오스코픽 및 멀티-뷰 이미지들의 송신, 프로세싱 및 렌더링을 위한 시스템 및 방법
US9030530B2 (en) Stereo-image quality and disparity/depth indications
JP2013527646A5 (ko)
Zhou et al. Reduced-reference stereoscopic image quality assessment based on view and disparity zero-watermarks
US8675040B2 (en) Method and device for adjusting depth perception, terminal including function for adjusting depth perception and method for operating the terminal
Nguyen et al. Efficient techniques for depth video compression using weighted mode filtering
JP2008505522A (ja) ビデオ処理
US8768073B2 (en) Method, system and computer program product for coding a region of interest within an image of multiple views
KR20100116520A (ko) 3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템 및 방법
Azzari et al. A modified non-local mean inpainting technique for occlusion filling in depth-image-based rendering
Scandarolli et al. Attention-weighted rate allocation in free-viewpoint television
Liu et al. Joint 3-D image quality assessment metric by using image view and depth information over the networking in IoT
JP4860763B2 (ja) 画像符号化装置、画像符号化装置の制御方法、制御プログラムおよび記録媒体
WO2011158562A1 (ja) 多視点画像符号化装置
US11233999B2 (en) Transmission of a reverse video feed
Shi et al. A perceptual preprocess method for 3D-HEVC
CN116325721A (zh) 用于编码和解码多视图视频的方法

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination