KR20150037668A - 3 차원 비디오 스트림의 심도 이미지 기반 렌더링의 시각적 개량을 위한 에지 형상 보강을 위한 방법 및 디바이스 - Google Patents
3 차원 비디오 스트림의 심도 이미지 기반 렌더링의 시각적 개량을 위한 에지 형상 보강을 위한 방법 및 디바이스 Download PDFInfo
- Publication number
- KR20150037668A KR20150037668A KR20140131549A KR20140131549A KR20150037668A KR 20150037668 A KR20150037668 A KR 20150037668A KR 20140131549 A KR20140131549 A KR 20140131549A KR 20140131549 A KR20140131549 A KR 20140131549A KR 20150037668 A KR20150037668 A KR 20150037668A
- Authority
- KR
- South Korea
- Prior art keywords
- edge
- edges
- video content
- original
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 180
- 230000000007 visual effect Effects 0.000 title claims description 27
- 238000009877 rendering Methods 0.000 title description 12
- 238000012937 correction Methods 0.000 claims description 139
- 230000008569 process Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 230000001419 dependent effect Effects 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 9
- 238000013441 quality evaluation Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 4
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 238000013459 approach Methods 0.000 description 9
- 238000003708 edge detection Methods 0.000 description 7
- 238000001303 quality assessment method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Treatment Of Fiber Materials (AREA)
- Processing Or Creating Images (AREA)
Abstract
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법이 설명되어 있고, 상기 비디오 컨텐츠는 적어도 하나의 원래의 뷰 이미지 및 적어도 하나의 심도 또는 디스패리티 맵을 포함하고, 상기 방법은: - 원래의 에지들을 획득하기 위하여 상기 적어도 하나의 원래의 뷰 이미지에서 에지들을 검출하는 단계; - 상기 심도 또는 디스패리티 맵에 따라 상기 원래의 에지들을 워핑하는 단계; - 워핑 프로세스에 의해 변경되는 워핑된 에지들의 세트를 검출하는 단계; - 정정된 에지들을 획득하기 위하여 상기 변경된 에지들을 정정하는 단계를 포함한다.
Description
본 발명은 3 차원 비디오 스트림의 심도 이미지 기반 렌더링(depth image based rendering)의 시각적 개량을 위한 에지 형상 보강을 위한 방법 및 디바이스에 관한 것이다.
3D 디스플레이 기술들에 있어서의 최근의 발전들은 3D TV의 성공을 위한 다수의 기술적 도전들과 함께 나아간다. 다양한 기술들이 효율적인 코딩, 송신 및 렌더링을 위해 제안되었다. 다수의 뷰(view)들을 송신하기 위해 이용가능한 데이터 레이트에 대한 제약들로 인해, 약간의 원래의 뷰들만이 그 심도(depth)들과 함께 전달될 수 있고, 다른 중간 뷰들은 심도 이미지 기반 렌더링 (depth image based rendering; DIBR) 기술들을 이용하여 이용가능한 뷰들 및 그 심도들로부터 발생된다. 통상적으로, 2 개 또는 3 개의 뷰들 및 그 대응하는 심도들이 중간 뷰들을 렌더링하기 위하여 이용된다. 임의의 DIBR 기술의 목적은 가상 뷰들에서 높은 시각적 품질을 달성하는 것이다. 이것은 심도들이 추정 또는 측정 에러들, 양자화 및/또는 손실 있는 압축으로 인해 부정확할 때에는 도전적인 작업이다.
거의 모든 뷰 합성 기술들은 2 개의 국면들에서 동작하고: 첫째, 원래의 뷰들은 중간 뷰를 발생시키기 위하여 함께 워프(warp) 및 융합(fuse)되고; 다음으로, 중간 뷰에서의 결손 영역들은 다양한 복원 방법들에 의해 복구된다. 각각의 픽셀의 새로운 위치는 그 심도 및 카메라 파라미터들에 종속된다. 심도에 있어서의 작은 에러는 픽셀의 최종 위치에 있어서 큰 변동을 야기시킬 수도 있다. 뷰 합성에 있어서의 두 번째 국면은 구멍 채우기(hole filling) 또는 복원으로서 알려져 있다.
가장 전형적인 경우는 2 개의 원래의 뷰들, 즉, 대응하는 심도 맵(depth map)들에 의해 동반된 좌측 및 우측 뷰들 사이에서의 중간 뷰의 발생이다.
Vl 및 Vr이 8 개의 비트 정수들로 양자화되는 대응하는 심도들 Dl, Dr을 갖는 2 개의 입력 뷰들이라고 한다. Zn 및 Zf은 각각 가장 근접한 그리고 가장 먼 심도라고 한다. 가장 통상적인 세팅(setting)은 카메라 초점 길이 f를 갖는 수평 카메라들 셋업(setup)이고, 여기서, bl, br은 각각 좌측 및 우측 카메라의 위치들이다. 보통, b = br - bl 은 카메라 기선(baseline)이라고 지칭된다. Vm은 누군가가 기꺼이 추정할려고 하는 중간 가상 뷰(intermediate virtual view)라고 한다. Vm에 대한 가상 카메라의 위치는 
일 것이다. Vm을 발생시키기 위하여, 좌측 뷰의 픽셀들은 타겟 중간 가상 카메라로 워핑(warping)되고; 유사하게, 우측 뷰는 중간 뷰로 워핑된다. 다음으로, 2 개의 획득된 가상 뷰들은 최종 가상 뷰를 획득하기 위하여 병합된다. 2 개의 중간 뷰들은 보통 서로를 보완하고 대부분의 교합(occlusion)들을 채우도록 허용한다. Vl'은 좌측 가상 뷰라고 한다. 수평 카메라로 인해, 배치 Vl'은 픽셀 좌표들에 수평 시프트(shift)들을 적용함으로써 Vl로부터 획득된다. 픽셀 위치 
가 주어지면, 워핑된 위치 
는 
및 
가 되도록 된다. 열 시프트(column shift) 
는 다음과 같이 연산된다:
여기서, d는 좌표들(u, v)을 갖는 원래의 픽셀의 심도이다.
심도들은 일반적으로 양자화된 디스패리티(quantized disparity)(즉, 역 심도(inverse depth))의 형태로 제공된다. 우리는 이러한 양자화된 심도 맵들을 식별하기 위하여 표기 Dl(Dr)을 이용한다. 실제적인 심도는 다음과 같이 연산될 수도 있다:
유사하게, 우측 가상 뷰 Vr'가 연산된다(우측 가상 뷰에 대하여, 
는 워핑된 위치를 얻기 위하여 원래의 열 번호에 추가된다). 마지막으로, 2 개의 가상 뷰들은 중간 뷰 Vm를 얻기 위하여 병합되고, 구멍들은 일부 복원 알고리즘에 의해 복구된다.
DIBR 기술들은 다수의 쟁점들, 예를 들어, 교정 에러(rectification error)들, 불완전한 컬러 정정(color correction) 및 잘못 계산된 심도 정보로 인해 일부 분명한 아티팩트(artifact)들에 의해 일반적으로 영향을 받는 중간 뷰들을 생성할 수 있다.
그러므로, 심도 또는 디스패리티 정보에 있어서의 에러들 또는 부정확성들을 검출하고 정정함으로써 3 차원 비디오 스트림의 중간 뷰들의 이미지 품질을 개선시키기 위한 필요성이 있다.
그러므로, 상기 문제점들/단점들을 해소하는, 3 차원 비디오 스트림의 심도 이미지 기반 렌더링의 시각적 개량을 위한 에지 형상 보강을 위한 방법 및 디바이스를 제공하는 것이 본 발명의 주요 목적이다.
심도 정보는 몇몇 뷰들에서의 대응하는 포인트(point)들의 스테레오 정합(stereo matching)에 기반한 알고리즘들에 의하여 일반적으로 추정된다. 이 프로세스는 불량의 문제점이고, 그러므로, 일부 추정 에러들이 고려되어야 한다는 점이 발견되었다. 다른 경우들에는, 심도(depth) 또는 디스패리티(disparity)가 센서들, 예를 들어, 레이저 기반 비행 시간(laser based time of flight)에 의해 측정될 수 있다. 심도 정보는 열악한 추정, 측정들 및 압축 아티팩트(artifact)들로 인해 객체들의 에지들을 따라 보통 부정확하고; 결과적으로, DIBR 워핑 프로세스는 종종 객체들의 경계들을 파괴하고, 이것은 가상 뷰에서의 열악한 시각적 품질로 귀착된다.
그러므로, 본 발명의 주요한 목적은 입체 이미지들(또는 비디오 스트림들)의 심도 또는 디스패리티 맵들에서 심도 또는 디스패리티 정보를 검출 및 정정함으로써 중간 뷰들의 이미지 품질을 개선시키기 위한 것이다.
입체 비디오 스트림들에 심도 맵과 디스패리티 맵 사이에 이중적 유니보컬(biunivocal) 관계가 있다는 것이 본래 알려져 있고, 그러므로, 아래에서는, 발명의 범위가 두 종류들의 맵들을 커버하도록 확장된다는 것을 이해해야 한다. 용어 "맵(map)"은 심도 및 디스패리티 맵의 둘 모두를 식별하기 위하여 이용될 것이다.
이 발명의 목적은 다음 중의 어느 하나에 기반으로 하여 DIBR의 성능을 개선시키기 위한 것이다.
- 수신기측 상의 중간 뷰 합성 프로세스의 정정
- 또는 송신 전의 심도 또는 디스패리티 맵들의 정정.
또한, 에지들을 따라 워핑 에러를 평가하기 위한 메트릭의 세트가 도입되고, 멀티 뷰 플러스(plus) 심도 컨텐츠 품질 평가를 위해 유익하게 이용될 수 있다.
모든 이 목적들은 에지들 형상의 이전의 지식을 사용하여 달성된다.
이 목적을 달성하기 위하여, 발명의 목적은 상당한 워핑 에러를 거치는 에지들을 먼저 구하고 다음으로, 정정을 그러한 에지들에 적용하는 기술이다. 실제로, 정정들은 2 개의 모드들에서 적용될 수도 있고; (수신기에서 더 양호한 DIBR 성능을 보장하도록 심도 또는 디스패리티 맵들의 전달 전에 송신기측 상에서) 대응하는 에러 있는 심도들을 정정하거나, DIBR을 수행하는 동안에 또는 이미지를 디스플레이로 전송하기 전에 포스트프로세싱(postprocessing)으로서 수신기측에서 가상 뷰에 대한 정정들을 적용한다. 두 경우들에 있어서, 우리는 직선 라인들 및 에지들이 전형적인 변환들(즉, 투영 변환들) 하에서 보존된다는 이전의 지식을 사용한다.
제안된 해결책은 객체 윤곽들이 원래의 (좌측 또는 우측 뷰) 그리고 중간 뷰들에서 대략 동일한 형상을 나타낼 것으로 예상된다는 지식을 보강한다.
일 예로서, 직선 라인들은 투영 변환 하에서 불변이고, 그러므로, 누군가는 좌측 뷰에서의 직선 라인들은 워핑된 이미지에서 직선 라인들로서 재투영되어야 한다는 것을 알고 있다.
유사하게, 일반적인 에지는 그 형상을 상당히 변화시키지 않으면서 워핑되어야 한다. 이 선험적 지식 및 재투영에 의하여, 원래의 에지 형상을 재현함에 있어서의 에러는 최소화된다.
최종적으로, 에지들을 따라 워핑 에러들을 캡처하기 위한 제안된 메트릭들은 뷰 합성 및 보간을 위해 이용되어야 한 심도(또는 디스패리티) 맵들의 품질을 평가할 수 있는 시스템 및 장치를 위한 구성 블록으로서 이용될 수 있다.
그러므로, 발명의 기본적인 사상은 원래의 뷰 및/또는 심도 맵들에 대해 작용하는 에지 검출 알고리즘을 이용하여, 원래의 뷰들 및/또는 관련된 심도 맵들로부터 시작하여 획득된 중간 뷰들의 재구성의 3D 비디오 시스템에서 합성된 뷰들의 에지들을 정정하는 것이다.
멀티-뷰 또는 자동입체 3D 디스플레이 시스템에서의 중간 뷰들의 합성 기술들에서는, 이용된 심도 맵들의 정확도가 매우 중요하다.
이미지들의 에지들의 심도 값들이 보고되며, 그 아티팩트들에 의해 영향을 받으며 시청자(viewer)에 의해 인지되는 품질에 크게 기여하는 정밀도 및 정확도가 특히 중요하다.
특히, 이미지들의 에지들의 연속성 및 연결성을 변경하는 임의의 종류의 왜곡을 회피하는 것이 필요하다.
발명의 대상인 기술적 해결책은 합성된 뷰에서의 또는 뷰들을 합성하기 위하여 이용되는 심도 맵들에서의 에지들의 품질(연속성 및 연결성)을 강력하게 개선시키고, 합성된 3 차원 이미지들의 전체적인 품질을 개선시키는 것에 결정적으로 기여한다.
정정 기술은:
ㆍ3 차원 비디오 스트림의 재구성 국면에서, 원래의 뷰들 또는 합성된 뷰들과 연관되고 궁극적으로 디코딩된 심도 맵들을 정정하기 위하여;
ㆍ3 차원 비디오 스트림의 포맷팅 및 가능한 인코딩 전에 이용될 수 있다.
여기서, 아래에서는, 발명의 실시예들의 일부 비-제한적인 예들이 재구성 국면에서의 정정의 방법과 관련하여 요약된다. 이 예들은 바람직한 실시예들의 상세한 설명의 단락에서 상세하게 설명될 것이다.
제 1 실시예의 해결책에 따르면, 예를 들어, §1에서 이하에 설명되는 바와 같이, 에지들은 재구성된 3 차원 비디오 스트림의 합성된 뷰에서 직접 정정된다. 에지들은 종종 원래의 뷰들과 연관되는 추정된 심도 맵들에서의 잡음 또는 에러들로 인해 종종 열화되므로, 에지들은 정정되어야 한다. 이 정정이 재구성 동안에 행해질 때, 압축된 형태(예를 들어, AVC 또는 HEVC 표준에 따라 코딩됨) 또는 비-압축된 형태로 수신될 수 있는, 수신된 뷰/뷰들로부터, 그리고 대응하는 심도 맵들로부터 시작하여 동작이 수행된다.
제 1 프로세싱은 수신되고 재구성된(디코딩된) 원래의 시작 뷰 상의 에지들(본래 알려진, 예를 들어, Sobel 에지)의 검출 및 추출을 위한 알고리즘들의 적용을 포함한다.
원래의 뷰로부터 획득된 에지들의 세트는 예를 들어, §1.1에서 이하에 설명된 바와 같이, 대부분의 중요한 에지들이 (미리 정의된 기준들, 예를 들어, 가장 긴 에지들, 직선, 어떤 방향으로 배향, 뷰포인트에 가장 근접함, 등에 따라) 선택되고 및/또는 직선 세그먼트들의 시퀀스들로서 가장 긴 에지들이 세그먼트화되는 추가의 프로세싱을 선택적으로 거치게 된다.
적용되는 하나 또는 그보다 더 많은 기준들의 세트는 시각적 품질과, 도입된 희망하는 추가적인 연산 복잡도 사이의 희망하는 균형에 종속된다.
모든 에지들, 또는 오직 선택된 에지들 및/또는 프리프로세싱된 에지들은 합성된 이미지에서 동일한 에지들의 위치를 유도하도록, 시작 뷰에 연관된 심도 맵을 이용함으로써 투영된다. 다음으로, 이 투영된 에지들("워핑"을 거침), 또는 이들을 구성하는 픽셀들의 더욱 정밀한 위치들은 수신 및 재구성된 원래의 뷰의 픽셀들의 대응하는 위치들과 비교된다.
에지 픽셀들의 위치들 사이의 불일치의 경우, 원래의 뷰로부터 검출 및 추출된 에지들에 속하는 픽셀들은 투영된 에지 픽셀들의 위치를 정정하기 위하여 이용된다.
정정을 수행하기 위하여, 예를 들어, §1.2에서 이하에 설명된 바와 같이, 심도 맵에서 표현된 에지들에서 나타내는 에러의 측정 방법을 이용하여 어느 에지들이 변경되는지를 판정하는 것이 필요하다.
예를 들어, §1.2.1에서 이하에 설명된 바와 같이, 제 1 방법은 2 개의 이미지들에서의 대응하는 에지들의 형상들 사이의 비교에 기반으로 하고: 에지의 전체적인 형상의 대표 포인트의 좌표들은 예를 들어, 그 중력의 중심 또는 그 중간값 포인트로서, 각각의 중요한 에지에 대해 계산되고; 맵 및 투영된 뷰의 에지들의 픽셀들의 좌표들은 그 대표 포인트에 대하여 정규화된다. 에러는 원래의 에지의 각각의 픽셀의 위치의 정규화된 좌표들과, 대응하는 에지의 픽셀들의 위치 사이의 차이의 함수이다. 전체 에지에 걸쳐 에러의 전체적인 척도를 얻기 위하여, 예를 들어, 모든 에지를 따라 에러들의 모듈들의 합을 고려하여 결과적인 값들을 적절하게 조합하는 것이 가능하다.
예를 들어, §1.2.2에서 이하에 설명된 바와 같이, 제 2 방법은 원래의 뷰로부터 추출된 것들과 비교하여 투영된 에지들의 궤도에서의 예외들의 검출에 기반으로 하고 있다. 투영된 에지에 속하는 각각의 픽셀에 대하여, 원래의 뷰의 에지에 대하여 예를 들어, 그래디언트(gradient)를 갖는 국소적인 편차가 검출될 경우, 정정되어야 하는 에러가 심도 맵에서 가정된다.
일 예는 수평 및 수직 좌표들의 차이 사이의 비율의 모듈의 계산에 있고: 값이 1 보다 더 클 때, 투영된 픽셀들의 위치가 잘못된 것으로 가정된다.
도 9를 참조하면, 계수 >1 인 수평 및 수직 그래디언트를 갖는 i-번째 픽셀의 불연속적인 에지 
의 예가 도시되어 있다.
더욱 일반적으로, 뷰의 상응하는 에지들 및 심도 맵에 따라 투영된 에지들의 대응하는 픽셀들의 그래디언트들이 계산되고, 그 값들이 비교된다: 어떤 요건(예를 들어, 임계값을 초과함)을 충족시키는 그래디언트 차이를 갖는 픽셀들이 정정된다.
이 경우에도, 예를 들어, 관련된 그래디언트들을 모듈에 의해 합산함으로써, 그것을 구성하는 픽셀의 에러로부터 시작하여 에지의 전체적인 에러의 척도가 획득될 수 있다. 이러한 방법으로, 어느 에지들이 상당히 변경되었는지를 결정하는 것이 가능하고, 따라서, 이들을 정정하는 것이 적절하다.
일단 에지들 및/또는 심도 맵의 변경된 에지들의 픽셀들이 검출되면, 그 정정은 예를 들어, §1.3에서 이하에 설명된 바와 같이, 원래의 뷰의 에지들에 기반으로 하여 그 정정이 행해질 수 있다.
3 개의 가능한 정정 기술들은 비-제한적인 예들로서 적용될 수 있다.
예를 들어, §1.3.1에서 이하에 설명된 바와 같이, 제 1 정정 기술은 예를 들어, §1.2.1에서 이하에 설명된 바와 같이, 에지들 사이의 비교의 방법을 적용함으로써 계산된 에러 값을 각각의 픽셀의 좌표들로부터 감산함으로써, 투영된 에지의 픽셀들의 위치를 계산하는 것을 제공한다. 이 기술로부터 기인하는 연산 코스트를 제한하기 위하여, 정정은 그 전체 에러가 미리 결정된 임계치를 초과하는 에지들만으로 제한될 수 있다.
제 2 정정 기술은 예를 들어, §1.2.2에서 이하에 설명된 바와 같이, 예를 들어, 그래디언트의 척도에 기반으로 하여 에지들의 시기적절한 정정을 위하여 국소적인 연산자의 적용에 기반으로 하고 있다.
제 3 기술은 정정되어야 할 근처의 픽셀들의 원래의 뷰의 에지의 그래디언트의 값에 종속적인 함수에 기반으로 한 정정을 포함한다. 특히, 투영된 에지의 대응하는 픽셀들의 대응관계에서 계산된 그래디언트의 값을 갖는 이전의 픽셀의 좌표들의 합의 함수를 적용함으로써 에지의 픽셀을 정정하는 것이 가능하다.
비디오 이미지는 경계들만을 포함하지는 않고: 그것은 또한, 에지에 의해 분리된 이미지의 구역들을 특징화하는 컬러(color)들, 그 음영(shade)들 및 텍스처(texture)들을 포함한다. 변경된 에지들의 변위는 예를 들어, 도 10에서 도시된 바와 같이, 정정 전의 에지의 추세와 간섭할 수도 있는 인접한 구역들에서 도입된 불연속성으로 인해 시각적 아티팩트들을 야기시킬 수 있다.
(정확한 심도 맵 및 대응하는 원래의 뷰의 조합에 의해 제공되는) 정정되는 합성된 이미지들의 일관성을 보존하기 위하여, 정정의 동작에서의 정정에 기반으로 한 이동된 에지들의 근처에서는, 예를 들어, §1.4에서 이하에 설명되고 도 11에 도시된 바와 같이, 에지의 재계산된 픽셀들과 함께, 주위의 픽셀들의 심지어 일부를 정정하는 것이 가능하다.
이 기술은 "에지 보강"이라고 지칭된다. (예로서 도 11에 개략적으로 도시된 바와 같이) 예리한 경계들을 갖는 정정되어야 할 주위의 영역을 정의하는 대신에, 정정된 에지에 인접한 픽셀들은 근접한 에지로부터의 픽셀들의 거리에 종속되는 가중처리 함수(weighting function)에 따라 합성된 뷰에서 멜팅(melting)될 수 있다.
정정 기술은 단일 뷰 및 관련된 심도 맵, 또는 2 개 또는 그보다 더 많은 뷰들 및 관련된 (심도 또는 디스패리티) 맵들에 적용될 수 있다.
3 차원 비디오 스트림의 원래의 뷰들로의 방법의 적용의 경우, 평상 시와 같이, 하나의 뷰의 에지들은 관련된 심도 맵에 따라 워핑되고, 워핑된 에지들은 (예를 들어, §2.2에서 이하에 설명된 바와 같이) 입체 쌍의 다른 뷰에서 이전에 검출된 에지들과 비교된다. 합성된(워핑된) 뷰에서의 에지 정정은 예를 들어, 위치에서의 그 차이를 연산함으로써, 변경된 워핑된 에지들 및 다른 뷰에서 검출된 것들과의 비교에 의해 수행된다. 정정 기술이 심도 맵들 상에서 이용될 경우에, 유사한 접근법이 가능하다.
발명의 또 다른 실시예에서는, 2 개의 맵들에 적용가능한 정정의 기술을 상이한 방법들로 조합하는 것이 가능하다:
- 각각의 합성된 뷰 또는 맵은 그 대응하는 뷰에 따라 독립적으로 정정되고;
- 하나의 뷰 또는 대응하는 맵에서의 부정확한 에지들은 다른 뷰에서 정정되고;
- 두 뷰들에 기반으로 하여 정정가능한 에지들은 미리 결정된 기준을 충족시키는 뷰의 그러한 에지들, 예를 들어, 이용가능한 에러 메트릭들에 따라 더 낮은 투영 에러를 제공하는 에지들을 이용하여 정정된다. 명백히, (예를 들어, 교합(occlusion)으로 인해 다른 것에는 존재하지 않는) 단일 뷰에서 존재하는 에지들이 단일 뷰로부터만 정정될 수 있다.
2 개를 초과하는 (원래의) 뷰들을 갖는 비디오 스트림의 3 차원 컨텐츠의 경우에는, 이용가능한 뷰들 또는 관련된 심도(또는 디스패리티) 맵들의 상이한 쌍들에 그것을 반복적으로 적용함으로써 상기 에지 정정 방법들 중의 임의의 것을 적용하는 것이 가능하다.
여기서, 아래에서는, 발명의 실시예들의 일부의 비-제한적인 예들이 컨텐츠 준비 또는 3 차원 비디오 스트림의 생성의 국면에서의 정정 방법과 관련하여 요약되어 있다. 이 예들은 바람직한 실시예들의 설명의 단락에서 상세하게 설명될 것이다.
심도 맵들의 정정은 3 차원 비디오 컨텐츠의 준비 또는 생성의 국면에서 또한 수행될 수 있다. 이 경우, 에지들의 픽셀들의 위치가 정정되어야 하는 것이 아니라, 그 대신에, 대응하는 심도 맵에서 표현된 심도 값이 정정되어야 한다. 특히, 정확한 에지들의 시프트(또한 디스패리티라고 지칭됨)가 계산된다. 이것으로부터, 대응하는 정확한 심도 값은 심도 및 시프트 값들 사이의 알려진 관계를 이용함으로써 획득된다.
그러므로, 제 1 단계는 정확한 에지들을 획득하고 있다. 이것은 재구성 국면에서 정정 기술에 대해 설명된 것과 유사한 방법으로 발생한다.
우선, 원래의 뷰의 모든 에지들(정정기(corrector) 에지들)은 임의의 알려진 기술로 검출된다. 이것은 이전의 정정 기술에 대해 설명된 바와 같이, 관련된 심도 맵을 이용하여 중간 뷰에서 투영된다. 그러나, 동시에, 픽셀 에지들의 시프트들의 맵이 계산된다(대응하는 심도 값들의 지식으로부터 알려진 방식으로 획득됨). 이 시프트는 투영된 에지의 위치를 유도하기 위하여 에지의 수평 좌표에 추가된다.
다음으로, 에지들에 따른 투영 에러, 즉, 투영된 에지들과 정확한 에지들 사이의 차이가 계산되고, 그 후, 정확한 시프트 맵은 원래의 에지의 시프트와 위에서 정의된 에러 사이의 차이로서 계산된다. 이때, 심도 맵 값은 에지들의 각각의 픽셀에 대하여, 심도와, 변위 또는 디스패리티와 관련되는 공식을 이용함으로써 정정된다.
에지들의 심도 값들의 정정은 합성된 뷰에서 발생하는 것과 유사한 방법으로, 맵에서의 아티팩트들의 가능한 생성을 단독으로 포함한다. 유사하게, 이 아티팩트들을 제거하기 위하여, 방법은 위에서 설명된 바와 같이 에지 보강과 유사하게 채용될 수 있다.
준비 또는 발생 프로세스에서 적용가능한 이 제 2 정정 기술은 단일 뷰 및 상대적 심도 맵의 경우에 직접 이용될 수 있다. 상대적 심도 맵들을 갖는 2 개 또는 그보다 더 많은 뷰들이 포함될 때, 3D 비디오 컨텐츠의 각각의 쌍의 뷰/심도 맵을 위해 이용될 수 있는 제 2 정정 기술의 단계들을 다양한 방법들로 조정하는 것이 가능하다. 예를 들어, 에지들의 검출 및 선택의 국면에 대하여, 예를 들어, §1.2.1에서 이하에 설명된 바와 같이, 스테레오 정합 도구들은 2 개의 심도 맵들(좌측 및 우측)에서 에지들의 쌍 사이에서 대응관계를 구하고, 다음으로, 예를 들어, §1.1에서 이하에 설명된 바와 같이, 기준들 중의 하나에 따라 정정될 에지들을 선택하기 위하여 이용될 수 있다. 일단 2 개의 맵들에서의 에지의 대응관계가 설정되면, 제안된 에러 메트릭은 투영된 에지와 하나의 원래의 뷰에서의 대응하는 에지 사이에서 정의될 수 있다.
발명의 또 다른 양상은 3 차원 비디오 스트림의 심도 또는 디스패리티 맵들에 대한 품질 평가 도구로서의 품질 메트릭들의 가능한 이용과 관련된다.
이미지 품질의 알려진 객관적 표시자들(예를 들어, PSNR, SSIM 및 VQA)은 심도 맵들의 품질의 추정을 위해 항상 이용될 수 있는 것은 아니다. 에지들의 품질은 합성된 이미지들의 주관적 품질에 상당히 기여하므로, 예를 들어, §1.2.1 및 §1.2.2에서 이하에 설명된 바와 같이, 투영된 에지들의 에러를 측정함으로써 획득된 함수들은 심도 맵들의 품질의 표시자들로서 이용될 수도 있다. 특히, 이러한 메트릭들의 2 개의 버전들을 정의하는 것이 가능하다.
"절대 에지 워핑(Absolute Edge Warping; AWE) 에러 메트릭"이라고 지칭되는 제 1 메트릭은 원래의 뷰의 에지들의 투영에 기반으로 하고, 예를 들어, §1.2.1에서 이하에 설명된 바와 같이, 투영 전후의 에지의 위치를 비교함으로써, 심도 맵 값들에 의해 야기된 투영 에러를 측정한다.
평균 제곱 에러, 최대값 또는 임의의 다른 표준적인 통계적 척도를 연산하는 예로서, 에지 픽셀 레벨에서 정의된 에러의 함수들을 평가함으로써 어떤 시간 인스턴트(time instant)에서의 뷰와 연관된 심도 맵의 품질의 전체적인 척도를 얻는 것이 가능하다. 물론, 예를 들어, §1.1에서 이하에 설명된 바와 같이 기준들 중의 하나에 따라 선택된 에지들의 서브세트만을 측정을 위하여 선택하는 것이 또한 가능하다.
제안된 메트릭은, 반대로 인간 시각 체계(human visual system)에 의해 거의 가시적이지 않고, 그러므로, 주관적 품질을 열화시키지 않는 매우 짧은 에지들에서 큰 에러들에 의해 바이어싱(biasing)될 수 있다. 그러므로, 에지들의 길이에 대하여 가중처리된 제 2 메트릭이 제안되고: 각각의 에지의 에러는 더 긴 에지들에 더 높은 가중치를 배정하는 함수로 가중처리되고; 에지 길이들은 (예를 들어, 그것을 구성하는 픽셀들의 수를 고려하여) 임의의 알려진 기술들로 추정된다.
본 발명의 목적은 3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 제 1 방법이고, 상기 비디오 컨텐츠는 적어도 하나의 원래의 뷰(view) 이미지 및 적어도 하나의 심도 또는 디스패리티 맵을 포함하고, 상기 방법은: 원래의 에지들을 획득하기 위하여 상기 적어도 하나의 원래의 뷰 이미지에서 에지들을 검출하는 단계; 상기 심도 또는 디스패리티 맵에 따라 상기 원래의 에지들을 워핑(warping)하는 단계; 워핑 프로세스에 의해 변경되는 워핑된 에지들의 세트를 검출하는 단계; 정정된 에지들을 획득하기 위하여 상기 변경된 에지들을 정정하는 단계를 포함한다.
바람직하게 방법은 상기 비디오 컨텐츠의 이미지들 상에 상기 정정된 에지들을 적용함으로써 상기 3 차원 비디오 컨텐츠의 정정된 이미지들을 획득하는 추가 단계를 포함한다.
본 발명의 또 다른 목적은 3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법이고, 상기 비디오 컨텐츠는 적어도 2 개의 원래의 뷰 이미지들 및 적어도 2 개의 심도 또는 디스패리티 맵들을 포함하고, 프로세스는: 상기 적어도 2 개의 원래의 뷰들 중의 하나에 대하여 제 1 방법을 수행하는 단계; 상기 적어도 2 개의 원래의 뷰들 중의 다른 하나에 대하여 제 1 방법을 수행하는 단계를 포함하고, 여기서, 상기 방법은 상기 원래의 뷰들에 대하여 연속적으로 교대로 그리고 서로로부터 독립적으로 수행된다.
본 발명의 추가의 목적은 3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법이고, 상기 비디오 컨텐츠는 적어도 2 개의 원래의 뷰 이미지들 및 적어도 2 개의 심도 또는 디스패리티 맵들을 포함하고, 프로세스는: 상기 적어도 2 개의 원래의 뷰들 중의 하나에 대하여 제 1 방법을 수행하는 단계; 선행하는 단계 동안에 정정되지 않았던 다른 원래의 뷰의 에지들에 대하여 제 1 방법을 수행하는 단계를 포함한다.
본 발명의 추가의 목적은 3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법이고, 상기 비디오 컨텐츠는 적어도 2 개의 원래의 뷰 이미지들 및 적어도 2 개의 심도 또는 디스패리티 맵들을 포함하고, 프로세스는: 상기 2 개의 원래의 뷰 이미지들의 둘 모두에 대하여 제 1 방법을 적용하여 상기 3 차원 비디오 컨텐츠의 어느 에지들이 정정될 수 있는지를 결정하는 단계, 및 이전의 단계 동안에 결정된 에지들에 대하여 제 1 방법을 적용하는 단계를 포함한다.
본 발명의 추가의 목적들은 청구항 제 24 항 또는 제 25 항에서 설명된 바와 같이, 3 차원 비디오 컨텐츠와 관련된 원래의 뷰에 대응하는 심도 맵의 품질을 평가하기 위한 방법이다.
본 발명의 추가의 목적들은 청구항 제 29 항 내지 제 31 항에서 설명된 바와 같은, 비디오 프로세싱 장치 또는 청구항 제 32 항에서 설명된 바와 같은 비디오 품질 평가 장치이다.
본 발명의 추가 목적들은 청구항 제 30 항에서 설명된 바와 같은, 3 차원 비디오 컨텐츠의 재구성을 위한 시스템, 및 청구항 제 31 항에서 설명된 바와 같은, 3 차원 비디오 컨텐츠의 생성을 위한 시스템이다.
이러한 그리고 추가의 목적들은 본 설명의 일체적인 부분을 형성하는 첨부된 청구항들에서 설명된 바와 같이, 3 차원 비디오 스트림의 심도 이미지 기반 렌더링의 시각적 개량을 위한 에지들 형상 보강을 위한 방법 및 디바이스에 의해 달성될 수 있다.
발명은 첨부된 도면들을 참조하여 판독될, 단지 예시적이고 비-제한적인 예에 의해 주어지는 다음의 상세한 설명으로부터 완전히 명확해질 것이다.
도 1은 '형상 정합' 기술을 이용하여 에지 에러 검출 및 정정의 예들을 더욱 상세하게 도시한다:
도 1a는 원래의 에지 ej; 중심 cj = (344.5, 159);
도 1b는 워핑된 에지
; 중심 cj = (344.5, 148.5)
도 1c는 원래의 참조된 에지
;
도 1d는 워핑된 참조된 에지
;
도 1e는 도 1c 및 도 1d로부터의 중첩된 참조된 에지들;
도 1f는 에지 에러
;
도 1g는 정정된 워핑된 에지
;
도 1h는 원래의 에지(상부 곡선) 및 정정된 워핑된 에지(하부 곡선);
도 2는 '에지 그래디언트(Edge Gradient)"를 이용하여 에지 에러 검출 및 정정의 예들을 더욱 상세하게 도시한다:
도 2a는 원래의 에지 ej;
도 2b는 워핑된 에지
;
도 2c는 원래의 에지의 그래디언트;
도 2d는 워핑된 에지의 그래디언트;
도 2e는 정정된 워핑된 에지
;
도 2f는 원래의 에지(상부 곡선) 및 정정된 워핑된 에지(하부 곡선);
도 3은 k = 7 및
인 제안된 가중처리 커널 
의 예를 도시한다;
도 4는 하나의 뷰를 이용한 정정의 경우에 재구성 측에서 에지 정정 기술의 실시예에 대한 회로의 블록도의 제 1 실시예를 도시한다;
도 5는 에지 정정 동작들의 이미지들의 3 개의 예들을 더욱 상세하게 도시한다:
도 5a: 좌측 뷰로부터 추출된 에지들;
도 5b: 변경된 에지들을 갖는 워핑된 이미지;
도 5c: 정정된 에지 로케이션들을 갖는 워핑된 이미지;
도 6은 2 개의 뷰들 및 심도를 이용하는 것에 의한 에지 보강의 경우에 재구성 측에서 에지 정정 기술의 실시예에 대한 회로의 블록도의 제 2 실시예를 도시한다;
도 7은 단일 뷰 플러스(plus) 심도를 이용하는 심도 정정의 경우에 생성 측에서 에지 정정 기술의 실시예에 대한 회로의 블록도의 제 1 실시예를 도시한다;
도 8은 멀티 뷰들 플러스 심도를 이용하는 심도 정정의 경우에 재구성 측에서 에지 정정 기술의 실시예에 대한 회로의 블록도의 제 2 실시예를 도시한다;
도 9는 계수 >1 인 수평 및 수직 그래디언트를 갖는 i-번째 픽셀의 불연속적인 에지
의 예를 도시한다;
도 10은 변경된 에지들의 변위가 인접한 구역들에서 도입된 불연속성으로 인한 시각적 아티팩트들을 어떻게 야기시킬 수 있는지에 대한 예를 도시한다;
도 11은 인접한 구역들의 픽셀들의 정정의 예를 도시한다;
도 12는 재구성 시의 에지 정정 절차의 도면의 예를 도시한다.
도 13은 도 4 또는 도 6으로부터의 회로를 포함하는, 3 차원 비디오 스트림에 대한 수신 시스템의 블록도의 예를 도시한다.
도 14는 도 7 또는 도 8로부터의 회로를 포함하는, 3 차원 비디오 스트림에 대한 송신 시스템의 블록도의 예를 도시한다.
도 1은 '형상 정합' 기술을 이용하여 에지 에러 검출 및 정정의 예들을 더욱 상세하게 도시한다:
도 1a는 원래의 에지 ej; 중심 cj = (344.5, 159);
도 1b는 워핑된 에지
도 1c는 원래의 참조된 에지
도 1d는 워핑된 참조된 에지
도 1e는 도 1c 및 도 1d로부터의 중첩된 참조된 에지들;
도 1f는 에지 에러
도 1g는 정정된 워핑된 에지
도 1h는 원래의 에지(상부 곡선) 및 정정된 워핑된 에지(하부 곡선);
도 2는 '에지 그래디언트(Edge Gradient)"를 이용하여 에지 에러 검출 및 정정의 예들을 더욱 상세하게 도시한다:
도 2a는 원래의 에지 ej;
도 2b는 워핑된 에지
도 2c는 원래의 에지의 그래디언트;
도 2d는 워핑된 에지의 그래디언트;
도 2e는 정정된 워핑된 에지
도 2f는 원래의 에지(상부 곡선) 및 정정된 워핑된 에지(하부 곡선);
도 3은 k = 7 및
도 4는 하나의 뷰를 이용한 정정의 경우에 재구성 측에서 에지 정정 기술의 실시예에 대한 회로의 블록도의 제 1 실시예를 도시한다;
도 5는 에지 정정 동작들의 이미지들의 3 개의 예들을 더욱 상세하게 도시한다:
도 5a: 좌측 뷰로부터 추출된 에지들;
도 5b: 변경된 에지들을 갖는 워핑된 이미지;
도 5c: 정정된 에지 로케이션들을 갖는 워핑된 이미지;
도 6은 2 개의 뷰들 및 심도를 이용하는 것에 의한 에지 보강의 경우에 재구성 측에서 에지 정정 기술의 실시예에 대한 회로의 블록도의 제 2 실시예를 도시한다;
도 7은 단일 뷰 플러스(plus) 심도를 이용하는 심도 정정의 경우에 생성 측에서 에지 정정 기술의 실시예에 대한 회로의 블록도의 제 1 실시예를 도시한다;
도 8은 멀티 뷰들 플러스 심도를 이용하는 심도 정정의 경우에 재구성 측에서 에지 정정 기술의 실시예에 대한 회로의 블록도의 제 2 실시예를 도시한다;
도 9는 계수 >1 인 수평 및 수직 그래디언트를 갖는 i-번째 픽셀의 불연속적인 에지
도 10은 변경된 에지들의 변위가 인접한 구역들에서 도입된 불연속성으로 인한 시각적 아티팩트들을 어떻게 야기시킬 수 있는지에 대한 예를 도시한다;
도 11은 인접한 구역들의 픽셀들의 정정의 예를 도시한다;
도 12는 재구성 시의 에지 정정 절차의 도면의 예를 도시한다.
도 13은 도 4 또는 도 6으로부터의 회로를 포함하는, 3 차원 비디오 스트림에 대한 수신 시스템의 블록도의 예를 도시한다.
도 14는 도 7 또는 도 8로부터의 회로를 포함하는, 3 차원 비디오 스트림에 대한 송신 시스템의 블록도의 예를 도시한다.
아래에서는, 발명의 방법의 기본적인 사상의 실시예의 일부 변형들이 설명된다.
1. 수신기측 정정들
3 차원 비디오 스트림(시스템)의 수신기 측(또는 재구성 측)에서, 그 목적은 수신된 뷰들 및 대응하는 디스패리티 또는 심도 정보를 이용하여 생성된 시각적 이미지들에서의 객체(object)들의 시각적 품질을 개선시키는 것이다. 대부분의 경우들에 있어서, 수신된 뷰들 및 심도는 손실 있는 압축 알고리즘들의 결과로서의 압축 에러들에 의해 영향을 받을 것이다.
제안된 기술은 2 개의 국면들을 포함한다.
제 1 국면에서, 객체들의 경계들(에지들)은 적어도 하나의 뷰, 예를 들어, 좌측 픽처(picture)에서 검출된다. 다음으로, 검출된 에지들은 워핑 프로세스(warping process)에 의해 변경된 에지들의 세트(set)의 검출을 허용하는 그 중간 위치로 워핑된다.
제 2 국면에서는, 정정이 워핑된 이미지에 적용된다.
1.1 에지들 검출 및 프리-프로세싱(pre-processing)
제안된 기술에서의 제 1 작업은 입력 컨텐츠(즉, 컨텐츠 뷰들 및/또는 대응하는 심도/디스패리티 맵들)에서 에지들을 식별하는 것이다. 에지 검출은 컨텐츠 뷰들 또는 대응하는 심도 또는 디스패리티 맵의 어느 하나에 대해 수행될 수 있다. 우리는 심도 맵들이 정확하지 않을 수도 있기 때문에, 대응하는 심도가 아니라 원래의 뷰들을 이용하여 에지들을 검출하는 것이 보통 더 양호하다는 것을 상기한다. 프로세스는 임의의 알려진 에지 검출 알고리즘으로 개시된다. 예를 들어, J. Canny, "A computational approach to edge detection" IEEE Trans. Pattern Anal. Mach. Intell., vol. 8, no. 6, pp. 679-698, June 1986에 의한 논문에 설명된 바와 같이, 간단하고 고속의 Sobel 및 Prewitt 커널들 및 더욱 복잡한 Canny 에지 검출기처럼, 픽처들에서 에지들을 검출하기 위한 다수의 기술들이 존재한다. 다음의 단계들은 에지들의 획득된 세트에 대해 작동할 것이다.
에지들의 세트는 알고리즘 복잡도를 스케일링하기 위하여 순서화될 수 있고 및/또는 사이즈에 있어서 제한될 수 있고, 및/또는 다음을 포함하는 기준들 중의 적어도 하나의 기준의 조합에 따라 프리-프로세싱될 수 있다:
- 전체 정정 프로세스 내에서 달성될 필요가 있는 품질 기준들(즉, 시각적 품질, 시각적 객체들의 특정 특성들, 기하학적 특성들, 응용 특정 제약들)
- (예를 들어, 배향, 선형성, 곡률, 길이에 기반으로 한) 에지의 기하학적 특징들
- (예를 들어, 3D 공간에서의 위치, 카메라 뷰포인트 근접성)에 기반한 에지 위치
- 직선 라인들은 투영 변환 하에서 불변이므로, 정정이 이론적으로 최적인 것으로 알려져 있는 경우에, 후속 정정들을 직선 라인들에만 적용하도록 에지들은 (아마도 구분적인(piecewise) 선형 에지를 발생하는) 직선 세그먼트들로 분할될 수 있다
- 전체 정정 프로세스의 최종 품질 및 알고리즘 복잡도(이 후자는 정정될 필요가 있는 에지들의 수에 종속됨)를 절충할 수 있는 임의의 선택 기준, 예들 들어, 세트에서의 에지들은 이전 기준들 중의 적어도 하나에 기반으로 하여 먼저 순서화되고, 다음으로, 이들의 서브세트는 정정을 위해 선택된다.
이 프리-프로세싱은 그 파라미터들을 적당하게 튜닝하는 것, 예를 들어, 임계치들 등을 필터링하는 것에 의해, 그 다음으로, 둘 모두 감독되거나 감독되지 않는 적당한 분류 및 도구들의 순서화에 의해, 알려진 에지 검출 도구들을 채용함으로써 달성될 수 있다. 이 프로세스는 최적의 기준 충족 및 복잡도 절충을 달성한다.
E 는 선택된 에지들의 세트라고 하고, 여기서, ej는 아마도 이전에 언급된 순서화 기준들에 따라 세트에서의 j-번째 에지를 나타낸다.
다음으로, 에지 리스트 E는 타겟 뷰포인트, 예를 들어, 2 개의 이용가능한 뷰들 사이의 뷰포인트 또는 하나의 뷰만이 이용가능할 경우의 임의의 편리한 뷰포인트를 향해 워핑(warping)을 적용함으로써 워핑된 에지 세트 
로 변환된다. 워핑은 심도/디스패리티 맵에 종속되고, 위에서 설명된 바와 같이, 그것은 대응하는 에지 좌표들에 적용된다.
그러므로, 에지 좌표들에서의 심도/디스패리티 값에 있어서의 임의의 에러는 연산된 워핑된 에지에서 반영될 것이다. 도 1a에서, 우리는 원래의 에지 ej와, 워핑 에러들에 의해 영향을 받은 대응하는 워핑된 에지 
(에지의 중간에서의 예외적인 변형을 참조함)의 예를 도시한다.
1.2 에지들에 대한 워핑 에러 추정
워핑 프로세스는 심도/디스패리티 맵 값들에 있어서의 에러들로 인해, 잠재적으로 에러들을 도입하고 에지들을 왜곡시킨다. 제안된 알고리즘은 심도 에러들에 의해 변경된 에지들을 검출하고 이들을 정정한다.
우리는 변경된 에지들을 검출하기 위하여 2 개의 방법들을 제안한다;
- 에지 형상 정합(프리 및 포스트 워핑)에 기반한 제 1 방법 및
- 워핑된 에지 좌표들 상의 예외적 검출에 기반한 제 2 방법.
1.2.1 에지 형상 정합
워핑 에러를 추정하고 변경된 에지를 검출하기 위한 제 1 방법은 하나의 원래의 에지 및 대응하는 워핑된 에지의 형상을 비교하는 것에 기반으로 한다. ej는 원래의 에지라고 하고 
는 대응하는 워핑된 에지라고 한다.
원래의 에지에 대하여 워핑된 에지에서의 왜곡을 결정하기 위하여, 두 에지들의 중심이 연산된다.
대안적으로, 중심은 수평 및 수직 좌표들 상의 중간값(median)을 이용하는 예로서, 에지 포인트들의 함수로서 연산된 임의의 다른 참조 포인트에 의해 대체될 수 있다.
중간값은 워핑된 에지 좌표들의 값에서 이상치(outlier)들에 더욱 강건한(robust) 잘 알려진 특징을 가진다.
2 개의 에지들의 형상을 정합하기 위하여, 그 각각의 좌표들은 다음과 같이 각각의 중심들로 리맵핑(remapping)된다:
이것은 우리가 참조된 에지들 
및 
라고 지칭하는 것을 산출한다. 참조된 에지의 예는 도 1c 및 도 1d에 도시되어 있다.
j-번째 에지의 각각의 포인트 i에 대한 워핑 에러는 다음과 같이 참조된 에지 포인트들의 좌표들 사이의 차이를 취함으로써 연산된다:
도 1에서 이용된 샘플 에지의 경우에 연산된 
의 값들은 도 1f에 도시되어 있다. 
의 높은 값들은 워핑이 에지를 손상시킨 부분에 대응한다는 것에 주목할 수 있다.
또한, 예를 들어, 모든 에지 포인트 에러들의 모듈을 다음과 같이 합산함으로써 j-번째 에지의 전체 워핑 에러 
를 정의하는 것이 가능하다.
대안적으로, 모든 에지 에러 포인트들의 평균이 취해질 수 있다. 또한, 위에서 나타낸 
의 임의의 다른 적당한 함수는 j-번째 에지 상의 전체 워핑 에러에 대한 메트릭(metric)으로서 이용될 수 있다.
1.2.2 워핑된 에지 예외 검출
에지들에서 워핑 에러를 검출하기 위한 또 다른 방법은 예외적인, 일반적으로 급격한 수정들을 찾는 워핑 전후의 에지 궤도들의 형상의 분석에 기반으로 한다.
이 목적은 문헌에서 알려진 임의의 예외적 검출 방법으로 달성될 수 있다.
일 예로서, 변경된 에지들은 도 2a 내지 도 2f에서 도시된 바와 같이 워핑 전후의 에지들의 그래디언트를 분석함으로써 검출될 수 있다.
실제로, 그래디언트는 에지 궤도의 수평 및 수직 증분(increment)들을 나타낸다. 워핑 후의 에지의 그래디언트가 원래의 에지와 상당히 상이한 것으로 판명될 경우, 우리는 그것이 잘못된 심도 정보로 인해 예외적인 워핑을 거치는 것으로 가정한다.
에지 포인트 
가 주어지면, 그 그래디언트 
는 다음과 같이 정의된다:
유사하게, 
는 워핑된 에지 포인트 
에 대해 연산된다. 워핑 전에, 에지들은 구성에 의한 연결된 포인트들에 의해 형성되고, 그러므로, 
및 
가 유효해야 하고, 즉, 2 개의 연속 에지 포인트들의 수평 및 수직 좌표들이 인접한 위치들에 있어야 한다.
컴퓨터 비전 문헌에서 알려진 임의의 대안적인 연결성(connectivity)이 이 목적을 위해 이용될 수 있다.
카메라 기선(baseline) b의 알려진 값들에 대하여, 에지들은 워핑 전후의 유사한 그래디언트들에 의해 특징되는 것이 관찰될 수 있다. 반대로, 정확하지 않은 워핑은 에지 그래디언트를 상당히 수정하고, 일부 에지 포인트들은 더 이상 연결되지 않는다.
예외적인 에지 워핑을 검출하기 위하여, 우리는 그래디언트 차이 
- 
를 연산한다. 누군가가 수평 카메라 세팅을 가정할 경우, 워핑은 행 인덱스(row index) u를 변화시키지 않고 그래디언트 차이는 다음과 같이 단순화한다:
또한, 이 경우에 이전의 에러 메트릭에 대해서는, 전체 워핑 에지 에러 메트릭을 정의하는 것이 가능하다.
예를 들어, 워핑 전후의 수평 그래디언트의 절대차의 합 
은 전체 에지 에러로서 정의될 수 있고, 변경된 에지를 검출하기 위한 메트릭으로서 이용될 수 있다.
그래디언트 에러의 다른 유사한 평균 연산자(operator) 및 함수가 대아들로서 이용될 수도 있다.
에러 메트릭에 기반으로 하여, 에지들의 전부 또는 서브세트는 정정을 위해 선택될 수도 있다. 일 예로서, 도 1 에서는, 메트릭 
이 Poznan_Hall2 테스트 시퀀스의 프레임에 대해 보고되고, 약간의 에지들만이 이들을 정정을 위한 후보로 만드는 큰 값들을 나타낸다는 것을 보여준다. 일단 j-번째 에지가 변경된 것으로 분류된다면, 실제로 정정을 요구하는 포인트들을 위치결정하는 것이 필요하다.
에지 그래디언트에 대한 이전의 관찰들에 기반으로 하여, i-번째 포인트의 그래디언트의 수평 성분의 크기가 1 보다 더 큰, 
인 경우에는 워핑된 에지의 포인트가 에러인 것으로 고려되고, 즉, 워핑된 에지는 i-번째 포인트 주위에서 연결되지 않은 것으로 보인다.
1.3 에지 정정
워핑 프로세스 동안에 "미스워핑된(miswarped)" 에지들이 검출된다면, 정정 국면 동안에 대응책들이 적용될 수 있다. 3 개의 대안적인 정정 전략들이 아래에서 설명된다.
1.3.1 형상 정합에 의한 정정
이 정정 방법은 우리가 에지 형상 정합이라고 지칭하는 메트릭과 관련되고, 워핑된 에지들의 형상을 정정하기 위하여 섹션 1.2.1에서 정의된 에러 
를 이용한다.
명확하게는, 이 방법은 채택된 에러 메트릭이 정정 국면에서 재이용되지 않는다는 유일한 단점과 함께 다른 워핑 에러 메트릭들이 에러 정정에 대해 채용될 경우에 또한 적용될 수 있고; 이것은 일반적으로 더 높은 연산 코스트(computational cost)를 초래할 것이다.
형상 정합의 경우의 정정은 원래의 에지의 형상을 보강하기 위하여 워핑된 에지로부터 에지 에러를 감산함으로써 수행된다.
이 해결책에 따르면, 정정된 에러 
는 다음과 같이 연산된다:
도 1e 및 도 1f는 샘플 에지에 대한 이러한 정정의 효과를 그래픽으로 도시한다.
연산 코스트를 제한하기 위하여, 정정은 전체 에러 
가 주어진 임계치 
보다 높은 그러한 에지들에만 적용될 수 있다. 변경된 에지들의 선택을 위한 임계치 
는 0 보다 더 큰 임의의 포지티브 수(positive number)일 수 있다. 우리의 실험들은 세팅 
이 보통 양호한 결과들을 산출한다는 것을 보여준다. 그러나, 
가 0으로 고정될 경우, 즉, 이미지의 모든 에지들에 정정을 적용할 경우, 제안된 방법은 정확하게 워핑된 에지들의 정확한 형상을 유지하고 "미스워핑된" 에지들만을 정정하도록 여전히 작용하고; 실제로, 이전의 수식에서의 정정 항(term)은 이미 정확하게 워핑되어 있는 에지들에 대해 0에 매우 근접할 가능성이 있고, 이러한 에지들의 형상을 수정하지 않을 것이다.
이 특징으로 인해, 임계치 
의 선택은 결정적이지 않고 전체 알고리즘들 단계들의 복잡도를 감소시키기 위한 수단으로서만 이용될 수 있어서, 이것은 상당한 워핑 에러들을 거쳤으며 시각적 품질에 주요한 영향을 가지는 에지들에 대해서만 연산 노력을 소비한다. 도 10은 미스워핑된 에지에 적용된 정정의 예를 도시한다.
1.3.2 평탄화(smoothing)에 의한 정정
이 방법은 예외적인 검출에 기반한 에지 에러의 정의와 밀접하게 관련된다(섹션 1.2.2 참조). 이 경우, 우리는 예외적인 것으로 인식되었던 에지 궤도의 그러한 부분들을 평탄화함으로써 에지를 정정하는 것을 목적으로 한다. 그래디언트가 예외들을 검출하기 위하여 이용될 경우, 누군가는 그 값들을 규칙화하기 위하여 
에 대해 평탄화 필터, 예를 들어, 평균 필터 또는 비-선형 중간값 필터를 이용할 수 있다.
수평 카메라 셋업의 경우, 열 좌표만이 정정될 필요가 있고; 결과적으로, 다음의 예에서, 우리는 간략화를 위하여 행 인덱스를 생략한다.
임의의 평탄화 연산자의 출력에서의 워핑된 에지들의 그래디언트를 
로서 정의하기로 한다.
i-번째 에지 포인트의 정확한 로케이션은 다음과 같이 세팅함으로써 근사화될 수 있다.
도 2d는 워핑된 에지의 그래디언트에서의 2 개의 예외들을 도시하고; 평탄화 연산자를 이용함으로써, 누군가는 그래디언트에서 급격한 스파이크(spike)들을 상쇄시킬 수 있고, 이전의 공식을 이용하여, 도 2e에서의 정정된 에지가 획득된다. 도 2f에서, 정정된 에지(하부 곡선)는 워핑(상부 곡선) 전에 대응하는 에지와 비교된다.
1.3.3 참조에 의한 정정
이 정정 방법은 에지의 그래디언트가 워핑 후에 거의 보존된다는 가정에 기반으로 하고 있다.
이러한 관점에서, 변경된 에지 
의 i-번째 포인트의 로케이션을 정정하기 위하여, 누군가는 원래의 에지 ej의 그래디언트에 따라 워핑된 그래디언트의 예외적인 값들을 정정한다. 에지의 선택된 i-번째 포인트가 주어지면, 그 정정된 로케이션은 원래의 에지의 그래디언트를 선행하는 에지 포인트에 적용함으로써, 또는 아래에 도시된 바와 같이 그 이웃의 일부의 함수를 이용함으로써 추정된다:
또 다른 가능성은 더욱 일반적인 연산자를 이용하는 것이고,
여기서, NH(.)는 i-번째 에지 포인트의 사이즈 H의 이웃이고 F( )는 적당한 함수이다.
보통 워핑 에러가 에지 포인트들의 연속 세트에 영향을 주므로, 에러 있는 포인트 식별 및 참조에 의한 보정은 재귀적으로 적용될 수 있다. 제 1 라운드(round)에서, 에러 있는 포인트가 위치결정 및 정정되고, 다음으로, 프로세스는 주어진 값을 초과하는 더 많은 에러들이 에지를 따라 검출될 수 없을 때까지 반복된다.
모든 제안된 정정 접근법들은 도 1에 도시된 바와 같이, 제안된 에러 메트릭의 측면에서 에지 품질을 개선시킬 수 있고, 여기서, 정정 전후의 메트릭의 값들은 테스트 시퀀스의 주어진 프레임에 대해 보고된다.
설명된 알고리즘 단계들은 도 3에서 시각적으로 표현되고, 여기서, 좌측 뷰로부터 추출된 에지들 E (a), 그 워핑된 대응부들 
(b), 및 그 정정된 프로파일들 (c)는 테스트 이미지에 겹쳐진다.
1.3 시각적 뷰에서의 에지 보강
정정된 에지들은 시각적 아티팩트들을 도입하지 않으면서 정정된 에지들을 주위의 픽셀들과 적당하게 통합함으로써 렌더링된 중간 뷰의 품질을 개선시키기 위해 이용될 수 있다. 실제로, 이전의 알고리즘 단계들은 에지의 이웃에 유의하지 않으면서 에지의 로케이션을 정정하기 위해서만 이용된다. 이 스테이지는 에지 보강이라고 지칭되고, 그것은 픽처의 상이한 구역들을 배합하는 것을 목적으로 하는 알려진 이미지 프로세싱 도구들을 이용함으로써 달성될 수 있다.
이 결과를 달성하는 가능성 있는 기술은 모든 정정된 에지들을 (수평으로) 두 에지 측들 상에 대응하는 k-이웃들을 갖는 중간 뷰로 복사하는 것이고, 즉, 에지를 따른 이미지 패치(patch)들은 대응하는 텍스처(texture)를 생성하도록 배합된다.
일 예로서, 이웃하는 픽셀들은 정정된 에지로부터의 거리에 종속되는 가중치(weight)들을 이용하여 워핑된 가상 뷰에서 배합될 수 있다. 사이즈 
의 가중처리 커널 w는 다음과 같이 정의되고:
여기서, 
는 확산 가중치 상의 하한을 나타내는 파라미터이다
. 도 3은 
=0.8인 15×15 (k=7) 가중처리 커널의 예를 도시한다. 커널의 선택된 사이즈는 튜닝가능한 파라미터를 나타내는 k의 값에 종속된다.
희망하는 중간 뷰 Vm에 대해 좌측 상에 있는 원래의 컨텐츠 뷰 Vl로부터 에지들이 정정될 경우(도 5 참조), 에지 보강 스테이지는 에지 리스트들 
을 입력으로 취하고, 원래의 좌측 뷰 Vl 및 워핑된 중간 뷰 Vm는 에지 개량된 중간 뷰 V'm 를 출력한다.
우선, 우리는 V'm = Vm을 초기화하고, 다음으로, 모든 에지 포인트 ej(i)는 Vl로부터 대응하는 포인트를 복사함으로써 정정된다:
모든 에지 포인트를 둘러싸는 구역의 배합은 다음의 수식을 적용함으로써 수행되고:
1.4 실시예들의 설명
도 4는 본 발명에 따른 3 차원 비디오 스트림의 심도 이미지 기반 렌더링의 시각적 개량을 위한 에지 형상 개량을 위한 시스템의 재구성 측에서 상기 설명된 에지 정정 기술의 실시예에 대한 회로의 블록도의 예를 도시한다.
예에서, 에지들은 좌측 뷰만을 이용하여 검출 및 정정되고, 다음으로, 정정된 에지들은 표준 심도 기반 이미지 렌더링 도구에 의해 생성된 중간 뷰에서 보강된다. 이미 기재된 바와 같이, 원래의 컨텐츠 뷰에서 에지를 검출하는 것이 편리하지만, 우리는 심도 맵을 이용하여 동일한 동작을 수행할 가능성을 배제하지 않는다. 도 5는 실제의 이미지에 대한 가장 중요한 알고리즘 단계들을 도시하고; 즉, 좌측 뷰로부터 추출된 에지들 (도 5a), 변경된 에지들을 갖는 워핑된 이미지 (도 5b), 및 정정된 에지 로케이션들을 갖는 워핑된 이미지(도 5c)가 도시되어 있다.
도 4에서, 좌측 도 Vl 및 연관된 심도 맵 Dl은 심도 맵의 에지들을 검출하기 위하여 블록(42)에서 프로세싱된다. 그 다음 검출된 에지들은 블록(43)에서 워핑된다. 다음 블록(44)은 워핑된 에지들의 에지 에러를 연산한다. 다음 블록(45)에서 관련 정정은 검출된 에지들에 적용된다. 그리고 그 다음 에지 개량은 또한 관련 에지들에 적용된다(블록 46). 최종적으로 관련 심도 맵에 대응하는 가상 뷰는 획득된다(블록 47). 그러므로 상기 비디오 컨텐츠의 이미지들 상에 상기 정정된 에지들을 적용함으로써 상기 3 차원 비디오 컨텐츠의 정정된 이미지득을 획득하는 것이 가능하다.
도 6은 본 발명에 따른 3 차원 비디오 스트림의 심도 이미지 기반 렌더링의 시각적 개량을 위한 에지 형상 개량을 위해 시스템의 재구성 측에서 에지 정정 기술의 개량을 위한 회로의 블록도의 다른 예를 도시한다.
이 실시예에서, 에지들의 검출 및 정정이 3 차원 비디오 스트림의 가장 근접한 뷰들 및/또는 대응하는 심도의 둘 모두에 대해 수행된다.
좌측 뷰 Vl 및 연관된 심도 맵 Dl은 에지들을 검출하기 위해 블록(611)에서 프로세싱된다. 그 다음 검출된 에지들은 블록(612)에서 워핑된다. 다음 블록(613)은 워핑된 에지들의 에지 에러를 연산한다. 다음 블록(614)에서, 관련 정정은 정정된 에지들로 좌측 워핑된 뷰를 얻기 위해 검출된 에지들에 적용된다(블록 615).
유사하게 우측 뷰 Vr 및 연관된 심도 맵 Dr은 에지들을 검출하기 위해 블록(617)에서 프로세싱된다. 그 다음 검출된 에지들은 블록(618)에서 워핑된다. 다음 블록(619)은 에지 에러를 연산한다. 다음 블록(620)에서 관련 수정은 정정된 에지들로 우측 워핑된 뷰를 얻기 위해 검출된 에지들에 적용된다(블록 621).
정정 후에, 에지들 사이의 대응관계가 연산될 수도 있다; 정정은 도 4의 블록(46)과 관련하여, 멀티뷰 에지 보강(Multiview Edge Enforcement)을 적용한, 약간 더 복잡한 에지 보강 블록(622)에 의해 다수의 방법들로 적용될 수도 있다. 이러한 블록 보충은 하나의 좌측 및 하나의 우측 뷰로부터 정정된 에지들을 공동으로 보강하기 위하여 다음의 기술들 중의 적어도 하나를 이용한다:
- (좌측으로부터 및 우측으로부터의) 모든 에지들은 순차적으로 그리고 독립적으로 정정되고; 이 해결책은 가장 간단하지만, 동일한 에지가 두 번 정정될 수 있다.
- 먼저, 모든 에지들의 하나의 뷰에 의해 정정되고, 다음으로, 이전에 정정되지 않았던 에지들만이 제 2 뷰로 인해 프로세싱된다.
- 좌측 및 우측 뷰의 둘 모두로부터의 가능한 정정을 나타내는 그러한 에지들에 대하여, 어떤 기준에 따른 최상의 정정이 적용될 수 있고; 예를 들어, 이 특허에서 제안된 그 메트릭에 따라 최저 워핑 에러를 산출하는 정정이 선택될 수 있다.
- 하나의 뷰로부터만 정정될 수 있는 에지들은 이전의 실시예에서서와 같이 정정된다. 도 6 은 전체적인 절차를 요약한다.
그 다음 최종 가상 뷰는 획득된다(블록 623).
그러므로 상기 비디오 컨텐츠의 이미지들에 대해 상기 정정된 에지들을 적용함으로써, 상기 3 차원 비디오 컨텐츠의 정정된 이미지들을 획득하는 것이 가능하다.
도 12는 시스템의 재구성 측에서 수행된 에지 정정의 전체 절차를 요약한다.
도 13은 본 발명에 따른 재구성 측에서 에지 정정 기술의 실시예에 대한 회로(131)를 포함하는, 3 차원 비디오 스트림에 대한 수신 시스템의 블록도의 예를 도시한다. 당업자가 일단 본 발명의 지침을 인식하면, 그 자체로 알려진 방식으로 구현된 그런 수신 시스템에 본 발명의 회로를 삽입하는데 어떠한 문제도 없다는 것이 인식되었다.
회로(131)는 도 4 또는 도 6을 참조하여, 상술된 바와 같이 구현될 수 있다. 상기 회로(131)는 예를 들어 입력에 수신된 3 차원 비디오 혼합 스트림으로부터 시작하여, 임의의 그 자체로 알려진 방식으로 재구성된, 각각 연관 심도(또는 디스패리티) 맵들 Dl 및 Dr과 함께 3 차원 비디오 스트림의 좌측 Vl 및 우측 Vr 뷰들을 입력에서 수신한다.
회로(131)는 상술된 에지 정정 기술을 수행하기 위한 수단을 포함하고, 그리고 정정된 심도 맵들을 갖는 최종 가상 뷰 및 좌측 Vl 및 우측 Vr 뷰들을 출력에 공급한다.
좌측 Vl 및 우측 Vr 뷰들의 스트림들 및 관련 심도 맵들은 디스플레이(D)에 공급될 또는 추후 사용을 위해 저장될 3 차원 비디오 스트림의 재구성을 위한 수단을 포함하는 블록(132)에 공급된다.
도 13의 수신 시스템은 디스플레이(D)에 따라, 다수의 가능한 종류들의 비디오 스트림을 재구성하도록 적응된다.
2D 디스플레이의 경우에, 수신 시스템은 간단히 이미지들 Vr 및 심도 맵들을 버릴 것이고 디스플레이(D) 상에서 이미지들 Vl의 시퀀스만을 가능하한, 스케일링하여 디스플레이할 것이다.
동일한 것은 만약 이용 가능하다면, 사용자가 2D 디스플레이 모드를 작동한 3D 디스플레이의 경우에 적용된다.
3D 디스플레이 모드가 작동된 3D 디스플레이의 경우에, 시스템은 좌측 Vl 및 우측 Vr 뷰들 및 3 차원 비디오 이미지를 강화하기 위한 관련 정정된 심도 맵들을 사용할 것이다.
시스템은 또한 디스플레이의 전면 공간의 상이한 포인트들에 위치된 뷰어들에 대해 3 차원 효과를 생성하기 위해 매우 큰 수의 뷰들(예를 들어 몇 십개들)을 필요로 하는 자체-입체 디스플레이에 대한 3 차원 비디오 이미지를 생성하도록 적응된다. 이 경우, 블록(131)은 자체-입체 디스플레이에 적당한 일련의 다른 이미지들을 합성하기 위해 심도 맵들 및 좌측 Vl 및 우측 Vr 뷰들을 사용할 것이다.
2. 전송기측 정정
이미 언급된 바와 같이, 에지 정정은 심도 맵들의 품질을 개선시키기 위하여 3 차원 비디오 시스템의 송신기(생성) 측 상에서 사용될 수 있다. 이것은 그들이 요구하는 시프트 정정(shift correction)에 기반으로 하여 정정된 에지들에 대한 정확한 심도 값을 복구함으로써 달성될 수 있다. 이 접근법은 심도 맵을 개선시키기 위하여 포스트 프로세싱으로서 이용될 수 있거나, 심도 추정 기술에서 통합될 수 있다.
수학적 세부사항들은 아래에서 제공된다.
2.1 심도 정정
이 경우, 워핑 에러를 거치는 에지 포인트들의 심도 값들은 (표준 DIBR에 의하여) 객체들 윤곽을 정확하게 렌더링하도록 정정된다. 이러한 정정을 송신 전에 심도 맵에 적용하기 위하여, 우리는 에지 워핑에 기반으로 하여 일부의 여분의 정보를 연산한다. 이전의 경우들에서와 같이, 우선, 에지들은 적어도 하나의 뷰로부터 검출될 수 있다. 다음으로, 모든 에지 포인트들은 DIBR 기술들을 이용하여 가상 뷰에서 워핑되고, 미스워핑된 에지들은 위에서 설명된 에러 기준들로 인식된다. 다음으로, 우리는 미스워핑된 에지 포인트들에 연관된 심도 값들을 정정한다. 프로세스는 아래에서 설명되는 알고리즘 단계들에 기반으로 하고 있다.
2.1.1 시프트 맵 연산
섹션 1.1에서 설명된 바와 같이 적어도 하나의 뷰에서의 에지들 검출 후에, 에지 리스트 E는 가상 카메라로 워핑되고, 이것은 워핑된 에지 리스트 
로 귀착된다. 각각의 에지를 워핑하는 동안, 우리는 각각의 에지 픽셀 
의 시프트를 연산한다. ej는 j-번째 에지라고 하고, ej(i)는 i-번째 포인트, 더욱 구체적으로, 이전의 섹션들에서 설명된 바와 같은 ej(i)라고 한다.
dj(i)는 에지 픽셀 ej(i)의 대응하는 심도라고 한다. 각각의 에지 픽셀 ej(i)에 대하여 수평 카메라 셋업을 가정하면, 우리는 그 시프트 
를 다음과 같이 연산한다:
시프트의 부호는 워핑 방향에 종속되고, 예를 들어, 원래의 뷰를 좌측으로 워핑할 때에 포지티브이고 우측으로 워핑할 때에 네거티브이다. 모든 에지 포인트들의 시프트들은 아래에서 시프트 맵(shift map)이라고 지칭된다.
이 시프트는 그 워핑된 위치 
를 연산하기 위하여 각각의 픽셀 vj,i의 수평 좌표에 추가된다.
다음 단계는 미스워핑된 에지들을 구하는 것이고, 이것은 섹션 1.2에서 설명된 것과 동일한 방법으로 행해진다.
2.1.2 심도 맵 정정
모든 미스워핑된 에지 
는 이전에 설명된 바와 같이 정정될 수 있어서, 정정된 에지 
를 얻을 수 있다. 정정 알고리즘은 에러 있는 에지 픽셀들의 열 좌표를 수정한다. 우리는 다음과 같이 시프트 에러의 측면에 정정을 연산할 수 있다:
에지의 시프트 맵은 정정으로 인한 시프트 에러를 고려하여 정정될 수 있어서, 정정된 시프트 맵을 다음과 같이 얻는다:
일단 시프트 맵이 정정되면, 우리는 원래의 뷰에 연관된 대응하는 심도를 정정하기 위하여 워핑 공식을 이용하고, 그 수식을 반전하면,
여기서, d는 워핑되고 있는 픽셀의 심도이다. 우리는 대응하는 정확한 심도를 다음과 같이 연산하기 위하여 정정된 시프트를 이용한다.
일단 에지의 심도가 정정되면, 모든 에지의 이웃하는 픽셀들의 심도는 아티팩트들을 회피하기 위하여 정정되어야 한다. 이 목적은 알려진 심도 보간 알고리즘들, 또는 시각적 아티팩트들을 마스킹(masking)하면서 이미지들의 상이한 구역들을 배합하는 것을 목적으로 하는 임의의 다른 알려진 이미지 프로세싱 도구를 이용함으로써 달성될 수 있다.
일 예로서, 이전에 설명된 에지 보강 단계는 심도 맵에 대해 동일한 작업을 수행하도록 용이하게 적응될 수 있다.
2.2 실시예들의 예들
도 7은 본 발명에 따른 3 차원 비디오 스트림의 심도 이미지 기반 렌더링의 시각적 개선을 위한 에지 형상 개선을 위해 시스템의 송신기(생성) 측에서 상술된 에지 정정 기술의 실시예에 대한 회로의 블록도의 예를 도시한다.
이 실시예에서는, 심도 정정이 단일 뷰를 이용하여 달성된다.
에지들은 뷰에서 검출되고, 다음으로, 가상 위치로 워핑된다. 에지 에러는 상기한 방법들을 구현하여 연산되고, 정정은 섹션 2.1에서 설명된 기술들을 구현하여 적용된다. 이것은 에지들을 정정하기만 하고; 심도 픽셀들과 이웃하는 에지를 정정하기 위하여, 임의의 적당한 보간 방법이 적용될 수 있다.
도 7에서, 좌측 또는 우측 뷰 및 연관된 심도 맵 또는 디스패리티 맵(블록 70)은 에지들을 검출하기 위해 블록(71)에서 프로세싱된다. 그 다음 검출된 에지들은 블록(72)에서 프로세싱된다. 다음 블록(73)은 워핑된 에지들의 에지 시프트 에러를 연산한다. 다음 블록(74)에서 관련 에지 시프트 정정은 시프트 맵의 검출된 에지들에 적용된다. 블록(75)에서 획득된 시프트 맵은 블록(70)으로부터 또한 좌측 뷰 및 연관된 심도 맵을 사용하여 대응하는 심도 맵으로 변환된다. 그 다음 블록(76)에서 심도 맵의 에지 이웃 픽셀들은 정정되고, 좌측 또는 우측 뷰의 정정된 심도 맵이 획득된다(블록 77).
도 8은 본 발명에 따른 3 차원 비디오 스트림의 심도 이미지 기반 렌더링의 시각적 개량을 위한 에지 형상 개량을 위해 시스템의 송신기(생성) 측에서 상술된 에지 정정 기술의 실시예에 대한 회로의 블록도의 다른 예를 도시한다.
이런 추가 실시예에서는, 하나의 원래의 뷰, 말하자면 좌측 뷰에서 검출된 에지를, 또 다른 원래의 뷰, 말하자면 우측 뷰에서 이용가능한 에지에 대하여 비교하기 위하여 제안된 워핑 에러 메트릭들이 이용된다. El은 좌측 뷰에서 검출된 에지들의 세트라고 하고, Er은 우측 뷰에서 검출된 에지들의 세트라고 한다. 각각의 에지 
는 우측 뷰로 워핑되어, 우리에게 워핑된 에지들 
의 세트를 제공하고, 
는 j-번째 워핑된 에지이다.
에지들 El을 우측 뷰로 워핑한 후, 우리는 적당한 알려진 스테레오 정합 도구들을 이용하여 에지들 
및 Er 사이의 대응관계를 설정한다.
에지 
에 대하여, Er에서의 대응하는 에지가 
라고 한다.
다시 말해서, 
가 되도록 맵핑 함수 m(.)를 정의하는 것이 가능하고,
즉, j-번째 좌측 워핑된 에지는 우측 뷰에서 검출된 k-번째 에지와 정합한다.
에지들의 서브세트는 섹션 1.1에서 논의된 기준들 중의 적어도 하나에 기반으로 하여 정정을 위해 선택될 수도 있다. 또한, 교합들 또는 에지 검출 쟁점들로 인해 El에서의 에지가 Er에서 대응하는 에지를 가지지 않는 것이 가능하다(좌측 뷰의 교합 제거된 영역에서의 에지들이 우측 뷰에서 존재하지 않을 것이거나, 우측 뷰에서의 대응하는 에지들이 너무 약하여 에지 검출 방법에 의해 검출되지 않고, 이에 따라, 대응관계는 설정되지 않을 수도 있음). 이러한 에지들은 가능한 정정 후보들로부터 누락될 수도 있다.
일단 에지들 사이의 스테레오 대응관계가 설정되면, 워핑 에러는 이전에 설명된 메트릭들을 이용함으로써 검출되고, 정정은 그 메트릭들을 평가하여 적용될 수도 있다.
일 예로서, 형상 정합은 다음과 같이 연산함으로써 워핑된 좌측 에지와 대응하는 우측 에지 사이에서 정의될 수 있고,
즉, 섹션 1.2.1에서 제안된 동일한 메트릭은 참조된 우측 에지와 대응하는 참조된 워핑된 좌측 에지 사이의 차이들을 발견하기 위하여 재이용된다.
유사하게, 섹션 1.2.2에서 제시된 예외 검출 접근법은 대응하는 우측 에지를 참조로서 취함으로써 주어진 워핑된 좌측 에지의 예외적인 포인트들을 검출하기 위하여 이용될 수 있다.
섹션 2.1.2에 제시된 접근법에 따르면, 우리는 다음과 같이 시프트-에러를 연산할 수 있다:
다음으로, 시프트 에러 
는 섹션 2.1.2에서 설명된 바와 같이 대응하는 심도 맵을 정정하기 위하여 이용된다. 좌측 및 우측 뷰들의 역할들을 교환함으로써, 상기한 접근법은 우측 뷰에서 심도 예외들을 제거하기 위하여 이용될 수 있다.
다수의 뷰들을 이용하여 심도 정정의 블록도를 도시하는 도 8에서, 좌측 뷰 Vl 및 연관된 깊이(또는 디스패리티) 맵 Dl(블록 80)은 상기 좌측 뷰의 에지들을 검출하기 위하여 블록(81)에서 프로세싱된다. 그 다음 검출된 에지들은 블록(82)에서 워핑된다. 우측 뷰 Vr 및 연관된 깊이(또는 디스패리티) 맵 Dr(블록 80')은 상기 우측 뷰의 에지들을 검출하기 위하여 블록(81')에서 프로세싱된다.
다음 블록(83)에서 에지 스테레오 정합은 좌측 및 우측 뷰들의 에지들 사이에서 연산된다.
다음 블록(84)에서, 에지들의 각각의 쌍에 대해, 에지 시프트 에러는 계산된다. 그 다음 블록(85)에서 대응하는 시프트 정정은 워핑된 에지들에 적용되고 그리고 블록(86)에서 정정된 시프트들은 좌측 뷰의 대응하는 심도 맵을 정정하기 위해 사용된다. 그 다음 블록(87)에서 심도 맵의 에지 이웃 픽셀들은 정정되어, 좌측 뷰의 정정된 심도 맵이 획득된다(블록 88). 상기 상술된 바와 같이, 동일한 것은 우측 뷰의 심도 맵에 대해 획득될 수 있다.
상술된 절차가 뷰들 및 대응하는 심도 맵의 임의의 쌍에 적용될 수 있고, 그러므로, 심도 값들을 점진적으로 정제하기 위하여 뷰들/심도들의 상이한 쌍에 반복적으로 적용된다면, 일반적인 멀티-뷰 및 대응하는 심도 맵 세팅들로 확장될 수 있다는 것이 주목되어야 한다.
또 다른 실시예에서, 이전의 접근법들 중의 하나는 심도 추정 알고리즘이 개선된 심도 결과를 반환하거나 희망하는 심도 값들로 더 신속하게 수렴하는 것을 돕기 위하여 심도 추정 알고리즘의 일부로서 구현될 수 있다.
도 14는 본 발명에 따른 송신(생성) 측에서의 에지 정정 기술의 실시예에 대한 회로(141)를 포함하는, 3 차원 비디오 스트림에 대한 생성 시스템의 블록도의 예를 도시한다. 당업자가 본 발명의 지침을 인식한다면, 자체적으로 알려진 방식으로 구현된 그런 생성 시스템에 본 발명의 회로를 삽입하는데 어떠한 문제도 없다는 것이 인식된다. 회로(141)는 도 7 또는 도 8을 참조하여, 상술된 바와 같이 구현될 수 있다. 회로(141)는 임의의 자체적으로 알려진 임의의 방식으로 생성된, 각각 심도(또는 디스패리티) 맵들 Dl 및 Dr과 함께, 3 차원 비디오 스트림의 좌측 Vl 및 우측 Vr 뷰들을 입력들에서 수신한다.
회로(141)는 상술된 에지 수정 기술을 수행하기 위한 수단을 포함하고, 좌측 Vl 및 우측 Vr 뷰들의 에지 형상 개량을 갖는 정정된 심도 맵들을 각각 출력에 공급한다.
관련 정정된 심도 맵들 및 좌측 Vl 및 우측 Vr 뷰들의 스트림들은 송신 시스템에 공급될 수 있고 후속 사용을 위해 저장된 3 차원 비디오 스트림의 생성을 위한 수단을 포함하는 블록(142)에 공급된다.
3 심도 품질 평가를 위한 방법 및 장치
보통, 심도 추정의 품질은 2 개의 뷰들 및 심도들로부터 가상 뷰를 발생시킴으로써 평가되고, 다음으로, 가상 뷰는 대응하는 원래의 것과 비교된다.
피크 신호 대 잡음 비율(Peak Signal to Noise Ratio; PSNR), 구조적 유사성 인덱스 척도(Structural Similarity Index Measure; SSIM) 및 비디오 품질 평가(Video Quality Assessment; VQA)와 같은 품질 메트릭들은 종종 2 개의 이미지들의 품질을 측정하기 위하여 이용된다.
촬영 시간에 요구되지 않았기 때문에 중간 뷰 원래의 참조가 결손되어 있으므로, 이 접근법이 실패하는 경우들이 있다. 원래의 중간 뷰가 이용가능할 때에도, DIBR에 의한 전체 중간 뷰의 발생은 품질 평가 도구에 매우 높은 연산 부담을 부과할 수도 있다.
최종적으로, 기존의 심도 품질 평가 방법들은 대응하는 심도 맵들을 갖는 2 개의 뷰들의 경우에 작동한다.
반대로, 제안된 심도 품질 평가 방법들은 더욱 일반적이고, 각각의 뷰로 심지어, 단일 심도의 품질을 측정하기 위하여 이용될 수 있다.
이러한 경우, 단일 뷰는 임의적인 뷰-포인트로 워핑될 수 있고, 심도 에러는 아래에서 설명되는 방법들을 이용하여 연산될 수 있다.
에지들은 주관적인 이미지 품질에 상당히 기여한다는 것이 잘 알려져 있다. 특히, 에지들의 정확하고 정밀한 워핑은 높은 품질의 가상 이미지들을 보장하기 위한 중요한 특징이다.
제안된 에지 워핑 에러 메트릭들은 3 차원 에지 정정 기술에서의 그 용법과는 독립적으로, 이 목적을 위하여 마찬가지로 이용될 수 있다. 아래에서는, 글로벌(global) 에지 워핑 에러 메트릭들의 일부 예들이 정의되고; 그럼에도 불구하고, 대안적인 메트릭들은 섹션 1.2.1 및 1.2.2에서 정의된 에지 에러 메트릭들에 기반으로 하여 정의될 수 있다. 아래에서는, 우리의 에지 에러 연산 방법들에 기반한 심도 품질 평가를 위한 2 개의 메트릭들이 예시된다.
3.1 절대 워핑 에지(Absolute Warping Edge; AWE) 에러 메트릭
심도 품질을 연산하기 위한 가장 간단한 방법은 에지들, 인간 시각 체계(human visual system; HVS)를 위한 주요한 시각적 속성을 검출하고, 에지들을 가상 위치로 워핑하고, 각각의 에지에서의 심도 에러들에 의해 유도된 에러를 연산하는 것이다.
프레임에서의 모든 에지들의 절대 에러의 합은 심도에서의 에러를 표시한다.
결과적으로, 우리는 주어진 프레임 k에서의 총 에지 워핑 에러를 나타내는 절대 워핑 에지(AWE) 에러 메트릭 
을 정의한다:
명확하게, 이러한 메트릭은 모든 프레임 및 뷰에 대해 연산된 일련의 메트릭 값들에 적당한 통계적 연산자, 예를 들어, 평균화, 최대, 등을 적용함으로써 전체 비디오 시퀀스의 품질에 등급을 매기기 위하여 이용될 수 있다.
3.2 가중처리된 워핑 에지(Weighted Warping Edge; WWE) 에러
심도 품질을 측정하기 위하여 위에서 설명된 방법은 가상 뷰의 시각적 품질에 상당히 영향을 주지 않을 수도 있는 작은 에지들에서는 큰 에러에 민감할 수도 있다. 에러 메트릭을 더욱 강건하게 하기 위하여, 누군가는 길이에 종속되는 에지 에러를 균형을 맞출 수 있다. 가중처리된 워핑 에지 에러(WWE)는 다음과 같이 정의될 수 있고:
여기서, j-번째 에지의 에러는 에지 길이 nj에 종속되는 함수 
에 따라 가중처리된다. 이러한 함수는 긴 에지들에서 더 많은 에러를 가중처리하기 위하여 이용된다. 다음으로, 메트릭 
는 다음과 같이 정의된다:
본 발명의 방법은, 방법의 하나 또는 그보다 더 많은 단계들의 구현을 위한 프로그램 코딩 수단을 포함하는 컴퓨터를 위한 프로그램이 컴퓨터상에서 실행될 때, 이들 프로그램을 통해 적어도 부분적으로 유익하게 구현될 수 있다. 그러므로, 보호의 범위는 컴퓨터를 위한 이런 프로그램들로 확장되고, 그 내부에 레코딩된 메시지를 갖는 컴퓨터 판독가능한 수단에 추가하여, 상기 컴퓨터 판독가능한 수단은, 이 프로그램이 컴퓨터 상에서 실행될 때, 방법의 하나 또는 그보다 더 많은 단계들의 구현을 위한 프로그램 코딩 수단을 포함한다는 것을 이해해야 한다.
대상 발명의 많은 변화들, 수정들, 변형들 및 다른 이용들 및 응용들은 그 바람직한 실시예들을 개시하는 첨부 도면들 및 명세서를 고려한 후에 당해 분야의 당업자에게 명백해질 것이다. 발명의 범위로부터 이탈하지 않는 모든 이러한 변화들, 수정들, 변형들 및 다른 이용들 및 응용들은 이 발명에 의해 커버되는 것으로 간주된다.
바람직한 실시예들의 다양한 형태들에서 설명된 구성요소들 및 특징들은 발명의 범위로부터 이탈하지 않으면서 상호 조합될 수 있다.
당해 분야의 당업자는 상기 설명의 교시 사항으로부터 시작하여 발명을 이행할 수 있으므로, 추가의 구현 세부사항들은 설명되지 않을 것이다.
Claims (32)
- 3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법으로서,
상기 비디오 컨텐츠는 적어도 하나의 원래의 뷰(view) 이미지 및 적어도 하나의 심도(depth) 또는 디스패리티(disparity) 맵을 포함하고,
상기 방법은,
- 원래의 에지들을 획득하기 위하여 상기 적어도 하나의 원래의 뷰 이미지에서 에지들을 검출하는 단계;
- 상기 심도 또는 디스패리티 맵에 따라 상기 원래의 에지들을 워핑(warping)하는 단계;
- 워핑 프로세스에 의해 변경되는 워핑된 에지들의 세트를 검출하는 단계;
- 정정된 에지들을 획득하기 위하여 상기 변경된 에지들을 정정하는 단계를 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 1 항에 있어서,
워핑된 에지들의 상기 세트를 검출하는 상기 단계는,
- 하나의 원래의 에지의 형상 및 대응하는 워핑된 에지를 비교함으로써, 그리고 원래의 에지에 대한 워핑된 에지에서의 왜곡을 결정함으로써, 에지 형상 정합의 단계를 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 2 항에 있어서,
상기 왜곡 결정은,
- 워핑된 에지들 및 원래의 에지들의 수평 및 수직 좌표들의 중심과 같은, 또는 워핑된 에지들 및 원래의 에지들의 수평 및 수직 좌표들의 중간값과 같은 참조 에지 포인트를 연산하는 단계;
- 대응하는 참조 포인트에 대하여 원래의 그리고 워핑된 에지의 좌표들을 표현하여 참조된 에지 포인트들을 획득하는 단계;
- 워핑 전후의 참조된 에지 포인트들의 좌표들 사이의 차이를 취함으로써 에지의 각각의 포인트에 대한 워핑 에러를 연산하는 단계
를 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 1 항에 있어서,
워핑된 에지들의 세트를 검출하는 상기 단계들은,
- 워핑 전후의 에지들의 수평 및/또는 수직 그래디언트(gradient)의 차이를 연산함으로써 워핑 전후의 에지들의 그래디언트의 예외적인 급격한 수정들을 찾는 워핑 전후의 에지 궤도들의 형상의 비교;
- 에지 궤도의 수평 및 수직 좌표들의 증분들을 각각 나타내는 상기 수평 또는 수직 그래디언트에 의해, 워핑된 에지 좌표들에 대한 예외들의 검출 단계
를 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 4 항에 있어서,
상기 그래디언트의 수정은, 워핑된 에지가 고려된 에지 포인트 주위에서 연결되지 않은 것으로 보일 경우에 에외적인 급격한 수정들인 것으로 고려되는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 2 항 또는 제 3 항에 있어서,
변경된 에지들을 정정하는 상기 단계들은, 원래의 에지의 형상을 보강하기 위하여 워핑된 에지로부터 에지 에러를 감산함으로써 워핑된 에지들의 형상을 정정하는 단계를 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 6 항에 있어서,
상기 정정은 전체적인 에러가 임계치보다 높은 그러한 에지들에만 적용되는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 1 항에 있어서,
원래의 에지들을 워핑하는 단계는 다음의 인자들:
- 전체 정정 프로세스 내에서 달성될 필요가 있는 품질 기준들, 바람직하게 시각적 품질 또는 시각적 객체들의 특정 특성들 또는 기하학적 특성들 또는 응용 특정 제약들;
- 에지의 기하학적 특징들(바람직하게 배향, 선형성, 곡률, 길이);
- 에지-기반한 위치(바람직하게 3D 공간에서의 위치, 카메라 뷰포인트로의 근접성);
중의 적어도 하나에 종속되는 검출된 에지들의 서브세트에 대해 수행되는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 4 항 또는 제 5 항에 있어서,
변경된 에지들을 정정하는 상기 단계들은, 예외적인 것으로 인식되었던 에지 궤도의 그러한 부분들의 평탄화 프로세스에 의해 에지를 정정하는 단계를 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 9 항에 있어서,
상기 정정을 위하여 평탄화 필터, 또는 평균 필터 또는 비-선형 중간값 필터를 이용하는 단계를 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 변경된 에지들을 정정하는 상기 단계들은, 원래의 에지의 그래디언트에 따른 워핑된 그래디언트의 예외적인 값들을 선행하는 에지 픽셀 또는 그 이웃으로 정정함으로써 변경된 에지의 픽셀의 로케이션을 수정하는 단계를 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 11 항에 있어서,
참조에 의한 상기 픽셀 식별 및 정정은 재귀적으로 적용되는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 변경된 에지들을 정정하는 상기 단계들은, 워핑된 에지의 근처에서 원래의 에지들의 그래디언트 값들의 함수를 결정하는 단계를 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 13 항에 있어서,
상기 원래의 에지들의 그래디언트 값들의 함수는 워핑된 에지의 포인트에서 계산된 그래디언트를 갖는 워핑된 에지의 포인트에 인접한 픽셀의 좌표들의 합에 종속되는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 1 항에 있어서,
정정된 에지들은 심도 또는 디스패리티 맵에 따라 적어도 하나의 원래의 뷰를 워핑함으로써 획득되는 워핑된 뷰 이미지 내에 포함되는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 15 항에 있어서,
에지 보강의 단계를 더 포함하고, 워핑된 에지들에 대응하는 원래의 에지에 근접하게 위치결정된 픽셀들의 추가의 값들은 상기 정정된 에지들에 근접하게 상기 워핑된 뷰에서 배합되는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 1 항 내지 제 16 항 중 어느 한 항에 있어서,
또 다른 원래의 뷰에서 검출된 에지들을 획득하기 위하여 3 차원 비디오 컨텐츠의 상기 또 다른 원래의 뷰 이미지에서 에지들을 검출하는 단계를 더 포함하고,
- 워핑 프로세스에 의해 변경되는 워핑된 에지들의 세트를 검출하는 단계는, 3 차원 비디오 컨텐츠의 동일한 에지에 그 대응관계를 개별화하기 위하여 상기 워핑된 에지들 및 상기 다른 뷰에서 검출된 에지들을 정합하고, 그리고 상기 워핑된 에지들 및 상기 다른 뷰에서 검출된 에지들을 비교함으로써 워핑 프로세스에 의해 생성된 변경을 측정하는 단계를 포함하고, 그리고
- 상기 변경된 에지들을 정정하는 단계는 상기 다른 뷰에서 검출된 상기 에지들 및 상기 측정에 종속되는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법으로서,
상기 비디오 컨텐츠는 적어도 2 개의 원래의 뷰 이미지들 및 적어도 2 개의 심도 또는 디스패리티 맵들을 포함하고, 프로세스는,
- 상기 적어도 2 개의 원래의 뷰들 중의 하나에 대하여 제 1 항 내지 제 16 항 중 어느 한 항에 따른 방법을 수행하는 단계;
- 상기 적어도 2 개의 원래의 뷰들 중의 다른 하나에 대하여 제 1 항 내지 제 16 항 중 어느 한 항에 따른 방법을 수행하는 단계
를 포함하고,
상기 방법은 상기 원래의 뷰들에 대하여 연속적으로 교대로 그리고 서로로부터 독립적으로 수행되는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법으로서,
상기 비디오 컨텐츠는 적어도 2 개의 원래의 뷰 이미지들 및 적어도 2 개의 심도 또는 디스패리티 맵들을 포함하고, 프로세스는,
- 상기 적어도 2 개의 원래의 뷰들 중의 하나에 대하여 제 1 항 내지 제 16 항 중 어느 한 항에 따른 방법을 수행하는 단계;
- 선행하는 단계 동안에 정정되지 않았던 다른 원래의 뷰의 에지들에 대하여 제 1 항 내지 제 16 항 중 어느 한 항에 따른 방법을 수행하는 단계
를 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법으로서,
상기 비디오 컨텐츠는 적어도 2 개의 원래의 뷰 이미지들 및 적어도 2 개의 심도 또는 디스패리티 맵들을 포함하고, 프로세스는,
- 상기 2 개의 원래의 뷰 이미지들의 둘 모두에 대하여 제 1 항 내지 제 16 항 중 어느 한 항에 따른 방법을 적용하여 상기 3 차원 비디오 컨텐츠의 어느 에지들이 정정될 수 있는지를 결정하는 단계, 및
- 이전의 단계 동안에 결정된 에지들에 대하여 제 1 항 내지 제 16 항 중 어느 한 항에 따른 방법을 적용하는 단계
를 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 1 항에 있어서,
- 대응하는 심도 맵에서 상기 워핑된 에지들의 심도를 결정하는 단계;
- 에지 픽셀들의 심도 및 디스패리티 값들 사이의 관계를 사용함으로써 원래의 에지들에 대하여, 상기 워핑된 에지들 상에서의 워핑 프로세스에 의해 야기된 시프트들을 계산하는 단계;
- 상기 원래의 에지들에 대하여 워핑 프로세스에 의해 생성된 시프트 에러를 측정하는 단계;
- 상기 시프트 에러들 및 상기 시프트들에 기반으로 하여 에지들의 정확한 시프트 값을 결정하는 단계;
- 에지 픽셀들의 심도 및 디스패리티 값들 사이의 관계를 사용함으로써 상기 변경된 에지들의 정확한 심도 값을 결정하는 단계
를 더 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 21 항에 있어서,
이웃하는 픽셀들의 심도는 심도 보간 알고리즘을 이용함으로써 보간되는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 제 1 항에 있어서,
상기 비디오 컨텐츠의 이미지들에 대해 상기 정정된 에지들을 적용함으로써, 상기 3 차원 비디오 컨텐츠의 정정된 이미지들을 획득하는 단계를 더 포함하는,
3 차원 비디오 컨텐츠의 이미지들의 에지 정정을 위한 방법. - 3 차원 비디오 컨텐츠와 관련된 원래의 뷰에 대응하는 심도 맵의 품질을 평가하기 위한 방법으로서,
- 각각 대응하는 에지 왜곡들 및 워핑 에러들을 획득하기 위하여 상기 3 차원 비디오 컨텐츠에 속하는 원래의 뷰 이미지의 에지들에 제 2 항 또는 제 3 항에 따른 방법을 적용하는 단계, 및
- 상기 심도 맵에 따라 워핑된 상기 에지들에 대해 발생하는 상기 왜곡들 또는 워핑 에러들을 각각 합산하는 단계
를 포함하는,
3 차원 비디오 컨텐츠와 관련된 원래의 뷰에 대응하는 심도 맵의 품질을 평가하기 위한 방법. - 3 차원 비디오 컨텐츠와 관련된 원래의 뷰에 대응하는 심도 맵의 품질을 평가하기 위한 방법으로서,
- 워핑 전후의 에지들의 대응하는 수평 및/또는 수직 그래디언트 차이들을 획득하기 위하여 상기 3 차원 비디오 컨텐츠에 속하는 원래의 뷰의 에지들에 제 4 항 또는 제 5 항에 따른 방법을 적용하는 단계, 및
- 상기 심도 맵에 따라 워핑된 상기 에지들에 대해 발생하는 상기 그래디언트 차이들의 절대값들을 합산하는 단계
를 포함하는,
3 차원 비디오 컨텐츠와 관련된 원래의 뷰에 대응하는 심도 맵의 품질을 평가하기 위한 방법. - 제 23 항 또는 제 24 항에 있어서,
합산된 값들은 대응하는 에지의 길이에 종속되는 가중 인자에 의해 가중처리되는,
3 차원 비디오 컨텐츠와 관련된 원래의 뷰에 대응하는 심도 맵의 품질을 평가하기 위한 방법. - 컴퓨터 프로그램으로서,
상기 프로그램이 컴퓨터 상에서 실행될 때, 제 1 항 내지 제 26 항의 모든 단계들을 수행하도록 적응된 컴퓨터 프로그램 코드 수단을 포함하는,
컴퓨터 프로그램. - 레코딩된 프로그램을 갖는 컴퓨터 판독가능한 매체로서,
상기 컴퓨터 판독가능한 매체는, 프로그램이 컴퓨터 상에서 실행될 때, 제 1 항 내지 제 26 항의 모든 단계들을 수행하도록 적응된 컴퓨터 프로그램 코드 수단을 포함하는,
컴퓨터 판독가능한 매체. - 비디오 프로세싱 장치로서,
- 적어도 하나의 원래의 뷰 이미지 및 적어도 하나의 심도 또는 디스패리티 맵을 수신하도록 적응된 입력 수단, 및
- 제 1 항 내지 제 23 항 중 어느 한 항에 따른 방법을 수행하도록 적응된 이미지 프로세싱 수단
을 포함하는,
비디오 프로세싱 장치. - 제 29 항에서와 같은 비디오 프로세싱 장치를 포함하는,
3 차원 비디오 컨텐츠의 재구성을 위해 적응된 시스템. - 제 29 항에서와 같은 비디오 프로세싱 장치를 포함하는,
3 차원 비디오 컨텐츠의 생성을 위해 적응된 시스템. - 비디오 품질 평가 장치로서,
- 적어도 하나의 원래의 뷰 이미지 및 적어도 하나의 심도 또는 디스패리티 맵을 수신할 수 있는 입력 수단, 및
- 제 24 항 내지 제 26 항 중 어느 한 항에 따른 방법을 수행할 수 있는 이미지 프로세싱 수단
을 포함하는,
비디오 품질 평가 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ITTO2013A000784 | 2013-09-30 | ||
| IT000784A ITTO20130784A1 (it) | 2013-09-30 | 2013-09-30 | Method and device for edge shape enforcement for visual enhancement of depth image based rendering |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150037668A true KR20150037668A (ko) | 2015-04-08 |
Family
ID=49725281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20140131549A KR20150037668A (ko) | 2013-09-30 | 2014-09-30 | 3 차원 비디오 스트림의 심도 이미지 기반 렌더링의 시각적 개량을 위한 에지 형상 보강을 위한 방법 및 디바이스 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10049502B2 (ko) |
| KR (1) | KR20150037668A (ko) |
| CN (1) | CN104519348B (ko) |
| DE (1) | DE102014114061A1 (ko) |
| FR (1) | FR3011368B1 (ko) |
| GB (1) | GB2520162B (ko) |
| IT (1) | ITTO20130784A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110351548A (zh) * | 2019-06-27 | 2019-10-18 | 天津大学 | 基于深度学习及视差图加权指导的立体图像质量评价方法 |
| KR20210114900A (ko) * | 2019-10-14 | 2021-09-24 | 에스케이텔레콤 주식회사 | 가상 공간에서 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014082541A (ja) * | 2012-10-12 | 2014-05-08 | National Institute Of Information & Communication Technology | 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置 |
| KR102272254B1 (ko) * | 2015-02-13 | 2021-07-06 | 삼성전자주식회사 | 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치 |
| US9767363B2 (en) * | 2015-10-30 | 2017-09-19 | Google Inc. | System and method for automatic detection of spherical video content |
| US10372968B2 (en) | 2016-01-22 | 2019-08-06 | Qualcomm Incorporated | Object-focused active three-dimensional reconstruction |
| CN106127250A (zh) * | 2016-06-24 | 2016-11-16 | 深圳市唯特视科技有限公司 | 一种基于三维点云数据的人脸质量评估方法 |
| CN107180427B (zh) * | 2017-06-07 | 2020-06-16 | 北京工业大学 | 基于自回归局部图像描述的3d合成图像质量评价方法 |
| US10432944B2 (en) | 2017-08-23 | 2019-10-01 | Avalon Holographics Inc. | Layered scene decomposition CODEC system and methods |
| US11310475B2 (en) * | 2019-08-05 | 2022-04-19 | City University Of Hong Kong | Video quality determination system and method |
| TWI736335B (zh) * | 2020-06-23 | 2021-08-11 | 國立成功大學 | 基於深度影像生成方法、電子裝置與電腦程式產品 |
| CN114827569B (zh) * | 2022-04-24 | 2023-11-10 | 咪咕视讯科技有限公司 | 画面显示方法、装置、虚拟现实设备及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6215841B1 (en) * | 1998-09-29 | 2001-04-10 | General Electric Company | Methods and apparatus for 3D artifact reduction |
| US8059911B2 (en) * | 2008-09-30 | 2011-11-15 | Himax Technologies Limited | Depth-based image enhancement |
| US9582889B2 (en) * | 2009-07-30 | 2017-02-28 | Apple Inc. | Depth mapping based on pattern matching and stereoscopic information |
| CN101631256B (zh) * | 2009-08-13 | 2011-02-09 | 浙江大学 | 用于三维电视系统中2d视频到3d视频的转换方法 |
| DE102010009291A1 (de) * | 2010-02-25 | 2011-08-25 | Expert Treuhand GmbH, 20459 | Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display |
| JP5820985B2 (ja) * | 2011-01-19 | 2015-11-24 | パナソニックＩｐマネジメント株式会社 | 立体画像処理装置および立体画像処理方法 |
| WO2012153513A1 (ja) * | 2011-05-12 | 2012-11-15 | パナソニック株式会社 | 画像生成装置、及び画像生成方法 |
| JP6094863B2 (ja) | 2011-07-01 | 2017-03-15 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、画像処理方法、プログラム、集積回路 |
| JP5820716B2 (ja) * | 2011-12-15 | 2015-11-24 | シャープ株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、立体画像表示装置 |
| CN102724529B (zh) * | 2012-05-28 | 2014-08-06 | 清华大学 | 虚拟视点视频序列的生成方法及生成装置 |
-
2013
- 2013-09-30 IT IT000784A patent/ITTO20130784A1/it unknown
-
2014
- 2014-09-24 GB GB1416853.8A patent/GB2520162B/en active Active
- 2014-09-29 FR FR1459163A patent/FR3011368B1/fr active Active
- 2014-09-29 CN CN201410513891.0A patent/CN104519348B/zh active Active
- 2014-09-29 DE DE102014114061.3A patent/DE102014114061A1/de active Pending
- 2014-09-29 US US14/500,768 patent/US10049502B2/en active Active
- 2014-09-30 KR KR20140131549A patent/KR20150037668A/ko not_active Application Discontinuation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110351548A (zh) * | 2019-06-27 | 2019-10-18 | 天津大学 | 基于深度学习及视差图加权指导的立体图像质量评价方法 |
| CN110351548B (zh) * | 2019-06-27 | 2020-12-11 | 天津大学 | 一种深度学习及视差图加权指导的立体图像质量评价方法 |
| KR20210114900A (ko) * | 2019-10-14 | 2021-09-24 | 에스케이텔레콤 주식회사 | 가상 공간에서 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3011368A1 (fr) | 2015-04-03 |
| DE102014114061A9 (de) | 2015-07-23 |
| FR3011368B1 (fr) | 2017-11-24 |
| GB2520162A (en) | 2015-05-13 |
| ITTO20130784A1 (it) | 2015-03-31 |
| DE102014114061A1 (de) | 2015-04-02 |
| CN104519348A (zh) | 2015-04-15 |
| GB201416853D0 (en) | 2014-11-05 |
| CN104519348B (zh) | 2019-05-10 |
| GB2520162B (en) | 2015-11-18 |
| US20150091899A1 (en) | 2015-04-02 |
| US10049502B2 (en) | 2018-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20150037668A (ko) | 3 차원 비디오 스트림의 심도 이미지 기반 렌더링의 시각적 개량을 위한 에지 형상 보강을 위한 방법 및 디바이스 | |
| US12002233B2 (en) | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints | |
| JP4302572B2 (ja) | 画像処理装置 | |
| Battisti et al. | Objective image quality assessment of 3D synthesized views | |
| US8817069B2 (en) | Method and a device for filling occluded areas of a depth or disparity map estimated from at least two images | |
| Boev et al. | Towards compound stereo-video quality metric: a specific encoder-based framework | |
| US8897545B2 (en) | Apparatus and method for determining a confidence value of a disparity estimate | |
| US20140009462A1 (en) | Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects | |
| WO2011014419A1 (en) | Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene | |
| US20110234765A1 (en) | Image processing apparatus, image processing method, image processing program, and compound eye digital camera | |
| JP2002524937A (ja) | 高解像度カメラと低解像度カメラとを用いて高解像度像を合成する方法および装置 | |
| Bosc et al. | An edge-based structural distortion indicator for the quality assessment of 3D synthesized views | |
| Farid et al. | Edge enhancement of depth based rendered images | |
| US20230419524A1 (en) | Apparatus and method for processing a depth map | |
| EP2557537B1 (en) | Method and image processing device for processing disparity | |
| Farid et al. | Blind depth quality assessment using histogram shape analysis | |
| Jang et al. | FDQM: Fast quality metric for depth maps without view synthesis | |
| Ryu et al. | Synthesis quality prediction model based on distortion intolerance | |
| Wei et al. | Iterative depth recovery for multi-view video synthesis from stereo videos | |
| Milani et al. | No-reference quality metric for depth maps | |
| Oliveira et al. | Full Reference Quality Assessment of DIBR-Based Synthesized Images | |
| Dórea et al. | Depth map discontinuity correction for 3D video systems | |
| Fatima et al. | Quality assessment of 3D synthesized images based on structural and textural distortion | |
| Liu et al. | Automatic detection of temporal synchronization mismatches between the stereoscopic channels for stereo 3D videos | |
| Liu et al. | Quality assessment of synthesized 3D video with distorted depth map |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |