KR20230043921A - 품질 평가를 위한 이미지 기반 샘플링 메트릭 - Google Patents

품질 평가를 위한 이미지 기반 샘플링 메트릭 Download PDF

Info

Publication number
KR20230043921A
KR20230043921A KR1020237006206A KR20237006206A KR20230043921A KR 20230043921 A KR20230043921 A KR 20230043921A KR 1020237006206 A KR1020237006206 A KR 1020237006206A KR 20237006206 A KR20237006206 A KR 20237006206A KR 20230043921 A KR20230043921 A KR 20230043921A
Authority
KR
South Korea
Prior art keywords
virtual camera
evaluation
updated virtual
representation
camera positions
Prior art date
Application number
KR1020237006206A
Other languages
English (en)
Inventor
샹 장
차오 황
산 류
Original Assignee
텐센트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 아메리카 엘엘씨 filed Critical 텐센트 아메리카 엘엘씨
Publication of KR20230043921A publication Critical patent/KR20230043921A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 개시내용의 양태들은 3차원(3D) 그래픽 모델링을 위한 품질 평가의 방법들 및 장치들을 제공한다. 일부 예들에서, 품질 평가를 위한 장치는 프로세싱 회로부를 포함한다. 프로세싱 회로부는 3차원(3D) 공간으로부터 2차원(2D) 공간으로의 투영을 위한 가상 카메라의 위치 변화에 응답하여, 업데이트된 가상 카메라 위치를 결정한다. 프로세싱 회로부는 참조 2D 이미지를 생성하기 위해, 업데이트된 가상 카메라 위치에 따라 참조 3D 표현을 투영하고, 평가 2D 이미지를 생성하기 위해, 업데이트된 가상 카메라 위치에 따라 평가 중인 3D 표현을 투영한다. 프로세싱 회로부는 참조 2D 이미지 및 평가 2D 이미지에 기초하여, 업데이트된 가상 카메라 위치와 연관된 평가 스코어를 계산한다.

Description

품질 평가를 위한 이미지 기반 샘플링 메트릭
본 출원은 2021년 7월 13일자로 출원된 발명의 명칭이 "Image Based Sampling Metric for Mesh Quality Assessment"인 미국 가출원 제63/221,365호에 대한 우선권을 주장하는 2022년 7월 11일자로 출원된 발명의 명칭이 "IMAGE BASED SAMPLING METRIC FOR QUALITY ASSESSMENT"인 미국 특허 출원 제17/862,154호에 대한 우선권을 주장한다. 종래 출원들의 개시내용들은 이로써 그 전체가 참조로 포함된다.
본 개시내용은 일반적으로 3차원(3D) 그래픽 모델링을 위한 품질 평가와 관련된 실시예들을 설명한다.
본원에서 제공되는 배경 설명은 본 개시내용의 맥락을 일반적으로 제시하는 목적을 위한 것이다. 현재 지명되는 발명자들의 작업은, 이 배경 섹션에서 그 작업이 설명되는 범위뿐만 아니라 출원 시 종래 기술로서 달리 자격을 갖춘 것이 아닐 수 있는 설명의 양태들에서, 본 개시내용에 대한 종래 기술로서 명시적으로든 암시적으로든 인정되지 않는다.
3차원(3D) 공간에서 세계 내의 객체들, 세계 내의 환경들 등과 같은 세계를 캡처 및 표현하기 위해 다양한 기술들이 개발된다. 세계의 3D 표현들은 더 몰입적인 형태들의 상호작용 및 통신을 가능하게 할 수 있다.
본 개시내용의 양태들은 3차원(3D) 그래픽 모델링을 위한 품질 평가의 방법들 및 장치들을 제공한다. 일부 예들에서, 품질 평가를 위한 장치는 프로세싱 회로부를 포함한다. 프로세싱 회로부는 3차원(3D) 공간으로부터 2차원(2D) 공간으로의 투영을 위한 가상 카메라의 위치 변화에 응답하여, 업데이트된 가상 카메라 위치를 결정한다. 프로세싱 회로부는 참조 2D 이미지를 생성하기 위해, 업데이트된 가상 카메라 위치에 따라 참조 3D 표현을 투영하고, 평가 2D 이미지를 생성하기 위해, 업데이트된 가상 카메라 위치에 따라 평가 중인 3D 표현을 투영한다. 프로세싱 회로부는 참조 2D 이미지 및 평가 2D 이미지에 기초하여, 업데이트된 가상 카메라 위치와 연관된 평가 스코어를 계산한다.
일부 실시예들에서, 프로세싱 회로부는 업데이트된 가상 카메라 위치를 결정하기 위해, 이전의 가상 카메라 위치에 위치 변화의 회전 행렬을 적용한다. 일부 예들에서, 프로세싱 회로부는 사용자 인터페이스를 통해 입력 파라미터들로서 회전 행렬을 수신한다.
일부 실시예들에서, 프로세싱 회로부는 복수의 가상 카메라들의 위치 변화들에 기초하여, 제1 복수의 업데이트된 가상 카메라 위치들을 결정한다. 프로세싱 회로부는 제1 복수의 업데이트된 가상 카메라 위치들과 연관된 제1 복수의 참조 2D 이미지들을 생성하기 위해, 제1 복수의 업데이트된 가상 카메라 위치들에 따라 참조 3D 표현을 투영하고, 제1 복수의 업데이트된 가상 카메라 위치들과 연관된 제1 복수의 평가 2D 이미지들을 생성하기 위해, 제1 복수의 업데이트된 가상 카메라 위치들에 따라 평가 중인 3D 표현을 투영한다. 프로세싱 회로부는 제1 복수의 참조 2D 이미지들 및 제1 복수의 평가 2D 이미지들에 기초하여, 제1 복수의 업데이트된 가상 카메라 위치들과 각각 연관된 제1 복수의 평가 스코어들을 계산한다. 프로세싱 회로부는 제1 복수의 평가 스코어들의 가중 평균 평가 스코어를 계산한다.
예에서, 제1 복수의 업데이트된 가상 카메라 위치들은 3D 공간 내의 구 상에 균등하게 샘플링된다. 다른 예에서, 제1 복수의 업데이트된 가상 카메라 위치들은 3D 공간 내의 구 상에 랜덤으로 샘플링된다.
일부 예들에서, 평가 중인 3D 표현은 참조 3D 표현 내의 대응하는 프레임들을 갖는 복수의 프레임들을 포함한다. 제1 복수의 업데이트된 가상 카메라 위치들은 평가 중인 3D 표현의 제1 프레임 및 참조 3D 표현의 제1 대응하는 프레임을 투영하기 위해 사용된다. 프로세싱 회로부는 복수의 가상 카메라들의 제2 복수의 업데이트된 가상 카메라 위치들을 결정한다. 제2 복수의 업데이트된 가상 카메라 위치들은 평가 중인 3D 표현의 제2 프레임 및 참조 3D 표현의 제2 대응하는 프레임을 투영하기 위해 사용된다.
예에서, 프로세싱 회로부는 카메라 이동 경로에 기초하여, 복수의 가상 카메라들의 제2 복수의 업데이트된 가상 카메라 위치들을 결정한다.
다른 예에서, 프로세싱 회로부는 제1 카메라 이동 경로에 기초하여, 제2 복수의 업데이트된 가상 카메라 위치들 중 제1 위치를 결정하고, 제2 카메라 이동 경로에 기초하여, 제2 복수의 업데이트된 가상 카메라 위치들 중 제2 위치를 결정한다. 제1 위치는 복수의 가상 카메라들 중 제1 가상 카메라와 연관되고, 제2 위치는 복수의 가상 카메라들 중 제2 가상 카메라와 연관된다.
일부 예들에서, 제1 복수의 평가 스코어들의 가중 평균 평가 스코어를 계산하기 위해, 프로세싱 회로부는 평가 중인 3D 표현의 투영에 기초하여, 제1 복수의 평가 스코어들을 가중하기 위한 가중치들을 결정하고, 가중치들에 기초하여, 가중 평균 평가 스코어를 계산한다. 예에서, 프로세싱 회로부는 제1 복수의 평가 2D 이미지들에 투영된 각각의 유효 픽셀 수에 기초하여, 제1 복수의 평가 스코어들을 가중하기 위한 가중치들을 결정한다. 다른 예에서, 프로세싱 회로부는 제1 복수의 업데이트된 가상 카메라 위치들에 대응하는 투영 평면들까지의 평가 중인 3D 표현의 각각의 거리들에 기초하여, 제1 복수의 평가 스코어들을 가중하기 위한 가중치들을 결정한다.
일부 예들에서, 평가 중인 3D 표현은 참조 3D 표현 내의 대응하는 프레임들을 갖는 복수의 프레임들을 포함한다. 제1 복수의 업데이트된 가상 카메라 위치들은 평가 중인 3D 표현의 제1 프레임 및 참조 3D 표현의 제1 대응하는 프레임을 투영하기 위해 사용되고, 가중 평균 평가 스코어는 제1 프레임에 대한 제1 프레임 레벨 평가 스코어이다. 프로세싱 회로부는 제1 복수의 업데이트된 가상 카메라 위치들에 기초하여, 제1 프레임 레벨 평가 스코어를 가중하기 위한 제1 프레임 가중치를 결정한다. 프로세싱 회로부는 복수의 프레임들에 대한 가중 평균 스코어인 최종 평가 스코어를 계산한다. 제1 프레임 레벨 평가 스코어는 최종 평가 스코어에서 제1 프레임 가중치에 의해 가중된다.
예에서, 프로세싱 회로부는 제1 복수의 업데이트된 가상 카메라 위치들의 위치 수에 기초하여 제1 프레임 가중치를 결정한다. 다른 예에서, 프로세싱 회로부는 제1 복수의 업데이트된 가상 카메라 위치들의 위치들에 기초하여 제1 프레임 가중치를 결정한다.
예에서, 평가 스코어는 피크 신호 대 잡음비(peak signal-to-noise ratio)(PSNR)에 기초하여 계산된다. 예에서, 평가 스코어는 구조적 유사성 인덱스 메트릭(structural similarity index metric)(SSIM)에 기초하여 계산된다. 예에서, 평가 스코어는 시각적 정보 충실도(visual information fidelity)(VIF)에 기초하여 계산된다. 예에서, 평가 스코어는 비디오 다중 방법 평가 융합(video multi-method assessment fusion)(VMAF)에 기초하여 계산된다. 예에서, 평가 스코어는 블라인드/무참조 이미지 공간 품질 평가기(blind/referenceless image spatial quality evaluator)(BRISQUE)에 기초하여 계산된다. 예에서, 평가 스코어는 왜곡 식별 기반 이미지 진실성 및 무결성 평가(distortion identification-based image verity and integrity evaluation)(DIIVINE)에 기초하여 계산된다.
본 개시내용의 양태들은 또한, 컴퓨터에 의해 실행될 때 컴퓨터로 하여금 3D 그래픽 모델링을 위한 품질 평가의 방법을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 제공한다.
개시되는 주제의 추가의 피처들, 성질, 및 다양한 이점들은 다음의 상세한 설명 및 첨부 도면들로부터 더 명백하게 될 것이다.
도 1은 일부 예들에서 3차원(3D) 공간으로부터 2차원(2D) 공간으로 투영하는 예를 예시하는 도면을 도시한다.
도 2는 16개의 상이한 뷰 방향으로부터 렌더링된 2D 이미지들을 도시한다.
도 3은 일부 예들에서의 이미지 기반 샘플링 메트릭의 계산을 예시하는 도면을 도시한다.
도 4는 본 개시내용의 일부 실시예에 따른 다른 프로세스를 약술하는 흐름도를 도시한다.
도 5는 본 개시내용의 일부 실시예에 따른 다른 프로세스를 약술하는 흐름도를 도시한다.
도 6은 본 개시내용의 일부 실시예에 따른 다른 프로세스를 약술하는 흐름도를 도시한다.
도 7은 실시예에 따른 컴퓨터 시스템의 개략도이다.
본 개시내용의 양태들은 3D 그래픽 모델링을 위한 품질 평가의 기법들을 제공한다. 일부 예들에서, 기법들은 3차원(3D) 표현들의 품질 평가를 위한 이미지 기반 샘플링 메트릭을 개선할 수 있다.
일부 예들에서, 포인트 클라우드들 및 메시들이 세계의 3D 표현들로서 사용될 수 있다. 포인트 클라우드는 3D 공간 내의 포인트들의 세트이고, 그들 각각은 연관된 속성들, 예컨대, 컬러, 물질 특성들, 텍스처 정보, 강도 속성들, 반사율 속성들, 운동 관련 속성들, 모달리티 속성들, 및 다양한 다른 속성들을 갖는다. 이러한 포인트 클라우드들은 대량의 데이터를 포함할 수 있고, 저장 및 송신하는 데 비용이 많이 들고 시간 소모적일 수 있다. 일부 예들에서, 더 빠른 송신 또는 저장의 감소를 위해 포인트 클라우드를 표현하는 데 요구되는 데이터의 양을 감소시키기 위한 압축 기술들이 개발될 수 있다. 예컨대, 포인트 클라우드들의 손실 압축은 실시간 통신들 및 6 DoF(six Degrees of Freedom) 가상 현실에서 유용할 수 있다. 일부 예들에서, 압축 기술이 원래의 3D 표현(예컨대, 원래의 포인트 클라우드, 원래의 메시 등)에 대해 적용되어 원래의 3D 표현에 대한 왜곡들을 갖는 포인트 클라우드를 생성할 수 있다.
메시(일부 예들에서는 다각형 메시로 또한 지칭됨)는 다면체 객체의 형상을 정의하는 정점들, 에지들, 및 면들의 집합이다. 면들은 일반적으로 삼각형들(삼각형 메시), 사변형들(사각형들), 또는 다른 단순한 볼록 다각형들을 포함한다. 일부 예들에서, 면들은 오목 다각형들 또는 심지어 홀들을 갖는 다각형들을 포함할 수 있다. 일부 예들에서, 수치 계산들의 속도 또는 정확도를 증가시키는 것을 목표로 메싱 기법들이 개발될 수 있다. 일부 예들에서, 메싱 기법이 원래의 3D 표현(예컨대, 원래의 포인트 클라우드, 원래의 메시 등)에 대해 적용되어 원래의 3D 표현에 대한 왜곡들을 갖는 새로운 메시를 생성할 수 있다.
본 개시내용의 양태에 따르면, 3D 표현의 품질 평가는 2개의 타입의 접근법들: 포인트 기반 접근법 및 이미지 기반 접근법을 사용하여 수행될 수 있다.
일부 예들에서, 포인트 기반 접근법을 사용하기 위해, 3D 표현들이 포인트 클라우드 표현들로 변환된다. 예컨대, 제1 메시를 제2 메시와 비교하기 위해, 제1 메시의 표면 샘플링은 제1 메시와 연관된 제1 포인트 클라우드 표현을 생성할 수 있고, 제2 메시의 표면 샘플링은 제2 메시와 연관된 제2 포인트 클라우드 표현을 생성할 수 있다. 제1 메시와 연관된 제1 포인트 클라우드 표현 및 제2 메시와 연관된 제2 포인트 클라우드 표현에 기초하여, 피크 신호 대 잡음비(PSNR), 포인트 클라우드 품질 메트릭(PCQM) 등과 같은 일부 메트릭들이 계산될 수 있다.
일부 예들에서, 제1 3D 표현은 포인트 클라우드(제1 포인트 클라우드로 지칭됨)이고, 제2 3D 표현은 메시이다. 메시의 표면 샘플링은 제2 포인트 클라우드를 생성할 수 있다. 제1 포인트 클라우드 및 제2 포인트 클라우드에 기초하여, 피크 신호 대 잡음비(PSNR), 포인트 클라우드 품질 메트릭(PCQM) 등과 같은 일부 메트릭들이 제1 3D 표현과 제2 3D 표현을 비교하기 위해 계산될 수 있다.
일부 예들에서, 이미지 기반 접근법을 사용하기 위해, 3D 표현들은 3D 공간으로부터 2D 공간으로 투영된다. 예컨대, 3D 표현들은 2차원(2D) 이미지들을 생성하기 위해 투영 평면들 상으로 투영될 수 있고, 3D 표현들의 품질 평가는 2D 이미지들에 기초한다. 3D 표현들 각각은 포인트 클라우드, 메시 등과 같은 임의의 적합한 3D 표현일 수 있다. 일부 예들에서, 3D 공간으로부터 2D 공간으로의 투영에 의해 생성되는 2D 이미지는 컬러 값들의 2D 행렬(컬러 이미지로 또한 지칭됨), 이진 마스크 값들의 2D 행렬(마스크 이미지로 또한 지칭됨), 및 깊이 값들의 2D 행렬(깊이 이미지로 또한 지칭됨)을 포함할 수 있다는 점에 유의한다.
도 1은 일부 예들에서 2D 공간 내의 하나 이상의 2D 이미지(150)를 렌더링하기 위해 3D 공간 내의 3D 표현(110)을 투영하는 예를 예시하는 도면을 도시한다.
3D 표현(110)은 포인트 클라우드 또는 메시일 수 있다. 도 1의 예에서, 3D 표현(110)의 경계 구(120)가 획득될 수 있다. 예에서, 경계 구(120)는 3D 표현(110)의 경계 박스(예컨대, 직사각형 박스)를 결정하고, 경계 박스의 중심 및 대각선에 기초하여 경계 구(120)를 결정함으로써 획득될 수 있다.
일부 예들에서, 2D 이미지들(150)은 3D 공간 내의 경계 구(120)의 중심을 향하는 뷰 방향 벡터(vdi)를 사용하여 정의되는 바와 같은 뷰 방향에 기초하여 생성될 수 있다.
일부 예들에서, 2D 이미지들(150)은 정투영을 사용하여 렌더링될 수 있다. 뷰 방향 벡터(vdi)에 대한 투영 평면(130)은 경계 구(120)에 접하는 평면이고 뷰 방향 벡터(vdi)에 수직이다.
일부 예들에서, 뷰 방향들은 3D 공간으로부터 2D 공간으로의 투영들을 위한 가상 카메라들을 사용하여 설명될 수 있다. 예컨대, 가상 카메라의 위치(가상 카메라 위치로 또한 지칭됨)는 경계 구(120) 상에서 결정되고, 뷰 방향은 가상 카메라 위치로부터 경계 구(120)의 중심으로의 방향이다. 다른 예에서, 뷰 방향이 결정될 때, 뷰 방향에 평행하고 경계 구(120)의 중심을 통과하는 직선이 가상 카메라 위치에서 경계 구와 교차할 수 있다. 도 1의 예에서, 가상 카메라가, 예컨대, 위치 A에 배치될 때, 가상 카메라의 뷰 방향은 뷰 방향 벡터(vdi)에 의해 지정될 수 있다. 2D 이미지들(150)은, 예컨대, 위치 A에 배치되고 뷰 방향으로 3D 표현(120)의 픽처를 취하는 가상 카메라에 의해 취해진 것으로서 설명될 수 있다.
본 개시내용의 양태에 따르면, 뷰 방향 벡터(vdi)에 따른 렌더링 결과는 컬러 이미지, 마스크 이미지, 및 깊이 이미지를 포함하는 2D 이미지일 수 있다. 일부 예들에서, 컬러 버퍼는 뷰 방향 벡터(vdi)와 연관된 컬러 이미지를 저장하고; 마스크 버퍼는 뷰 방향 벡터(vdi)와 연관된 마스크 이미지를 저장하고; 깊이 버퍼는 뷰 방향 벡터(vdi)와 연관된 깊이 이미지를 저장한다.
일부 예들에서, 3D 표현(110)은 메시이고, 컬러 버퍼는, 각각의 픽셀 (m,n)에 대해, 가장 근접해 있는 투영된 삼각형의 RGB 값 또는 다른 컬러 포맷 값과 같은 컬러를 저장할 수 있다. 예에서, 3D 표현(110)은 텍스처링된 메시이고, RGB 컬러는 삼각형 UV 좌표들을 사용하여 텍스처 맵의 이중선형 보간에 의해 획득될 수 있다. 다른 예에서, 3D 표현(110)은 정점별 컬러 메시(color per vertex mesh)이고(텍스처 맵 없음), 픽셀들의 컬러는 무게중심 좌표들을 사용하여 정점 컬러들을 블렌딩하는 것에 기초하여 결정될 수 있다. 마스크 버퍼는, 각각의 픽셀 (m,n)에 대해, 이진 값을 저장할 수 있다. 예에서, 픽셀 (m,n)에 대한 이진 값은 픽셀에 대한 투영이 존재하는 경우 1로 설정되고; 그렇지 않으면, 픽셀에 대한 이진 값은 0으로 설정된다. 깊이 버퍼는, 각각의 픽셀 (m,n)에 대해, 투영 평면(130)으로부터 3D 공간 내의 3D 표면(투영 평면 상의 픽셀 (m,n)으로부터 메시까지의 뷰 방향 벡터(vdi)의 가장 근접해 있는 교차 포인트)까지의 거리(dm,n)(도 1에서 140에 의해 도시됨)를 저장할 수 있다.
도 1의 예에서, 뷰 방향 벡터(vdi)에 의해 지정된 뷰 방향에 따른 투영으로부터 렌더링된 2D 이미지(150)를 예시하기 위해 컬러 이미지가 도시된다.
도 2는 16개의 상이한 뷰 방향으로부터 렌더링된 2D 이미지들(예컨대, 컬러 이미지들)(251-266)을 도시한다.
본 개시내용의 일부 양태들에 따르면, 이미지 기반 접근법은, 참조 3D 표현(제1 3D 표현으로 또한 지칭됨)에 기초하여, 평가 중인 3D 표현(제2 3D 표현으로 또한 지칭됨)의 품질을 평가하기 위해, 이미지 기반 샘플링 메트릭(image-based sampling metric)(IBSM)을 사용하여 평가 스코어를 계산할 수 있다. 일부 예들에서, 참조 3D 표현은 원래의 3D 표현이고, 평가 중인 3D 표현은 원래의 3D 표현에 기초하여 (예컨대, 모델링 기법에 따라) 생성된다. 평가 중인 3D 표현은 원래의 3D 표현에 대한 왜곡들을 가질 수 있다.
일부 예들에서, IBSM을 사용하여 평가 스코어를 계산하기 위해, 다수의 투영 이미지들이 생성된다. 예컨대, 가상 카메라들의 제1 세트가 2D 이미지들의 제1 세트를 생성하기 위해 제1 3D 표현에 대해 특정 위치들에 배치되고, 가상 카메라들의 제2 세트가 2D 이미지들의 제2 세트를 생성하기 위해 제2 3D 표현에 대해 대응하는 위치들에 배치된다. 이어서, IBSM의 평가 스코어가 2D 이미지들의 제1 세트 및 2D 이미지들의 제2 세트에 기초하여 계산될 수 있다. 일부 예들에서, 가상 카메라가 뷰 방향을 지정하기 위해 사용된다는 점에 유의한다. 가상 카메라들의 제1 세트 및 가상 카메라들의 제2 세트는 제1 3D 표현 및 제2 3D 표현에 대해 대응하는 카메라 위치들에 배치될 수 있다. 카메라 위치들은 뷰 방향들과 연관된다. 따라서, 2D 이미지들의 제1 세트와 2D 이미지들의 제2 세트는 동일한 뷰 방향들로부터 취해진다.
구체적으로, 일부 예들에서, 제1 컬러 버퍼는 뷰 방향들과 연관된 컬러 이미지들의 제1 세트를 저장하고, 제1 마스크 버퍼는 뷰 방향들과 연관된 마스크 이미지들의 제1 세트를 저장하고, 제1 깊이 버퍼는 뷰 방향들과 연관된 깊이 이미지들의 제1 세트를 저장한다. 유사하게, 제2 컬러 버퍼는 뷰 방향들과 연관된 컬러 이미지들의 제2 세트를 저장하고, 제2 마스크 버퍼는 뷰 방향들과 연관된 마스크 이미지들의 제2 세트를 저장하고, 제2 깊이 버퍼는 뷰 방향들과 연관된 깊이 이미지들의 제2 세트를 저장한다.
일부 예들에서, 컬러 이미지들 및 깊이 이미지들에 대한 PSNR 값들은 컬러 버퍼들 및 깊이 버퍼들의 각각의 쌍에 기초하여 각각의 뷰 방향에 대해 계산될 수 있다. 컬러 이미지들에 대한 PSNR 값들은 컬러 왜곡들을 추정한다. 예에서, PSNR 값은 제1 컬러 버퍼 내의 제1 컬러 이미지 및 제2 컬러 버퍼 내의 제2 컬러 이미지에 기초하여 계산된다. 제1 컬러 이미지와 제2 컬러 이미지는 동일한 뷰 방향을 가질 수 있다. 깊이 이미지들에 대한 PSNR 값들은 기하형상 왜곡들을 추정한다. 예에서, PSNR 값은 제1 깊이 버퍼 내의 제1 깊이 이미지 및 제2 깊이 버퍼 내의 제2 깊이 이미지에 기초하여 계산된다. 제1 깊이 이미지와 제2 깊이 이미지는 동일한 뷰 방향을 가질 수 있다.
예에서, 최종 PSNR 값은 상이한 뷰 방향들 및 상이한 시간 프레임들(예컨대, 메시의 다수의 프레임들을 포함하는 동적 메시)로부터의 모든 PSNR 값들을 평균함으로써 계산된다.
도 3은 일부 예들에서 이미지 기반 샘플링 메트릭을 사용하여 평가 값을 계산하는 것을 예시하는 도면을 도시한다.
도 3의 예에서, 제1 3D 표현(310A)은 참조 3D 표현이고, 제2 3D 표현(310B)은 평가 중인 3D 표현이다.
일부 예들에서, V1, V2, V3 등에 의해 도시된 바와 같은 뷰 방향들의 세트가 결정된다. 뷰 방향들의 세트에 따라, 다수의 투영 이미지들(2D 이미지들로 또한 지칭됨)의 제1 세트가 제1 3D 표현(310A)에 대해 생성되고, 다수의 투영 이미지들의 제2 세트가 제2 3D 표현(310B)에 대해 생성된다. 예컨대, 뷰 방향 V2에 따라, 컬러 이미지 COLOR2A, 마스크 이미지 MASK2A, 및 깊이 이미지 DEPTH2A가 제1 3D 표현(310A)으로부터 생성된다. 컬러 이미지 COLOR2A는 컬러 버퍼 A에 저장되고, 마스크 이미지 MASK2A는 마스크 버퍼 A에 저장되고, 깊이 이미지 DEPTH2A는 깊이 버퍼 A에 저장된다.
유사하게, 뷰 방향 V2에 따라, 컬러 이미지 COLOR2B, 마스크 이미지 MASK2B, 및 깊이 이미지 DEPTH2B가 제2 3D 표현(310B)으로부터 생성된다. 컬러 이미지 COLOR2B는 컬러 버퍼 B에 저장되고, 마스크 이미지 MASK2B는 마스크 버퍼 B에 저장되고, 깊이 이미지 DEPTH2B는 깊이 버퍼 B에 저장된다.
일부 예들에서, 컬러 버퍼 A는 뷰 방향들의 세트 내의 뷰 방향들로부터 투영된 제1 3D 표현(310A)의 컬러 이미지들을 저장할 수 있다. 마스크 버퍼 A는 뷰 방향들의 세트 내의 뷰 방향들로부터 투영된 제1 3D 표현(310A)의 마스크 이미지들을 저장할 수 있다. 깊이 버퍼 A는 뷰 방향들의 세트 내의 뷰 방향들로부터 투영된 제1 3D 표현(310A)의 깊이 이미지들을 저장할 수 있다. 유사하게, 컬러 버퍼 B는 뷰 방향들의 세트 내의 뷰 방향들로부터 투영된 제2 3D 표현(310B)의 컬러 이미지들을 저장할 수 있다. 마스크 버퍼 B는 뷰 방향들의 세트 내의 뷰 방향들로부터 투영된 제2 3D 표현(310B)의 마스크 이미지들을 저장할 수 있다. 깊이 버퍼 B는 뷰 방향들의 세트 내의 뷰 방향들로부터 투영된 제2 3D 표현(310B)의 깊이 이미지들을 저장할 수 있다.
예에서, 동일한 뷰 방향의 2개의 이미지 사이의 차이를 계산하기 위해 평균 제곱 오차(MSE)가 사용될 수 있다. 예컨대, 뷰 방향 V2와 연관된 컬러 MSE 값은 컬러 이미지 COLOR2A 및 컬러 이미지 COLOR2B에 기초하여 계산되고; 뷰 방향 V2와 연관된 깊이 MSE 값은 깊이 이미지 DEPTH2A 및 깊이 이미지 DEPTH2B에 기초하여 계산된다. 예에서, 뷰 방향 V2와 연관된 컬러 PSNR 값은 컬러 MSE 값에 기초하여 계산되고, 뷰 방향 V2와 연관된 깊이 PSNR 값은 깊이 MSE 값에 기초하여 계산된다. 예에서, 컬러 평가 스코어는 뷰 방향들과 연관된 컬러 PSNR 값들의 평균으로서 계산된다. 다른 예에서, 깊이 평가 스코어는 뷰 방향들과 연관된 깊이 PSNR 값들의 평균으로서 계산된다.
일부 예들에서, 제1 3D 표현(310A)은 복수의 프레임들을 포함하고, 제2 3D 표현(310B)은 복수의 프레임들을 포함한다. 예에서, 프레임 레벨 컬러 평가 스코어, 프레임 레벨 깊이 평가 스코어 등과 같은 프레임 레벨 평가 스코어들은 대응하는 프레임들의 각각의 쌍에 대해 계산된다. 이어서, 컬러 메트릭이 모든 프레임 레벨 컬러 평가 스코어들의 평균으로서 계산되고, 깊이 메트릭이 모든 프레임 레벨 깊이 평가 스코어들의 평균으로서 계산된다.
일부 예들에서, 최종 평가 값은 모든 PSNR 값들(예컨대, 모든 뷰 방향들 및 프레임들(메시의 다수의 프레임들이 존재하는 경우)에 대한 컬러 PSNR 값들, 깊이 PSNR 값들)을 평균함으로써 계산된다. 최종 평가 스코어는 제2 3D 표현(310B)의 품질을 평가하기 위해 사용된다.
일부 관련 예들에서, 뷰 방향들(가상 카메라 위치들로 또한 지칭됨)은 뷰 방향 수가 결정되면 고정된다. 추가로, 최종 평가 스코어는, 공간 및 시간 도메인들에서의 차이들과 상관없이, 상이한 뷰 방향들 및 프레임들로부터의 PSNR들을 평균함으로써 획득된다. 본 개시내용의 양태에 따르면, PSNR 값들은 인간 시각적 인식과 충분히 강하게 상관되지 않을 수 있다.
본 개시내용의 일부 양태들은 3D 표현들의 품질 평가를 위한 IBSM 메트릭을 개선하기 위한 기법들을 제공한다. 기법들은 개별적으로 적용될 수 있거나 또는 임의의 형태의 조합들에 의해 적용될 수 있다.
본 개시내용의 양태에 따르면, 3D 표현들을 비교하기 위한 (뷰 방향들에 대응하는) 가상 카메라들의 위치들이 변화될 수 있다. 가상 카메라 위치들은 항상 고정되어 있는 것이 아니라 변화될 수 있다.
일부 실시예들에서, 가상 카메라 위치들의 변화들은 초기 가상 카메라 위치들에 적용될 수 있다. 3D 표현들의 경계 구 상의 초기 가상 카메라 위치들은 피보나치 구 격자(Fibonacci sphere lattice) 등을 사용하는 것과 같은 임의의 수단에 의해 결정될 수 있다.
일부 예들에서, (3D 표현들에 대한) 경계 구 주위로 가상 카메라 위치들을 회전시키고, 업데이트된 가상 카메라 위치들을 결정하기 위해, 초기 가상 카메라 위치들에 대해 회전 행렬이 적용된다. 업데이트된 가상 카메라 위치들은 2D 이미지들을 생성하기 위해 사용되고, 2D 이미지들은 품질 평가를 위해 사용된다. 일부 예들에서, 회전 행렬은 사용자 인터페이스로부터 수신된 입력 파라미터들과 같은 사용자 입력 파라미터들에 의해 지정될 수 있다. 예에서, 회전 행렬은 회전 크기를 갖는 회전 축에 기초하여 결정될 수 있다. 다른 예에서, 회전 행렬은 미리 정의된 순서의 상이한 축들을 따르는 3개의 회전 각도(요, 피치, 롤 표현으로 또한 알려져 있음)로부터 획득될 수 있다. 다른 예에서, 회전 행렬은 사원수(quaternion) 표현에 의해 표현될 수 있다.
일부 실시예들에서, 가상 카메라 위치들은 3D 표현들의 경계 구 상에 균등하게 샘플링(예컨대, 배치, 분산)된다. 일부 실시예들에서, 가상 카메라 위치들은 3D 표현들의 경계 구 상에 랜덤으로 샘플링(예컨대, 배치, 분산)된다.
일부 실시예들에서, 가상 카메라 위치들은 시간 경과에 따라 변화될 수 있다. 일부 예들에서, 3D 표현은 상이한 타임 스탬프들을 갖는 다수의 프레임들을 포함한다. 예에서, 각각의 프레임은 상이한 가상 카메라 위치 배열을 가질 수 있다. 일부 예들에서, 가상 카메라의 위치는 프레임마다 변화될 수 있다. 예에서, 가상 카메라의 위치는 경계 구 상의 카메라 이동 경로에 따라 변화될 수 있다. 일부 예들에서, 가상 카메라들은 경계 구 상의 동일한 또는 상이한 카메라 이동 경로(들)를 가질 수 있다. 예에서, 카메라 이동 경로(들)는 고정될 수 있다. 다른 예에서, 카메라 이동 경로(들)는, 예컨대, 사용자 인터페이스로부터 수신된 입력 파라미터들과 같은 사용자 입력(들)에 의해 지정된다.
본 개시내용의 양태에 따르면, 적응 가중 기법들이 사용될 수 있다. 예컨대, 공간(예컨대, 가상 카메라 위치들, 가상 카메라들) 및 시간(예컨대, 프레임들)에 걸쳐 평가 스코어들(예컨대, PSNR 값들)을 평균하는 대신에, 평가 중인 3D 표현에 대한 최종 평가 스코어를 계산하는 것에서 더 적응적인 가중 전략들이 적용될 수 있다.
일부 예들에서, 각각의 프레임에 대한 평가 스코어는 각각의 가상 카메라로부터의 가중 합으로서 계산될 수 있다. 예컨대, 방정식 (1)은 i번째 프레임에 대한 평가 스코어를 계산하기 위해 사용될 수 있다:
Figure pct00001
방정식 (1)
여기서,
Figure pct00002
는 i번째 프레임에서의 j번째 가상 카메라에 대한 평가 스코어를 나타낸다. 예에서, 평가 스코어는 컬러 버퍼들에 기초하여 계산된 컬러 PSNR 값 또는 깊이 버퍼들에 기초하여 계산된 깊이 PSNR 값 또는 임의의 다른 메트릭들일 수 있다.
Figure pct00003
는 스코어
Figure pct00004
에 대한 가중 인자를 나타낸다. Fi는 i번째 프레임에 대한 가중 평가 스코어를 나타낸다. 가중치
Figure pct00005
는 렌더링된 이미지(투영된 이미지) 내의 유효 픽셀 수, 시점까지의 거리 등을 포함하는 상이한 인자들을 고려할 수 있다.
예에서, 제1 투영된 이미지 내의 제1 유효 픽셀 수가 제2 투영된 이미지 내의 제2 유효 픽셀 수보다 더 클 때, 제1 투영된 이미지에 더 큰 가중치가 할당된다. 예에서, 투영된 이미지의 유효 픽셀 수는 투영된 이미지의 마스크 이미지 내의 "1"의 수에 의해 결정될 수 있다.
예에서, 시점까지의 거리는 투영 평면까지의 포인트들의 평균 거리를 사용하여 계산된다. 예에서, 시점까지의 거리는 투영된 이미지의 깊이 이미지 내의 유효 깊이 값들의 평균 깊이 값을 사용하여 계산된다.
추가로, 최종 평가 스코어는 방정식 (2)에 나타낸 바와 같이 공식화될 수 있는 프레임들의 스코어들로부터의 가중 합일 수 있다:
Figure pct00006
방정식 (2)
여기서, Ti는 i번째 프레임에 대한 가중 인자를 나타내고, F는 모든 프레임들에 걸쳐 가중된 최종 평가 스코어를 나타낸다. 가중치 Ti는 각각의 프레임 내의 가상 카메라 수, 가상 카메라 위치들 등을 포함하는 상이한 인자들을 고려할 수 있다. 예에서, 상이한 프레임들의 투영을 위해 상이한 가상 카메라 수가 사용된다. 더 큰 가상 카메라 수(더 큰 투영된 2D 이미지 수)를 갖는 프레임은 더 큰 가중치를 가질 수 있다. 다른 예에서, 상이한 가상 카메라 위치들은 상이한 유효 픽셀 수 또는 시점까지의 상이한 거리를 갖는 이미지들을 생성할 수 있다. 가상 카메라 위치들이 각각의 프레임에 대해 상이할 때, 프레임들에 대한 가중치들은 가상 카메라 위치 차이를 고려할 수 있다.
본 개시내용의 양태에 따르면, 추가적인 객관적 메트릭들이 3D 표현들의 품질 평가에서 사용될 수 있다. 객관적 메트릭들은 PSNR보다 인간 시각적 인식에 대해 더 양호한 상관을 가질 수 있고, 단순히 PSNR을 계산하는 것이 아니라 렌더링된 프레임들의 품질을 평가하는 데 사용될 수 있다.
일부 실시예들에서, 3D 참조 표현(참조 메시, 참조 포인트 클라우드 등)에 기초하여, 평가 중인 3D 표현(예컨대, 평가 중인 포인트 클라우드, 평가 중인 메시)의 품질을 결정하기 위해, 구조적 유사성 인덱스 메트릭(SSIM), 시각적 정보 충실도(VIF), 비디오 다중 방법 평가 융합(VMAF) 등과 같은 일부 메트릭들이 사용될 수 있다. 예에서, 원래의 메시는 압축된 메시(원래의 메시에 대한 왜곡을 가질 수 있음)의 품질 평가를 위한 3D 참조 표현으로서 사용된다. SSIM, VIF, VMAF 등과 같은 메트릭들은 원래의 메시에 기초하여 압축된 메시의 품질을 결정하기 위해 사용될 수 있다.
일부 실시예들에서, 블라인드/무참조 이미지 공간 품질 평가기(BRISQUE), 왜곡 식별 기반 이미지 진실성 및 무결성 평가(DIIVINE) 등과 같은 일부 메트릭들은 감소된 참조 또는 무참조를 사용하여 평가 중인 3D 표현(예컨대, 평가 중인 포인트 클라우드, 평가 중인 메시)의 품질을 결정할 수 있다. 예에서, 압축된 메시의 품질 평가를 수행하기 위해 원래의 메시가 요구되지 않는다. 다른 예에서, 압축된 메시의 품질 평가를 수행하기 위해 원래의 메시의 일부만이 요구된다.
도 4는 본 개시내용의 실시예에 따른 프로세스(400)를 약술하는 흐름도를 도시한다. 프로세스(400)는 3D 표현들의 품질 평가에서 사용될 수 있다. 일부 실시예들에서, 프로세스(400)는 소프트웨어 명령어들로 구현되고, 그에 따라, 프로세싱 회로부가 소프트웨어 명령어들을 실행할 때, 프로세싱 회로부는 프로세스(400)를 수행한다. 프로세스는 S401에서 시작되고 S410으로 진행한다.
S410에서, 가상 카메라의 위치 변화에 응답하여, 업데이트된 가상 카메라 위치가 결정된다. 가상 카메라는 3차원(3D) 공간으로부터 2차원(2D) 공간으로의 투영을 위해 사용된다.
일부 예들에서, 업데이트된 가상 카메라 위치를 결정하기 위해, 위치 변화의 회전 행렬이 이전의 가상 카메라 위치에 적용된다. 예에서, 회전 행렬은 사용자 인터페이스를 통해 입력 파라미터들로서 수신될 수 있다.
S420에서, 참조 2D 이미지를 생성하기 위해, 업데이트된 가상 카메라 위치에 따라 참조 3D 표현이 투영된다. 참조 3D 표현은 포인트 클라우드 또는 메시일 수 있다. 참조 2D 이미지는 컬러 이미지, 마스크 이미지, 및 깊이 이미지를 포함할 수 있다.
S430에서, 평가 2D 이미지를 생성하기 위해, 업데이트된 가상 카메라 위치에 따라 평가 중인 3D 표현이 투영된다. 평가 중인 3D 표현은 포인트 클라우드 또는 메시일 수 있다. 평가 2D 이미지는 컬러 이미지, 마스크 이미지, 및 깊이 이미지를 포함할 수 있다.
S440에서, 업데이트된 가상 카메라 위치와 연관된 평가 스코어는 참조 2D 이미지 및 평가 2D 이미지에 기초하여 계산된다.
일부 실시예들에서, 품질 평가는 복수의 가상 카메라들을 사용한다. 일부 예들에서, 제1 복수의 업데이트된 가상 카메라 위치들은 복수의 가상 카메라들의 위치 변화들에 기초하여 결정된다. 참조 3D 표현은 제1 복수의 업데이트된 가상 카메라 위치들과 연관된 제1 복수의 참조 2D 이미지들을 생성하기 위해, 제1 복수의 업데이트된 가상 카메라 위치들에 따라 투영된다. 평가 중인 3D 표현은 제1 복수의 업데이트된 가상 카메라 위치들과 연관된 제1 복수의 평가 2D 이미지들을 생성하기 위해, 제1 복수의 업데이트된 가상 카메라 위치들에 따라 투영된다. 제1 복수의 업데이트된 가상 카메라 위치들과 각각 연관된 제1 복수의 평가 스코어들은 제1 복수의 참조 2D 이미지들 및 제1 복수의 평가 2D 이미지들에 기초하여 계산될 수 있다. 이어서, 제1 복수의 평가 스코어들의 가중 평균 평가 스코어가 계산될 수 있다.
실시예에서, 제1 복수의 업데이트된 가상 카메라 위치들은 3D 공간 내의 구 상에 균등하게 샘플링된다. 다른 실시예에서, 제1 복수의 업데이트된 가상 카메라 위치들은 3D 공간 내의 구 상에 랜덤으로 샘플링된다.
일부 예들에서, 평가 중인 3D 표현은 참조 3D 표현 내의 대응하는 프레임들을 갖는 복수의 프레임들을 포함한다. 제1 복수의 업데이트된 가상 카메라 위치들은 평가 중인 3D 표현의 제1 프레임 및 참조 3D 표현의 제1 대응하는 프레임을 투영하기 위해 사용된다. 일부 예들에서, 복수의 가상 카메라들의 제2 복수의 업데이트된 가상 카메라 위치들이 결정될 수 있다. 제2 복수의 업데이트된 가상 카메라 위치들은 평가 중인 3D 표현의 제2 프레임 및 참조 3D 표현의 제2 대응하는 프레임을 투영하기 위해 사용된다. 예에서, 복수의 가상 카메라들의 제2 복수의 업데이트된 가상 카메라 위치들은 카메라 이동 경로에 기초하여 결정될 수 있다.
다른 예에서, 제2 복수의 업데이트된 가상 카메라 위치들 중 제1 위치는 제1 카메라 이동 경로에 기초하여 결정된다. 제1 위치는 복수의 가상 카메라들 중 제1 가상 카메라와 연관된다. 제2 복수의 업데이트된 가상 카메라 위치들 중 제2 위치는 제2 카메라 이동 경로에 기초하여 결정된다. 제2 위치는 복수의 가상 카메라들 중 제2 가상 카메라와 연관된다.
일부 예들에서, 제1 복수의 평가 스코어들의 가중 평균 평가 스코어를 계산하기 위해, 제1 복수의 평가 스코어들을 가중하기 위한 가중치들은 평가 중인 3D 표현의 투영에 기초하여 결정되고, 가중 평균 평가 스코어는 가중치들에 기초하여 계산된다. 예에서, 제1 복수의 평가 스코어들을 가중하기 위한 가중치들은 제1 복수의 평가 2D 이미지들에 투영된 각각의 유효 픽셀 수에 기초하여 결정된다. 다른 예에서, 제1 복수의 평가 스코어들을 가중하기 위한 가중치들은 제1 복수의 업데이트된 가상 카메라 위치들에 대응하는 투영 평면들까지의 평가 중인 3D 표현의 각각의 거리들에 기초하여 결정된다.
일부 예들에서, 평가 중인 3D 표현은 참조 3D 표현 내의 대응하는 프레임들을 갖는 복수의 프레임들을 포함하고, 제1 복수의 업데이트된 가상 카메라 위치들은 평가 중인 3D 표현의 제1 프레임 및 참조 3D 표현의 제1 대응하는 프레임을 투영하기 위해 사용되고, 가중 평균 평가 스코어는 제1 프레임에 대한 제1 프레임 레벨 평가 스코어이다. 일부 예들에서, 제1 프레임 레벨 평가 스코어를 가중하기 위한 제1 프레임 가중치는 제1 복수의 업데이트된 가상 카메라 위치들에 기초하여 결정된다. 복수의 프레임들에 대한 가중 평균 스코어인 최종 평가 스코어가 계산된다. 제1 프레임 레벨 평가 스코어는 최종 평가 스코어에서 제1 프레임 가중치에 의해 가중된다. 예에서, 제1 프레임 가중치는 제1 복수의 업데이트된 가상 카메라 위치들의 위치 수에 기초하여 결정된다. 다른 예에서, 제1 프레임 가중치는 제1 복수의 업데이트된 가상 카메라 위치들의 위치들에 기초하여 결정된다.
실시예에서, 평가 스코어는 피크 신호 대 잡음비(PSNR)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어는 구조적 유사성 인덱스 메트릭(SSIM)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어는 시각적 정보 충실도(VIF)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어는 비디오 다중 방법 평가 융합(VMAF)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어는 블라인드/무참조 이미지 공간 품질 평가기(BRISQUE)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어는 왜곡 식별 기반 이미지 진실성 및 무결성 평가(DIIVINE)에 기초하여 계산된다.
이어서, 프로세스는 S499로 진행하고 종료된다.
프로세스(400)는 적합하게 적응될 수 있다. 프로세스(400) 내의 단계(들)는 수정 및/또는 생략될 수 있다. 추가적인 단계(들)가 추가될 수 있다. 임의의 적합한 구현 순서가 사용될 수 있다.
도 5는 본 개시내용의 실시예에 따른 프로세스(500)를 약술하는 흐름도를 도시한다. 프로세스(500)는 3D 표현들의 품질 평가에서 사용될 수 있다. 일부 실시예들에서, 프로세스(500)는 소프트웨어 명령어들로 구현되고, 그에 따라, 프로세싱 회로부가 소프트웨어 명령어들을 실행할 때, 프로세싱 회로부는 프로세스(500)를 수행한다. 프로세스는 S501에서 시작되고 S510으로 진행한다.
S510에서, 참조 2차원(2D) 이미지들을 생성하기 위해, 가상 카메라들의 복수의 가상 카메라 위치들에 따라 참조 3차원(3D) 표현이 투영된다. 가상 카메라들은 3D 공간으로부터 2D 공간으로의 투영을 위해 사용된다. 예에서, 복수의 가상 카메라 위치들은 고정된 위치들이다. 다른 예에서, 복수의 가상 카메라 위치들은 프레임마다 변화될 수 있다.
S520에서, 평가 2D 이미지들을 생성하기 위해, 가상 카메라들의 복수의 가상 카메라 위치들에 따라 평가 중인 3D 표현이 투영된다.
S530에서, 가상 카메라들과 연관된 평가 스코어들이 참조 2D 이미지들 및 평가 2D 이미지들에 기초하여 계산될 수 있다.
S540에서, 평가 중인 3D 표현에 대한 평가 스코어들의 가중 평균 평가 스코어가 계산된다. 평가 스코어들을 가중하기 위한 가중치들은 평가 중인 3D 표현의 투영에 기초하여 결정된다.
일부 예들에서, 평가 스코어들을 가중하기 위한 가중치들은 평가 2D 이미지들에 투영된 각각의 유효 픽셀 수에 기초하여 결정된다. 일부 예들에서, 평가 스코어들을 가중하기 위한 가중치들은 복수의 가상 카메라 위치들에 대응하는 투영 평면들까지의 평가 중인 3D 표현의 각각의 거리들에 기초하여 결정된다.
일부 예들에서, 평가 중인 3D 표현은 참조 3D 표현 내의 대응하는 프레임들을 갖는 복수의 프레임들을 포함한다. 가중 평균 평가 스코어는 제1 프레임에 대한 제1 프레임 레벨 평가 스코어이다. 제1 프레임 레벨 평가 스코어를 가중하기 위한 제1 프레임 가중치는 복수의 가상 카메라 위치들에 기초하여 결정된다. 복수의 프레임들에 대한 가중 평균 스코어인 최종 평가 스코어가 계산된다. 최종 평가 스코어는 제1 프레임 가중치에 의해 가중된 제1 프레임 레벨 평가 스코어를 포함한다. 예에서, 제1 프레임 가중치는 복수의 가상 카메라 위치들의 위치 수에 기초하여 결정된다. 다른 예에서, 제1 프레임 가중치는 복수의 가상 카메라 위치들의 위치들에 기초하여 결정된다.
실시예에서, 평가 스코어들은 피크 신호 대 잡음비(PSNR)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어들은 구조적 유사성 인덱스 메트릭(SSIM)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어들은 VIF에 기초하여 계산된다. 다른 실시예에서, 평가 스코어들은 비디오 다중 방법 평가 융합(VMAF)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어들은 블라인드/무참조 이미지 공간 품질 평가기(BRISQUE)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어들은 왜곡 식별 기반 이미지 진실성 및 무결성 평가(DIIVINE)에 기초하여 계산된다.
이어서, 프로세스는 S599로 진행하고 종료된다.
프로세스(500)는 적합하게 적응될 수 있다. 프로세스(500) 내의 단계(들)는 수정 및/또는 생략될 수 있다. 추가적인 단계(들)가 추가될 수 있다. 임의의 적합한 구현 순서가 사용될 수 있다.
도 6은 본 개시내용의 실시예에 따른 프로세스(600)를 약술하는 흐름도를 도시한다. 프로세스(600)는 3D 표현들의 품질 평가에서 사용될 수 있다. 일부 실시예들에서, 프로세스(600)는 소프트웨어 명령어들로 구현되고, 그에 따라, 프로세싱 회로부가 소프트웨어 명령어들을 실행할 때, 프로세싱 회로부는 프로세스(600)를 수행한다. 프로세스는 S601에서 시작되고 S610으로 진행한다.
S610에서, 평가 2D 이미지를 생성하기 위해, 3차원(3D) 공간으로부터 2차원(2D) 공간으로 투영하기 위한 가상 카메라의 가상 카메라 위치에 따라 평가 중인 3D 표현이 투영된다.
S620에서, 평가 스코어가 평가 2D 이미지에 기초하여 계산된다. 실시예에서, 평가 스코어는 구조적 유사성 인덱스 메트릭(SSIM)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어는 시각적 정보 충실도(VIF)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어는 비디오 다중 방법 평가 융합(VMAF)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어는 블라인드/무참조 이미지 공간 품질 평가기(BRISQUE)에 기초하여 계산된다. 다른 실시예에서, 평가 스코어는 왜곡 식별 기반 이미지 진실성 및 무결성 평가(DIIVINE)에 기초하여 계산된다.
일부 예들에서, 메트릭이 참조를 요구할 때, 참조 2D 이미지를 생성하기 위해, 가상 카메라의 가상 카메라 위치에 따라 3D 참조 표현이 투영될 수 있다.
이어서, 프로세스는 S699로 진행하고 종료된다.
프로세스(600)는 적합하게 적응될 수 있다. 프로세스(600) 내의 단계(들)는 수정 및/또는 생략될 수 있다. 추가적인 단계(들)가 추가될 수 있다. 임의의 적합한 구현 순서가 사용될 수 있다.
위에서 설명된 기법들은 컴퓨터 판독가능 명령어들을 사용하여 컴퓨터 소프트웨어로서 구현될 수 있고, 하나 이상의 컴퓨터 판독가능 매체에 물리적으로 저장될 수 있다. 예컨대, 도 7은 개시되는 주제의 특정 실시예들을 구현하는 데 적합한 컴퓨터 시스템(700)을 도시한다.
컴퓨터 소프트웨어는, 하나 이상의 컴퓨터 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU) 등에 의해, 직접적으로, 또는 해석, 마이크로-코드 실행 등을 통해 실행될 수 있는 명령어들을 포함하는 코드를 생성하기 위해, 어셈블리, 컴필레이션, 링킹, 또는 유사한 메커니즘들을 거칠 수 있는 임의의 적합한 머신 코드 또는 컴퓨터 언어를 사용하여 코딩될 수 있다.
명령어들은, 예컨대, 개인용 컴퓨터들, 태블릿 컴퓨터들, 서버들, 스마트폰들, 게이밍 디바이스들, 사물 인터넷 디바이스들 등을 포함하는 다양한 타입의 컴퓨터들 또는 이들의 구성요소들 상에서 실행될 수 있다.
컴퓨터 시스템(700)에 대한 도 7에 도시된 구성요소들은 본질적으로 예시적인 것이고, 본 개시내용의 실시예들을 구현하는 컴퓨터 소프트웨어의 사용 또는 기능성의 범위에 대해 어떠한 제한도 제시하는 것으로 의도되지 않는다. 또한, 구성요소들의 구성이 컴퓨터 시스템(700)의 예시적인 실시예에서 예시되는 구성요소들 중 임의의 하나 또는 이들의 조합과 관련된 임의의 종속성 또는 요건을 갖는 것으로 해석되지 않아야 한다.
컴퓨터 시스템(700)은 특정 인간 인터페이스 입력 디바이스들을 포함할 수 있다. 그러한 인간 인터페이스 입력 디바이스는, 예컨대, 촉각적 입력(이를테면, 키스트로크들, 스와이프들, 데이터 글러브 움직임들), 오디오 입력(이를테면, 음성, 박수), 시각적 입력(이를테면, 제스처들), 후각적 입력(도시되지 않음)을 통한 하나 이상의 인간 사용자에 의한 입력에 응답할 수 있다. 인간 인터페이스 디바이스들은 또한, 인간에 의한 의식적인 입력과 반드시 직접적으로 관련될 필요는 없는 특정 매체들, 이를테면, 오디오(이를테면, 스피치, 음악, 주변 사운드), 이미지들(이를테면, 스캐닝된 이미지들, 정지 이미지 카메라로부터 획득된 사진 이미지들), 비디오(이를테면, 2차원 비디오, 스테레오스코픽 비디오를 포함하는 3차원 비디오)를 캡처하기 위해 사용될 수 있다.
입력 인간 인터페이스 디바이스들은, 키보드(701), 마우스(702), 트랙패드(703), 터치 스크린(710), 데이터 글러브(도시되지 않음), 조이스틱(705), 마이크로폰(706), 스캐너(707), 카메라(708) 중 하나 이상(각각 하나씩만 도시됨)을 포함할 수 있다.
컴퓨터 시스템(700)은 또한, 특정 인간 인터페이스 출력 디바이스들을 포함할 수 있다. 그러한 인간 인터페이스 출력 디바이스들은, 예컨대, 촉각적 출력, 사운드, 광, 및 냄새/맛을 통해 하나 이상의 인간 사용자의 감각들을 자극하고 있을 수 있다. 그러한 인간 인터페이스 출력 디바이스들은, 촉각적 출력 디바이스들(예컨대, 터치 스크린(710), 데이터 글러브(도시되지 않음), 또는 조이스틱(705)에 의한 촉각적 피드백이지만, 또한, 입력 디바이스들의 역할을 하지 않는 촉각적 피드백 디바이스들이 존재할 수 있음), 오디오 출력 디바이스들(이를테면, 스피커들(709), 헤드폰들(도시되지 않음)), 시각적 출력 디바이스들(이를테면, CRT 스크린들, LCD 스크린들, 플라즈마 스크린들, OLED 스크린들을 포함하는 스크린들(710)(이들 각각은 터치 스크린 입력 능력이 있거나 없고, 이들 각각은 촉각적 피드백 능력이 있거나 없고, 이들 중 일부는 입체 화법 출력과 같은 수단을 통해 2차원 시각적 출력 또는 3차원 초과의 차원 출력을 출력하는 것이 가능함); 가상 현실 안경(도시되지 않음), 홀로그래픽 디스플레이들 및 스모크 탱크들(도시되지 않음), 및 프린터들(도시되지 않음)을 포함할 수 있다.
컴퓨터 시스템(700)은 또한, 인간 액세스가능 저장 디바이스들 및 이들의 연관된 매체들, 이를테면, CD/DVD 또는 유사한 매체들(721)을 갖는 CD/DVD ROM/RW(720)를 포함하는 광학 매체들, 섬-드라이브(thumb-drive)(722), 착탈식 하드 드라이브 또는 솔리드 스테이트 드라이브(723), 레거시 자기 매체들, 이를테면 테이프 및 플로피 디스크(도시되지 않음), 특수 ROM/ASIC/PLD 기반 디바이스들, 이를테면 보안 동글들(도시되지 않음) 등을 포함할 수 있다.
관련 기술분야의 통상의 기술자는 또한, 현재 개시되는 주제와 관련하여 사용되는 바와 같은 "컴퓨터 판독가능 매체들"이라는 용어가 송신 매체들, 반송파들, 또는 다른 일시적 신호들을 포함하지 않는다는 것을 이해해야 한다.
컴퓨터 시스템(700)은 또한, 하나 이상의 통신 네트워크(755)에 대한 인터페이스(754)를 포함할 수 있다. 네트워크들은 예컨대 무선, 유선, 광학일 수 있다. 네트워크들은 추가로, 로컬, 광역, 도시권, 차량 및 산업, 실시간, 지연 감내형 등일 수 있다. 네트워크들의 예들은 로컬 영역 네트워크들, 이를테면 이더넷, 무선 LAN들, GSM, 3G, 4G, 5G, LTE 등을 포함하는 셀룰러 네트워크들, 케이블 TV, 위성 TV 및 지상파 브로드캐스트 TV를 포함하는 TV 유선 또는 무선 광역 디지털 네트워크들, CANBus를 포함하는 차량 및 산업 등을 포함한다. 특정 네트워크들은 일반적으로, 특정 범용 데이터 포트들 또는 주변 버스들(749)(이를테면, 예컨대 컴퓨터 시스템(700)의 USB 포트들)에 부착된 외부 네트워크 인터페이스 어댑터들을 요구하고, 다른 것들은 일반적으로, 아래에서 설명되는 바와 같은 시스템 버스에 대한 부착에 의해 컴퓨터 시스템(700)의 코어에 통합된다(예컨대, 이더넷 인터페이스가 PC 컴퓨터 시스템에 또는 셀룰러 네트워크 인터페이스가 스마트 폰 컴퓨터 시스템에 통합됨). 이러한 네트워크들 중 임의의 네트워크를 사용하여, 컴퓨터 시스템(700)은 다른 엔티티들과 통신할 수 있다. 그러한 통신은 단방향 수신 전용(예컨대, 브로드캐스트 TV), 단방향 전송 전용(예컨대, 특정 CANbus 디바이스들에 대한 CANbus), 또는 예컨대 로컬 또는 광역 디지털 네트워크들을 사용한 다른 컴퓨터 시스템들에 대한 양방향성일 수 있다. 위에서 설명된 바와 같은 그러한 네트워크들 및 네트워크 인터페이스들 각각 상에서 특정 프로토콜들 및 프로토콜 스택들이 사용될 수 있다.
전술된 인간 인터페이스 디바이스들, 인간 액세스가능 저장 디바이스들, 및 네트워크 인터페이스들은 컴퓨터 시스템(700)의 코어(740)에 부착될 수 있다.
코어(740)는 하나 이상의 중앙 프로세싱 유닛(CPU)(741), 그래픽 프로세싱 유닛(GPU)(742), 필드 프로그램가능 게이트 영역(FPGA)들(743)의 형태의 특수화된 프로그램가능 프로세싱 유닛, 특정 태스크들을 위한 하드웨어 가속기(744), 그래픽 어댑터(750) 등을 포함할 수 있다. 이러한 디바이스들은, 판독 전용 메모리(ROM)(745), 랜덤 액세스 메모리(746), 내부 비-사용자 액세스가능 하드 드라이브들, SSD들 등과 같은 내부 대용량 저장소(747)와 함께 시스템 버스(748)를 통해 연결될 수 있다. 일부 컴퓨터 시스템들에서, 시스템 버스(748)는, 추가적인 CPU들, GPU 등에 의한 확장을 가능하게 하기 위해, 하나 이상의 물리적 플러그의 형태로 액세스가능할 수 있다. 주변 디바이스들은 코어의 시스템 버스(748)에 직접적으로 또는 주변 버스(749)를 통해 부착될 수 있다. 예에서, 스크린(710)은 그래픽 어댑터(750)에 연결될 수 있다. 주변 버스에 대한 아키텍처들은 PCI, USB 등을 포함한다.
CPU들(741), GPU들(742), FPGA들(743), 및 가속기들(744)은 조합되어 전술된 컴퓨터 코드를 구성할 수 있는 특정 명령어들을 실행할 수 있다. 그 컴퓨터 코드는 ROM(745) 또는 RAM(746)에 저장될 수 있다. 과도적인 데이터가 또한 RAM(746)에 저장될 수 있는 반면에, 영구적인 데이터는 예컨대 내부 대용량 저장소(747)에 저장될 수 있다. 메모리 디바이스들 중 임의의 디바이스에 대한 고속 저장 및 검색은 하나 이상의 CPU(741), GPU(742), 대용량 저장소(747), ROM(745), RAM(746) 등과 밀접하게 연관될 수 있는 캐시 메모리의 사용을 통해 가능하게 될 수 있다.
컴퓨터 판독가능 매체들은 다양한 컴퓨터에 의해 구현되는 동작들을 수행하기 위한 컴퓨터 코드를 가질 수 있다. 매체들 및 컴퓨터 코드는 본 개시내용의 목적들을 위해 특별히 설계 및 구성된 것들일 수 있거나, 또는 이들은 컴퓨터 소프트웨어 기술분야의 통상의 기술자에게 널리 공지되고 그 통상의 기술자가 이용가능한 종류일 수 있다.
제한이 아닌 예로서, 아키텍처를 갖는 컴퓨터 시스템(700), 구체적으로 코어(740)는 프로세서(들)(CPU들, GPU들, FPGA, 가속기들 등을 포함함)가 하나 이상의 유형의 컴퓨터 판독가능 매체들에 구현된 소프트웨어를 실행하는 결과로서 기능성을 제공할 수 있다. 그러한 컴퓨터 판독가능 매체들은 위에서 소개된 바와 같은 사용자 액세스가능 대용량 저장소 뿐만 아니라, 코어 내부 대용량 저장소(747) 또는 ROM(745)과 같은 비일시적 성질을 갖는 코어(740)의 특정 저장소와 연관된 매체들일 수 있다. 본 개시내용의 다양한 실시예들을 구현하는 소프트웨어는 이러한 디바이스들에 저장될 수 있고 코어(740)에 의해 실행될 수 있다. 컴퓨터 판독가능 매체는 특정 필요들에 따라 하나 이상의 메모리 디바이스 또는 칩을 포함할 수 있다. 소프트웨어는, 코어(740), 구체적으로 코어(740) 내부의 프로세서들(CPU, GPU, FPGA 등을 포함함)로 하여금, RAM(746)에 저장된 데이터 구조들을 정의하는 것 및 소프트웨어에 의해 정의된 프로세스들에 따라 그러한 데이터 구조들을 수정하는 것을 포함하여, 본원에서 설명되는 특정 프로세스들 또는 그 특정 프로세스들의 특정 부분들을 실행하게 할 수 있다. 추가로 또는 대안으로서, 컴퓨터 시스템은, 본원에서 설명되는 특정 프로세스들 또는 그 특정 프로세스들의 특정 부분들을 실행하기 위해 소프트웨어 대신에 또는 소프트웨어와 함께 동작할 수 있는, 회로(예컨대: 가속기(744)에 하드와이어링되거나 또는 다른 방식으로 구현된 로직의 결과로서 기능성을 제공할 수 있다. 소프트웨어에 대한 언급은 적절한 경우 로직을 포함할 수 있고 그 반대도 마찬가지이다. 컴퓨터 판독가능 매체에 대한 언급은, 적절한 경우, 실행을 위한 소프트웨어를 저장하는 회로(이를테면, 집적 회로(IC)), 실행을 위한 로직을 구현하는 회로, 또는 이들 둘 모두를 포함할 수 있다. 본 개시내용은 하드웨어와 소프트웨어의 임의의 적합한 조합을 포함한다.
본 개시내용이 여러 개의 예시적인 실시예들을 설명하였지만, 본 개시내용의 범위 내에 속하는 변경들, 치환들, 및 다양한 대체 균등물들이 존재한다. 따라서, 본원에서 명시적으로 도시 또는 설명되지 않았지만 본 개시내용의 원리들을 구현하고 그에 따라 본 개시내용의 사상 및 범위 내에 있는 다수의 시스템 및 방법을 관련 기술분야의 통상의 기술자가 고안하는 것이 가능할 것이라는 점이 인식될 것이다.

Claims (20)

  1. 품질 평가를 위한 방법으로서,
    3차원(3D) 공간으로부터 2차원(2D) 공간으로의 투영을 위한 가상 카메라의 위치 변화에 응답하여, 업데이트된 가상 카메라 위치를 결정하는 단계;
    참조 2D 이미지를 생성하기 위해, 상기 업데이트된 가상 카메라 위치에 따라 참조 3D 표현을 투영하는 단계;
    평가 2D 이미지를 생성하기 위해, 상기 업데이트된 가상 카메라 위치에 따라 평가 중인 3D 표현을 투영하는 단계; 및
    상기 참조 2D 이미지 및 상기 평가 2D 이미지에 기초하여, 상기 업데이트된 가상 카메라 위치와 연관된 평가 스코어를 계산하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 업데이트된 가상 카메라 위치를 결정하는 단계는,
    상기 업데이트된 가상 카메라 위치를 결정하기 위해, 상기 위치 변화의 회전 행렬을 이전의 가상 카메라 위치에 적용하는 단계를 더 포함하는, 방법.
  3. 제2항에 있어서,
    사용자 인터페이스를 통해 입력 파라미터들로서 상기 회전 행렬을 수신하는 단계를 더 포함하는, 방법.
  4. 제1항에 있어서,
    복수의 가상 카메라들의 위치 변화들에 기초하여, 제1 복수의 업데이트된 가상 카메라 위치들을 결정하는 단계;
    상기 제1 복수의 업데이트된 가상 카메라 위치들과 연관된 제1 복수의 참조 2D 이미지들을 생성하기 위해, 상기 제1 복수의 업데이트된 가상 카메라 위치들에 따라 상기 참조 3D 표현을 투영하는 단계;
    상기 제1 복수의 업데이트된 가상 카메라 위치들과 연관된 제1 복수의 평가 2D 이미지들을 생성하기 위해, 상기 제1 복수의 업데이트된 가상 카메라 위치들에 따라 상기 평가 중인 3D 표현을 투영하는 단계;
    상기 제1 복수의 참조 2D 이미지들 및 상기 제1 복수의 평가 2D 이미지들에 기초하여, 상기 제1 복수의 업데이트된 가상 카메라 위치들과 각각 연관된 제1 복수의 평가 스코어들을 계산하는 단계; 및
    상기 제1 복수의 평가 스코어들의 가중 평균 평가 스코어를 계산하는 단계
    를 더 포함하는, 방법.
  5. 제4항에 있어서,
    상기 제1 복수의 업데이트된 가상 카메라 위치들은 상기 3D 공간 내의 구 상에 균등하게 샘플링되거나 또는 상기 3D 공간 내의 상기 구 상에 랜덤으로 샘플링되는, 방법.
  6. 제4항에 있어서,
    상기 평가 중인 3D 표현은 상기 참조 3D 표현 내의 대응하는 프레임들을 갖는 복수의 프레임들을 포함하고, 상기 제1 복수의 업데이트된 가상 카메라 위치들은 상기 평가 중인 3D 표현의 제1 프레임 및 상기 참조 3D 표현의 제1 대응하는 프레임을 투영하기 위해 사용되고, 상기 방법은,
    상기 복수의 가상 카메라들의 제2 복수의 업데이트된 가상 카메라 위치들을 결정하는 단계를 더 포함하고, 상기 제2 복수의 업데이트된 가상 카메라 위치들은 상기 평가 중인 3D 표현의 제2 프레임 및 상기 참조 3D 표현의 제2 대응하는 프레임을 투영하기 위해 사용되는, 방법.
  7. 제6항에 있어서,
    카메라 이동 경로에 기초하여, 상기 복수의 가상 카메라들의 상기 제2 복수의 업데이트된 가상 카메라 위치들을 결정하는 단계를 더 포함하는, 방법.
  8. 제6항에 있어서,
    제1 카메라 이동 경로에 기초하여, 상기 제2 복수의 업데이트된 가상 카메라 위치들 중 제1 위치를 결정하는 단계 ― 상기 제1 위치는 상기 복수의 가상 카메라들 중 제1 가상 카메라와 연관됨 ―; 및
    제2 카메라 이동 경로에 기초하여, 상기 제2 복수의 업데이트된 가상 카메라 위치들 중 제2 위치를 결정하는 단계
    를 더 포함하고,
    상기 제2 위치는 상기 복수의 가상 카메라들 중 제2 가상 카메라와 연관되는, 방법.
  9. 제4항에 있어서,
    상기 제1 복수의 평가 스코어들의 가중 평균 평가 스코어를 계산하는 단계는,
    상기 평가 중인 3D 표현의 투영에 기초하여, 상기 제1 복수의 평가 스코어들을 가중하기 위한 가중치들을 결정하는 단계; 및
    상기 가중치들에 기초하여, 상기 가중 평균 평가 스코어를 계산하는 단계
    를 더 포함하는, 방법.
  10. 제9항에 있어서,
    상기 제1 복수의 평가 스코어들을 가중하기 위한 가중치들을,
    상기 제1 복수의 평가 2D 이미지들에 투영된 각각의 유효 픽셀 수; 및
    상기 제1 복수의 업데이트된 가상 카메라 위치들에 대응하는 투영 평면들까지의 상기 평가 중인 3D 표현의 각각의 거리들
    중 적어도 하나에 기초하여 결정하는 단계를 더 포함하는, 방법.
  11. 제9항에 있어서,
    상기 평가 중인 3D 표현은 상기 참조 3D 표현 내의 대응하는 프레임들을 갖는 복수의 프레임들을 포함하고, 상기 제1 복수의 업데이트된 가상 카메라 위치들은 상기 평가 중인 3D 표현의 제1 프레임 및 상기 참조 3D 표현의 제1 대응하는 프레임을 투영하기 위해 사용되고, 상기 가중 평균 평가 스코어는 상기 제1 프레임에 대한 제1 프레임 레벨 평가 스코어이고, 상기 방법은,
    상기 제1 복수의 업데이트된 가상 카메라 위치들에 기초하여, 상기 제1 프레임 레벨 평가 스코어를 가중하기 위한 제1 프레임 가중치를 결정하는 단계; 및
    상기 복수의 프레임들에 대한 가중 평균 스코어인 최종 평가 스코어를 계산하는 단계
    를 더 포함하고,
    상기 제1 프레임 레벨 평가 스코어는 상기 최종 평가 스코어에서 상기 제1 프레임 가중치에 의해 가중되는, 방법.
  12. 제11항에 있어서,
    상기 제1 프레임 가중치를 결정하는 단계는,
    상기 제1 프레임 가중치를,
    상기 제1 복수의 업데이트된 가상 카메라 위치들의 위치 수; 및
    상기 제1 복수의 업데이트된 가상 카메라 위치들의 위치들
    중 적어도 하나에 기초하여 결정하는 단계를 포함하는, 방법.
  13. 제1항에 있어서,
    상기 평가 스코어는 피크 신호 대 잡음비(peak signal-to-noise ratio)(PSNR), 구조적 유사성 인덱스 메트릭(structural similarity index metric)(SSIM), 시각적 정보 충실도(visual information fidelity)(VIF), 비디오 다중 방법 평가 융합(video multi-method assessment fusion)(VMAF), 블라인드/무참조 이미지 공간 품질 평가기(blind/referenceless image spatial quality evaluator)(BRISQUE), 및 왜곡 식별 기반 이미지 진실성 및 무결성 평가(distortion identification based image verity and integrity evaluation)(DIIVINE) 중 적어도 하나를 포함하는, 방법.
  14. 품질 평가를 위한 장치로서,
    프로세싱 회로부를 포함하고,
    상기 프로세싱 회로부는,
    3차원(3D) 공간으로부터 2차원(2D) 공간으로의 투영을 위한 가상 카메라의 위치 변화에 응답하여, 업데이트된 가상 카메라 위치를 결정하고,
    참조 2D 이미지를 생성하기 위해, 상기 업데이트된 가상 카메라 위치에 따라 참조 3D 표현을 투영하고,
    평가 2D 이미지를 생성하기 위해, 상기 업데이트된 가상 카메라 위치에 따라 평가 중인 3D 표현을 투영하고,
    상기 참조 2D 이미지 및 상기 평가 2D 이미지에 기초하여, 상기 업데이트된 가상 카메라 위치와 연관된 평가 스코어를 계산하도록
    구성되는, 장치.
  15. 제14항에 있어서,
    상기 프로세싱 회로부는,
    상기 업데이트된 가상 카메라 위치를 결정하기 위해, 상기 위치 변화의 회전 행렬을 이전의 가상 카메라 위치에 적용하도록 구성되는, 장치.
  16. 제15항에 있어서,
    상기 프로세싱 회로부는,
    사용자 인터페이스를 통해 입력 파라미터들로서 상기 회전 행렬을 수신하도록 구성되는, 장치.
  17. 제14항에 있어서,
    상기 프로세싱 회로부는,
    복수의 가상 카메라들의 위치 변화들에 기초하여, 제1 복수의 업데이트된 가상 카메라 위치들을 결정하고,
    상기 제1 복수의 업데이트된 가상 카메라 위치들과 연관된 제1 복수의 참조 2D 이미지들을 생성하기 위해, 상기 제1 복수의 업데이트된 가상 카메라 위치들에 따라 상기 참조 3D 표현을 투영하고,
    상기 제1 복수의 업데이트된 가상 카메라 위치들과 연관된 제1 복수의 평가 2D 이미지들을 생성하기 위해, 상기 제1 복수의 업데이트된 가상 카메라 위치들에 따라 상기 평가 중인 3D 표현을 투영하고,
    상기 제1 복수의 참조 2D 이미지들 및 상기 제1 복수의 평가 2D 이미지들에 기초하여, 상기 제1 복수의 업데이트된 가상 카메라 위치들과 각각 연관된 제1 복수의 평가 스코어들을 계산하고,
    상기 제1 복수의 평가 스코어들의 가중 평균 평가 스코어를 계산하도록
    구성되는, 장치.
  18. 제17항에 있어서,
    상기 제1 복수의 업데이트된 가상 카메라 위치들은 상기 3D 공간 내의 구 상에 균등하게 샘플링되거나 또는 상기 3D 공간 내의 상기 구 상에 랜덤으로 샘플링되는, 장치.
  19. 제17항에 있어서,
    상기 평가 중인 3D 표현은 상기 참조 3D 표현 내의 대응하는 프레임들을 갖는 복수의 프레임들을 포함하고, 상기 제1 복수의 업데이트된 가상 카메라 위치들은 상기 평가 중인 3D 표현의 제1 프레임 및 상기 참조 3D 표현의 제1 대응하는 프레임을 투영하기 위해 사용되고, 상기 프로세싱 회로부는,
    상기 복수의 가상 카메라들의 제2 복수의 업데이트된 가상 카메라 위치들을 결정하도록 구성되고,
    상기 제2 복수의 업데이트된 가상 카메라 위치들은 상기 평가 중인 3D 표현의 제2 프레임 및 상기 참조 3D 표현의 제2 대응하는 프레임을 투영하기 위해 사용되는, 장치.
  20. 제19항에 있어서,
    상기 프로세싱 회로부는,
    카메라 이동 경로에 기초하여, 상기 복수의 가상 카메라들의 상기 제2 복수의 업데이트된 가상 카메라 위치들을 결정하도록 구성되는, 장치.
KR1020237006206A 2021-07-13 2022-07-12 품질 평가를 위한 이미지 기반 샘플링 메트릭 KR20230043921A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163221365P 2021-07-13 2021-07-13
US63/221,365 2021-07-13
US17/862,154 2022-07-11
US17/862,154 US20230027519A1 (en) 2021-07-13 2022-07-11 Image based sampling metric for quality assessment
PCT/US2022/073656 WO2023288231A1 (en) 2021-07-13 2022-07-12 Image based sampling metric for quality assessment

Publications (1)

Publication Number Publication Date
KR20230043921A true KR20230043921A (ko) 2023-03-31

Family

ID=84920599

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237006206A KR20230043921A (ko) 2021-07-13 2022-07-12 품질 평가를 위한 이미지 기반 샘플링 메트릭

Country Status (5)

Country Link
US (1) US20230027519A1 (ko)
EP (1) EP4371075A1 (ko)
JP (1) JP7499412B2 (ko)
KR (1) KR20230043921A (ko)
WO (1) WO2023288231A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116137059B (zh) * 2023-04-17 2024-04-26 宁波大学科学技术学院 基于多层次特征提取网络模型的三维点云质量评价方法
CN117011299B (zh) * 2023-10-07 2024-02-20 华侨大学 融合图重采样和梯度特征的参考点云质量评估方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3823758B2 (ja) 2001-05-09 2006-09-20 日産自動車株式会社 品質評価装置および品質評価方法
KR100439756B1 (ko) * 2002-01-09 2004-07-12 주식회사 인피니트테크놀로지 3차원 가상내시경 화면 표시장치 및 그 방법
GB0410551D0 (en) * 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
CA2563380A1 (en) * 2004-05-24 2005-12-08 Simactive, Inc. Method and system for detecting and evaluating 3d changes from images and a 3d reference model
US9686526B2 (en) * 2011-10-04 2017-06-20 Telefonaktiebolaget L M Ericsson (Publ) Objective 3D video quality assessment model
WO2013109742A1 (en) * 2012-01-18 2013-07-25 Logos Technologies, Inc. Method, device, and system for computing a spherical projection image based on two-dimensional images
KR20150004838A (ko) 2012-04-19 2015-01-13 톰슨 라이센싱 멀티-컴포넌트 3d 모델에 대한 에러 메트릭을 추정하기 위한 방법 및 장치
US20130314401A1 (en) * 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
US9286712B2 (en) * 2013-03-15 2016-03-15 Google Inc. System and method for approximating cartographic projections by linear transformation
US9392248B2 (en) * 2013-06-11 2016-07-12 Google Inc. Dynamic POV composite 3D video system
GB2548860A (en) * 2016-03-31 2017-10-04 Nokia Technologies Oy Multi-camera image coding
US20200273084A1 (en) * 2019-02-21 2020-08-27 App in the Air, Inc. Augmented-reality flight-viewing subsystem

Also Published As

Publication number Publication date
WO2023288231A9 (en) 2023-05-04
JP7499412B2 (ja) 2024-06-13
WO2023288231A1 (en) 2023-01-19
US20230027519A1 (en) 2023-01-26
EP4371075A1 (en) 2024-05-22
JP2023547616A (ja) 2023-11-13

Similar Documents

Publication Publication Date Title
TWI803590B (zh) 藉由所關注區域之制定的異步時間及空間翹曲
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
CN109660783B (zh) 虚拟现实视差校正
CN115699114B (zh) 用于分析的图像增广的方法和装置
EP3735677A1 (en) Fusing, texturing, and rendering views of dynamic three-dimensional models
KR20230043921A (ko) 품질 평가를 위한 이미지 기반 샘플링 메트릭
CN115690382B (zh) 深度学习模型的训练方法、生成全景图的方法和装置
WO2022063260A1 (zh) 一种渲染方法、装置及设备
CN112381813B (zh) 一种基于图卷积神经网络的全景图视觉显著性检测方法
CN117730530A (zh) 图像处理方法及装置、设备、存储介质
US20230281921A1 (en) Methods of 3d clothed human reconstruction and animation from monocular image
WO2019042272A2 (en) MULTIPLE VIEW RENDERING SYSTEM AND METHOD
CN117546472A (zh) 光场或全息媒体的资产重用性
CN116457837A (zh) 基于图像的质量评估采样度量
US20230360275A1 (en) Methods of sampling-based objective quality assessment for meshes
WO2023109582A1 (zh) 处理光线数据的方法、装置、设备和存储介质
CN117355867A (zh) 用于网格的基于采样的客观质量评价方法
US20240161391A1 (en) Relightable neural radiance field model
US11146777B2 (en) Efficient image population from captured scene
CN117475104A (zh) 用于渲染目标场景的方法、电子设备和计算机程序产品
JP2023529787A (ja) ３ｄジオメトリを構築するための方法、装置及びプログラム
WO2023217867A1 (en) Variable resolution variable frame rate video coding using neural networks
KR20230038272A (ko) 몰입형 미디어 상용성
CN114764848A (zh) 一种场景光照分布估计方法