KR20230136291A - 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램 - Google Patents

사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20230136291A
KR20230136291A KR1020220033809A KR20220033809A KR20230136291A KR 20230136291 A KR20230136291 A KR 20230136291A KR 1020220033809 A KR1020220033809 A KR 1020220033809A KR 20220033809 A KR20220033809 A KR 20220033809A KR 20230136291 A KR20230136291 A KR 20230136291A
Authority
KR
South Korea
Prior art keywords
mesh
similarity
projective
quality
preset
Prior art date
Application number
KR1020220033809A
Other languages
English (en)
Inventor
이상훈
강지우
이성민
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020220033809A priority Critical patent/KR20230136291A/ko
Publication of KR20230136291A publication Critical patent/KR20230136291A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램은, 사영 공간(projective space)에서의 구조적 유사성을 이용하여 3차원 매쉬(3D mesh)의 퀄리티를 평가함으로써, 3차원 매쉬의 토폴로지(topology) 변화에도 강인하게 3차원 매쉬의 퀄리티를 평가할 수 있다.

Description

사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램{Method for assessing 3D mesh quality using structural similarity of projective space, apparatus and computer program for performing the method}
본 발명은 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램에 관한 것으로서, 더욱 상세하게는 3차원 매쉬(3D mesh)의 퀄리티를 평가하는, 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
도 1은 종래의 3차원 매쉬 퀄리티 평가 방법을 설명하기 위한 도면으로, 동일한 MSE(mean squared error)를 가지는 기준 매쉬(reference mesh)와 왜곡 매쉬(distorted mesh)를 나타낸다.
3차원 매쉬(3D mesh)는 버텍스(vertex)와 트라이앵글(triangle) 연결로 구성되어 있다. 이에 따라, 같은 형태를 가지는 3차원 매쉬일지라도 서로 다른 구조를 가질 수 있다.
3차원 매쉬의 품질을 평가하는 전통적인 방법 중의 하나는 도 1에 도시된 바와 같이, MSE를 이용하는 것으로, 이는 가장 가까운 버텍스를 대응점으로 하여, 대응점 간 차이 평균을 이용하여 3차원 매쉬의 품질을 평가하는 방식이다.
도 2는 종래의 3차원 매쉬 퀄리티 평가 방법을 설명하기 위한 도면으로, 도 2의 (a)는 버텍스(vertex) 해상도(resolution)에 따른 버텍스 대응 비교를 나타내고, 도 2의 (b)는 왜곡 강도(distortion intensity)에 따른 MSE를 나타낸다.
도 2를 참조하면, 3차원 매쉬의 토폴로지(topology)가 다를 경우, 비교 매쉬 간의 버텍스의 개수와 분포가 달라질 수 있다. 이때, 버텍스의 개수가 달라지면 비교를 위한 대응점 매칭의 정확도가 저하되는 문제가 있다. 또한, 버텍스의 분포가 균일하지 않는다면 버텍스가 많이 몰린 곳에 집중되어 비교가 수행되는 문제가 있다.
본 발명이 이루고자 하는 목적은, 사영 공간(projective space)에서의 구조적 유사성을 이용하여 3차원 매쉬(3D mesh)의 퀄리티를 평가하는, 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램을 제공하는 데 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기의 기술적 과제를 달성하기 위한 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법은, 퀄리티 평가 대상인 3차원 대상 매쉬를 획득하는 단계; 상기 3차원 대상 매쉬에 대응되는 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각을 기반으로 미리 설정된 복수개의 뷰별로 프로젝션(projection)하여, 상기 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각에 대한 복수개의 심도 맵(depth map)을 획득하는 단계; 상기 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각에 대한 상기 복수개의 심도 맵을 기반으로, 상기 미리 설정된 복수개의 뷰별 2차원 퀄리티 점수를 획득하는 단계; 상기 미리 설정된 복수개의 뷰별 상기 2차원 퀄리티 점수를 기반으로, 상기 3차원 대상 매쉬의 트라이앵글(triangle) 별로 퀄리티 점수를 획득하여, 상기 3차원 대상 매쉬의 3차원 퀄리티 점수를 획득하는 단계;를 포함한다.
여기서, 상기 2차원 퀄리티 점수 획득 단계는, 상기 3차원 기준 매쉬에 대한 상기 복수개의 심도 맵 및 상기 3차원 대상 매쉬에 대한 상기 복수개의 심도 맵을 기반으로, 콘트라스트 프로젝티브 유사도(contrast projective similarity), 구조 프로젝티브 유사도(structural projective similarity) 및 위치 프로젝티브 유사도(positional projective similarity)를 획득하고, 상기 콘트라스트 프로젝티브 유사도, 상기 구조 프로젝티브 유사도 및 상기 위치 프로젝티브 유사도를 기반으로, 상기 2차원 퀄리티 점수를 획득하는 것으로 이루어질 수 있다.
여기서, 상기 2차원 퀄리티 점수 획득 단계는, 상기 3차원 기준 매쉬에 대한 상기 복수개의 심도 맵 및 상기 3차원 대상 매쉬에 대한 상기 복수개의 심도 맵을 기반으로, 변화가 큰 표면에 큰 가중치를 부여하는 시각적 민감도 가중치(visual sensitivity weight)를 이용하여, 미리 설정된 크기를 가지는 로컬 패치(local patch) 간의 분산(variation)의 차이를 통해 상기 콘트라스트 프로젝티브 유사도를 획득하는 것으로 이루어질 수 있다.
여기서, 상기 2차원 퀄리티 점수 획득 단계는, [식 1]을 이용하여 상기 콘트라스트 프로젝티브 유사도를 획득하는 것으로 이루어지며, 상기 [식 1]은,
Figure pat00001
이고, 상기 Sc는, 상기 콘트라스트 프로젝티브 유사도를 나타내며, 상기 x는, 상기 3차원 기준 매쉬에 대한 심도 맵을 나타내고, 상기 y는, 상기 3차원 대상 매쉬에 대한 심도 맵을 나타내며, 상기 C1은, 미리 설정된 상수를 나타내고, 상기 σ'x는, [식 2]를 이용하여 획득되며, 상기 [식 2]는,
Figure pat00002
이고, 상기 Np는, i번째 픽셀의 로컬 패치를 나타내며, 상기 wi는, i번째 픽셀의 시각적 민감도 가중치를 나타내고, 상기 xi는, 상기 3차원 기준 매쉬에 대한 심도 맵에서의 i번째 픽셀의 심도를 나타내며, 상기 μ'x는, [식 3]을 이용하여 획득되고, 상기 [식 3]은,
Figure pat00003
일 수 있다.
여기서, 상기 시각적 민감도 가중치는, [식 4]를 이용하여 획득되며, 상기 [식 4]는,
Figure pat00004
이고, 상기 wi는, i번째 픽셀의 시각적 민감도 가중치를 나타내며, 상기 ni는, i번째 픽셀의 노말(normal)을 나타낼 수 있다.
여기서, 상기 2차원 퀄리티 점수 획득 단계는, 상기 3차원 기준 매쉬에 대한 상기 복수개의 심도 맵 및 상기 3차원 대상 매쉬에 대한 상기 복수개의 심도 맵을 기반으로, 변화가 큰 표면에 큰 가중치를 부여하는 시각적 민감도 가중치(visual sensitivity weight)를 이용하여, 미리 설정된 크기를 가지는 로컬 패치(local patch) 간의 구조적 유사성을 통해 상기 구조 프로젝티브 유사도를 획득하는 것으로 이루어질 수 있다.
여기서, 상기 2차원 퀄리티 점수 획득 단계는, [식 5]를 이용하여 상기 구조 프로젝티브 유사도를 획득하는 것으로 이루어지며, 상기 [식 5]는,
Figure pat00005
이고, 상기 Ss는, 상기 구조 프로젝티브 유사도를 나타내며, 상기 C2는, 미리 설정된 상수를 나타내고, 상기 σ'xy는, [식 6]을 이용하여 획득되며, 상기 [식 6]은,
Figure pat00006
일 수 있다.
여기서, 상기 2차원 퀄리티 점수 획득 단계는, 상기 3차원 기준 매쉬에 대한 상기 복수개의 심도 맵 및 상기 3차원 대상 매쉬에 대한 상기 복수개의 심도 맵을 기반으로, 미리 설정된 크기를 가지는 로컬 패치(local patch) 간의 표면 위치 차이를 통해 상기 위치 프로젝티브 유사도를 획득하는 것으로 이루어질 수 있다.
여기서, 상기 2차원 퀄리티 점수 획득 단계는, [식 7]을 이용하여 상기 위치 프로젝티브 유사도를 획득하는 것으로 이루어지며, 상기 [식 7]은,
Figure pat00007
이고, 상기 Sp는, 상기 위치 프로젝티브 유사도를 나타내며, 상기 C3은, 미리 설정된 상수를 나타내고, 상기 μx는, [식 8]을 이용하여 획득되며, 상기 [식 8]은,
Figure pat00008
일 수 있다.
여기서, 상기 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각을 기반으로 미리 설정된 복수개의 스케일(scale)별 3차원 매쉬를 획득하고, 상기 복수개 심도 맵 획득 단계, 상기 2차원 퀄리티 점수 획득 단계 및 상기 3차원 퀄리티 점수 획득 단계를 상기 미리 설정된 복수개의 스케일별 3차원 매쉬 각각에 대해 수행하는 단계; 및 상기 미리 설정된 복수개의 스케일별 3차원 매쉬 각각에 대한 상기 3차원 퀄리티 점수 및 미리 설정된 스케일별 가중치를 기반으로, 상기 3차원 대상 매쉬의 통합 3차원 퀄리티 점수를 획득하는 단계;를 더 포함할 수 있다.
상기의 기술적 과제를 달성하기 위한 본 발명의 바람직한 실시예에 따른 컴퓨터 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장되어 상기한 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법 중 어느 하나를 컴퓨터에서 실행시킨다.
상기의 기술적 과제를 달성하기 위한 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 장치는, 사영 공간에서의 구조적 유사성을 이용하여 3차원 매쉬의 퀄리티를 평가하는 장치로서, 사영 공간에서의 구조적 유사성을 이용하여 3차원 매쉬의 퀄리티를 평가하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 프로그램에 따라 사영 공간에서의 구조적 유사성을 이용하여 3차원 매쉬의 퀄리티를 평가하기 위한 동작을 수행하는 하나 이상의 프로세서;를 포함하며, 상기 프로세서는, 퀄리티 평가 대상인 3차원 대상 매쉬를 획득하고, 상기 3차원 대상 매쉬에 대응되는 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각을 기반으로 미리 설정된 복수개의 뷰별로 프로젝션(projection)하여, 상기 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각에 대한 복수개의 심도 맵(depth map)을 획득하며, 상기 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각에 대한 상기 복수개의 심도 맵을 기반으로, 상기 미리 설정된 복수개의 뷰별 2차원 퀄리티 점수를 획득하고, 상기 미리 설정된 복수개의 뷰별 상기 2차원 퀄리티 점수를 기반으로, 상기 3차원 대상 매쉬의 트라이앵글(triangle) 별로 퀄리티 점수를 획득하여, 상기 3차원 대상 매쉬의 3차원 퀄리티 점수를 획득한다.
여기서, 상기 프로세서는, 상기 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각을 기반으로 미리 설정된 복수개의 스케일(scale)별 3차원 매쉬를 획득하고, 상기 복수개 심도 맵 획득 과정, 상기 2차원 퀄리티 점수 획득 과정 및 상기 3차원 퀄리티 점수 획득 과정을 상기 미리 설정된 복수개의 스케일별 3차원 매쉬 각각에 대해 수행하고, 상기 미리 설정된 복수개의 스케일별 3차원 매쉬 각각에 대한 상기 3차원 퀄리티 점수 및 미리 설정된 스케일별 가중치를 기반으로, 상기 3차원 대상 매쉬의 통합 3차원 퀄리티 점수를 획득할 수 있다.
본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램에 의하면, 사영 공간(projective space)에서의 구조적 유사성을 이용하여 3차원 매쉬(3D mesh)의 퀄리티를 평가함으로써, 3차원 매쉬의 토폴로지(topology) 변화에도 강인하게 3차원 매쉬의 퀄리티를 평가할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래의 3차원 매쉬 퀄리티 평가 방법을 설명하기 위한 도면으로, 동일한 MSE(mean squared error)를 가지는 기준 매쉬(reference mesh)와 왜곡 매쉬(distorted mesh)를 나타낸다.
도 2는 종래의 3차원 매쉬 퀄리티 평가 방법을 설명하기 위한 도면으로, 도 2의 (a)는 버텍스(vertex) 해상도(resolution)에 따른 버텍스 대응 비교를 나타내고, 도 2의 (b)는 왜곡 강도(distortion intensity)에 따른 MSE를 나타낸다.
도 3은 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 장치를 설명하기 위한 블록도이다.
도 4는 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법의 일례를 설명하기 위한 흐름도이다.
도 5는 본 발명의 바람직한 실시예에 따른 뷰별 심도 맵 획득 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 2차원 퀄리티 점수 획득 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 바람직한 실시예에 따른 시각적 민감도 가중치를 설명하기 위한 도면으로, 도 7의 (a)는 기준 매쉬(reference mesh)를 나타내고, 도 7의 (b)는 가우시안 노이즈(Gaussian noise)를 나타내며, 도 7의 (c)는 스파이크 노이즈(spike noise)를 나타내고, 도 7의 (d)는 라플라시안 스무딩(Laplacian smoothing)을 나타낸다.
도 8은 본 발명의 바람직한 실시예에 따른 3차원 퀄리티 점수 획득 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법의 다른 예를 설명하기 위한 흐름도이다.
도 10은 본 발명의 바람직한 실시예에 따른 스케일별 3차원 매쉬 획득 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 바람직한 실시예에 따른 스케일별 3차원 퀄리티 점수 획득 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 바람직한 실시예에 따른 통합 3차원 퀄리티 점수 획득 과정을 설명하기 위한 도면이다.
도 13은 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법의 성능을 설명하기 위한 도면으로, 매쉬 토폴로지(topology) 차이 및 왜곡 강도(distortion intensity)에 따른 본 발명(SSIM3DF)의 에러 맵(error map)을 나타낸다.
도 14는 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법의 성능을 설명하기 위한 도면으로, 예측된 매쉬 퀄리티 대 MOS(mean opinion score)의 산점도(scatter plot)를 나타낸다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성 요소를 다른 구성 요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예컨대, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 명세서에서 각 단계들에 있어 식별부호(예컨대, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서, "가진다", "가질 수 있다", "포함한다" 또는 "포함할 수 있다" 등의 표현은 해당 특징(예컨대, 수치, 기능, 동작, 또는 부품 등의 구성 요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램의 바람직한 실시예에 대해 상세하게 설명한다.
먼저, 도 3을 참조하여 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 장치에 대하여 설명한다.
도 3은 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 장치를 설명하기 위한 블록도이다.
도 3을 참조하면, 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 장치(이하 '3차원 매쉬 퀄리티 평가 장치'라 한다)(100)는 사영 공간(projective space)에서의 구조적 유사성을 이용하여 3차원 매쉬(3D mesh)의 퀄리티를 평가할 수 있다.
이를 위해, 3차원 매쉬 퀄리티 평가 장치(100)는 하나 이상의 프로세서(110), 컴퓨터 판독 가능한 저장 매체(130) 및 통신 버스(150)를 포함할 수 있다.
프로세서(110)는 3차원 매쉬 퀄리티 평가 장치(100)가 동작하도록 제어할 수 있다. 예컨대, 프로세서(110)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램(131)을 실행할 수 있다. 하나 이상의 프로그램(131)은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(110)에 의해 실행되는 경우 3차원 매쉬 퀄리티 평가 장치(100)로 하여금 사영 공간에서의 구조적 유사성을 이용하여 3차원 매쉬의 퀄리티를 평가하기 위한 동작을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능한 저장 매체(130)는 사영 공간에서의 구조적 유사성을 이용하여 3차원 매쉬의 퀄리티를 평가하기 위한 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(131)은 프로세서(110)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능한 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 3차원 매쉬 퀄리티 평가 장치(100)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(150)는 프로세서(110), 컴퓨터 판독 가능한 저장 매체(130)를 포함하여 3차원 매쉬 퀄리티 평가 장치(100)의 다른 다양한 컴포넌트들을 상호 연결한다.
3차원 매쉬 퀄리티 평가 장치(100)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(170) 및 하나 이상의 통신 인터페이스(190)를 포함할 수 있다. 입출력 인터페이스(170) 및 통신 인터페이스(190)는 통신 버스(150)에 연결된다. 입출력 장치(도시하지 않음)는 입출력 인터페이스(170)를 통해 3차원 매쉬 퀄리티 평가 장치(100)의 다른 컴포넌트들에 연결될 수 있다.
그러면, 도 4 내지 도 8을 참조하여 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법의 일례에 대하여 설명한다.
도 4는 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법의 일례를 설명하기 위한 흐름도이고, 도 5는 본 발명의 바람직한 실시예에 따른 뷰별 심도 맵 획득 과정을 설명하기 위한 도면이며, 도 6은 본 발명의 바람직한 실시예에 따른 2차원 퀄리티 점수 획득 과정을 설명하기 위한 도면이고, 도 7은 본 발명의 바람직한 실시예에 따른 시각적 민감도 가중치를 설명하기 위한 도면으로, 도 7의 (a)는 기준 매쉬(reference mesh)를 나타내고, 도 7의 (b)는 가우시안 노이즈(Gaussian noise)를 나타내며, 도 7의 (c)는 스파이크 노이즈(spike noise)를 나타내고, 도 7의 (d)는 라플라시안 스무딩(Laplacian smoothing)을 나타내며, 도 8은 본 발명의 바람직한 실시예에 따른 3차원 퀄리티 점수 획득 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 3차원 매쉬 퀄리티 평가 장치(100)의 프로세서(110)는 퀄리티 평가 대상인 3차원 대상 매쉬를 획득할 수 있다(S110).
그런 다음, 프로세서(110)는 3차원 대상 매쉬에 대응되는 3차원 기준 매쉬 및 3차원 대상 매쉬 각각을 기반으로 미리 설정된 복수개의 뷰(view)별로 프로젝션(projection)하여, 3차원 기준 매쉬 및 3차원 대상 매쉬 각각에 대한 복수개의 심도 맵(depth map)을 획득할 수 있다(S120).
즉, 프로세서(110)는 도 5에 도시된 바와 같이, 3차원 대상 매쉬 및 3차원 기준 매쉬 각각을 복수개의 뷰(뷰 1, 뷰 2, ..., 뷰 n)별로 프로젝션하여, 복수개의 뷰(뷰 1, 뷰 2, ..., 뷰 n)별 심도 맵(심도 맵 1, 심도 맵 2, ..., 심도 맵 n)을 획득할 수 있다.
그런 다음, 프로세서(110)는 3차원 기준 매쉬 및 3차원 대상 매쉬 각각에 대한 복수개의 심도 맵을 기반으로, 미리 설정된 복수개의 뷰별 2차원 퀄리티 점수를 획득할 수 있다(S130).
즉, 프로세서(110)는 도 6에 도시된 바와 같이, 3차원 기준 매쉬에 대한 복수개의 심도 맵(심도 맵 1, 심도 맵 2, ..., 심도 맵 n) 및 3차원 대상 매쉬에 대한 복수개의 심도 맵(심도 맵 1, 심도 맵 2, ..., 심도 맵 n)을 기반으로, 콘트라스트 프로젝티브 유사도(contrast projective similarity), 구조 프로젝티브 유사도(structural projective similarity) 및 위치 프로젝티브 유사도(positional projective similarity)를 획득할 수 있다.
이때, 프로세서(110)는 콘트라스트 프로젝티브 유사도와 구조 프로젝티브 유사도를 획득하는 과정에서는 시각적 민감도 가중치(visual sensitivity weight)를 이용하고, 위치 프로젝티브 유사도를 획득하는 과정에서는 시각적 민감도 가중치를 이용하지 않을 수 있다.
여기서, 시각적 민감도 가중치는 도 7에 도시된 바와 같이, 변화가 큰 표면에 큰 가중치를 부여할 수 있다. 즉, 시각적 민감도 가중치는 아래의 [수학식 1]을 이용하여 획득될 수 있다. 시각적 민감도 가중치는 심도 맵의 해당 픽셀의 노발 방향과 해당 픽셀 주변 로컬 패치의 평균 노말 방향과의 차이로 계산될 수 있다.
Figure pat00009
여기서, wi는 i번째 픽셀의 시각적 민감도 가중치를 나타낸다. ni는 i번째 픽셀의 노말(normal)을 나타낸다. Np는 i번째 픽셀의 로컬 패치(local patch)를 나타낸다.
즉, 사람은 표면이 변화하는 부분을 민감하게 인지하는데, 정사영된 심도 맵에서는 디테일한 변화가 효과적으로 나타나지 않기 때문에, 심도 맵에서 바로 퀄리티를 측정하면 부정확한 결과가 나올 수 있다. 이와 같은 특성을 고려하여, 본 발명은 변화가 큰 표면에 큰 가중치가 부여되는 시각적 민감도 가중치를 이용하여 콘트라스트 프로젝티브 유사도와 구조 프로젝티브 유사도를 계산할 수 있다. 다시 설명하면, 인간의 시각적 지각은 국부적 변화에 민감하다는 사실에서 영감을 받아 비교 함수를 계산하기 전에 시각적 현저성의 강도를 나타내는 시각적 민감도 가중치를 정의할 수 있다. 시각적 민감도 가중치는 멀티-뷰 심도 이미지의 지각적으로 중요한 영역을 강조하는 데 사용될 수 있다. 그 이유는 왜곡이 매쉬 전역 모양의 변화에 비해 너무 작은 변화를 갖고 도 7에 도시된 바와 같이 심도 이미지에서 효과적으로 표현되지 않기 때문이다. 본 발명은 시각적 민감도 가중치를 국부적 표면 변화의 강도로 정의할 수 있다. 따라서, i번째 픽셀의 시각적 민감도 가중치 w는 위의 [수학식 1]과 같이 로컬 윈도우(local window)에서 해당 노말과 노말 평균간의 차이로 정의될 수 있다.
그리고, 프로세서(110)는 도 6에 도시된 바와 같이, 콘트라스트 프로젝티브 유사도, 구조 프로젝티브 유사도 및 위치 프로젝티브 유사도를 기반으로, 복수개의 뷰(뷰 1, 뷰 2, ..., 뷰 n)별 2차원 퀄리티 점수(2차원 퀄리티 점수 1, 2차원 퀄리티 점수 2, ..., 2차원 퀄리티 점수 n)를 획득할 수 있다.
보다 자세히 설명하면, 프로세서(110)는 3차원 기준 매쉬에 대한 복수개의 심도 맵 및 3차원 대상 매쉬에 대한 복수개의 심도 맵을 기반으로, 시각적 민감도 가중치를 이용하여, 미리 설정된 크기를 가지는 로컬 패치 간의 분산(variation)의 차이를 통해 콘트라스트 프로젝티브 유사도를 획득할 수 있다. 즉, 프로세서(110)는 아래의 [수학식 2]를 이용하여 콘트라스트 프로젝티브 유사도를 획득할 수 있다.
Figure pat00010
여기서, Sc는 콘트라스트 프로젝티브 유사도를 나타낸다. x는 3차원 기준 매쉬에 대한 심도 맵을 나타낸다. y는 3차원 대상 매쉬에 대한 심도 맵을 나타낸다. C1은 미리 설정된 상수를 나타내며, 0.03으로 설정될 수 있다. σ'x는 아래의 [수학식 3]을 이용하여 획득될 수 있다.
Figure pat00011
여기서, wi는 i번째 픽셀의 시각적 민감도 가중치를 나타낸다. xi는 3차원 기준 매쉬에 대한 심도 맵에서의 i번째 픽셀의 심도(depth)를 나타낸다. μ'x는 아래의 [수학식 4]를 이용하여 획득될 수 있다.
Figure pat00012
또한, 프로세서(110)는 3차원 기준 매쉬에 대한 복수개의 심도 맵 및 3차원 대상 매쉬에 대한 복수개의 심도 맵을 기반으로, 시각적 민감도 가중치를 이용하여, 미리 설정된 크기를 가지는 로컬 패치 간의 구조적 유사성을 통해 구조 프로젝티브 유사도를 획득할 수 있다. 즉, 프로세서(110)는 아래의 [수학식 5]를 이용하여 구조 프로젝티브 유사도를 획득할 수 있다.
Figure pat00013
여기서, Ss는 구조 프로젝티브 유사도를 나타낸다. C2는 미리 설정된 상수를 나타내며, 0.015로 설정될 수 있다. σ'xy는 아래의 [수학식 6]을 이용하여 획득될 수 있다.
Figure pat00014
또한, 프로세서(110)는 3차원 기준 매쉬에 대한 복수개의 심도 맵 및 3차원 대상 매쉬에 대한 복수개의 심도 맵을 기반으로, 미리 설정된 크기를 가지는 로컬 패치 간의 표면 위치 차이를 통해 위치 프로젝티브 유사도를 획득할 수 있다. 즉, 프로세서(110)는 아래의 [수학식 7]을 이용하여 위치 프로젝티브 유사도를 획득할 수 있다. 위피 프로젝티브 유사도는 실제 위치를 측정하기 때문에, 시각적 민감도 가중치는 사용되지 않는다.
Figure pat00015
여기서, Sp는 위치 프로젝티브 유사도를 나타낸다. C3은 미리 설정된 상수를 나타내며, 0.01로 설정될 수 있다. μx는 아래의 [수학식 8]을 이용하여 획득될 수 있다.
Figure pat00016
또한, 프로세서(110)는 콘트라스트 프로젝티브 유사도, 구조 프로젝티브 유사도 및 위치 프로젝티브 유사도를 기반으로 아래의 [수학식 9]를 이용하여 2차원 퀄리티 점수를 획득할 수 있다.
Figure pat00017
여기서, S는 2차원 퀄리티 점수를 나타낸다. α, β 및 γ는 미리 설정된 상수를 나타내며, 1로 설정될 수 있다.
이후, 프로세서(110)는 미리 설정된 복수개의 뷰별 2차원 퀄리티 점수를 기반으로, 3차원 대상 매쉬의 트라이앵글(triangle) 별로 퀄리티 점수를 획득하여, 3차원 대상 매쉬의 3차원 퀄리티 점수를 획득할 수 있다(S140).
즉, 프로세서(110)는 도 8에 도시된 바와 같이, 복수개의 뷰(뷰 1, 뷰 2, ..., 뷰 n)별 2차원 퀄리티 점수(2차원 퀄리티 점수 1, 2차원 퀄리티 점수 2, ..., 2차원 퀄리티 점수 n)를 기반으로 3차원 대상 매쉬를 구성하는 트라이앵글 별로 퀄리티 점수를 획득하고, 트라이앵글별 퀄리티 점수를 기반으로 3차원 대상 매쉬에 대한 3차원 퀄리티 점수를 획득할 수 있다.
보다 자세히 설명하면, 프로세서(110)는 아래의 [수학식 10] 내지 [수학식 12]를 이용하여 3차원 퀄리티 점수를 획득할 수 있다.
Figure pat00018
여기서, Sk는 스케일 k에서의 3차원 퀄리티 점수를 나타낸다. tx는 3차원 기준 매쉬의 트라이앵글 표면을 나타낸다. ty는 3차원 대상 매쉬의 트라이앵글 표면을 나타낸다. wa(t)는 트라이앵글 표면 t의 면적 크기를 나타낸다. Sk(tx)는 [수학식 11]을 이용하여 획득될 수 있다. Sk(ty)는 [수학식 12]를 이용하여 획득될 수 있다.
Figure pat00019
여기서, Ntx는 3차원 기준 매쉬의 모든 뷰에서 3차원 기준 매쉬의 트라이앵글 표면 tx의 연관된 픽셀들의 개수를 나타낸다. Nv는 뷰의 개수를 나타낸다. (m,n)은 심도 맵의 가로( horizontal) 및 세로(vertical) 축의 픽셀 인덱스를 나타낸다.
Figure pat00020
여기서, Nty는 3차원 대상 매쉬의 모든 뷰에서 3차원 대상 매쉬의 트라이앵글 표면 ty의 연관된 픽셀들의 개수를 나타낸다.
즉, 심도 맵에서 측정된 결과를 단순히 평균내면, 심도 맵을 만들 때 사용되는 뷰에 의존적이게 된다. 다시 말하면, 버텍스(vertex)가 많은 뷰에서 보일수록 더 높은 가중치를 가지게 된다. 이와 같은 뷰에 대한 의존성을 없애기 위해서, 매쉬의 트라이앵글별로 평균을 낼 수 있다. 트라이앵글별로 평균을 내는 것으로 심도 맵에서 측정된 퀄리티를 3차원 도메인으로 역투영할 수 있다. 각 트라이앵글이 어떤 픽셀에 위치하는지 구할 수 있기 때문에, 해당 트라이앵글이 멀티-뷰 심도 맵에서 계산된 퀄리티 점수를 추정할 수 있으며, 이를 평균내는 것으로 각 트라이앵글마다 퀄리티 평가 점수를 부여할 수 있다.
다시 설명하면, Z-버퍼 렌더러(Z-buffer renderer)를 사용하여, 각 트라이앵글 표면은 멀티-뷰 심도 사영(multi-view depth projection)에서 어떤 픽셀과 연관되는지 추정될 수 있다. 이 관계를 사용하여, 트라이앵글 표면 t의 각각의 퀄리티 측정 S(t)는 위의 [수학식 11] 및 [수학식 12]와 같이 트라이앵글 표면당 평균으로 계산될 수 있다. 각 트라이앵글 표면에 퀄리티 측정을 할당하는 것에 의해, 2D 멀티-뷰 이미지 좌표에서 측정된 퀄리티 점수가 사용된 프로젝션 뷰의 개수에 상관없이 3D 좌표로 통합될 수 있다. 일반적으로, 매쉬의 트라이앵글 표면들은 다른 크기를 가지고 있다. 따라서, 모든 매쉬 트라이앵글 표면은 사람이 인식할 때 다른 시각적 민감도를 가지게 된다. 예컨대, 동일한 강도의 왜곡이라도 큰 트라이앵글 표면에 추가될 때 큰 영역이 왜곡되기 때문에 시각적으로 큰 품질 저하를 유발하게 된다. 따라서, 표면 면적 크기에 가중치를 부여하여 모든 트라이앵글 표면의 퀄리티를 통합하기 위해, 트라이앵글 면적 가중치 wa(t)를 정의할 수 있다. 단일-스케일(single-scale)에서 매쉬의 퀄리티 측정은 위의 [수학식 10]을 통해 계산될 수 있다.
그러면, 도 9 내지 도 12를 참조하여 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법의 다른 예에 대하여 설명한다.
도 9는 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법의 다른 예를 설명하기 위한 흐름도이고, 도 10은 본 발명의 바람직한 실시예에 따른 스케일별 3차원 매쉬 획득 과정을 설명하기 위한 도면이며, 도 11은 본 발명의 바람직한 실시예에 따른 스케일별 3차원 퀄리티 점수 획득 과정을 설명하기 위한 도면이고, 도 12는 본 발명의 바람직한 실시예에 따른 통합 3차원 퀄리티 점수 획득 과정을 설명하기 위한 도면이다.
도 9를 참조하면, 3차원 매쉬 퀄리티 평가 장치(100)의 프로세서(110)는 퀄리티 평가 대상인 3차원 대상 매쉬를 획득할 수 있다(S210).
그런 다음, 프로세서(110)는 3차원 기준 매쉬 및 3차원 대상 매쉬 각각을 기반으로 미리 설정된 복수개의 스케일(scale)별 3차원 매쉬를 획득하고, 복수개 심도 맵 획득 단계, 2차원 퀄리티 점수 획득 단계 및 3차원 퀄리티 점수 획득 단계를 미리 설정된 복수개의 스케일별 3차원 매쉬 각각에 대해 수행할 수 있다(S220).
즉, 프로세서(110)는 도 10에 도시된 바와 같이, 3차원 기준 매쉬 및 3차원 대상 매쉬 각각에 대한 복수개의 스케일(스케일 1, 스케일 2, ..., 스케일 n)별 3차원 매쉬(3차원 매쉬 1, 3차원 매쉬 2, ..., 3차원 매쉬 n)를 획득할 수 있다.
그리고, 프로세서(110)는 도 11에 도시된 바와 같이, 서로 동일한 스케일에 대한 3차원 기준 매쉬의 3차원 매쉬와 3차원 대상 매쉬의 3차원 매쉬를 기반으로, 복수개 심도 맵 획득 단계(S120), 2차원 퀄리티 점수 획득 단계(S130) 및 3차원 퀄리티 점수 획득 단계(S140)를, 복수개의 스케일(스케일 1, 스케일 2, ..., 스케일 n)별 3차원 매쉬(3차원 매쉬 1, 3차원 매쉬 2, ..., 3차원 매쉬 n) 각각에 대해 수행하여, 복수개의 스케일(스케일 1, 스케일 2, ..., 스케일 n)별 3차원 매쉬(3차원 매쉬 1, 3차원 매쉬 2, ..., 3차원 매쉬 n) 각각에 대한 3차원 퀄리티 점수(3차원 퀄리티 점수 1, 3차원 퀄리티 점수 2, ..., 3차원 퀄리티 점수 n)를 획득할 수 있다.
보다 자세히 설명하면, 사람의 시각은 인지되는 신호의 세기와 주파수에 따른 다른 민감도를 가지고 인식할 수 있다. 이에 따라, 본 발명은 멀티-스케일 3차원 매쉬를 구성하여 다양한 신호의 특성을 반영하도록 할 수 있다. 이때, 저역 통과 필터(low pass filter)와 1/2 다운 샘플링을 반복적으로 적용하여, 3차원 매쉬에 대한 멀티-스케일 3차원 매쉬를 획득할 수 있다.
다시 설명하면, 많은 선행 연구에서, 인간의 시각적 지각은 지각된 신호의 강도와 주파수에 따라 다른 민감도를 갖는다는 것이 발견되었다. 왜곡의 강도와 빈도에 따라 인간의 시각적 지각에 민감한 구조적 변형으로 지각될 수 있다. 또한, 단일-스케일(single-scale) 퀄리티 측정은 특정 공간 주파수 범위의 왜곡만 캡처한다. 따라서, 단일-스케일 측정은 넓은 공간 주파수 범위에서 다양한 왜곡을 측정하기에 충분하지 않다. 본 발명은 멀티-스케일 사영 공간(multi-scale projected space)에서 프로젝티브 유사도를 측정하여 넓은 공간 주파수 범위에서 왜곡을 효과적으로 포착할 수 있다. 멀티-스케일 측정을 위해, 사영된 멀티-뷰 심도 이미지에서 멀티-스케일 피라미드를 생성할 수 있다. 멀티-스케일 심도 이미지를 생성하기 위해 반복적으로 저역 통과 필터(LPF)를 적용하고 필터링된 심도 이미지를 1/2 다운 샘플링할 수 있다. 원래의 스케일을 1로, 최고 스케일을 Ns로 표시하며, 그 결과 Ns-1만큼 반복된다.
이후, 프로세서(110)는 미리 설정된 복수개의 스케일별 3차원 매쉬 각각에 대한 3차원 퀄리티 점수 및 미리 설정된 스케일별 가중치를 기반으로, 3차원 대상 매쉬의 통합 3차원 퀄리티 점수를 획득할 수 있다(S230).
즉, 프로세서(110)는 도 12에 도시된 바와 같이, 복수개의 스케일(스케일 1, 스케일 2, ..., 스케일 n)별 3차원 매쉬(3차원 매쉬 1, 3차원 매쉬 2, ..., 3차원 매쉬 n) 각각에 대한 3차원 퀄리티 점수(3차원 퀄리티 점수 1, 3차원 퀄리티 점수 2, ..., 3차원 퀄리티 점수 n)를 이용하여, 미리 설정된 스케일별 가중치를 기반으로, 3차원 대상 매쉬의 통합 3차원 퀄리티 점수를 획득할 수 있다.
보다 자세히 설명하면, 프로세서(110)는 아래의 [수학식 13]을 이용하여 통합 3차원 퀄리티 점수를 획득할 수 있다.
Figure pat00021
여기서, 3D-PSSIM(3D projective structural similarity)은 통합 3차원 퀄리티 점수를 나타낸다. Ns는 스케일의 개수를 나타낸다. Sk는 스케일 k에서의 3차원 퀄리티 점수를 나타낸다. wk는 스케일별 가중치를 나타낸다.
즉, 3차원 도메인으로 역투영된 퀄리티 점수를 각 스케일별로 다른 가중치를 두어 통합할 수 있다. 사람은 스케일마다 다른 민감도를 가지기 때문에 스케일별로 다른 가중치를 부여할 수 있다. 이때, 스케일별 가중치는 사람의 주관적 평가를 통해 구해진 라벨을 이용하여 계산될 수 있다. 주관적 평가는 사람들이 두 매쉬를 보고 유사성을 평가한 점수를 내는 것으로 진행되며, 각 스케일별로 계산된 퀄리티 점수를 입력으로 하고 사람들이 평가한 점수를 출력으로 하여, 선형 회귀 함수(linear regression function)를 이용하여 스케일별 가중치를 계산할 수 있다. 스케일을 3단계로, 즉 스케일의 개수가 3인 경우, 스케일 1에 대한 가중치 w1은 0.187로 설정되고, 스케일 2에 대한 가중치 w2는 0.512로 설정되며, 스케일 3에 대한 가중치 w3은 0.301로 설정될 수 있다.
다시 설명하면, 본 발명의 전체 퀄리티 측정은 스케일에 대한 퀄리티 측정을 통합하여 계산될 수 있다. CSF(contrast sensitivity function)에 따르면, 인간 시각 시스템은 신호 스케일에 따라 민감도가 다르다. 따라서, 본 발명은 스케일별 가중치츨 이용하여 위의 [수학식 13]을 통해 통합 3차원 퀄리티 점수를 계산할 수 있다.
그러면, 도 13 및 도 14를 참조하여 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법의 성능에 대하여 설명한다.
도 13은 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법의 성능을 설명하기 위한 도면으로, 매쉬 토폴로지(topology) 차이 및 왜곡 강도(distortion intensity)에 따른 본 발명(SSIM3DF)의 에러 맵(error map)을 나타내고, 도 14는 본 발명의 바람직한 실시예에 따른 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법의 성능을 설명하기 위한 도면으로, 예측된 매쉬 퀄리티 대 MOS(mean opinion score)의 산점도(scatter plot)를 나타낸다.
본 발명은 아래와 같은 특성을 기반으로 3차원 매쉬의 토폴로지(topology) 변화에 강인한 3차원 매쉬의 퀄리티 평가 방법을 제공하기 위한 것이다.
- 3차원 매쉬를 2차원 이미지 좌표로 정사영시키게 되면, 그리드 구조를 가지며 균일하게 값이 분포되어 있는 심도 맵을 얻을 수 있다.
- 3차원 매쉬를 멀티-뷰로 정사영시키면, 모든 매쉬 표면이 심도 맵 상에서 표현될 수 있다. 즉, 한 장의 심도 맵에서는 3차원 매쉬의 모든 표면이 표현되지 않기 때문에, 멀티-뷰 프로젝션을 사용하여 3차원 매쉬를 복수개의 심도 맵으로 정확하게 근사할 수 있다.
- 심도 맵 상에서 2차원 퀄리티를 측정하고, 다시 3차원 공간으로 역투영함으로써, 매쉬 토폴로지 변화에 강인하게 3차원 매쉬의 퀄리티를 평가할 수 있다. 즉, 단순 평균을 사용할 경우, 사용된 뷰에 의존적으로 계산되는 문제가 있다. 이런 뷰에 대한 의존성을 제거하기 위해, 3차원 매쉬의 트라이앵글별로 퀄리티 점수를 평균할 수 있다.
- 사람의 시각은 왜곡의 스케일에 따라 다른 민감도를 가지고 인지하기 때문에, 멀티-스케일 방법을 이용하여 3차원 매쉬의 퀄리티를 평가할 수 있다.
본 발명에 따른 멀티-뷰에 대한 성능을 실험한 결과, 아래의 [표 1]에서 확인할 수 있듯이, 8개의 뷰를 사용한 경우 가장 좋은 성능이 나오며, 더 많은 뷰를 사용하여도 성능 향상은 거의 이루어지지 않는 것을 알 수 있다.
N v 1 2 4 8 16
PLCC 0.802 0.842 0.846 0.868 0.867
SRCC 0.841 0.884 0.898 0.901 0.900
본 발명에 따른 멀티-스케일에 대한 성능을 실험한 결과, 아래의 [표 2]에서 확인할 수 있듯이, 멀티-스케일 방법을 사용했을 때 저주파 왜곡을 민감하게 평가하는 것을 확인할 수 있다. 그리고, 아래의 [표 3]에서 확인할 수 있듯이, 스케일을 3단계까지 사용했을 때 가장 좋은 성능이 나오며, 더 많이 사용한 경우 저주파 영역에 과적합되어 성능이 오히려 저하되는 결과를 보이는 것을 알 수 있다.
Spatial frequency
(cycle/degree) 		5 1 0.2
PLCC SRCC PLCC SRCC PLCC SRCC
Single-scale 0.857 0.890 0.849 0.879 0.821 0.862
Uniform-scales 0.850 0.886 0.851 0.889 0.849 0.887
Multi-scales 0.880 0.921 0.883 0.922 0.881 0.920
N s 1 2 3 4 5
PLCC 0.854 0.856 0.868 0.857 0.848
SRCC 0.896 0.898 0.901 0.892 0.882
도 13을 참조하면, 왜곡된 매쉬는 왼쪽에서부터 순서대로 가우시안 노이즈(Gaussian noise), 스파이크 노이즈(spike noise) 및 라플라시안 스무딩(Laplacian smoothing)을 나타낸다.
가우시안 노이즈는 얼굴 표면에 전체적으로 노이즈가 들어갔지만, 사람은 실제로 평평한 영역에서의 노이즈에 더 민감하게 반응한다. 본 발명도 비슷한 경향을 보이는 것을 알 수 있다.
스파이크 노이즈는 특정 부분만 강하게 왜곡된 것으로, 본 발명은 사람이 인지하는 왜곡 정도와 비슷한 경향을 보이는 것을 알 수 있다.
라플라시안 스무딩은 매쉬를 전체적으로 평평하게 해주는 것으로, 사람은 표면의 굴곡 변화에 민감하게 반응한다. 본 발명도 비슷한 경향을 보이는 것을 알 수 있다.
도 14 및 아래의 [표 4]를 참조하면, 본 발명(도 14의 SSIM3DF)은 모든 매쉬 토폴로지 차이에서 가장 높은 성능을 보이는 것을 알 수 있다.
Vertex ratio 1:1 1:0.5 1:0.1
PLCC SRCC PLCC SRCC PLCC SRCC
MSE 0.613 0.612 0.475 0.434 0.304 0.355
Hausdorff 0.586 0.520 0.463 0.431 0.210 0.170
Karni et. al. 0.713 0.731 0.623 0.563 0.534 0.491
Corsini et. al. 0.709 0.733 0.559 0.542 0.598 0.593
MSDM 0.842 0.858 0.807 0.746 0.517 0.426
본 발명 0.894 0.931 0.881 0.869 0.837 0.822
- Hausdorff : Paolo Cignoni, Claudio Rocchini, and Roberto Scopigno. Metro: measuring error on simplified surfaces. In CGF, volume 17, pages 167-174. Wiley Online Library, 1998. 참조
- Karni et. al. : Zachi Karni and Craig Gotsman. Spectral compression of mesh geometry. In ACM SIGGRAPH, pages 279-286, 2000. 참조
- Corsini et. al. : Massimiliano Corsini, Elisa Drelie Gelasca, Touradj Ebrahimi, and Mauro Barni. Watermarked 3-D mesh quality assessment. TMM, 9(2):247-256, 2007. 참조
- MSDM : Guillaume Lavoue. A multiscale metric for 3D mesh visual quality assessment. In CGF, volume 30, pages 1427-1437. Wiley Online Library, 2011. 참조
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 저장 매체에 기록될 수 있다. 컴퓨터 판독 가능한 저장 매체는 실행을 위해 프로세서에 명령어를 제공하는데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예컨대, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 3차원 매쉬 퀄리티 평가 장치,
110 : 프로세서,
130 : 컴퓨터 판독 가능한 저장 매체,
131 : 프로그램,
150 : 통신 버스,
170 : 입출력 인터페이스,
190 : 통신 인터페이스

Claims (13)

  1. 퀄리티 평가 대상인 3차원 대상 매쉬를 획득하는 단계;
    상기 3차원 대상 매쉬에 대응되는 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각을 기반으로 미리 설정된 복수개의 뷰별로 프로젝션(projection)하여, 상기 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각에 대한 복수개의 심도 맵(depth map)을 획득하는 단계;
    상기 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각에 대한 상기 복수개의 심도 맵을 기반으로, 상기 미리 설정된 복수개의 뷰별 2차원 퀄리티 점수를 획득하는 단계;
    상기 미리 설정된 복수개의 뷰별 상기 2차원 퀄리티 점수를 기반으로, 상기 3차원 대상 매쉬의 트라이앵글(triangle) 별로 퀄리티 점수를 획득하여, 상기 3차원 대상 매쉬의 3차원 퀄리티 점수를 획득하는 단계;
    를 포함하는 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법.
  2. 제1항에서,
    상기 2차원 퀄리티 점수 획득 단계는,
    상기 3차원 기준 매쉬에 대한 상기 복수개의 심도 맵 및 상기 3차원 대상 매쉬에 대한 상기 복수개의 심도 맵을 기반으로, 콘트라스트 프로젝티브 유사도(contrast projective similarity), 구조 프로젝티브 유사도(structural projective similarity) 및 위치 프로젝티브 유사도(positional projective similarity)를 획득하고,
    상기 콘트라스트 프로젝티브 유사도, 상기 구조 프로젝티브 유사도 및 상기 위치 프로젝티브 유사도를 기반으로, 상기 2차원 퀄리티 점수를 획득하는 것으로 이루어지는,
    사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법.
  3. 제2항에서,
    상기 2차원 퀄리티 점수 획득 단계는,
    상기 3차원 기준 매쉬에 대한 상기 복수개의 심도 맵 및 상기 3차원 대상 매쉬에 대한 상기 복수개의 심도 맵을 기반으로, 변화가 큰 표면에 큰 가중치를 부여하는 시각적 민감도 가중치(visual sensitivity weight)를 이용하여, 미리 설정된 크기를 가지는 로컬 패치(local patch) 간의 분산(variation)의 차이를 통해 상기 콘트라스트 프로젝티브 유사도를 획득하는 것으로 이루어지는,
    사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법.
  4. 제3항에서,
    상기 2차원 퀄리티 점수 획득 단계는,
    [식 1]을 이용하여 상기 콘트라스트 프로젝티브 유사도를 획득하는 것으로 이루어지며,
    상기 [식 1]은,
    Figure pat00022
    이고,
    상기 Sc는, 상기 콘트라스트 프로젝티브 유사도를 나타내며,
    상기 x는, 상기 3차원 기준 매쉬에 대한 심도 맵을 나타내고,
    상기 y는, 상기 3차원 대상 매쉬에 대한 심도 맵을 나타내며,
    상기 C1은, 미리 설정된 상수를 나타내고,
    상기 σ'x는, [식 2]를 이용하여 획득되며,
    상기 [식 2]는,
    Figure pat00023
    이고,
    상기 Np는, i번째 픽셀의 로컬 패치를 나타내며,
    상기 wi는, i번째 픽셀의 시각적 민감도 가중치를 나타내고,
    상기 xi는, 상기 3차원 기준 매쉬에 대한 심도 맵에서의 i번째 픽셀의 심도를 나타내며,
    상기 μ'x는, [식 3]을 이용하여 획득되고,
    상기 [식 3]은,
    Figure pat00024
    인,
    사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법.
  5. 제4항에서,
    상기 시각적 민감도 가중치는,
    [식 4]를 이용하여 획득되며,
    상기 [식 4]는,
    Figure pat00025
    이고,
    상기 wi는, i번째 픽셀의 시각적 민감도 가중치를 나타내며,
    상기 ni는, i번째 픽셀의 노말(normal)을 나타내는,
    사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법.
  6. 제4항에서,
    상기 2차원 퀄리티 점수 획득 단계는,
    상기 3차원 기준 매쉬에 대한 상기 복수개의 심도 맵 및 상기 3차원 대상 매쉬에 대한 상기 복수개의 심도 맵을 기반으로, 변화가 큰 표면에 큰 가중치를 부여하는 시각적 민감도 가중치(visual sensitivity weight)를 이용하여, 미리 설정된 크기를 가지는 로컬 패치(local patch) 간의 구조적 유사성을 통해 상기 구조 프로젝티브 유사도를 획득하는 것으로 이루어지는,
    사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법.
  7. 제6항에서,
    상기 2차원 퀄리티 점수 획득 단계는,
    [식 5]를 이용하여 상기 구조 프로젝티브 유사도를 획득하는 것으로 이루어지며,
    상기 [식 5]는,
    Figure pat00026
    이고,
    상기 Ss는, 상기 구조 프로젝티브 유사도를 나타내며,
    상기 C2는, 미리 설정된 상수를 나타내고,
    상기 σ'xy는, [식 6]을 이용하여 획득되며,
    상기 [식 6]은,
    Figure pat00027
    인,
    사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법.
  8. 제7항에서,
    상기 2차원 퀄리티 점수 획득 단계는,
    상기 3차원 기준 매쉬에 대한 상기 복수개의 심도 맵 및 상기 3차원 대상 매쉬에 대한 상기 복수개의 심도 맵을 기반으로, 미리 설정된 크기를 가지는 로컬 패치(local patch) 간의 표면 위치 차이를 통해 상기 위치 프로젝티브 유사도를 획득하는 것으로 이루어지는,
    사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법.
  9. 제8항에서,
    상기 2차원 퀄리티 점수 획득 단계는,
    [식 7]을 이용하여 상기 위치 프로젝티브 유사도를 획득하는 것으로 이루어지며,
    상기 [식 7]은,
    Figure pat00028
    이고,
    상기 Sp는, 상기 위치 프로젝티브 유사도를 나타내며,
    상기 C3은, 미리 설정된 상수를 나타내고,
    상기 μx는, [식 8]을 이용하여 획득되며,
    상기 [식 8]은,
    Figure pat00029
    인,
    사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법.
  10. 제1항에서,
    상기 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각을 기반으로 미리 설정된 복수개의 스케일(scale)별 3차원 매쉬를 획득하고, 상기 복수개 심도 맵 획득 단계, 상기 2차원 퀄리티 점수 획득 단계 및 상기 3차원 퀄리티 점수 획득 단계를 상기 미리 설정된 복수개의 스케일별 3차원 매쉬 각각에 대해 수행하는 단계; 및
    상기 미리 설정된 복수개의 스케일별 3차원 매쉬 각각에 대한 상기 3차원 퀄리티 점수 및 미리 설정된 스케일별 가중치를 기반으로, 상기 3차원 대상 매쉬의 통합 3차원 퀄리티 점수를 획득하는 단계;
    를 더 포함하는 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 기재된 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.
  12. 사영 공간에서의 구조적 유사성을 이용하여 3차원 매쉬의 퀄리티를 평가하는 장치로서,
    사영 공간에서의 구조적 유사성을 이용하여 3차원 매쉬의 퀄리티를 평가하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 프로그램에 따라 사영 공간에서의 구조적 유사성을 이용하여 3차원 매쉬의 퀄리티를 평가하기 위한 동작을 수행하는 하나 이상의 프로세서;
    를 포함하며,
    상기 프로세서는,
    퀄리티 평가 대상인 3차원 대상 매쉬를 획득하고,
    상기 3차원 대상 매쉬에 대응되는 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각을 기반으로 미리 설정된 복수개의 뷰별로 프로젝션(projection)하여, 상기 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각에 대한 복수개의 심도 맵(depth map)을 획득하며,
    상기 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각에 대한 상기 복수개의 심도 맵을 기반으로, 상기 미리 설정된 복수개의 뷰별 2차원 퀄리티 점수를 획득하고,
    상기 미리 설정된 복수개의 뷰별 상기 2차원 퀄리티 점수를 기반으로, 상기 3차원 대상 매쉬의 트라이앵글(triangle) 별로 퀄리티 점수를 획득하여, 상기 3차원 대상 매쉬의 3차원 퀄리티 점수를 획득하는,
    사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 장치.
  13. 제12항에서,
    상기 프로세서는,
    상기 3차원 기준 매쉬 및 상기 3차원 대상 매쉬 각각을 기반으로 미리 설정된 복수개의 스케일(scale)별 3차원 매쉬를 획득하고, 상기 복수개 심도 맵 획득 과정, 상기 2차원 퀄리티 점수 획득 과정 및 상기 3차원 퀄리티 점수 획득 과정을 상기 미리 설정된 복수개의 스케일별 3차원 매쉬 각각에 대해 수행하고,
    상기 미리 설정된 복수개의 스케일별 3차원 매쉬 각각에 대한 상기 3차원 퀄리티 점수 및 미리 설정된 스케일별 가중치를 기반으로, 상기 3차원 대상 매쉬의 통합 3차원 퀄리티 점수를 획득하는,
    사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 장치.
KR1020220033809A 2022-03-18 2022-03-18 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램 KR20230136291A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220033809A KR20230136291A (ko) 2022-03-18 2022-03-18 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220033809A KR20230136291A (ko) 2022-03-18 2022-03-18 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20230136291A true KR20230136291A (ko) 2023-09-26

Family

ID=88191069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220033809A KR20230136291A (ko) 2022-03-18 2022-03-18 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20230136291A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173321A (zh) * 2023-11-02 2023-12-05 埃洛克航空科技（北京）有限公司 一种三维重建纹理视图的选择方法及装置
CN117611759A (zh) * 2023-11-30 2024-02-27 博雅达勘测规划设计集团有限公司 基于三维模型的评分地图生成方法、装置、终端及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173321A (zh) * 2023-11-02 2023-12-05 埃洛克航空科技（北京）有限公司 一种三维重建纹理视图的选择方法及装置
CN117611759A (zh) * 2023-11-30 2024-02-27 博雅达勘测规划设计集团有限公司 基于三维模型的评分地图生成方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
KR20230136291A (ko) 사영 공간에서의 구조적 유사성을 이용한 3차원 매쉬 퀄리티 평가 방법, 이를 수행하는 장치 및 컴퓨터 프로그램
US8711144B2 (en) Perception-based artifact quantification for volume rendering
US8724121B2 (en) Measuring method of 3D image depth and a system for measuring 3D image depth using boundary inheritance based hierarchical orthogonal coding
JP2017146298A (ja) 形状測定システム、形状測定装置及び形状測定方法
US7587082B1 (en) Object recognition based on 2D images and 3D models
US20030038875A1 (en) Computer vision depth segmentation using virtual surface
KR100810326B1 (ko) 다해상도 3차원 모델 생성 방법
JP6646667B2 (ja) ノイズの多い奥行きまたは視差画像のリアルタイム適応的フィルタリングを行う方法および装置
KR101032446B1 (ko) 영상의 정점 검출 장치 및 방법
JP7094400B2 (ja) シミュレーション装置およびシミュレーション方法
US20100266212A1 (en) Estimating Vanishing Points in Images
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
JP2006527372A (ja) 感度及びダイナミックレンジを増大させた３ｄ及び２ｄ測定システム及びその方法
JP2006527372A5 (ko)
CN110832543B (zh) 根据对物体的测量来确定测量数据中的不确定性的方法
Sun et al. Noise analysis and synthesis for 3D laser depth scanners
US11538144B2 (en) Method for determining errors in parameters derived from digital object representations
Sun et al. Noise in 3D laser range scanner data
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
JP6801366B2 (ja) 線幅測定方法、線幅測定プログラム、記憶媒体及び情報処理装置
JP2018196426A (ja) 毛穴検出方法及び毛穴検出装置
CN115423808B (zh) 散斑投射器的质量检测方法、电子设备和存储介质
US8102516B2 (en) Test method for compound-eye distance measuring apparatus, test apparatus, and chart used for the same
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
CN112748423B (zh) 视觉导航设备校准方法、装置、计算机设备和存储介质