KR102554697B1 - 가상 시점 영상 합성 장치 및 방법 - Google Patents

가상 시점 영상 합성 장치 및 방법 Download PDF

Info

Publication number
KR102554697B1
KR102554697B1 KR1020200029613A KR20200029613A KR102554697B1 KR 102554697 B1 KR102554697 B1 KR 102554697B1 KR 1020200029613 A KR1020200029613 A KR 1020200029613A KR 20200029613 A KR20200029613 A KR 20200029613A KR 102554697 B1 KR102554697 B1 KR 102554697B1
Authority
KR
South Korea
Prior art keywords
triangle
virtual viewpoint
images
viewpoint image
projected
Prior art date
Application number
KR1020200029613A
Other languages
English (en)
Other versions
KR20210001892A (ko
Inventor
윤정일
곽상운
정원식
엄기문
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US15/931,410 priority Critical patent/US11276142B2/en
Publication of KR20210001892A publication Critical patent/KR20210001892A/ko
Application granted granted Critical
Publication of KR102554697B1 publication Critical patent/KR102554697B1/ko

Links

Images

Classifications

    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

가상 시점 영상 합성 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 가상 시점 영상 합성 장치는 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은 복수개의 시점을 촬영한 카메라들로부터 복수개의 시점 영상들을 입력 받아 3차원 공간상의 월드 좌표계로 역투영하고, 상기 월드 좌표계로 역투영된 복수개의 시점 영상들을 가상 시점 영상 좌표계에 투영하는 삼각형 단위 워핑을 수행하여 워핑 영상들을 생성하고, 상기 워핑 영상들을 혼합하여 최종 합성된 가상 시점 영상을 생성한다.

Description

가상 시점 영상 합성 장치 및 방법 {APPARATUS AND METHOD FOR SYNTHESIZING VIRTUAL VIEWPOINT IMAGE}
본 발명은 영상 처리 및 영상 합성 기술에 관한 것으로, 보다 상세하게는 깊이 정보 기반 영상 워핑 기술, 3차원 좌표계 영상 처리 기술 및 가상 시점 영상 합성 기술에 관한 것이다.
가상시점(virtual view) 합성은 입력시점 카메라들 사이의 가상시점 카메라 영상을 합성하기 위해, 화소(pixel)의 깊이 정보를 기반으로 영상을 워핑(warping)하는 기술을 사용한다.
영상 워핑 기술은 다양한 위치와 방향에서 획득된 전방위 공간 정보를 충분히 포함하는 다수의 입력시점 영상과 정확한 깊이 정보가 제공될수록 입력시점 사이의 중간시점 영상뿐만 아니라 회전과 이동이 결합된 6DoF(degrees of freedom) 움직임에 따라 자연스러운 시차 변화를 제공하는 가상시점 영상도 합성할 수 있다.
또한, 영상 워핑 기술은 화소 단위로 워핑하여 가상시점 위치의 워핑 영상을 생성할 경우, 전방향(forward) 워핑으로 가상시점의 깊이 영상을 구하고, 이를 이용한 후방향(backward) 워핑을 통해 가상시점으로 워핑된 영상의 화소 색상을 결정한다.
이 과정에서 가상시점의 깊이 영상에 가려짐(occlusion) 영역에 의한 공통 홀(common hole) 뿐만 아니라, 각 화소를 3차원 공간에서 영상좌표계의 정수 인덱스로 매핑하면서 틈(crack)과 같은 작은 홀이 발생할 수 있다. 후방향 워핑 전에 이러한 홀들을 제거하기 위해 중간 값 필터(median filter)가 사용되는데, 회전과 이동이 결합되어 객체간의 겹침 상태와 시점 변화가 큰 위치의 가상시점 영상을 합성할 경우, 전경 객체 영역의 홀에 배경 영역 깊이가 채워져 워핑된 깊이 영상이 왜곡(artifact가 발생)되어 합성 품질이 저하될 수 있다.
한편, 한국공개특허 제 10-2018-0086154 호“6자유도 지원 360도 VR 영상 획득 및 재현을 위한 방법 및 그 장치”는 카메라로부터 입력 영상을 획득하고, 획득된 입력 영상을 이용하여 3차원 공간 정보를 나타내는 영상을 획득하고, 3차원 공간 정보에 기초하여 수평 방향 및 수직 방향에 대한 가상 시점 영상을 생성하고, 가상 시점 영상과 입력 영상을 이용하여 스티칭 영상을 생성하는 360도 VR 영상 제공 장치 및 방법에 관하여 개시하고 있다.
본 발명은 품질이 향상된 가상 시점 영상 합성을 제공하는 것을 목적으로 한다.
또한, 본 발명은 영상 합성에서 발생하는 왜곡 현상을 해결하는 것을 목적으로 한다.
또한, 본 발명은 VR에서의 전방위 영상에서 영상 합성 품질을 향상시키는 것을 목적으로 한다.
또한, 본 발명은 보다 몰입감 높은 6DoF 시점 제공을 위한 VR 비디오 서비스 제공에 활용하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 가상 시점 영상 합성 장치는 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은 복수개의 시점을 촬영한 카메라들로부터 복수개의 시점 영상들을 입력 받아 3차원 공간상의 월드 좌표계로 역투영하고, 상기 월드 좌표계로 역투영된 복수개의 시점 영상들을 가상 시점 영상 좌표계에 투영하는 삼각형 단위 워핑을 수행하여 워핑 영상들을 생성하고, 상기 워핑 영상들을 혼합하여 최종 합성된 가상 시점 영상을 생성한다.
이 때, 상기 삼각형 단위 워핑은 상기 복수개의 시점 영상들에서 세 개의 인접한 화소들 마다 삼각형 면으로 구성하여 상기 가상 시점 영상 좌표계에 투영할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 가상 시점 영상 좌표계에서 동일한 화소 위치에 적어도 두 개 이상의 삼각형 면들이 투영되는 경우, 삼각형 투영 조건을 고려하여 상기 워핑 영상들을 생성할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 삼각형 투영 조건으로 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 삼각형 모양 품질 값과 화소들의 깊이 값의 비율을 비교하여 어느 하나의 삼각형 면을 결정할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 시뉴소이드 도법(Sinusoidal Projection)을 이용하여 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 꼭지점 좌표들을 계산하고, 상기 꼭지점 좌표들을 이용하여 상기 삼각형 모양 품질 값을 보정할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 삼각형 모양 품질 값과 상기 화소들의 깊이 값의 비율을 이용하여 혼합 가중치를 산출하고, 상기 혼합 가중치를 이용하여 상기 워핑 영상들을 혼합할 수 있다.
또한, 상기의 목적을 달성하기 위한 가상 시점 영상 합성 방법은 가상 시점 영상 합성 장치의 가상 시점 영상 합성 방법에 있어서, 복수개의 시점을 촬영한 카메라들로부터 복수개의 시점 영상들을 입력 받아 3차원 공간상의 월드 좌표계로 역투영하는 단계; 상기 월드 좌표계로 역투영된 복수개의 시점 영상들을 가상 시점 영상 좌표계로 투영하여 워핑 영상들을 생성하는 단계 및 상기 워핑 영상들을 혼합하여 최종 합성된 가상 시점 영상을 생성하는 단계를 포함한다.
이 때, 상기 삼각형 단위 워핑은 상기 복수개의 시점 영상들에서 세 개의 인접한 화소들 마다 삼각형 면으로 구성하여 상기 가상 시점 영상 좌표계에 투영할 수 있다.
이 때, 상기 워핑 영상들을 생성하는 단계는 상기 가상 시점 영상 좌표계에서 동일한 화소 위치에 적어도 두 개 이상의 삼각형 면들이 투영되는 경우, 삼각형 투영 조건을 고려하여 상기 워핑 영상들을 생성할 수 있다.
이 때, 상기 워핑 영상들을 생성하는 단계는 상기 삼각형 투영 조건으로 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 삼각형 모양 품질 값과 화소들의 깊이 값의 비율을 비교하여 어느 하나의 삼각형 면을 결정할 수 있다.
이 때, 상기 워핑 영상들을 생성하는 단계는 시뉴소이드 도법(Sinusoidal Projection)을 이용하여 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 꼭지점 좌표들을 계산하고, 상기 꼭지점 좌표들을 이용하여 상기 삼각형 모양 품질 값을 보정할 수 있다.
이 때, 상기 가상 시점 영상을 생성하는 단계는 상기 삼각형 모양 품질 값과 상기 화소들의 깊이 값의 비율을 이용하여 혼합 가중치를 산출하고, 상기 혼합 가중치를 이용하여 상기 워핑 영상들을 혼합할 수 있다.
본 발명은 품질이 향상된 가상 시점 영상 합성을 제공할 수 있다.
또한, 본 발명은 영상 합성에서 발생하는 왜곡 현상을 해결할 수 있다.
또한, 본 발명은 VR에서의 전방위 영상에서 영상 합성 품질을 향상시킬 수 있다.
또한, 본 발명은 보다 몰입감 높은 6DoF 시점 제공을 위한 VR 비디오 서비스 제공에 활용할 수 있다.
도 1은 본 발명의 일실시예에 따른 가상 시점 영상 합성 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 가상 시점 영상 합성 방법을 나타낸 동작흐름도이다.
도 3은 본 발명의 일실시예에 따른 입력 시점 영상이 가상 시점 위치로 워핑된 가상 시점 영상을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 혼합 및 인페인팅을 수행하여 최종 합성된 가상 시점 영상을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 실제로 획득된 Ground Truth 영상을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 왜곡 현상이 발생한 영상 합성 결과를 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 실제 시점에서 획득한 색상과 깊이 영상을 나타낸 도면이다.
도 8 및 도 9는 본 발명의 일실시예에 따른 워핑 과정이 진행되면서 발생한왜곡현상을 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 시뉴소이드 도법(Sinusoidal Projection)의 특징을 나타낸 도면이다.
도 11은 본 발명의 일실시예에 가상 시점 영상 방식을 적용한 영상 합성 결과를 나타낸 도면이다.
도 12는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 가상 시점 영상 합성 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 가상 시점 영상 합성 장치는 역투영부(110), 투영부(120), 혼합부(130) 및 인페인팅부(140)를 포함한다.
역투영부(110)는 복수개의 시점을 촬영한 카메라들로부터 복수개의 시점 영상들을 입력 받아 3차원 공간상의 월드 좌표계로 역투영할 수 있다.
이 때, 역투영부(110)는 기정의된 영상의 투영 방식과 상기 카메라들의 카메라 파라미터(parameter)를 이용하여 복수개의 시점 영상들을 3차원 공간상의 월드 좌표계로 역투영(unprojection)할 수 있다.
투영부(120)는 상기 월드 좌표계로 역투영된 복수개의 시점 영상들을 가상 시점 영상 좌표계에 투영하는 삼각형 단위 워핑을 수행하여 워핑 영상들을 생성할 수 있다.
이 때, 투영부(120)는 상기 복수개의 시점 영상들에서 세 개의 인접한 화소들 마다 삼각형 면으로 구성하여 상기 가상 시점 영상 좌표계에 투영할 수 있다.
이 때, 투영부(120)는 삼각형 단위 워핑 과정에서 꼭지점들의 깊이 차이와 가상시점으로의 시점 변화에 따라 다양한 형태로 아핀 변환(affine transform)된 삼각형들을 가상 시점 영상 좌표계에 투영할 수 있다.
이 때, 투영부(120)는 투영된 삼각형의 각 화소가 투영된 위치와 꼭지점들이 투영된 위치에서 구성되는 삼각형들의 면적 비율에 기반하여 상기 꼭지점들이 투영된 위치의 화소들의 색상을 보간(interpolation)하여 삼각형 내부 화소들의 색상을 결정할 수 있다.
이 때, 투영부(120)는 상기 가상 시점 영상 좌표계에서 동일한 화소 위치에 적어도 두 개 이상의 삼각형 면들이 투영되는 경우, 삼각형 투영 조건을 고려하여 상기 워핑 영상들을 생성할 수 있다.
이 때, 투영부(120)는 상기 삼각형 투영 조건으로 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 삼각형 모양 품질 값과 화소들의 깊이 값의 비율을 비교하여 어느 하나의 삼각형 면을 결정할 수 있다.
이 때, 투영부(120)는 ERP 포맷 영상의 투영 과정에서 발생하는 극점 근처에서 생성되는 왜곡을 제거할 수 있다.
삼각형 단위 워핑은 화소점의 깊이 차이와 시점 변화에 따라 삼각형의 모양이 변화될 수 있다. 특히, 깊이 차이가 심한 경계에 해당하는 부분은 실제 사물의 표면에서 발생하는 모양 변화와 달리 심하게 늘어진 형태의 삼각형이 투영될 수 있다.
회전과 이동이 결합되는 6DoF를 제공하는 시점 변화는 다수의 삼각형이 동일한 화소 위치로 워핑되는 현상이 발생할 수 있다.
이 때, 투영부(120)는 워핑 영상에 이전에 워핑된 삼각형이 투영되어 있어 동일 화소 위치에 다수의 삼각형이 투영될 경우, 아래 수학식 1과 같이 각 삼각형의 늘어짐에 따른
Figure 112020025312166-pat00001
와 각 화소의 깊이
Figure 112020025312166-pat00002
에 의한 삼각형 투영 조건을 판별할 수 있다.
[수학식 1]
Figure 112020025312166-pat00003
이 때, 투영부(120)는 수학식 1의 삼각형 투영 조건을 만족하면 새로 투영된 삼각형 내부 화소의 색상으로 삼각형 내부 화소의 색상을 교체하여 워핑 영상을 생성할 수 있다.
이 때, 수학식 1에서,
Figure 112020025312166-pat00004
는 워핑된 삼각형의 투영된 모양에 따른 품질을 정량적으로 계산한 삼각형 품질 값에 상응할 수 있다.
삼각형 품질 값은 투영된 삼각형의 가장 긴 변의 길이에 반비례하여 길수록 낮은 값을 가질 수 있다.
투영된 삼각형 내부의 화소들은 모두 동일한
Figure 112020025312166-pat00005
를 가질 수 있다.
이 때,
Figure 112020025312166-pat00006
는 특정한 범위 내의 값을 갖도록 최대값과 최소값을 한정할 수도 있고, 다양하게 변형된 계산 방법으로 구현 가능하며, 본 발명에서는 특정한 방법으로 한정하지는 않을 수 있다.
Figure 112020025312166-pat00007
는 투영된 삼각형 세 개의 꼭지점 화소의 깊이 값을 보간하여 추정된 삼각형 내부 각 화소의 깊이 값으로 합성 영상의 투영 포맷에 따라 Perspective인 경우 수직 거리를 의미하며, ERP인 경우 투영 중심에서의 직선 거리를 의미할 수 있다.
이 때,
Figure 112020025312166-pat00008
의 지수승 α는 삼각형 투영 조건의 판별에 있어
Figure 112020025312166-pat00009
와
Figure 112020025312166-pat00010
의 중요도를 조절할 수 있는 파라미터에 상응할 수 있다.
지수승 α는 일실시 예로서 3정도가 사용될 수 있다.
이 때, 투영부(120)는 워핑 영상의 특정 화소 위치에 다수의 워핑된 삼각형 내부의 화소가 투영되어 여러 후보 화소 중 한 화소의 색상으로 해당 화소 위치의 색상을 결정해야 할 경우, 깊이가 작고(가깝고) 삼각형의 품질이 클수록(모양 변화가 작을수록) 최종 투영된 화소로 선택되어 워핑된 영상의 색상을 결정할 수 있다.
따라서, 투영부(120)는 가까운 거리에 있는 객체의 표면 부분에서 워핑된 삼각형 내부의 화소를 선택할 수 있고, 경계 부분에서 실제와 달리 늘어진 삼각형 형태로 워핑된 삼각형이나 깊이가 더 큰 가려져서 보이지 않아야 할 배경 부분에서 워핑된 삼각형 내부의 화소는 선택하지 않을 수 있다.
또한, ERP 포맷 영상은 깊이 차이나 시점 변화에 따른 변화 이외에도 ERP 영상 좌표계의 위도에 따라 투영되는 삼각형의 형태가 변화될 수 있다.
이 때, 투영부(120)는 ERP 포맷 영상의 특성을 반영하지 않는 삼각형 품질을 사용하는 기존의 방식의 문제점을 해결하기 위해 워핑 과정과 혼합 과정을 구분하여 삼각형 품질을 다르게 사용할 수 있다.
이 때, 투영부(120)는 ERP의 위도에 따른 투영된 삼각형의 모양 변화의 영향을 최소화하기 위한 한 방법으로 시뉴소이드 도법(Sinusoidal Projection)을 이용할 수 있다.
이 때, 투영부(120)는 ERP 영상의 위도에 따른 영향을 최소화하기 위해 투영된 삼각형의 꼭지점을 시뉴소이드 도법(Sinusoidal Projection)으로 보정하여 계산된 삼각형의 품질 값인
Figure 112020033041513-pat00011
을 삼각형 투영 조건에 사용할 수 있다.
이 때, 투영부(120)는 시뉴소이드 도법을 이용하여 ERP 포맷 영상을 위도에 무관하게 동일 크기의 영역의 면적이 유사한 면적이 되도록 투영할 수 있다.
이 때, 투영부(120)는 ERP 포맷 영상의 위도에 따라 삼각형의 크기가 달라지는 문제를 해결할 수 있다.
이 때, 투영부(120)는 투영된 삼각형의 세 개의 꼭지점
Figure 112020033041513-pat00013
의 좌표를
Figure 112020033041513-pat00015
라고 하면, 아래의 수학식 2와 같이 각 삼각형을 경도 중심으로 시뉴소이드 도법(Sinusoidal Projection)을 적용하여 보정된 삼각형의 꼭지점
Figure 112020033041513-pat00017
의 좌표
Figure 112020033041513-pat00019
를 계산할 수 있다.
[수학식 2]
Figure 112020025312166-pat00021
Figure 112020025312166-pat00022
Figure 112020025312166-pat00023
Figure 112020025312166-pat00024
여기서,
Figure 112020033041513-pat00025
는
Figure 112020033041513-pat00027
의 위도를 나타낸 것일 수 있다.
이 때, 투영부(120)는 시뉴소이드 도법(Sinusoidal Projection)을 이용하여 수학식 2에서와 같이, 각 삼각형을 기준으로
Figure 112020033041513-pat00029
를 계산하고, 경도를 0으로 설정하여 위도에 따라 투영된 삼각형의 면적을 일정하게 보정할 수 있다.
따라서, 투영부(120)는 시뉴소이드 도법을 이용하여 경도 위치에 따라 삼각형 모양이 일정 방향으로 변형되는 현상을 최소화할 수 있다.
또한, 투영부(120)는 시뉴소이드 도법을 이용하여 수학식 2와 같이 cos함수를 1차 함수로 선형화하여 근사된 시뉴소이드 도법을 적용하여 유사한 결과를 얻을 수 있다.
이 때, 투영부(120)는 근사된 시뉴소이드 도법을 이용하는 기법 외에도 ERP의 위도에 따른 영향을 최소화할 수 있는 다양한 기법도 포괄적으로 이용할 수 있다.
이 때, 투영부(120)는 시뉴소이드 도법(Sinusoidal Projection)을 이용하여 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 꼭지점 좌표들을 계산하고, 상기 꼭지점 좌표들을 이용하여 상기 삼각형 모양 품질 값을 보정할 수 있다.
이 때, 투영부(120)는 기존의 삼각형 품질 계산 방법에 수학식 2를 통해 얻어진 보정된 삼각형의 꼭지점
Figure 112020033041513-pat00031
을 사용하여 삼각형 품질을
Figure 112020033041513-pat00033
을 구할 수 있다.
이 때, 투영부(120)는 삼각형 단위 워핑으로 ERP 포맷의 합성 영상을 생성할 경우, 투영되는 삼각형의 품질이 투영되는 위도에 따라 달라지는 현상을 막기 위해 세 개의 꼭지점의 좌표를 시뉴소이드 도법을 이용하여 보정할 수 있다.
이 때, 투영부(120)는 수학식 1 대신 아래 수학식 3을 이용하여
Figure 112020033041513-pat00035
기준으로 삼각형 투영 조건을 판별하여 워핑 영상의 색상을 결정할 수 있다.
[수학식 3]
Figure 112020025312166-pat00037
혼합부(130)는 상기 워핑 영상들의 기설정된 기준에 따라 각 화소별로 산출된 혼합 가중치를 이용하여 워핑 영상들을 혼합할 수 있다.
이 때, 혼합부(130)는 상기 삼각형 모양 품질 값과 상기 화소들의 깊이 값의 비율을 이용하여 혼합 가중치를 산출하고, 상기 혼합 가중치를 이용하여 상기 워핑 영상들을 혼합할 수 있다.
[수학식 4]
Figure 112020025312166-pat00038
이 때, 혼합부(130)는 수학식 4와 같이 삼각형의 품질과 깊이를 이용하여 워핑 영상들의 각 화소에서의 혼합 가중치
Figure 112020033041513-pat00039
을 계산하고, 각 화소 단위로 전체 워핑 영상들에 대한 색상 값을 가중 혼합하여 혼합된 워핑 영상을 생성할 수 있다.
이 때, 혼합부(130)는 깊이 차이가 큰 경계 부분에서는 이웃한 화소들이 벌어진 간격만큼 늘어진 형태의 잘못된 패치가 맵핑될 수 있는데, 동일 화소 위치에 대한 워핑 영상들의 화소에 대한 삼각형 형태 변화에 따른 혼합 가중치를 부여할 수 있다.
이 때, 혼합부(130)는 혼합 가중치를 가중 혼합하여 워핑 영상들의 혼합 과정에서 발생하는 합성 왜곡을 줄일 수 있다.
이 때, 혼합부(130)는 경계 부분의 늘어진 패치의 화소들이 다른 시점 영상에서 워핑된 정상적인 화소들에 비해 상대적으로 매우 낮은 가중치로 혼합되기 때문에 가중치 조절에 따라 혼합된 워핑 영상 품질을 향상시켜 제공할 수 있다.
또한, 혼합부(130)는 보정된 삼각형으로 구한
Figure 112020033041513-pat00041
를 사용하지 않고,
Figure 112020033041513-pat00043
를 사용하여 수학식 4의 혼합 가중치를 계산하면, 혼합 가중치가 삼각형이 늘어진 영역에 따라 품질이 결정되기 때문에 정보량 측면에서 삼각형이 늘어진 만큼 색상의 혼합 가중치를 낮추는 것이 합당할 수 있다.
예를 들어, 혼합부(130)는 ERP 영상 포맷인 경우, ERP 영상 특성에 의해 삼각형 세 점의 깊이 차이 및 시점 변화와는 무관하게 위도에 따라 삼각형의 품질 변화가 발생하더라도, 화소의 색상은 삼각형이 늘어진 영역에서만 보간될 수 있기 때문에 정보량 측면에서 삼각형이 늘어진 만큼 색상의 혼합 가중치를 낮추는 것이 합당할 수 있다.
인페인팅부(140)는 혼합된 워핑 영상의 홀(HOLE)을 인접한 유사도가 높은 화소의 색상으로 채워 최종 합성된 가상 시점 영상을 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 가상 시점 영상 합성 방법을 나타낸 동작흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 가상 시점 영상 합성 방법은 복수개의 시점 영상을 입력 받을 수 있다(S210).
즉, 단계(S210)는 복수개의 시점을 촬영한 카메라들로부터 복수개의 시점 영상들을 입력 받아 3차원 공간상의 월드 좌표계로 역투영할 수 있다.
이 때, 단계(S210)는 기정의된 영상의 투영 방식과 상기 카메라들의 카메라 파라미터(parameter)를 이용하여 복수개의 시점 영상들을 3차원 공간상의 월드 좌표계로 역투영(unprojection)할 수 있다.
또한, 본 발명의 일실시예에 따른 가상 시점 영상 합성 방법은 워핑 영상을 생성할 수 있다(S220).
즉, 단계(S220)는 상기 월드 좌표계로 역투영된 복수개의 시점 영상들을 가상 시점 영상 좌표계에 투영하는 삼각형 단위 워핑을 수행하여 워핑 영상들을 생성할 수 있다.
이 때, 단계(S220)는 상기 복수개의 시점 영상들에서 세 개의 인접한 화소들 마다 삼각형 면으로 구성하여 상기 가상 시점 영상 좌표계에 투영할 수 있다.
이 때, 단계(S220)는 삼각형 단위 워핑 과정에서 꼭지점들의 깊이 차이와 가상시점으로의 시점 변화에 따라 다양한 형태로 아핀 변환(affine transform)된 삼각형들을 가상 시점 영상 좌표계에 투영할 수 있다.
이 때, 단계(S220)는 투영된 삼각형의 각 화소가 투영된 위치와 꼭지점들이 투영된 위치에서 구성되는 삼각형들의 면적 비율에 기반하여 상기 꼭지점들이 투영된 위치의 화소들의 색상을 보간(interpolation)하여 삼각형 내부 화소들의 색상을 결정할 수 있다.
이 때, 단계(S220)는 상기 가상 시점 영상 좌표계에서 동일한 화소 위치에 적어도 두 개 이상의 삼각형 면들이 투영되는 경우, 삼각형 투영 조건을 고려하여 상기 워핑 영상들을 생성할 수 있다.
이 때, 단계(S220)는 상기 삼각형 투영 조건으로 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 삼각형 모양 품질 값과 화소들의 깊이 값의 비율을 비교하여 어느 하나의 삼각형 면을 결정할 수 있다.
이 때, 단계(S220)는 ERP 포맷 영상의 투영 과정에서 발생하는 극점 근처에서 생성되는 왜곡을 제거할 수 있다.
삼각형 단위 워핑은 화소점의 깊이 차이와 시점 변화에 따라 삼각형의 모양이 변화될 수 있다. 특히, 깊이 차이가 심한 경계에 해당하는 부분은 실제 사물의 표면에서 발생하는 모양 변화와 달리 심하게 늘어진 형태의 삼각형이 투영될 수 있다.
회전과 이동이 결합되는 6DoF를 제공하는 시점 변화는 다수의 삼각형이 동일한 화소 위치로 워핑되는 현상이 발생할 수 있다.
이 때, 단계(S220)는 워핑 영상에 이전에 워핑된 삼각형이 투영되어 있어 동일 화소 위치에 다수의 삼각형이 투영될 경우, 수학식 1과 같이 각 삼각형의 늘어짐에 따른
Figure 112020025312166-pat00045
와 각 화소의 깊이
Figure 112020025312166-pat00046
에 의한 삼각형 투영 조건을 판별할 수 있다.
이 때, 단계(S220)는 수학식 1의 삼각형 투영 조건을 만족하면 새로 투영된 삼각형 내부 화소의 색상으로 삼각형 내부 화소의 색상을 교체하여 워핑 영상을 생성할 수 있다.
이 때, 수학식 1에서,
Figure 112020025312166-pat00047
는 워핑된 삼각형의 투영된 모양에 따른 품질을 정량적으로 계산한 삼각형 품질 값에 상응할 수 있다.
삼각형 품질 값은 투영된 삼각형의 가장 긴 변의 길이에 반비례하여 길수록 낮은 값을 가질 수 있다.
투영된 삼각형 내부의 화소들은 모두 동일한
Figure 112020025312166-pat00048
를 가질 수 있다.
이 때,
Figure 112020025312166-pat00049
는 특정한 범위 내의 값을 갖도록 최대값과 최소값을 한정할 수도 있고, 다양하게 변형된 계산 방법으로 구현 가능하며, 본 발명에서는 특정한 방법으로 한정하지는 않을 수 있다.
Figure 112020025312166-pat00050
는 투영된 삼각형 세 개의 꼭지점 화소의 깊이 값을 보간하여 추정된 삼각형 내부 각 화소의 깊이 값으로 합성 영상의 투영 포맷에 따라 Perspective인 경우 수직 거리를 의미하며, ERP인 경우 투영 중심에서의 직선 거리를 의미할 수 있다.
이 때,
Figure 112020025312166-pat00051
의 지수승 α는 삼각형 투영 조건의 판별에 있어
Figure 112020025312166-pat00052
와
Figure 112020025312166-pat00053
의 중요도를 조절할 수 있는 파라미터에 상응할 수 있다.
지수승 α는 일실시 예로서 3정도가 사용될 수 있다.
이 때, 단계(S220)는 워핑 영상의 특정 화소 위치에 다수의 워핑된 삼각형 내부의 화소가 투영되어 여러 후보 화소 중 한 화소의 색상으로 해당 화소 위치의 색상을 결정해야 할 경우, 깊이가 작고(가깝고) 삼각형의 품질이 클수록(모양 변화가 작을수록) 최종 투영된 화소로 선택되어 워핑된 영상의 색상을 결정할 수 있다.
따라서, 단계(S220)는 가까운 거리에 있는 객체의 표면 부분에서 워핑된 삼각형 내부의 화소를 선택할 수 있고, 경계 부분에서 실제와 달리 늘어진 삼각형 형태로 워핑된 삼각형이나 깊이가 더 큰 가려져서 보이지 않아야 할 배경 부분에서 워핑된 삼각형 내부의 화소는 선택하지 않을 수 있다.
또한, ERP 포맷 영상은 깊이 차이나 시점 변화에 따른 변화 이외에도 ERP 영상 좌표계의 위도에 따라 투영되는 삼각형의 형태가 변화될 수 있다.
이 때, 단계(S220)는 ERP 포맷 영상의 특성을 반영하지 않는 삼각형 품질을 사용하는 기존의 방식의 문제점을 해결하기 위해 워핑 과정과 혼합 과정을 구분하여 삼각형 품질을 다르게 사용할 수 있다.
이 때, 단계(S220)는 ERP의 위도에 따른 투영된 삼각형의 모양 변화의 영향을 최소화하기 위한 한 방법으로 시뉴소이드 도법(Sinusoidal Projection)을 이용할 수 있다.
이 때, 단계(S220)는 ERP 영상의 위도에 따른 영향을 최소화하기 위해 투영된 삼각형의 꼭지점을 시뉴소이드 도법(Sinusoidal Projection)으로 보정하여 계산된 삼각형의 품질 값
Figure 112020033041513-pat00054
을 삼각형 투영 조건에 사용할 수 있다.
이 때, 단계(S220)는 시뉴소이드 도법을 이용하여 ERP 포맷 영상을 위도에 무관하게 동일 크기의 영역의 면적이 유사한 면적이 되도록 투영할 수 있다.
이 때, 단계(S220)는 ERP 포맷 영상의 위도에 따라 삼각형의 크기가 달라지는 문제를 해결할 수 있다.
이 때, 단계(S220)는 투영된 삼각형의 세 개의 꼭지점
Figure 112020033041513-pat00056
의 좌표를
Figure 112020033041513-pat00058
라고 하면, 수학식 2와 같이 각 삼각형을 경도 중심으로 시뉴소이드 도법(Sinusoidal Projection)을 적용하여 보정된 삼각형의 꼭지점
Figure 112020033041513-pat00060
의 좌표
Figure 112020033041513-pat00062
를 계산할 수 있다.
수학식 2에서
Figure 112020033041513-pat00064
는
Figure 112020033041513-pat00066
의 위도를 나타낸 것일 수 있다.
이 때, 단계(S220)는 시뉴소이드 도법(Sinusoidal Projection)을 이용하여 수학식 2에서와 같이, 각 삼각형을 기준으로
Figure 112020033041513-pat00068
를 계산하고, 경도를 0으로 설정하여 위도에 따라 투영된 삼각형의 면적을 일정하게 보정할 수 있다.
따라서, 단계(S220)는 시뉴소이드 도법을 이용하여 경도 위치에 따라 삼각형 모양이 일정 방향으로 변형되는 현상을 최소화할 수 있다.
또한, 단계(S220)는 시뉴소이드 도법을 이용하여 수학식 2와 같이 cos함수를 1차 함수로 선형화하여 근사된 시뉴소이드 도법을 적용하여 유사한 결과를 얻을 수 있다.
이 때, 단계(S220)는 근사된 시뉴소이드 도법을 이용하는 기법 외에도 ERP의 위도에 따른 영향을 최소화할 수 있는 다양한 기법도 포괄적으로 이용할 수 있다.
이 때, 단계(S220)는 시뉴소이드 도법을 이용하여 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 꼭지점 좌표들을 계산하고, 상기 꼭지점 좌표들을 이용하여 상기 삼각형 모양 품질 값을 보정할 수 있다.
이 때, 단계(S220)는 기존의 삼각형 품질 계산 방법에 수학식 2를 통해 얻어진 보정된 삼각형의 꼭지점
Figure 112020033041513-pat00070
을 사용하여 삼각형 품질을
Figure 112020033041513-pat00072
을 구할 수 있다.
이 때, 단계(S220)는 삼각형 단위 워핑으로 ERP 포맷의 합성 영상을 생성할 경우, 투영되는 삼각형의 품질이 투영되는 위도에 따라 달라지는 현상을 막기 위해 세 개의 꼭지점의 좌표를 시뉴소이드 도법을 이용하여 보정할 수 있다.
이 때, 단계(S220)는 수학식 1 대신 수학식 3을 이용하여
Figure 112020033041513-pat00074
기준으로 삼각형 투영 조건을 판별하여 워핑 영상의 색상을 결정할 수 있다.
또한, 본 발명의 일실시예에 따른 가상 시점 영상 합성 방법은 워핑 영상을 혼합할 수 있다(S230).
즉, 단계(S230)는 상기 워핑 영상들의 기설정된 기준에 따라 각 화소별로 산출된 혼합 가중치를 이용하여 워핑 영상들을 혼합할 수 있다.
이 때, 단계(S230)는 상기 삼각형 모양 품질 값과 상기 화소들의 깊이 값의 비율을 이용하여 혼합 가중치를 산출하고, 상기 혼합 가중치를 이용하여 상기 워핑 영상들을 혼합할 수 있다.
이 때, 단계(S230)는 수학식 4와 같이 삼각형의 품질과 깊이를 이용하여 워핑 영상들의 각 화소에서의 혼합 가중치
Figure 112020033041513-pat00076
을 계산하고, 각 화소 단위로 전체 워핑 영상들에 대한 색상 값을 가중 혼합하여 혼합된 워핑 영상을 생성할 수 있다.
이 때, 단계(S230)는 깊이 차이가 큰 경계 부분에서는 이웃한 화소들이 벌어진 간격만큼 늘어진 형태의 잘못된 패치가 맵핑될 수 있는데, 동일 화소 위치에 대한 워핑 영상들의 화소에 대한 삼각형 형태 변화에 따른 혼합 가중치를 부여할 수 있다.
이 때, 단계(S230)는 혼합 가중치를 가중 혼합하여 워핑 영상들의 혼합 과정에서 발생하는 합성 왜곡을 줄일 수 있다.
이 때, 단계(S230)는 경계 부분의 늘어진 패치의 화소들이 다른 시점 영상에서 워핑된 정상적인 화소들에 비해 상대적으로 매우 낮은 가중치로 혼합되기 때문에 가중치 조절에 따라 혼합된 워핑 영상 품질을 향상시켜 제공할 수 있다.
또한, 단계(S230)는 보정된 삼각형으로 구한
Figure 112020033041513-pat00078
를 사용하지 않고,
Figure 112020033041513-pat00080
를 사용하여 수학식 4의 혼합 가중치를 계산하면, 혼합 가중치가 삼각형이 늘어진 영역에 따라 품질이 결정되기 때문에 정보량 측면에서 삼각형이 늘어진 만큼 색상의 혼합 가중치를 낮추는 것이 합당할 수 있다.
예를 들어, 단계(S230)는 ERP 영상 포맷인 경우, ERP 영상 특성에 의해 삼각형 세 점의 깊이 차이 및 시점 변화와는 무관하게 위도에 따라 삼각형의 품질 변화가 발생하더라도, 화소의 색상은 삼각형이 늘어진 영역에서만 보간될 수 있기 때문에 정보량 측면에서 삼각형이 늘어진 만큼 색상의 혼합 가중치를 낮추는 것이 합당할 수 있다.
또한, 본 발명의 일실시예에 따른 가상 시점 영상 합성 방법은 가상 시점 영상을 생성할 수 있다(S240).
즉, 단계(S240)는 혼합된 워핑 영상의 홀(HOLE)을 인접한 유사도가 높은 화소의 색상으로 채워 최종 합성된 가상 시점 영상을 생성할 수 있다.
도 3은 본 발명의 일실시예에 따른 입력 시점 영상이 가상 시점 위치로 워핑된 가상 시점 영상을 나타낸 도면이다. 도 4는 본 발명의 일실시예에 따른 혼합 및 인페인팅을 수행하여 최종 합성된 가상 시점 영상을 나타낸 도면이다.
도 3을 참조하면, 투영 과정에서 깊이 차이가 큰 경계 부분에서는 이웃한 화소들이 벌어진 간격만큼 투영된 삼각형 모양이 늘어진 형태로 워핑된 것을 알 수 있다.
도 4를 참조하면, 혼합 과정에서 동일 화소 위치에 대한 각 시점 영상의 워핑된 화소에 대한 삼각형 모양의 형태 변화에 따른 혼합 가중치를 부여하고 혼합 가중치를 이용하여 워핑 영상들을 가중 혼합하여 합성 왜곡을 줄인 것을 알 수 있다.
이 때, 경계 부분의 늘어진 패치의 화소들은 다른 시점 영상에서 워핑된 정상적인 화소들에 비해 상대적으로 매우 낮은 가중치로 혼합되기 때문에 가중치 조절에 따라 합성 영상 품질이 달라질 수 있다.
도 5는 본 발명의 일실시예에 따른 실제로 획득된 Ground Truth 영상을 나타낸 도면이다. 도 6은 본 발명의 일실시예에 따른 왜곡 현상이 발생한 영상 합성 결과를 나타낸 도면이다. 도 7은 본 발명의 일실시예에 따른 실제 시점에서 획득한 색상과 깊이 영상을 나타낸 도면이다. 도 8 및 도 9는 본 발명의 일실시예에 따른 워핑 과정이 진행되면서 발생한 왜곡현상을 나타낸 도면이다.
도 5 및 도 6을 참조하면, 본 발명의 일실시예에 따른 왜곡 현상이 발생한 영상 합성 결과는 워핑 영상 생성과 혼합 과정에서 동일한 삼각형 품질 계산 방식을 사용하여 합성된 ERP 포맷 영상의 왜곡 현상을 나타낸 것을 알 수 있다.
이 때, ERP 포맷 영상의 영상 합성 결과는 MPEG에서 전방위 영상 합성 성능 검증을 위해 사용되는 전방위 24개의 수직 180도, 수평 180도 화각 ERP 포맷을 시점 영상으로 제공하는 TechnicolorMuseum 영상 시퀀스로 실험한 결과의 일 예를 나타낸 것을 알 수 있다.
이 때, ERP 포맷 영상의 영상 합성 결과는 실제 획득된 9번 시점 영상과 9번 시점을 제외한 나머지 23개 시점을 이용하여 9번 시점 위치의 영상을 합성한 결과를 나타낸 것을 알 수 있다.
이 때, ERP 포맷 영상의 영상 합성 결과는 입력된 시점 영상과 달리 합성된 가상 시점 영상에서 왜곡(artifact)된 부분(10)을 확인할 수 있다.
도 7을 참조하면, 가상 시점 영상의 왜곡은 워핑 과정에서 삼각형 품질이 ERP 포맷 영상의 투영된 위도에 따라 영향을 받아
Figure 112020025312166-pat00082
에 의도치 않는 깊이 값 차이(20)가 발생하는 것을 알 수 있다.
도 8 및 도 9를 참조하면, 10번 시점 영상의 9번 시점 영상을 워핑되는 과정에서 배경 영역의 삼각형 내부 픽셀(30)이 전경 부분에 투영되고 수학식 1에 의해 최종 워핑된 영상으로 선택되어 가상 시점 영상의 왜곡(40) 발생하는 것을 알 수 있다.
도 10은 본 발명의 일실시예에 따른 시뉴소이드 도법(Sinusoidal Projection)의 특징을 나타낸 도면이다.
도 10을 참조하면, 본 발명의 일실시예에 따른 시뉴소이드 도법(Sinusoidal Projection)은 수학식 2에서와 같이, 각 삼각형을 기준으로
Figure 112020033041513-pat00083
를 계산하고, 경도를 0으로 설정하여 위도에 따라 투영된 삼각형의 면적을 일정하게 보정할 수 있다.
따라서, 시뉴소이드 도법은 경도 위치에 따라 삼각형 모양이 일정 방향으로 변형되는 현상을 최소화할 수 있다.
또한, 시뉴소이드 도법은 수학식 2와 같이 cos함수를 1차 함수로 선형화하여 근사된 시뉴소이드 도법을 적용하여 유사한 결과를 얻을 수 있다.
이 때, 시뉴소이드 도법은 이러한 근사화된 방법 이외에도 ERP의 위도에 따른 영향을 최소화할 수 있는 다양한 방법도 포괄적으로 적용할 수 있다.
도 11은 본 발명의 일실시예에 가상 시점 영상 방식을 적용한 영상 합성 결과를 나타낸 도면이다.
도 11을 참조하면, 본 발명의 일실시예에 따른
Figure 112020025312166-pat00085
를 이용한 투영 방식과 혼합 가중치를 이용한 혼합 방식으로부터 생성된 영상 합성 결과를 나타낸 것을 알 수 있다.
도 11에 도시된 바와 같이,
Figure 112020025312166-pat00086
를 이용한 투영 방식과 혼합 가중치를 이용한 혼합 방식으로부터 생성된 영상 합성 결과는 도 5 및 6의 영상 합성 결과와 다르게 왜곡이 발생하지 않는 것을 확인할 수 있다.
도 12는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 12를 참조하면, 본 발명의 일실시예에 따른 가상 시점 영상 합성 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 12에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
본 발명의 일실시예에 따른 가상 시점 영상 합성 장치는 하나 이상의 프로세서(1110); 및 상기 하나 이상의 프로세서(1110)에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리(1130)를 포함하고, 상기 적어도 하나 이상의 프로그램은 복수개의 시점을 촬영한 카메라들로부터 복수개의 시점 영상들을 입력 받아 3차원 공간상의 월드 좌표계로 역투영하고, 상기 월드 좌표계로 역투영된 복수개의 시점 영상들을 가상 시점 영상 좌표계에 투영하는 삼각형 단위 워핑을 수행하여 워핑 영상들을 생성하고, 상기 워핑 영상들을 혼합하여 최종 합성된 가상 시점 영상을 생성한다.
이 때, 상기 삼각형 단위 워핑은 상기 복수개의 시점 영상들에서 세 개의 인접한 화소들 마다 삼각형 면으로 구성하여 상기 가상 시점 영상 좌표계에 투영할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 가상 시점 영상 좌표계에서 동일한 화소 위치에 적어도 두 개 이상의 삼각형 면들이 투영되는 경우, 삼각형 투영 조건을 고려하여 상기 워핑 영상들을 생성할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 삼각형 투영 조건으로 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 삼각형 모양 품질 값과 화소들의 깊이 값의 비율을 비교하여 어느 하나의 삼각형 면을 결정할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 시뉴소이드 도법(Sinusoidal Projection)을 이용하여 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 꼭지점 좌표들을 계산하고, 상기 꼭지점 좌표들을 이용하여 상기 삼각형 모양 품질 값을 보정할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 삼각형 모양 품질 값과 상기 화소들의 깊이 값의 비율을 이용하여 혼합 가중치를 산출하고, 상기 혼합 가중치를 이용하여 상기 워핑 영상들을 혼합할 수 있다.
이상에서와 같이 본 발명의 일실시예에 따른 가상 시점 영상 합성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110: 역투영부 120: 투영부
130: 혼합부 140: 인페인팅부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (12)

  1. 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리;
    를 포함하고,
    상기 적어도 하나 이상의 프로그램은
    복수개의 시점을 촬영한 카메라들로부터 복수개의 시점 영상들을 입력 받아 3차원 공간상의 월드 좌표계로 역투영하고,
    상기 월드 좌표계로 역투영된 복수개의 시점 영상들을 가상 시점 영상 좌표계에 투영하는 삼각형 단위 워핑을 수행하여 워핑 영상들을 생성하고,
    상기 워핑 영상들을 혼합하여 최종 합성된 가상 시점 영상을 생성하고,
    상기 적어도 하나 이상의 프로그램은
    상기 가상 시점 영상 좌표계에서 동일한 화소 위치에 적어도 두 개 이상의 삼각형 면들이 투영되는 경우, 삼각형 투영 조건을 고려하여 상기 워핑 영상들을 생성하고,
    상기 삼각형 투영 조건으로 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 삼각형 모양 품질 값과 화소들의 깊이 값의 비율을 비교하여 어느 하나의 삼각형 면을 결정하는 것을 특징으로 하는 가상 시점 영상 합성 장치.
  2. 청구항 1에 있어서,
    상기 삼각형 단위 워핑은
    상기 복수개의 시점 영상들에서 세 개의 인접한 화소들 마다 삼각형 면으로 구성하여 상기 가상 시점 영상 좌표계에 투영하는 것을 특징으로 하는 가상 시점 영상 합성 장치.
  3. 삭제
  4. 삭제
  5. 청구항 2에 있어서,
    상기 적어도 하나 이상의 프로그램은
    시뉴소이드 도법(Sinusoidal Projection)을 이용하여 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 꼭지점 좌표들을 계산하고, 상기 꼭지점 좌표들을 이용하여 상기 삼각형 모양 품질 값을 보정하는 것을 특징으로 하는 가상 시점 영상 합성 장치.
  6. 청구항 2에 있어서,
    상기 적어도 하나 이상의 프로그램은
    상기 삼각형 모양 품질 값과 상기 화소들의 깊이 값의 비율을 이용하여 혼합 가중치를 산출하고, 상기 혼합 가중치를 이용하여 상기 워핑 영상들을 혼합하는 것을 특징으로 하는 가상 시점 영상 합성 장치.
  7. 가상 시점 영상 합성 장치의 가상 시점 영상 합성 방법에 있어서,
    복수개의 시점을 촬영한 카메라들로부터 복수개의 시점 영상들을 입력 받아 3차원 공간상의 월드 좌표계로 역투영하는 단계;
    상기 월드 좌표계로 역투영된 복수개의 시점 영상들을 가상 시점 영상 좌표계로 투영하는 삼각형 단위 워핑을 수행하여 워핑 영상들을 생성하는 단계; 및
    상기 워핑 영상들을 혼합하여 최종 합성된 가상 시점 영상을 생성하는 단계;
    를 포함하고,
    상기 워핑 영상들을 생성하는 단계는
    상기 가상 시점 영상 좌표계에서 동일한 화소 위치에 적어도 두 개 이상의 삼각형 면들이 투영되는 경우, 삼각형 투영 조건을 고려하여 상기 워핑 영상들을 생성하고,
    상기 삼각형 투영 조건으로 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 삼각형 모양 품질 값과 화소들의 깊이 값의 비율을 비교하여 어느 하나의 삼각형 면을 결정하는 것을 특징으로 하는 가상 시점 영상 합성 방법.
  8. 청구항 7에 있어서,
    상기 삼각형 단위 워핑은
    상기 복수개의 시점 영상들에서 세 개의 인접한 화소들 마다 삼각형 면으로 구성하여 상기 가상 시점 영상 좌표계에 투영하는 것을 특징으로 하는 가상 시점 영상 합성 방법.
  9. 삭제
  10. 삭제
  11. 청구항 8에 있어서,
    상기 워핑 영상들을 생성하는 단계는
    시뉴소이드 도법(Sinusoidal Projection)을 이용하여 상기 가상 시점 영상 좌표계에 투영된 적어도 두 개 이상의 삼각형 면들의 꼭지점 좌표들을 계산하고, 상기 꼭지점 좌표들을 이용하여 상기 삼각형 모양 품질 값을 보정하는 것을 특징으로 하는 가상 시점 영상 합성 방법.
  12. 청구항 8에 있어서,
    상기 가상 시점 영상을 생성하는 단계는
    상기 삼각형 모양 품질 값과 상기 화소들의 깊이 값의 비율을 이용하여 혼합 가중치를 산출하고, 상기 혼합 가중치를 이용하여 상기 워핑 영상들을 혼합하는 것을 특징으로 하는 가상 시점 영상 합성 방법.
KR1020200029613A 2019-06-27 2020-03-10 가상 시점 영상 합성 장치 및 방법 KR102554697B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/931,410 US11276142B2 (en) 2019-06-27 2020-05-13 Apparatus and method for synthesizing virtual viewpoint images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190077060 2019-06-27
KR1020190077060 2019-06-27

Publications (2)

Publication Number Publication Date
KR20210001892A KR20210001892A (ko) 2021-01-06
KR102554697B1 true KR102554697B1 (ko) 2023-07-13

Family

ID=74128209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200029613A KR102554697B1 (ko) 2019-06-27 2020-03-10 가상 시점 영상 합성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102554697B1 (ko)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101411568B1 (ko) * 2012-08-10 2014-06-27 광운대학교 산학협력단 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Chao-Hsuan Li et al., ‘A TRIANGULAR-WARPING BASED VIEW SYNTHESIS SCHEME WITH ENHANCED ARTIFACT REDUCTION FOR FTV’, 18th IEEE International conference on image processing, 2011.*

Also Published As

Publication number Publication date
KR20210001892A (ko) 2021-01-06

Similar Documents

Publication Publication Date Title
KR102431117B1 (ko) 포인트 클라우드 맵핑
US10728513B2 (en) Image processing apparatus, image processing method, and storage medium
US11276142B2 (en) Apparatus and method for synthesizing virtual viewpoint images
US9412151B2 (en) Image processing apparatus and image processing method
TWI764959B (zh) 用於產生光強度影像之裝置與方法
WO2019135979A1 (en) Fusing, texturing, and rendering views of dynamic three-dimensional models
JP2018515825A (ja) Ｌｉｄａｒステレオ融合実写３ｄモデルバーチャルリアリティビデオ
KR101969082B1 (ko) 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
JP2011118908A (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
Hornung et al. Interactive pixel‐accurate free viewpoint rendering from images with silhouette aware sampling
TWI831919B (zh) 用於產生光強度影像之設備及方法
KR102554697B1 (ko) 가상 시점 영상 합성 장치 및 방법
KR102576700B1 (ko) 워핑된 영상의 혼합을 통한 가상 시점 영상 합성 방법 및 장치
JP5926626B2 (ja) 画像処理装置及びその制御方法、プログラム
US20220005152A1 (en) Method and apparatus for virtual viewpoint image synthesis by mixing warped image
JP7195785B2 (ja) ３次元形状データを生成する装置、方法、及びプログラム
KR20210112263A (ko) 가상시점 영상 구성 방법 및 장치
JP2003337953A (ja) 画像処理装置および画像処理方法、並びにコンピュータ・プログラム
EP4171015A1 (en) Handling blur in multi-view imaging
JP2004227095A (ja) テクスチャマップ作成方法、テクスチャマップ作成用プログラムおよびテクスチャマップ作成装置
EP4386678A1 (en) Novel view generation using point clouds
KR20210121669A (ko) 삼각형 기반의 선택적 워핑을 통한 가상 시점 영상 합성 방법 및 장치
KR20230105139A (ko) 깊이 분포 기반 워핑 영상 혼합 방법 및 장치
TW202315397A (zh) 編碼混合式多視圖感測器組態

Legal Events

Date Code Title Description
A201 Request for examination
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right