KR102491674B1 - 가상시점 영상을 생성하는 방법 및 장치 - Google Patents

가상시점 영상을 생성하는 방법 및 장치 Download PDF

Info

Publication number
KR102491674B1
KR102491674B1 KR1020190121007A KR20190121007A KR102491674B1 KR 102491674 B1 KR102491674 B1 KR 102491674B1 KR 1020190121007 A KR1020190121007 A KR 1020190121007A KR 20190121007 A KR20190121007 A KR 20190121007A KR 102491674 B1 KR102491674 B1 KR 102491674B1
Authority
KR
South Korea
Prior art keywords
pixels
weight
warped
pixel
patch
Prior art date
Application number
KR1020190121007A
Other languages
English (en)
Other versions
KR20200057612A (ko
Inventor
곽상운
윤정일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US16/670,057 priority Critical patent/US11528461B2/en
Publication of KR20200057612A publication Critical patent/KR20200057612A/ko
Application granted granted Critical
Publication of KR102491674B1 publication Critical patent/KR102491674B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

적어도 하나의 입력시점 영상을 획득하고, 상기 적어도 하나의 입력시점 영상의 픽셀을 가상시점 영상좌표계로 워핑시키는 단계, 영상좌표계로 워핑된 복수의 픽셀 중 제1 픽셀의 제1 깊이 값과 제1 픽셀에 인접하는 제2 픽셀의 제2 깊이 값 사이의 차이가 미리 결정된 임계치보다 작거나 같으면 제1 픽셀이 워핑된 위치에 슈퍼픽셀을 맵핑하고, 차이가 미리 결정된 임계치보다 크면 슈퍼픽셀을 맵핑하지 않는 단계, 및 워핑된 복수의 픽셀 및/또는 슈퍼픽셀을 블렌딩하여 가상시점 영상을 생성하는 단계를 통해 가상시점 영상을 생성하는 방법 및 장치가 제공된다.

Description

가상시점 영상을 생성하는 방법 및 장치{METHOD AND APPARATUS FOR GENERATING VIRTUAL VIEWPOINT IMAGE}
본 기재는 가상시점 영상을 생성하는 방법 및 장치에 관한 것이다.
가상시점(virtual-viewpoint) 영상의 생성 기술은 획득된 시점의 영상으로부터 가상의 위치에서의 시점 영상을 생성하는 기술이다. 도 1을 참조하면, 시점 1 및 시점 2에서 획득된 영상을 사용하여 시점 1 및 시점 2의 중간 위치에서의 시점이 생성될 수 있다. 그리고 더 많은 시점에서 획득되는 영상을 사용하면 임의의 위치에서의 시점 영상이 생성될 수도 있다.
획득된 영상으로부터 가상시점 영상을 직접 합성하는 방법에는 3차원 워핑(warping)을 이용하는 방법 및 변이(disparity)를 이용하는 방법이 있다. 도 2를 참조하면 3차원 워핑을 이용하는 방법에서, 획득된 영상 내의 각 점들의 3차원 세계 좌표가 획득된 영상의 깊이 정보로부터 계산되고, 계산된 3차원 세계 좌표는 가상시점 위치 상의 영상 좌표로 변환된다. 도 3을 참조하면, 변이를 이용하는 방법에서, 입력 시점의 픽셀은 변이맵(disparity map)을 통해 직접 이동될 수 있다.
한 실시예는, 가상시점 영상을 생성하는 방법을 제공한다.
다른 실시예는, 가상시점 영상을 생성하는 장치를 제공한다.
한 실시예에 따르면, 가상시점 영상을 생성하는 방법이 제공된다. 상기 가상시점 영상 생성 방법은, 적어도 하나의 입력시점 영상(input-viewpoint image)을 획득하고, 적어도 하나의 입력시점 영상의 픽셀을 가상시점(virtual-viewpoint) 영상좌표계로 워핑시키는 단계, 영상좌표계로 워핑된 복수의 픽셀 중 제1 픽셀의 제1 깊이 값과 제1 픽셀에 인접하는 제2 픽셀의 제2 깊이 값 사이의 차이가 미리 결정된 임계치보다 작거나 같으면 제1 픽셀에 패치(patch)를 맵핑하고, 차이가 미리 결정된 임계치보다 크면 제1 픽셀에 패치를 맵핑하지 않는 단계, 그리고 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계를 포함한다.
상기 가상시점 영상 생성 방법에서 제1 픽셀의 깊이 값은 제2 픽셀의 깊이 값보다 작을 수 있다.
상기 가상시점 영상 생성 방법에서 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계는, 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 워핑된 복수의 픽셀에 각각 가중치를 할당하는 단계, 그리고 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하는 단계를 포함할 수 있다.
상기 가상시점 영상 생성 방법에서 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 워핑된 복수의 픽셀에 각각 가중치를 할당하는 단계는, 워핑된 복수의 픽셀 중 밀집 분포 내에 포함된 복수의 픽셀에는 큰 가중치를 할당하고, 워핑된 복수의 픽셀 중 희소 분포를 보이는 픽셀에는 작은 가중치를 할당하는 단계를 포함할 수 있다.
상기 가상시점 영상 생성 방법에서 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하는 단계는, 워핑된 복수의 픽셀 중 희소 분포를 보이는 픽셀을 블렌딩에서 제외하고, 워핑된 복수의 픽셀 중 밀집 분포 내에 포함된 복수의 픽셀을 블렌딩에 사용하는 단계를 포함할 수 있다.
상기 가상시점 영상 생성 방법에서 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계는, 패치 중 상대적으로 크기가 큰 패치에 상대적으로 작은 가중치를 할당하고, 패치 중 상대적으로 크기가 작은 패치에 상대적으로 큰 가중치를 할당하는 단계를 더 포함할 수 있다.
상기 가상시점 영상 생성 방법에서 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계는, 워핑된 복수의 픽셀이 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하는 단계, 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하는 단계, 그리고 제1 가중치 및 제2 가중치를 통합하여 최종 가중치를 결정하고, 최종 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하는 단계를 포함할 수 있다.
상기 가상시점 영상 생성 방법에서 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계는, 패치 중 상대적으로 크기가 큰 제1 패치에는 상대적으로 작은 가중치를 할당하고, 패치 중 상대적으로 크기가 작은 제2 패치에는 상대적으로 큰 가중치를 할당하는 단계, 및 제1 패치에 할당된 가중치 및 제2 패치에 할당된 가중치를 고려하여 제1 패치 및 제2 패치를 블렌딩하는 단계를 포함할 수 있다.
상기 가상시점 영상 생성 방법에서 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계는, 워핑된 복수의 픽셀이 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하는 단계, 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하는 단계, 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 제3 가중치를 결정하는 단계, 패치의 크기에 따른 제4 가중치를 결정하는 단계, 그리고 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치를 통합하여 최종 가중치를 결정하고, 최종 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하는 단계를 포함할 수 있다.
다른 실시예에 따르면, 가상시점 영상을 생성하는 장치가 제공된다. 상기 가상시점 영상 생성 장치는, 적어도 하나의 입력시점 영상(input-viewpoint image)의 픽셀을 가상시점(virtual-viewpoint) 영상좌표계로 워핑시키는 워핑부, 및 영상좌표계로 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 워핑된 복수의 픽셀에 각각 가중치를 할당하고, 가중치를 바탕으로 워핑된 복수의 픽셀을 블렌딩하는 블렌딩부를 포함한다.
상기 가상시점 영상 생성 장치에서 블렌딩부는, 워핑된 복수의 픽셀 중 밀집 분포 내에 포함된 복수의 픽셀에는 큰 가중치를 할당하고, 워핑된 복수의 픽셀 중 희소 분포를 보이는 픽셀에는 작은 가중치를 할당할 수 있다.
상기 가상시점 영상 생성 장치에서 블렌딩부는, 워핑된 복수의 픽셀 중 희소 분포를 보이는 픽셀을 블렌딩에서 제외하고, 워핑된 복수의 픽셀 중 밀집 분포 내에 포함된 복수의 픽셀을 블렌딩에 사용할 수 있다.
상기 가상시점 영상 생성 장치에서 블렌딩부는, 워핑된 복수의 픽셀이 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하고, 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하고, 제1 가중치 및 제2 가중치를 통합하여 최종 가중치를 결정하며, 최종 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩할 수 있다.
상기 가상시점 영상 생성 장치는, 워핑된 복수의 픽셀 중 제1 픽셀의 제1 깊이 값과 제1 픽셀에 인접하는 제2 픽셀의 제2 깊이 값 사이의 차이를 바탕으로 제1 픽셀에 슈퍼픽셀을 맵핑하는 슈퍼픽셀 맵핑부를 더 포함할 수 있다.
상기 가상시점 영상 생성 장치에서 슈퍼픽셀 맵핑부는, 차이가 미리 결정된 임계치보다 작거나 같으면 제1 픽셀에 패치(patch)를 맵핑하고, 차이가 미리 결정된 임계치보다 크면 패치를 맵핑하지 않을 수 있다.
상기 가상시점 영상 생성 장치에서 블렌딩부는, 적어도 하나의 입력시점 영상 중 제1 입력시점 영상으로부터 복수의 제1 픽셀이 가상시점 영상좌표계의 제1 위치로 워핑될 때, 복수의 제1 픽셀 중 가장 작은 깊이 값을 갖는 픽셀을 제1 입력시점 영상의 대표 픽셀로 결정할 수 있다.
상기 가상시점 영상 생성 장치에서 블렌딩부는, 슈퍼픽셀 중 상대적으로 크기가 큰 슈퍼픽셀에 상대적으로 작은 가중치를 할당하고, 슈퍼픽셀 중 상대적으로 크기가 작은 슈퍼픽셀에 상대적으로 큰 가중치를 할당할 수 있다.
상기 가상시점 영상 생성 장치에서 블렌딩부는, 워핑된 복수의 픽셀이 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하고, 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하고, 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 제3 가중치를 결정하고, 제1 가중치, 제2 가중치, 및 제3 가중치를 통합하여 최종 가중치를 결정하며, 최종 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩할 수 있다.
상기 가상시점 영상 생성 장치에서 블렌딩부는, 워핑된 복수의 픽셀이 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하고, 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하고, 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 제3 가중치를 결정하고, 패치의 크기에 따른 제4 가중치를 결정하고, 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치를 통합하여 최종 가중치를 결정하며, 최종 가중치를 바탕으로 워핑된 복수의 픽셀 및/또는 패치를 블렌딩할 수 있다.
또 다른 실시예에 따르면, 가상시점 영상을 생성하는 장치가 제공된다. 상기 가상시점 영상 생성 장치는, 프로세서 및 메모리를 포함하고, 프로세서는 메모리에 포함된 프로그램을 실행하여, 영상 촬영 장치로부터 전달된 적어도 하나의 입력시점 영상(input-viewpoint image)의 픽셀을 가상시점(virtual-viewpoint) 영상좌표계로 워핑시키는 단계, 및 영상좌표계로 워핑된 복수의 픽셀 중 제1 픽셀의 제1 깊이 값과 제1 픽셀에 인접하는 제2 픽셀의 제2 깊이 값 사이의 차이가 미리 결정된 임계치보다 작거나 같으면 제1 픽셀에 패치(patch)를 맵핑하고, 차이가 미리 결정된 임계치보다 크면 제1 픽셀에 패치를 맵핑하지 않는 단계, 그리고 워핑된 복수의 픽셀 및/또는 패치를 블렌딩하여 가상시점 영상을 생성하는 단계를 수행한다.
인접 픽셀간 깊이 값 차이에 기반하여 슈퍼픽셀의 맵핑 여부가 결정되고 픽셀이 떨어진 거리에 따라 슈퍼픽셀의 크기 및 모양이 가변될 수 있어서, 객체-배경 간의 홀 영역에 생기는 흐려짐 현상이 감소될 수 있다. 또한 가상시점 영상좌표계의 한 점으로 워핑된 픽셀의 깊이 값 분포를 기반으로 가중치가 할당되고, 밀집도가 높은 구간에 큰 가중치가 할당됨으로써, 아웃라이어의 영향이 감소되고 영상 혼합 신뢰도가 높아질 수 있다. 또한 가시성이 좋은 영역과 상대적으로 좋지 않은 영역에 대한 가중치의 강도가 조절되어 신뢰도가 더욱 개선될 수 있다. 또한 개별 워핑 영상에 맵핑된 슈퍼픽셀의 크기에 따라 가중치가 설정되고, 큰 크기로 맵핑된 슈퍼픽셀에 낮은 가중치가 할당됨으로써, 영상 혼합과정에서 슈퍼픽셀에 의한 왜곡이 감소될 수 있다. 또한, 베이스라인 기반 가중치, 깊이 값 기반 가중치, 깊이 값 분포 기반의 가중치, 및 슈퍼픽셀 크기 기반의 가중치가 가중평균됨으로써, 블렌딩 결과가 개선될 수 있다.
도 1은 시점 1 및 시점 2의 중간 위치의 중간시점 영상을 생성하는 방법의 개념도이다.
도 2는 3차원 워핑을 이용하는 중간시점 영상 생성 방법의 개념도이다.
도 3은 변이를 이용하는 중간시점 영상 생성 방법의 개념도이다.
도 4는 한 실시예에 따른 가상시점 영상 생성 장치를 나타낸 블록도이다.
도 5는 한 실시예에 따른 6-자유도 영상이 제공되는 상황의 개념도이다.
도 6a 및 도 6b는 한 실시예에 따른 슈퍼픽셀 기법을 나타낸 개념도이다.
도 7은 한 실시예에 따른 블렌딩을 위한 제1 가중치 결정 방법 및 그에 따른 가상시점 영상을 나타낸 개념도이다.
도 8은 다른 실시예에 따른 블렌딩을 위한 제2 가중치 결정 방법 및 그에 따른 가상시점 영상을 나타낸 개념도이다.
도 9는 한 실시예에 따른 슈퍼픽셀이 맵핑되는 홀을 나타낸 개념도이다.
도 10은 한 실시예에 따른 슈퍼픽셀 맵핑 방법을 나타낸 개념도이다.
도 11은 다른 실시예에 따른 슈퍼픽셀 맵핑 방법을 나타낸 개념도이다.
도 12는 종래 방식의 슈퍼픽셀 맵핑 방법에 의한 워핑 영상 및 블렌딩 영상을 나타낸 도면이다.
도 13은 한 실시예에 따른 슈퍼픽셀 맵핑 방법에 의한 워핑 영상 및 블렌딩 영상을 나타낸 도면이다.
도 14는 한 실시예에 따른 가상 시점 영상좌표계의 한 점으로 워핑된 픽셀들을 나타낸 개념도이다.
도 15는 한 실시예에 따른 깊이 값 분포에 기반한 제3 가중치 결정 방법을 나타낸 개념도이다.
도 16은 한 실시예에 따른 블렌딩 가중치를 결정하는 방법을 나타낸 흐름도이다.
도 17a 내지 도 17f는 한 실시예에 따른 블렌딩 가중치를 결정하는 방법의 각 단계를 나타낸 개념도이다.
도 18 및 도 19는 한 실시예에 따른 슈퍼픽셀의 크기에 따라 제4 가중치를 결정하는 방법을 나타낸 개념도이다.
도 20은 한 실시예에 따른 최종 가중치 결정 방법을 나타낸 개념도이다.
도 21은 다른 실시예에 따른 가상시점 영상 생성 장치를 나타낸 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 기재의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 기재는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 기재를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 4는 한 실시예에 따른 가상시점 영상 생성 장치를 나타낸 블록도이고, 도 5는 한 실시예에 따른 6-자유도 영상이 제공되는 상황의 개념도이며, 도 6a 및 도 6b는 한 실시예에 따른 슈퍼픽셀 기법을 나타낸 개념도이다.
도 4를 참조하면, 가상시점 영상을 생성하는 영상 생성 장치(100)는 워핑부(110), 블렌딩부(130), 및 후처리부(post processor)(140)를 포함한다. 워핑부(110)는, 카메라 등의 영상 촬영 장치로부터 전달된, 입력시점의 영상에 대해 전방향 깊이맵 워핑(forward depthmap warping), 중간값 필터링(median filtering), 및 후방향 텍스쳐 워핑(backward texture warping)을 수행한다. 블렌딩부(130)는 가상시점의 영상좌표계로 워핑된 영상에 대해 영상 혼합(blending)을 수행한다. 변이를 이용하는 가상시점 영상의 생성 방법은 장면의 기하학적 구조를 반영할 수 없기 때문에, 비교적 단순한 중간 시점의 영상을 생성하기 위해 주로 사용될 수 있고, 한 실시예에 따른 영상 생성 장치(100)는 임의의 위치의 가상시점 영상을 생성하기 위해 3차원 워핑 기법을 사용할 수 있다.
3차원 워핑을 이용한 가상시점의 영상 생성 방법에서, 전방향 깊이맵 워핑 단계에서 입력된 깊이 영상은 카메라 파라미터 정보를 사용하여 가상시점 위치로 전방향 워핑된다. 이후 전방향 워핑된 깊이 영상에 대해 중간값 필터링이 수행될 수 있다. 중간값 필터링은 가상시점 영상 위치의 정수 좌표계에 픽셀을 맵핑할 때 발생할 수 있는 작은 크랙(crack) 형태의 홀(hole)을 필터링을 통해 채우기 위해 수행된다. 작은 홀들이 일부 채워진, 전방향 워핑된 깊이 영상을 사용하여, 입력 텍스쳐 영상으로부터의 텍스쳐 값에 대해 후방향 워핑이 수행된다. 이후 각각의 후방향 워핑된 텍스쳐 영상은 가중 혼합을 통해 하나의 가상시점 영상으로 합성된다. 이때 후방향 워핑된 텍스쳐 영상의 혼합을 위해, 입력 시점 카메라와 가상시점 위치 간의 거리(baseline) 정보가 혼합 가중치로서 사용되거나, 또는 가상시점의 하나의 픽셀 위치로 워핑된 복수의 픽셀의 깊이 정보가 사용될 수 있다. 후처리 단계는, 혼합된 영상을 후보정 알고리즘을 통해 개선하는 과정이다. 후보정 알고리즘으로서, 가려짐(occlusion) 등에 의한 공통 홀(common hole) 영역을 인페인팅(in-painting)하는 기법 등이 적용될 수 있다.
픽셀 단위로 가상시점 영상을 합성하는 3차원 워핑 기법은 원활한 6-자유도(degree of freedom, DoF) 시점을 사용자에게 제공하는 데 어려움을 가질 수 있다. 6-자유도 시점의 제공이란, 사용자에게 롤(roll) 요(yaw), 피치(pitch) 방향의 회전운동의 3-자유도와, 전후, 상하, 좌우 방향의 병진운동의 3-자유도에 따른 운동 시차를 지원하는 것을 의미한다. 도 5를 참조하면, 회전운동 및 병진운동이 결합된 복합적인 시점이 이동할 때 발생할 수 있는 문제점이 도시되어 있다. 도 5는 입력시점 영상(input-viewpoint image)의 9개의 픽셀을 도시하고 있고, 흰색 픽셀을 전경(foreground)을 나타내고 회색 픽셀은 배경(background)을 나타낸다. (b)와 같이 가상시점 위치(즉, 왼쪽 도면의 가상 카메라)가 전진 이동(step-in)하면, 기존의 입력시점의 정수 좌표계에 맵핑되어 있던 픽셀 간 거리가 줌인(zoom-in) 효과 때문에 벌어진다. 따라서 픽셀 사이로 크랙과 같은 작은 홀이 발생할 수 있다. 특히 카메라에서 가까운 지점에 위치한 전경 픽셀(즉, 깊이값이 작은 픽셀)들 사이에 홀이 크게 발생할 수 있다. 이런 경우 홀은 후처리 단계에서 보정될 수 있다. 하지만 가상 카메라가 (c)와 같은 높은 자유도로 복합적 이동을 할 때, 전경 객체의 픽셀 사이의 크랙에 배경 픽셀이 맵핑될 수 있다. 이때 배경 픽셀이 맵핑된 크랙은 홀로서 구분되지 않기 때문에, 후처리 단계에서 보정되지 않고, 최종 합성 영상에 남게 되어 영상 품질의 열화의 원인이 된다.
이러한 문제점을 해결하기 위해 한 실시예에 따른 영상 생성 장치(100)는 슈퍼픽셀(super-pixel) 맵핑부(120)를 더 포함할 수 있다. 한 실시예에 따른 슈퍼픽셀 맵핑부(120)는, 입력 시점의 영상 좌표 내의 서로 인접하는 픽셀들이 가상시점 영상의 영상좌표계로 워핑되며 픽셀 간 간격이 벌어질 때 워핑된 픽셀에 슈퍼 픽셀을 맵핑할 수 있다. 슈퍼픽셀은 패치(patch) 또는 패치 형태로 확장된 픽셀일 수 있다. 슈퍼픽셀의 크기는 픽셀 간 거리에 따라 결정될 수 있고, 슈퍼픽셀의 깊이 값은 슈퍼픽셀이 맵핑되는 픽셀의 깊이 값으로 결정될 수 있다. 도 6a를 참조하면, 입력 시점 영상 내의 각 픽셀이 가상시점의 영상좌표계로 워핑된 이후 서로 떨어진 거리(수평방향으로 떨어진 거리(D_horizontal) 및 수직방향으로 떨어진 거리(D_vertical))가 계산되고, 그 중 최대값을 한 변의 길이(D=max(D_horizontal,D_vertical))로 갖는 정사각형 슈퍼픽셀이 맵핑된다. 슈퍼픽셀을 통해 전경 객체의 픽셀이 크게 벌어짐으로써 발생하는 크랙 사이로 배경 픽셀이 맵핑되는 현상이 감소될 수 있다. 하지만 슈퍼픽셀 방법에서 인접하는 픽셀이 영상 좌표계 내에서 떨어진 거리만이 장면의 기하학적 구조와 무관하게 비교되기 때문에, 각 인접 픽셀의 깊이 값이 크게 다를 때 문제가 발생할 수 있다. 도 6의 (b)를 참조하면, 전경을 나타내는 두 개의 픽셀 간 거리는 가깝지만, 전경을 나타내는 흰색 픽셀과 배경을 나타내는 회색 픽셀 사이의 거리는 멀다. 전경 픽셀과 배경 픽셀의 사이는 크랙이 아닌 홀로서 처리되어야 하지만, 슈퍼픽셀 기법에서 그 사이는 큰 크기의 슈퍼픽셀로 맵핑되어 장면 왜곡이 발생할 수 있다. 또한 슈퍼픽셀 기법에서 픽셀 간 기하 관계(예를 들어, 워핑된 픽셀이 떨어져 있는 방향, 거리에 관한 고려)는 무시되고 정사각형 형태의 슈퍼픽셀이 일률적으로 맵핑되어서 왜곡이 발생될 가능성이 크다. 전경 객체와 배경 사이에 슈퍼픽셀로 인한 왜곡이 존재하면, 영상의 혼합 및 후처리가 수행된 최종 합성 영상에 흐려짐(blur)과 같은 현상이 발생할 수 있다.
도 7은 한 실시예에 따른 블렌딩을 위한 제1 가중치 결정 방법 및 그에 따른 가상시점 영상을 나타낸 개념도이고, 도 8은 다른 실시예에 따른 블렌딩을 위한 제2 가중치 결정 방법 및 그에 따른 가상시점 영상을 나타낸 개념도이다.
한 실시예에 따른 블렌딩부(130)는 개별 워핑 영상을 혼합할 때, 가상시점 위치와 입력시점 위치가 서로 떨어진 거리(baseline)에 따른 가중치(weight)를 바탕으로 가중 평균(weighted average)을 수행하는 방식(베이스라인의 역수에 비례하여 워핑된 픽셀을 블렌딩하는 방식) 또는 가상시점 영상의 영상 좌표계에서 한 픽셀 위치에 맵핑되는 복수의 픽셀의 깊이값을 바탕으로 가중 평균을 수행하는 방식(깊이값의 역수에 비례하여 워핑된 픽셀을 블렌딩하는 방식) 등을 사용할 수 있다.
도 7을 참조하면, 블렌딩부(130)는 워핑된 각 픽셀에 베이스라인의 역수에 비례하는 제1 가중치를 할당할 수 있다. 블렌딩이 수행될 때 비교적 가까운 입력시점의 정보가 많이 사용되기 때문에 워핑 오류가 일반적으로 적다. 하지만, 베이스라인에 따른 가중치에는 깊이에 대한 고려가 포함되어 있지 않기 때문에 전경 픽셀과 배경 픽셀이 구분되기 어렵고, 블렌딩 이후 배경이 전경 위로 투과(오른쪽 사진의 박스 안 참조)되어 보일 수 있다.
도 8을 참조하면, 블렌딩부(130)는 워핑된 각 픽셀에 깊이 값의 역수에 비례하는 제2 가중치를 할당할 수 있다. 블렌딩이 수행될 때 깊이 값을 기준으로 가중치가 적용되기 때문에 배경 투과 현상은 완화될 수 있지만, 가상시점 영상좌표계의 특정 시점으로부터 멀리 떨어진 입력시점의 영상으로부터 워핑된 픽셀에 높은 가중치가 잘못 부여되는 오류가 발생할 수 있다(오른쪽 사진의 박스 안 참조).
도 9는 한 실시예에 따른 슈퍼픽셀이 맵핑되는 홀을 나타낸 개념도이고, 도 10은 한 실시예에 따른 슈퍼픽셀 맵핑 방법을 나타낸 개념도이고, 도 11은 다른 실시예에 따른 슈퍼픽셀 맵핑 방법을 나타낸 개념도이다.
도 9를 참조하면, 가상 카메라의 복합적인 움직임으로 표현될 수 있는 가상시점의 위치가 높은 자유도로 이동하면, 워핑된 깊이 영상에는 복수의 전경 픽셀과 배경 픽셀이 겹쳐지거나 픽셀이 워핑되지 않은 홀이 발생한다. 이때 한 실시예에 따른 슈퍼픽셀 맵핑 방법에 따르면 슈퍼픽셀 맵핑부(120)는, 서로 인접한 두 개의 워핑된 픽셀이 미리 결정된 거리만큼 떨어져 있더라도, 두 개의 워핑된 픽셀의 깊이 값 간의 차이가 크면 홀에 슈퍼픽셀을 맵핑하지 않는다.
도 10을 참조하면, 영상좌표계로 워핑된 복수의 픽셀 중 제1 픽셀(11) 및 제2 픽셀(12)은 전경 픽셀이고, 제3 픽셀(13)은 배경 픽셀이다. 제1 픽셀(11)과 제2 픽셀(12)은 미리 결정된 거리보다 더 멀리 떨어져있기 때문에 슈퍼픽셀 맵핑부(120)는 제1 픽셀(11)과 제2 픽셀(12)에 각각 슈퍼픽셀을 맵핑할 수 있다. 제1 픽셀(11)과 제3 픽셀(13)도 미리 결정된 거리보다 더 멀리 떨어져있지만, 제1 픽셀(11)의 깊이 값과 제3 픽셀(13)의 깊이 값 사이의 차이가 미리 결정된 임계치보다 크기 때문에, 슈퍼픽셀 맵핑부(120)는 제1 픽셀에는 슈퍼픽셀을 맵핑하지 않는다. 즉, 제1 픽셀(11) 및 제2 픽셀(12)은 모두 전경 픽셀이기 때문에 둘의 깊이 값 차이는 미리 결정된 임계치보다 작고, 따라서 제1 픽셀(11) 및 제2 픽셀(12)에는 각각 슈퍼픽셀이 맵핑될 수 있다. 하지만, 제3 픽셀(13)은 배경 픽셀이고, 따라서 제1 픽셀(11)의 깊이 값과 제3 픽셀(13)의 깊이 값 사이의 차이는 미리 결정된 임계치보다 크다. 최종적으로 슈퍼픽셀 맵핑부(120)는 전경 픽셀인 제1 픽셀(11)에 슈퍼픽셀을 맵핑하지 않는다.
한 실시예에 따른 슈퍼픽셀 맵핑부(120)는 슈퍼픽셀이 맵핑될 픽셀과 인접 픽셀 사이의 거리 및 인접 픽셀의 깊이 값에 따라 슈퍼픽셀의 크기 및 모양을 결정할 수 있다. 예를 들어, 슈퍼픽셀의 각 변의 길이는 슈퍼픽셀이 맵핑될 픽셀과 인접 픽셀 사이의 가로 방향 거리 및 세로 방향 거리의 정수(integer) 변환(올림, 반올림, 버림, 천장 함수, 바닥 함수 등의 연산)을 통해 결정될 수 있다. 도 11을 참조하면, 제2 픽셀(12)에는 슈퍼픽셀이 맵핑되지만, 위에서 설명한 대로 제1 픽셀(11)에는 슈퍼픽셀이 맵핑되지 않는다. 이때 제2 픽셀(12)에 맵핑된 슈퍼픽셀의 형태는 인접 픽셀인 제1 픽셀(11)까지의 간격 및 제1 픽셀(11)의 깊이 값에 따라 가변될 수 있다. 도 10과 도 11을 비교하면, 제2 픽셀(12)에 맵핑된 슈퍼픽셀(20)의 형태는 아래에 맵핑된 슈퍼픽셀과 중첩되지 않고(세로 방향 수축), 제1 픽셀(11)까지 연장(가로 방향 연장)되어 직사각형이다. 한 실시예에 따른 슈퍼픽셀 맵핑부(120)는, 인접하는 전경 픽셀들 간의 간격과, 인접하는 슈퍼픽셀 간의 간격을 바탕으로 슈퍼픽셀의 각 변의 길이를 결정할 수 있다. 도 11을 참조하면, 제2 픽셀(12)에 맵핑된 슈퍼픽셀(20)의 가로 변은 인접하는 전경 픽셀인 제1 픽셀(11)을 덮도록 연장된다. 도 11의 슈퍼픽셀(20)의 세로 변은 인접하는 슈퍼픽셀과 중첩되지 않도록 축소된다.
도 12는 종래 방식의 슈퍼픽셀 맵핑 방법에 의한 워핑 영상 및 블렌딩 영상을 나타내고, 도 13은 한 실시예에 따른 슈퍼픽셀 맵핑 방법에 의한 워핑 영상 및 블렌딩 영상을 나타낸다.
도 12의 왼쪽은, 종래 방식의 슈퍼픽셀 맵핑 방법에 따라 입력시점 영상의 픽셀이 가상시점의 영상좌표계로 워핑됨으로써 생성된 워핑 영상이고, 도 12의 오른쪽은, 왼쪽의 워핑 영상의 픽셀들이 블렌딩 조작에 의해 합성된 블렌딩 영상이다. 도 13의 왼쪽은, 한 실시예에 따른 슈퍼픽셀 맵핑 방법에 따라 입력시점 영상의 픽셀이 가상시점의 영상좌표계로 워핑됨으로써 생성된 워핑 영상이고, 도 13의 오른쪽은, 왼쪽의 워핑 영상의 픽셀들이 블렌딩 조작에 의해 합성된 블렌딩 영상이다.
도 12와 도 13을 비교하면, 도 13에서 전경 객체(몇 권의 책)의 내부 영역에는 슈퍼픽셀의 효과가 유지되고, 전경 객체와 배경 객체 간의 경계 영역에는 슈퍼픽셀이 맵핑되지 않고 홀로서 남겨져 있다. 검은색 홀로 남겨진 경계 영역은 추후 후처리 과정을 통해 보정될 수 있다. 그리고, 전경 객체의 모양 또는 깊이 값 등에 따라 전경 픽셀에 맵핑된 슈퍼픽셀의 형태가 가변되므로, 객체의 형태가 변형 없이 보존될 수 있다. 또한, 블렌딩 단계에서도 왜곡 및 흐려짐이 감소될 수 있다.
위에서 설명한 대로 한 실시예에 따른 슈퍼픽셀 맵핑 방법에 따르면, 인접 픽셀간 깊이 값 차이에 기반하여 슈퍼픽셀의 맵핑 여부가 결정되고 픽셀이 떨어진 거리에 따라 슈퍼픽셀의 크기 및 모양이 가변될 수 있어서, 객체-배경 간의 홀 영역에 생기는 흐려짐 현상이 감소될 수 있다.
도 14는 한 실시예에 따른 가상 시점 영상좌표계의 한 점으로 워핑된 픽셀들을 나타낸 개념도이고, 도 15는 한 실시예에 따른 깊이 값 분포에 기반한 제3 가중치 결정 방법을 나타낸 개념도이다.
도 14를 참조하면, 가상시점 영상좌표계의 한 점 (x,y)로 워핑된 복수의 픽셀이 z축 상에서 깊이 값에 따라 분포되어 있다. 도 14에서 제4 픽셀(14)은 점 (x,y)에 워핑된 다른 픽셀의 깊이 값과 다른 깊이 값을 가진다. 즉, 제4 픽셀(14)과 달리, 유사한 픽셀 값을 갖고 z축 상에서 인접하여 분포하는 복수의 픽셀은 정확히 워핑된 것으로 판단될 수 있다(z축 상에서 서로 인접하여 분포하는 복수의 픽셀은 상호 신뢰성이 높음). 반면, z축 상에서 서로 인접하여 분포하는 복수의 픽셀과 달리 z축 상에서 홀로 멀리 떨어져서 위치하는 제4 픽셀(14)(outlier)은 잘못 워핑된 것으로 판단될 수 있다.
한 실시예에 따른 블렌딩부(130)는, 가상 시점 영상좌표계 상의 한 점으로 워핑된 복수의 픽셀의 깊이 값 분포를 바탕으로 각 픽셀에 대한 제3 가중치를 결정하고, 결정된 가중치를 고려하여 블렌딩을 수행할 수 있다. 가상 시점 영상좌표계의 한 점으로 워핑되는 복수의 픽셀은 둘 이상의 입력시점 영상으로부터 워핑되거나 또는 하나의 입력시점 영상으로부터 워핑될 수 있다. 하나의 입력시점 영상 내의 복수의 픽셀이 가상 시점 영상좌표계의 한 점으로 워핑될 때, 복수의 픽셀 중 가장 작은 깊이 값을 갖는 픽셀(즉, 최전경(the most foreground) 픽셀)이 상기 하나의 입력시점 영상으로부터 워핑된 것으로 결정될 수 있다. 예를 들어, 블렌딩부(130)는 하나의 입력시점 영상으로부터 워핑되는 복수의 픽셀 중 가장 작은 깊이 값을 갖는 픽셀을 상기 하나의 입력시점 영상의 대표 픽셀로 결정할 수 있다. 즉, 복수의 입력시점 영상으로부터 픽셀이 워핑될 때, 각 입력시점 영상의 최전경 픽셀이 가상 시점 영상좌표계의 한 점으로 워핑되는 것으로 간주될 수 있고, 블렌딩부(130)는 각 입력시점 영상의 대표 픽셀을 사용하여 영상 블렌딩을 수행할 수 있다. 도 15를 참조하면, 깊이 값에 대한 z축 상에서 밀집 분포 내에 포함된 복수의 픽셀에는 큰 가중치가 할당되고, 희소 분포를 보이는 픽셀에는 상대적으로 작은 가중치가 할당될 수 있다. 각 픽셀에 할당되는 가중치의 크기는 z축 상에서의 픽셀의 밀집도에 따라 결정될 수 있다. 또는 블렌딩부(130)는, z축 상에서 밀집 분포 내에 포함된 적어도 하나의 픽셀 군을 블렌딩에 사용할 수 있고, 희소 분포를 나타내는 픽셀은 블렌딩에서 제외할 수 있다.
도 16은 한 실시예에 따른 블렌딩 가중치를 결정하는 방법을 나타낸 흐름도이고, 도 17a 내지 도 17f는 한 실시예에 따른 블렌딩 가중치를 결정하는 방법의 각 단계를 나타낸 개념도이다.
한 실시예에 따른 블렌딩부(130)는 가상시점 영상좌표계의 한 점으로 워핑된 각 픽셀의 제3 가중치를 결정하고, 결정된 제3 가중치를 바탕으로 블렌딩을 수행할 수 있다. 도 16을 참조하면, 블렌딩부(130)는 가상시점 영상좌표계의 각 점에 대해, 각 점으로 워핑된 모든 픽셀의 깊이 값의 범위를 결정한다(S110). 도 17a를 참조하면, 가상시점 영상좌표계의 각 점으로 워핑된 모든 픽셀의 깊이 값의 범위는 Zrange로 결정된다. 블렌딩부(130)는 깊이 값의 범위 Zrange를 미리 결정된 크기 Zstep의 d개의 구간으로 분할한다(S120). 도 17b를 참조하면, d개의 구간은 각각 미리 결정된 크기 Zrange를 갖고, 실수인 깊이 값을 일정한 범위로 클러스터링할 수 있다. 이후, 블렌딩부(130)는 가상시점의 영상좌표계의 한 점에서, 일정한 범위로 클러스터링된 d개의 각 구간 zi에 포함된 픽셀의 개수 n(zx,y,i)를 카운트한다(S130). 도 17c를 참조하면, 가상시점의 영상좌표계의 한 점 (x,y)의 구간 z0, z1, ..., zd - 1 중 z1에 7개, z2에 2개, ..., zd -2에 1개의 픽셀이 각각 카운트된다. 이후, 블렌딩부(130)는 가상시점 영상좌표계의 한 점으로 워핑된 모든 픽셀에 대한 각 구간에 포함된 픽셀의 개수의 비율을 바탕으로 각 픽셀의 초기 가중치를 결정한다(S140). 예를 들어, 각 구간에 포함된 픽셀의 초기 가중치
Figure 112019100047893-pat00001
는 아래 수학식 1과 같이 결정될 수 있다.
Figure 112019100047893-pat00002
수학식 1을 참조하면, 초기 가중치는 가상시점 영상좌표계 상의 한 점(x,y)의 픽셀이 구간 zi에 포함될 확률을 나타낼 수 있다. 예를 들어, 구간 z1과 zd-2에 포함된 각 픽셀의 초기 가중치는 각각 아래 수학식 2와 같다.
Figure 112019100047893-pat00003
초기 가중치는 그대로 블렌딩에 적용되거나, 또는 초기 가중치에 대해 추가 연산(예를 들어, 제곱 연산 등)이 수행된 후에 블렌딩에 적용될 수 있다. 추가 연산은 가중 효과의 강화를 위해 적용될 수 있다. 도 17e를 참조하면, 초기 가중치는 가중합(weighted sum) 연산을 통해 영상 블렌딩에 적용될 수 있다. 또는 픽셀의 깊이 값이 밀집 분포된 곳이 둘 이상 있을 때, 깊이 값이 큰 픽셀의 가중치가 강화될 수 있다. 즉, 한 실시예에 따른 블렌딩부(130)는, 밀집 분포된 곳이 둘 이상의 픽셀 클러스터 중에서, 깊이 값이 더 큰 픽셀의 가중치를 더 강화함으로써 픽셀의 가시성에 따라 가중치를 강화할 수 있다. 도 17f를 참조하면, 깊이 값이 상대적으로 작은 z1 구간과 깊이 값이 상대적으로 큰 zd - 1 구간에 각각 비슷한 개수의 픽셀이 분포되어 있을 때, 한 실시예에 따른 블렌딩부(130)는 z1 구간의 가중치를 약화시키고 zd-1 구간의 가중치를 강화시키는 방식으로 픽셀의 가시성에 따라 가중치의 강도를 조절할 수 있다. 가상시점 영상좌표계의 한 점 (x,y)에, 구간 zd -1에 해당하는 깊이 값을 갖는 픽셀이 많이 위치한다는 것은, 구간 zd -1 내에 포함된 픽셀을 가리는 다른 픽셀이 적다는 것이다. 즉, z1 깊이 영역에 대한 관측이 가능했음에도 불구하고 zd -1 범위의 깊이 값을 갖는 픽셀이 워핑 및 맵핑되었음을 의미한다. 따라서, 블렌딩부(130)는, 구간 zd -1 내의 픽셀이 가시성이 높은 곳에 맵핑된 픽셀(깊이 값이 작은 픽셀)보다 상대적으로 높은 신뢰성을 갖는 것으로 판단하고, zd - 1 구간 내의 픽셀의 가중치의 강도를 더 강화할 수 있다. 픽셀의 가시성은, 픽셀이 포함되는 구간보다 더 큰 깊이 값을 갖는 픽셀의 개수의 누적으로 결정될 수 있다.
위에서 설명한 대로 한 실시예에 따르면, 가상시점 영상좌표계의 한 점으로 워핑된 픽셀의 깊이 값 분포를 기반으로 가중치가 할당되고, 밀집도가 높은 구간에 큰 가중치가 할당됨으로써, 아웃라이어의 영향이 감소되고 영상 혼합 신뢰도가 높아질 수 있다. 또한 가시성이 좋은 영역과 상대적으로 좋지 않은 영역에 대한 가중치의 강도가 조절되어 신뢰도가 더욱 개선될 수 있다.
도 18 및 도 19는 한 실시예에 따른 슈퍼픽셀의 크기에 따라 제4 가중치를 결정하는 방법을 나타낸 개념도이다.
슈퍼픽셀 기법은 픽셀 단위의 워핑기반 시점 합성을 일부 보완할 수 있지만, 가상시점의 영상좌표계 상의 한 점으로 직접 워핑된 픽셀보다는 부정확하다. 실제로는 워핑되지 않은 픽셀이 인접 픽셀의 정보를 이용하여 근사되는 방식이기 때문이다. 즉, 가상시점 영상좌표계의 한 점에, 직접 워핑된 픽셀과 슈퍼픽셀이 모두 있다면, 직접 워핑된 픽셀의 신뢰성이 더 높다. 한 실시예에 따른 블렌딩부(130)는 가상시점 영상좌표계의 한 점에 대응하는 복수의 픽셀의 크기를 기반으로 제4 가중치를 결정하고, 결정된 제4 가중치를 블렌딩에 적용할 수 있다. 예를 들어, 가중치는 픽셀의 변(또는 큰 변)의 길이에 반비례하거나(또는 변의 길이의 역수에 비례) 또는 픽셀의 면적의 크기에 반비례(또는 면적의 크기의 역수에 비례)할 수 있다. 도 18을 참조하면, 제5 픽셀(15), 제6 픽셀(16), 및 제7 픽셀(17)에 각각 할당되는 가중치의 크기의 순서는 w15>w16>w17일 수 있다.
가상시점의 영상좌표계의 한 점에 대응하는 하나의 워핑 영상은, 상기 한 점으로 워핑된 픽셀 중 가장 작은 깊이 값을 가지는 단일 픽셀로 결정될 수 있다. 이때 블렌딩부(130)는 맵핑된 슈퍼픽셀의 크기를 기준으로 가중치를 부여하여, 큰 크기의 슈퍼픽셀에는 영상 블렌딩 과정에서 낮은 가중치가 할당될 수 있다. 도 19를 참조하면, 제8 픽셀(18)의 크기가 제9 픽셀(19)의 크기보다 클 때, 각 슈퍼픽셀에는 변의 길이(또는 변의 길이 중 긴 변)의 역수만큼의 가중치가 할당되므로, 제8 픽셀(18)에는 제9 픽셀(19)보다 더 작은 크기의 가중치가 할당될 수 있다. 위에서 설명한 대로 한 실시예에 따르면, 개별 워핑 영상에 맵핑된 슈퍼픽셀의 크기에 따라 가중치가 설정되고, 큰 크기로 맵핑된 슈퍼픽셀에 낮은 가중치가 할당됨으로써, 영상 혼합과정에서 슈퍼픽셀에 의한 왜곡이 감소될 수 있다.
도 20은 한 실시예에 따른 최종 가중치 결정 방법을 나타낸 개념도이다.
한 실시예에 따른 블렌딩부(130)는 위에서 설명한 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치를 통합하여 하나의 픽셀에 대한 최종 가중치를 결정할 수 있다. 블렌딩부(130)는 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치 중 하나를 선택하여 픽셀에 할당할 수도 있고, 또는 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치 중 일부를 선택하여 선택된 일부를 통합할 수도 있으며, 또는 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치를 모두 통합할 수도 있다.
위의 도 7에서, 베이스라인(baseline)에 기반한 제1 가중치는 워핑 오류를 줄일 수 있지만 전경 픽셀 및 배경 픽셀을 구분시키기 어렵다. 그리고 도 8에서, 깊이 값에 기반한 제2 가중치는 멀리 떨어진 입력 시점으로부터 잘못 워핑된 전경 객체에 인한 오류에 취약하다. 이 두 가중치가 적절한 비율로 가중평균될 때, 두 가중치는 상호보완적으로 이용될 수 있다. 위에서 설명한 깊이 값의 분포에 기반하는 제3 가중치 및 슈퍼픽셀의 크기에 기반하는 제4 가중치도, 통합되어 최종 가중치로서 사용될 수 있다. 도 20을 참조하면, 베이스라인에 기반하는 제1 가중치, 깊이 값에 기반하는 제2 가중치, 깊이 값 분포에 기반하는 제3 가중치, 및 슈퍼픽셀의 크기에 기반하는 제4 가중치는 가중 평균을 통해 최종 가중치로 결정된다. 제1 가중치, 제2 가중치, 제3 가중치, 및 제4 가중치의 통합 비율은 a:b:c:d로 표현될 수 있고, 가중치 통합 비율의 조정을 통해 영상 블렌딩 시 필요한 기능이 강조되거나 제거될 수 있다. 이때 가중치는 가상시점 영상좌표계의 각 픽셀마다 계산되며, 가상시점 영상좌표계의 한 점에 위치하는 픽셀의 가중치의 총합은 1이다(normalization). 즉, 한 실시예에 따르면, 베이스라인 기반 가중치, 깊이 값 기반 가중치, 깊이 값 분포 기반의 가중치, 및 슈퍼픽셀 크기 기반의 가중치가 가중평균됨으로써, 블렌딩 결과가 개선될 수 있다.
도 21은 다른 실시예에 따른 가상시점 영상 생성 장치를 나타낸 블록도이다.
한 실시예에 따른 가상시점 영상 생성 장치는, 컴퓨터 시스템, 예를 들어 컴퓨터 판독 가능 매체로 구현될 수 있다. 도 21을 참조하면, 컴퓨터 시스템(2100)은, 버스(2170)를 통해 통신하는 프로세서(2110), 메모리(2130), 입력 인터페이스 장치(2150), 출력 인터페이스 장치(2160), 및 저장 장치(2140) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(2100)은 또한 네트워크에 결합된 통신 장치(2120)를 포함할 수 있다. 프로세서(2110)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(2130) 또는 저장 장치(2140)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(2130) 및 저장 장치(2140)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.
통신 장치(2120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. 구체적으로, 본 발명의 실시예에 따른 방법(예, 네트워크 관리 방법, 데이터 전송 방법, 전송 스케줄 생성 방법 등)은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 본 발명의 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 실시예에 대하여 상세하게 설명하였지만 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 권리범위에 속하는 것이다.

Claims (20)

  1. 가상시점 영상을 생성하는 방법으로서,
    적어도 하나의 입력시점 영상(input-viewpoint image)을 획득하고, 상기 적어도 하나의 입력시점 영상의 픽셀을 가상시점(virtual-viewpoint) 영상좌표계로 워핑시키는 단계,
    상기 영상좌표계로 워핑된 복수의 픽셀 중 제1 픽셀의 제1 깊이 값과 상기 제1 픽셀에 이웃하는 제2 픽셀의 제2 깊이 값 사이의 차이가 미리 결정된 임계치보다 작거나 같으면 상기 제1 픽셀에 패치(patch)를 맵핑하고, 상기 차이가 상기 미리 결정된 임계치보다 크면 상기 제1 픽셀에 상기 패치를 맵핑하지 않는 단계, 그리고
    상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하여 상기 가상시점 영상을 생성하는 단계
    를 포함하고,
    상기 제1 픽셀 및 상기 제1 픽셀에 이웃하는 제2 픽셀 사이의 거리에 기반하여 상기 패치의 크기를 결정하는 단계
    를 더 포함하는 가상시점 영상 생성 방법.
  2. 제1항에서,
    상기 제1 픽셀의 깊이 값은 상기 제2 픽셀의 깊이 값보다 작은, 가상시점 영상 생성 방법.
  3. 제1항에서,
    상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하여 상기 가상시점 영상을 생성하는 단계는,
    상기 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 상기 워핑된 복수의 픽셀에 각각 가중치를 할당하는 단계, 그리고
    상기 가중치를 바탕으로 상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하는 단계
    를 포함하는, 가상시점 영상 생성 방법.
  4. 제3항에서,
    상기 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 상기 워핑된 복수의 픽셀에 각각 가중치를 할당하는 단계는,
    상기 워핑된 복수의 픽셀 중 밀집 분포 내에 포함된 복수의 픽셀에는 큰 가중치를 할당하고, 상기 워핑된 복수의 픽셀 중 희소 분포를 보이는 픽셀에는 작은 가중치를 할당하는 단계
    를 포함하는, 가상시점 영상 생성 방법.
  5. 제3항에서,
    상기 가중치를 바탕으로 상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하는 단계는,
    상기 워핑된 복수의 픽셀 중 희소 분포를 보이는 픽셀을 블렌딩에서 제외하고, 상기 워핑된 복수의 픽셀 중 밀집 분포 내에 포함된 복수의 픽셀을 블렌딩에 사용하는 단계
    를 포함하는, 가상시점 영상 생성 방법.
  6. 제3항에서,
    상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하여 상기 가상시점 영상을 생성하는 단계는,
    상기 패치 중 상대적으로 크기가 큰 패치에 상대적으로 작은 가중치를 할당하고, 상기 패치 중 상대적으로 크기가 작은 패치에 상대적으로 큰 가중치를 할당하는 단계
    를 더 포함하는, 가상시점 영상 생성 방법.
  7. 제1항에서,
    상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하여 상기 가상시점 영상을 생성하는 단계는,
    상기 워핑된 복수의 픽셀이 상기 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하는 단계,
    상기 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하는 단계, 그리고
    상기 제1 가중치 및 상기 제2 가중치를 통합하여 최종 가중치를 결정하고, 상기 최종 가중치를 바탕으로 상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하는 단계
    를 포함하는, 가상시점 영상 생성 방법.
  8. 제1항에서,
    상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하여 상기 가상시점 영상을 생성하는 단계는,
    상기 패치 중 상대적으로 크기가 큰 제1 패치에는 상대적으로 작은 가중치를 할당하고, 상기 패치 중 상대적으로 크기가 작은 제2 패치에는 상대적으로 큰 가중치를 할당하는 단계, 및
    상기 제1 패치에 할당된 가중치 및 상기 제2 패치에 할당된 가중치를 고려하여 상기 제1 패치 및 상기 제2 패치를 블렌딩하는 단계
    를 포함하는, 가상시점 영상 생성 방법.
  9. 제1항에서,
    상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하여 상기 가상시점 영상을 생성하는 단계는,
    상기 워핑된 복수의 픽셀이 상기 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하는 단계,
    상기 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하는 단계,
    상기 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 제3 가중치를 결정하는 단계,
    상기 패치의 크기에 따른 제4 가중치를 결정하는 단계, 그리고
    상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치, 및 상기 제4 가중치를 통합하여 최종 가중치를 결정하고, 상기 최종 가중치를 바탕으로 상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하는 단계
    를 포함하는, 가상시점 영상 생성 방법.
  10. 가상시점 영상을 생성하는 장치로서,
    적어도 하나의 입력시점 영상(input-viewpoint image)의 픽셀을 가상시점(virtual-viewpoint) 영상좌표계로 워핑시키는 워핑부,
    상기 워핑된 복수의 픽셀 중 제1 픽셀과 상기 제1 픽셀에 이웃하는 제2 픽셀 사이의 거리를 바탕으로 슈퍼픽셀의 크기를 결정하고, 상기 제1 픽셀의 제1 깊이 값과 상기 제2 픽셀의 제2 깊이 값 사이의 차이를 바탕으로 상기 제1 픽셀에 상기 슈퍼픽셀을 맵핑하는 슈퍼픽셀 맵핑부, 및
    상기 영상좌표계로 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 상기 워핑된 복수의 픽셀에 각각 가중치를 할당하고, 상기 가중치를 바탕으로 상기 워핑된 복수의 픽셀을 블렌딩하는 블렌딩부
    를 포함하는 가상시점 영상 생성 장치.
  11. 제10항에서,
    상기 블렌딩부는,
    상기 워핑된 복수의 픽셀 중 밀집 분포 내에 포함된 복수의 픽셀에는 큰 가중치를 할당하고, 상기 워핑된 복수의 픽셀 중 희소 분포를 보이는 픽셀에는 작은 가중치를 할당하는, 가상시점 영상 생성 장치.
  12. 제10항에서,
    상기 블렌딩부는,
    상기 워핑된 복수의 픽셀 중 희소 분포를 보이는 픽셀을 블렌딩에서 제외하고, 상기 워핑된 복수의 픽셀 중 밀집 분포 내에 포함된 복수의 픽셀을 블렌딩에 사용하는, 가상시점 영상 생성 장치.
  13. 제10항에서,
    상기 블렌딩부는,
    상기 워핑된 복수의 픽셀이 상기 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하고, 상기 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하고, 상기 제1 가중치 및 상기 제2 가중치를 통합하여 최종 가중치를 결정하며, 상기 최종 가중치를 바탕으로 상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하는, 가상시점 영상 생성 장치.
  14. 삭제
  15. 제10항에서,
    상기 슈퍼픽셀 맵핑부는,
    상기 차이가 미리 결정된 임계치보다 작거나 같으면 상기 제1 픽셀에 패치(patch)를 맵핑하고, 상기 차이가 상기 미리 결정된 임계치보다 크면 상기 패치를 맵핑하지 않는, 가상시점 영상 생성 장치.
  16. 제10항에서,
    상기 블렌딩부는,
    상기 적어도 하나의 입력시점 영상 중 제1 입력시점 영상으로부터 복수의 제1 픽셀이 상기 가상시점 영상좌표계의 제1 위치로 워핑될 때, 상기 복수의 제1 픽셀 중 가장 작은 깊이 값을 갖는 픽셀을 상기 제1 입력시점 영상의 대표 픽셀로 결정하는, 가상시점 영상 생성 장치.
  17. 제10항에서,
    상기 블렌딩부는,
    상기 슈퍼픽셀 중 상대적으로 크기가 큰 슈퍼픽셀에 상대적으로 작은 가중치를 할당하고, 상기 슈퍼픽셀 중 상대적으로 크기가 작은 슈퍼픽셀에 상대적으로 큰 가중치를 할당하는, 가상시점 영상 생성 장치.
  18. 제10항에서,
    상기 블렌딩부는,
    상기 워핑된 복수의 픽셀이 상기 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하고, 상기 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하고, 상기 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 제3 가중치를 결정하고, 상기 제1 가중치, 상기 제2 가중치, 및 상기 제3 가중치를 통합하여 최종 가중치를 결정하며, 상기 최종 가중치를 바탕으로 상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하는, 가상시점 영상 생성 장치.
  19. 제10항에서,
    상기 블렌딩부는,
    상기 워핑된 복수의 픽셀이 상기 적어도 하나의 입력시점 영상의 픽셀과 서로 떨어진 거리에 따른 제1 가중치를 결정하고, 상기 워핑된 복수의 픽셀의 깊이 값의 역수에 비례하는 제2 가중치를 결정하고, 상기 워핑된 복수의 픽셀의 깊이 값의 분포를 바탕으로 제3 가중치를 결정하고, 상기 패치의 크기에 따른 제4 가중치를 결정하고, 상기 제1 가중치, 상기 제2 가중치, 상기 제3 가중치, 및 상기 제4 가중치를 통합하여 최종 가중치를 결정하며, 상기 최종 가중치를 바탕으로 상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하는, 가상시점 영상 생성 장치.
  20. 가상시점 영상을 생성하는 장치로서,
    프로세서 및 메모리를 포함하고,
    상기 프로세서는 상기 메모리에 포함된 프로그램을 실행하여,
    영상 촬영 장치로부터 전달된 적어도 하나의 입력시점 영상(input-viewpoint image)의 픽셀을 가상시점(virtual-viewpoint) 영상좌표계로 워핑시키는 단계, 및
    상기 영상좌표계로 워핑된 복수의 픽셀 중 제1 픽셀의 제1 깊이 값과 상기 제1 픽셀에 이웃하는 제2 픽셀의 제2 깊이 값 사이의 차이가 미리 결정된 임계치보다 작거나 같으면 상기 제1 픽셀에 패치(patch)를 맵핑하고, 상기 차이가 상기 미리 결정된 임계치보다 크면 상기 제1 픽셀에 상기 패치를 맵핑하지 않는 단계, 그리고
    상기 워핑된 복수의 픽셀 및/또는 상기 패치를 블렌딩하여 상기 가상시점 영상을 생성하는 단계
    를 수행하고,
    상기 제1 픽셀 및 상기 제1 픽셀에 이웃하는 제2 픽셀 사이의 거리에 기반하여 상기 패치의 크기를 결정하는 단계
    를 더 수행하는, 가상시점 영상 생성 장치.
KR1020190121007A 2018-11-16 2019-09-30 가상시점 영상을 생성하는 방법 및 장치 KR102491674B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/670,057 US11528461B2 (en) 2018-11-16 2019-10-31 Method and apparatus for generating virtual viewpoint image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180142009 2018-11-16
KR1020180142009 2018-11-16

Publications (2)

Publication Number Publication Date
KR20200057612A KR20200057612A (ko) 2020-05-26
KR102491674B1 true KR102491674B1 (ko) 2023-01-26

Family

ID=70915402

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190121007A KR102491674B1 (ko) 2018-11-16 2019-09-30 가상시점 영상을 생성하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102491674B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734792B2 (en) 2020-06-17 2023-08-22 Electronics And Telecommunications Research Institute Method and apparatus for virtual viewpoint image synthesis by mixing warped image
KR102576700B1 (ko) * 2020-06-17 2023-09-08 한국전자통신연구원 워핑된 영상의 혼합을 통한 가상 시점 영상 합성 방법 및 장치
KR102627659B1 (ko) * 2021-12-02 2024-01-24 (주)셀빅 후면 영상정보 생성 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102138333B (zh) * 2008-08-29 2014-09-24 汤姆逊许可公司 利用启发式视图合并的视图合成
KR102039741B1 (ko) * 2013-02-15 2019-11-01 한국전자통신연구원 영상 워핑을 위한 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mehrdad Panahpour Tehrani et al., ‘Free-viewpoint image synthesis using superpixel segmentation’, APSIPA Transactions on Signal and Information Processing, SIP (2017), vol. 6, e5 (2017.06.13.)*

Also Published As

Publication number Publication date
KR20200057612A (ko) 2020-05-26

Similar Documents

Publication Publication Date Title
US11528461B2 (en) Method and apparatus for generating virtual viewpoint image
KR102491674B1 (ko) 가상시점 영상을 생성하는 방법 및 장치
JP5985910B2 (ja) ホールレンダリングを用いるマルチビュー映像処理方法及び装置
JP7105246B2 (ja) 再構成方法および再構成装置
US9378583B2 (en) Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume
KR101669840B1 (ko) 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
CN109767408B (zh) 图像处理方法、装置、存储介质及计算机设备
US11181367B2 (en) Feature/ground height-based colored image generating apparatus and feature height-based colored image generating program
KR101855980B1 (ko) 홀 채우기 방법 및 장치
US9530212B2 (en) Image frame conversion method and video frame conversion method and apparatus
US20210201570A1 (en) Method and apparatus for generating digital surface model using satellite imagery
US20130002827A1 (en) Apparatus and method for capturing light field geometry using multi-view camera
JP6762570B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2019536174A (ja) 光強度画像を生成するための装置及び方法
JP2018036898A (ja) 画像処理装置及びその制御方法
US9462251B2 (en) Depth map aligning method and system
JP2013185905A (ja) 情報処理装置及び方法、並びにプログラム
KR20210096234A (ko) 호모그래피 변환을 사용하는 포인트 클라우드 코딩
US8842918B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP2018032938A (ja) 画像処理装置、画像処理の方法およびプログラム
JP2012105019A (ja) 画像処理装置、方法およびそのプログラム
JP6991700B2 (ja) 情報処理装置、情報処理方法、プログラム
US20120170841A1 (en) Image processing apparatus and method
CN107590857A (zh) 用于生成虚拟视点图像的设备和方法
KR101993961B1 (ko) 임의시점 영상의 홀 채움 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190930

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200923

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20190930

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220816

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20221212

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230118

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230118

End annual number: 3

Start annual number: 1

PG1601 Publication of registration