KR101854612B1 - 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법 - Google Patents

구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법 Download PDF

Info

Publication number
KR101854612B1
KR101854612B1 KR1020160173428A KR20160173428A KR101854612B1 KR 101854612 B1 KR101854612 B1 KR 101854612B1 KR 1020160173428 A KR1020160173428 A KR 1020160173428A KR 20160173428 A KR20160173428 A KR 20160173428A KR 101854612 B1 KR101854612 B1 KR 101854612B1
Authority
KR
South Korea
Prior art keywords
patch
pixel
quot
panoramic image
spherical panoramic
Prior art date
Application number
KR1020160173428A
Other languages
English (en)
Inventor
박종승
김보성
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020160173428A priority Critical patent/KR101854612B1/ko
Application granted granted Critical
Publication of KR101854612B1 publication Critical patent/KR101854612B1/ko

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/005—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0012—Context preserving transformation, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0062—Panospheric to cylindrical image transformation
    • G06T3/04—
    • G06T3/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • G06T5/80—

Abstract

구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법은 평면 기반의 영상 인페인팅 기법을 구면 파노라마 영상에 적용할 수 있도록 구면 파노라마 영상에서 위도에 따른 변형을 고려하여 영상을 복원함으로써 구면 파노라마 영상을 이용하여 증강 현실을 구현할 때 인식된 마커를 제거하거나 특정 물체를 선택, 영상에서 제거하는 등 다양한 응용에 적용할 수 있는 효과가 있다.

Description

구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법{Apparatus and Method for Exemplar-Based Image Inpainting for Spherical Panoramic Image}
본 발명은 영상 인페인팅 방법에 관한 것으로서, 특히 평면 기반의 영상 인페인팅 기법을 구면 파노라마 영상에 적용할 수 있도록 구면 파노라마 영상에서 위도에 따른 변형을 고려하여 영상을 복원하는 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법에 관한 것이다.
파노라마 영상은 넓은 시야를 한 장의 영상으로 표현하고, 좌우 시야각이 180도에 이르는 원통형 파노라마와 상하 전후 좌우의 여섯 면으로 이루어진 큐브맵 파노라마를 비롯하여 좌우 360도의 시야각 및 상하 180도의 시야각으로 모든 방향의 정보를 빠짐없이 한 장으로 기록해내는 구면 파노라마가 있다. 이 중 구면 파노라마 영상은 한 시점에서 모든 방향에 대한 시야를 한 장의 영상으로 표현한 것을 의미한다.
구면 파노라마 영상은 가상의 구면을 투영면으로 가정하고, 이를 가로 세로 비율이 2 대 1의 직사각형으로 펼친 모습이기 때문에 3차원 데카르트 좌표계가 아닌 구면 좌표계를 기반으로 화소의 좌표를 표현한다.
따라서, 구면 파노라마 영상에서는 피사체가 일반적인 영상과 다르게 표현되며 특수한 좌표계를 기반으로 하기 때문에 직접 처리하기가 까다로운 문제점이 있다.
기존의 영상 처리 기술들은 평면 대 평면 간 기하 변환에 기반을 두기 때문에 구면 파노라마 영상에서 픽셀 좌표에 적용될 수 없다.
영상 복원 관련 기술들은 대부분 평면 영상을 기반으로 개발되어 있다.
대표적으로 작은 화소 단위로 영상을 복원하는 기술로 Bertalmio 방법과 Telea 방법이 있다.
Bertalmio 방법은 영상을 확대할 경우 발생하는 빈 공간에 대해 확산을 이용해 메우는 용도와 작은 흠집 수준의 손상 영역에 대해 복원을 진행하는 방법이다.
Telea 방법은 일정 크기의 원도우를 이용하여 손상된 화소를 원도우의 중심에 놓고 원도우 내 화소값들을 참조하여 영상을 복원하는 방법이다.
그러나 이러한 화소 단위로 영상을 복원하는 방법은 손상된 영역의 범위가 넓고 손상된 영역이 반복되는 패턴의 일부였다면 해당 패턴이 복원되지 않는 문제점이 있다.
이러한 문제점을 해결하기 위한 Criminsi 방법은 영상의 손상 범위가 클때 영상 위의 반복되는 패턴을 시각적으로 자연스럽게 복원할 수 있도록 정사각형 모양의 표본을 취득하여 손상 범위에 표본을 덮어쓰는 방식을 제안하였다.
이러한 표본 기반 영상 인페인팅 기술은 큰 손상 범위에 대해서 시각적으로 자연스러우며 반복되는 패턴까지 복원 가능한 장점이 있으나, 적절한 표본의 크기를 사용자가 상황에 따라 다르게 입력해야 하는 단점이 있다.
또한, 표본 기반 영상 인페인팅 기술은 좌표계 특성이 다른 구면 파노라마 영상에서 바로 사용할 경우, 큰 오차를 감수해야 하며 구면 파노라마 영상의 특수한 좌표계를 감안할 때 변형이 거의 없는 구면 좌표계에서의 적도 중앙 인근에서만 제한적으로 적용이 가능하다.
구면 파노라마 영상은 가상의 구체를 투영면으로 설정하고 이를 가로 대 세로 비 2:1의 직사각형으로 펼친 것이기 때문에 독특한 기하 특성을 지니고 있다.
구면 파노라마 영상의 특수한 기하 특성은 평면 영상에서 카메라와 물체 사이의 거리와 회전에 따라 발생하는 왜곡 현상을 더욱 심화시킨다.
구면 파노라마 영상에서는 피사체가 더 높은 위도에 표현될수록 좌우로 더 넓게 펼쳐지는 특성을 가지며, 구를 기준으로 연산하기 때문에 연산이 복잡하고 연산량이 과돠게 많아지는 문제점을 가진다.
구면 파노라마 영상은 전 방향을 한 장의 영상으로 표현하기 때문에 피사체가 영상에서 차지하는 비중이 매우 작아지고 이에 따라 피사체를 인식 또는 인지할 수 있도록 촬영하려면 구면 파노라마 영상이 처리하기 어려울 정도로 영상의 크기가 커지게 된다.
이와 같은 문제점을 해결하기 위하여, 본 발명은 평면 기반의 영상 인페인팅 기법을 구면 파노라마 영상에 적용할 수 있도록 구면 파노라마 영상에서 위도에 따른 변형을 고려하여 영상을 복원하는 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 방법은,
구면 파노라마 영상데이터를 입력받아 위도와 경도를 이용하여 해당 위치를 가상의 평면에 투영해 정사각형 패치로 균일화하여 위도에 상관없이 동일한 모양을 가지는 표본으로 변환하는 제1 단계;
상기 입력된 구면 파노라마 영상의 복원 대상 영상데이터에서 복원할 영역의 경계에 속한 모든 화소에 대하여 우선순위를 계산하고, 복원할 영역의 경계에서 우선순위가 가장 높은 제1 화소를 결정하는 제2 단계;
복원할 영역을 제외한 나머지 부분인 참조 영역에 속한 모든 화소에 대하여 상기 결정한 제1 화소와의 패치 유사도를 계산하여 상기 참조 영역에서 유사도가 가장 높은 제2 화소를 선택하는 제3 단계;
상기 복원할 영역의 경계에서 상기 결정한 제1 화소를 중심으로 한 제1 패치와 상기 참조 영역에서 상기 선택한 제2 화소를 중심으로 한 제2 패치와의 패치 유사도를 설정하여 상기 제2 화소를 상기 제1 화소에 복사하는 제4 단계; 및
상기 복원 대상 영상데이터에서 복원할 영역이 모두 없어질 때까지 상기 제1 단계, 상기 제2 단계, 상기 제3 단계, 상기 제4 단계를 반복하여 처리하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치는,
구면 파노라마 영상데이터를 입력받아 위도와 경도를 이용하여 해당 위치를 가상의 평면에 투영해 정사각형 패치로 균일화하여 위도에 상관없이 동일한 모양을 가지는 표본으로 변환하는 정사각형 패치 변환부;
상기 입력된 구면 파노라마 영상데이터에서 복원 대상 영상데이터에서 복원할 영역의 경계에 속한 모든 화소에 대하여 우선순위를 계산하고, 복원할 영역의 경계에서 우선순위가 가장 높은 제1 화소를 결정하고, 복원할 영역을 제외한 나머지 부분인 참조 영역에 속한 모든 화소에 대하여 상기 결정한 제1 화소와의 패치 유사도를 계산하여 상기 참조 영역에서 유사도가 가장 높은 제2 화소를 선택하는 복원 우선순위 결정부; 및
상기 복원할 영역의 경계에서 상기 결정한 제1 화소를 중심으로 한 제1 패치와 상기 참조 영역에서 상기 선택한 제2 화소를 중심으로 한 제2 패치와의 패치 유사도를 설정하여 위도에 따른 변형을 고려하며, 상기 제2 화소를 상기 제1 화소에 복사하는 패치 적용부를 포함하는 것을 특징으로 한다.
전술한 구성에 의하여, 본 발명은 평면 기반의 영상 인페인팅 기법을 구면 파노라마 영상에 적용할 수 있어 구면 파노라마 영상을 이용하여 증강 현실을 구현할 때 인식된 마커를 제거하거나 특정 물체를 선택, 영상에서 제거하는 등 다양한 응용에 적용할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치의 구성을 간략하게 나타낸 도면이다.
도 2는 구면 파노라마 영상에서 위도 45도와 경도 45도 위치에 투영된 피사체를 단순히 정사각형 패치로 취득한 경우와 카메라의 시점을 기준으로 했을 때 실제 피사체의 모습을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 3차원 공간에서 패치 평면과 구면 파노라마 영상이 매칭된 가상의 구체를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 기본 패치에서 위도 40도, 경도 90도 패치로의 변환을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 참조 영역에서의 정사각형 패치와 복원 대상 패치를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른
Figure 112016124179432-pat00001
에서
Figure 112016124179432-pat00002
로의 기하 변환 과정을 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 평면 영상을 전제로 개발된 표본 기반 영상 인페인팅 기술을 구면 파노라마 영상에 적용할 수 있는 방법을 제안한다.
본 발명은 구면 파노라마 영상의 위도에 따라 다른 표본을 추출하는 방법을 이용하여 평면 영상에서의 표본 기반 인페인팅을 구면 파노라마 영상에서도 동일하게 사용하는 것이 목적이다.
본 발명은 구면 파노라마 영상의 위도에 따른 각기 다른 모양의 표본을 취득한 후, 이를 정사각형으로 균일화하는 방법을 사용한다.
도 1은 본 발명의 실시예에 따른 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치의 구성을 간략하게 나타낸 도면이고, 도 2는 구면 파노라마 영상에서 위도 45도와 경도 45도 위치에 투영된 피사체를 단순히 정사각형 패치로 취득한 경우와 카메라의 시점을 기준으로 했을 때 실제 피사체의 모습을 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 3차원 공간에서 패치 평면과 구면 파노라마 영상이 매칭된 가상의 구체를 나타낸 도면이다.
본 발명의 실시예에 따른 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치(100)는 입력부(110), 메모리부(120), 밝기값 계산부(130), 정사각형 패치 변환부(140), 복원 우선순위 결정부(150), 패치 적용부(160) 및 제어부(170)를 포함한다.
입력부(110)는 사용자가 요청한 복원 대상이 되는 영상 데이터를 입력받아 손상 영역을 제외한 모든 표본 패치를 생성하고 생성된 표본 패치를 메모리부(120)에 저장한다. 여기서, 표본 패치는 영상 데이터의 모든 화소를 중심으로 정사각형으로 획득하고, 정사각형의 크기(w)가 기설정되어 있다고 가정한다.
밝기값 계산부(130)는 각각의 표본 패치마다 표본 패치 내에 화소 밝기의 평균값과 표준 편차를 연산하여 각각 생성한다.
(1) 패치의 획득과 비교
본 발명은 구면 파노라마 영상의 (x,y) 좌표를 변형된 구면 좌표계로 변형하여 사용한다.
하기의 [수학식 1]과 [수학식 2]에는 구면 파노라마 영상의 (x,y) 좌표를 지리 좌표계의 위도와 경도로 변환한다.
Figure 112016124179432-pat00003
Figure 112016124179432-pat00004
위도 θ는 3차원 공간에서 특정 벡터가 x축의 +x축 방향과 이루는 각도를 의미한다. 따라서, [-π/2, π/2]의 범위를 갖게 된다.
경도
Figure 112016124179432-pat00005
는 3차원 공간에서 특정 벡터를 x-y 평면에 투영한 벡터가 x축에서 +x축 방향과 이루는 각도를 의미한다.
+y축 방향을 양의 값으로 설정하고 -y축 방향을 음의 값으로 설정하여 [-π,π]의 범위를 가진다.
Figure 112016124179432-pat00006
는 2π의 주기를 가지므로 하기의 [수학식 5]가 성립한다.
Figure 112016124179432-pat00007
또한, 위도가 범위를 벗어나는 경우 지리 좌표계 특성에 따라 경도 값이 함께 변화하게 된다. 만약, 위도 좌표와 경도 좌표가 (π/2+a,
Figure 112016124179432-pat00008
)가 된다면 지리 좌표계를 기준으로 다시 표현하게 될 경우 (π/2-a,
Figure 112016124179432-pat00009
+π)가 된다. 즉, 하기의 [수학식 4]가 성립한다.
Figure 112016124179432-pat00011
따라서, 기존 평면 영상 좌표에서 (x,y)에 해당하는 점의 Cs와 Ds를 연산할 때 상, 하, 좌, 우의 좌표를 각각 (x,y-1), (x,y+1), (x-1,y), (x+1,y)로 이용했다면, 지리 좌표계에서는 상, 하, 좌, 우를 각각 (θ+
Figure 112016124179432-pat00012
,
Figure 112016124179432-pat00013
), (θ-
Figure 112016124179432-pat00014
,
Figure 112016124179432-pat00015
), (θ,
Figure 112016124179432-pat00016
-
Figure 112016124179432-pat00017
), (θ,
Figure 112016124179432-pat00018
+
Figure 112016124179432-pat00019
)로 사용한다.
그리고 θ와
Figure 112016124179432-pat00020
의 값이 범위를 넘어서는 경우 전술한 [수학식 4]와 [수학식 5]를 이용하여 좌표값을 다시 범위 내로 조정한다.
평면 영상에서 표본 기반 영상 인페인팅은 복원 대상 표본과 참조 표본의 두 가지를 모두 같은 크기의 정사각형 형태의 패치로 취득하여 사용한다.
그러나 구면 파노라마 영상은 좌표계로 인하여 동일한 피사체가 위도에 따라 다르게 투영된다. 따라서, 구면 파노라마 영상의 인페인팅은 평면 영상을 위해 설계된 기존의 표본 기반 영상 인페인팅과 동일하게 적용하여 사용하는 경우 복원 대상 표본과 참조 표본이 동일한 위도에 있다면 문제가 없지만 두 표본의 위도가 달라지는 경우 위도에 따른 피사체의 변형을 감안해야 한다.
도 2에 도시된 바와 같이, 구면 파노라마 영상에서 위도 45도와 경도 45도 위치에 투영된 피사체를 단순히 정사각형 패치로 취득한 경우와 카메라의 시점을 기준으로 했을 때 실제 피사체의 모습을 표현한 것이다.
도 2는 피사체의 모양이 위도에 따라 다르다면 복원 대상 영역과 참조 대상 영역이 실재로 비슷하더라도 정사각형 패치가 이를 반영하지 못하기 때문에 서로 다른 위도의 유사한 패치를 참조 패치로 선정할 수 없게 된다.
이러한 문제점을 해결하기 위해서 위도와 경도를 이용해 해당 위치를 가상의 평면에 투영하여 정사각형 패치로 변환하는 과정이 필요하다.
정사각형 패치 변환부(140)는 구면 파노라마 영상에 대응하는 가상의 구체를 설정한다. 가상의 구체를 설정하는 방법을 상세하게 설명하면 다음과 같다.
구면 파노라마 영상의 너비가 w이고 높이가 h라고 가정한다. 구면 파노라마 영상의 경우 w=2h가 된다.
가상의 구체는 3차원 공간에서 (0,0,0)을 원점으로 가지며 반지름 r은 r=w/2π가 된다. 그리고 패치의 크기를 q라고 하고 취득할 패치의 위도를 θ,경도를
Figure 112016124179432-pat00021
라 한다.
다음으로 가상의 구체에 위도 θ와 경도
Figure 112016124179432-pat00022
에 해당하는 위치에서 너비와 높이가 q이며 가상의 구체에 접하는 평면을 가정한다.
패치는 구 접면에 가상의 구체를 투영하는 방법으로 획득한다. 투영 시 두 개 이상의 화소에 투영하는 경우 평면에서 더 가까운 화소를 획득하고, 특정 위도와 경도에 평면이 투영된다고 가정한다.
도 3에 도시된 바와 같이, 구면 파노라마 영상은 매핑된 가상의 구체와 패치의 3차원 위치를 (r,x,y)로 표현할 수 있다. 여기서, x,y는 패치의 좌표로 {(x,y)l-q<x<q, -q<y<q}로 표현한다.
도 3은 3차원 공간에서 패치 평면과 구면 파노라마 영상이 매칭된 가상의 구체를 나타낸다.
본 발명은 위도 값과 경도 값이 모두 0인 패치를 기본 패치라고 정의한다. 그리고 위도 θ와 경도
Figure 112016124179432-pat00023
가 0이 아닌 경우 즉, 기본 패치가 아닌 경우 기본 패치를 3차원 공간의 세 축을 주축을 회전하는 변환을 통해 표현한다.
도 4에 도시된 바와 같이, 정사각형 패치 변환부(140)는 기본 패치를 기준으로 y축을 주축으로 회전하면 위도 이동을 수행하고, 이 후 z축을 주축으로 회전하면 경도 이동을 수행할 수 있다. 이를 통해서 원하는 위도와 경도에서 표본을 획득할 수 있다.
도 4는 기본 패치에서 위도 40도, 경도 90도 패치로의 변환을 나타낸 것이다.
하기의 [수학식 6]은 θ와
Figure 112016124179432-pat00024
를 3차원 좌표계로 변환하는 수식이고, [수학식 7]은 3차원 좌표계를 다시 θ와
Figure 112016124179432-pat00025
로 바꾸는 수식이다.
Figure 112016124179432-pat00026
Figure 112016124179432-pat00027
정사각형 패치 변환부(140)는 구면 파노라마 영상에 대응하는 가상의 구체를 설정하고, 위도와 경도를 이용하여 해당 위치를 가상의 평면에 투영해 정사각형 패치로 균일화하여 변환한다. 위의 수학식 6과 수학식 7를 이용하여 구해지는 정사각형 패치의 각 화소 좌표를 (x,y)라 하고, 정사각형 패치의 중심점 좌표를 (
Figure 112016124179432-pat00028
)라 한다. 또한, 획득해야 할 패치의 위도를 θ라 하며, 경도를
Figure 112016124179432-pat00029
라 한다.
이를 상세하게 설명하면, 정사각형 패치 변환부(140)는 정사각형 패치의 각 화소 좌표 (x,y)에 대응하는 구면 파노라마 영상의 화소의 좌표 (
Figure 112016124179432-pat00030
)를 다음의 [수학식 8]과 [수학식 9]를 이용하여 계산한다.
Figure 112016124179432-pat00031
W는 상기 정사각형 패치의 너비이다.
Figure 112016124179432-pat00032
여기서, H는 상기 정사각형 패치의 높이이다.
반대로, 정사각형 패치 변환부(140)는 구면 파노라마 영상에서 위도 θ와 경도
Figure 112016124179432-pat00033
에서의 패치의 화소의 좌표 (
Figure 112016124179432-pat00034
)에 대응되는 패치에서의 화소 좌표(x,y)를 다음의 [수학식 10]과 [수학식 11]을 이용하여 계산한다.
Figure 112016124179432-pat00035
Figure 112016124179432-pat00036
전술한 [수학식 10]과 [수학식 11]에 사용된 변수
Figure 112016124179432-pat00037
와 w는 다음의 [수학식 12]에 의해 구해진다.
Figure 112016124179432-pat00038
정사각형 패치 변환부(140)는 전술한 [수학식 8]과 [수학식 9]를 이용하여 패치 내의 모든 화소값을 계산한다.
복원 우선순위 결정부(150)는 정사각형 패치 변환부(140)를 통해 계산한 화소값을 이용하여 복원할 손상 영역의 경계에 속한 화소 p점의 우선순위를 다음의 [수학식 13]과 같이 손상 영역의 신뢰도(Confidence) 항 C(p)와 그래디언트의 함수인 데이터 항 D(p)를 두 항의 곱으로 결정한다.
도 5의 (a)는 손상 영역은
Figure 112016124179432-pat00039
로 표시되어 있고, 손상 영역을 제외한 참조 영역을
Figure 112016124179432-pat00040
로 표시한다.
도 5의 (b)는 참조 영역에서의 정사각형 패치(102)와 복원 대상 패치(104)를 나타낸 것이며, 도 5의 (c)는 참조 대상인 정사각형 패치(102)를 복원 대상 패치(104)에 적용한 모습이다.
Figure 112016124179432-pat00041
여기서, C(p)는 정사각형의 표본 패치 내의 손상되지 않은 화소의 비율이고, D(p)는 화소 p에서의 색상변화값과 방향을 곱한 것을 [0,1]로 정규화한 값이다.
C(p)와 D(p)는 다음의 [수학식 14]와 같다.
Figure 112016124179432-pat00042
여기서,
Figure 112016124179432-pat00043
는 손상 영역의 윤곽선인
Figure 112016124179432-pat00044
에 직교하고
Figure 112016124179432-pat00045
를 향하는 법선 벡터이고,
Figure 112016124179432-pat00046
는 화소 p에서의 그라디언트(Gradient) 벡터,
Figure 112016124179432-pat00047
는 표본에 속한 화소의 개수, ▽는 기울기 연산자, ⊥는 직교 연산자,
Figure 112016124179432-pat00048
는 정규화 파라미터(gray level 영상에서 255)이다.
화소 p에서의 신뢰도 항은 최초에 손상 영역을 0으로 설정하고 손상되지 않은 영역을 1로 설정한 후 연산을 시작한다.
복원 우선순위 결정부(150)는 신뢰도(Confidence) 항 C(p)와 데이터 항 D(p)를 곱해 화소 p에서의 우선순위 P(p)를 연산한 후, 복원할 손상 영역의 경계에 속한 화소들 중에서 우선순위가 가장 높은 화소를 선택한다. 이를 화소 p라 하고, p를 중심으로 한 정사각형의 복원 대상 패치를
Figure 112016124179432-pat00049
라 한다.
복원 우선순위 결정부(150)는 복원 대상 패치
Figure 112016124179432-pat00050
(104)와 손상 영역을 제외한 참조 영역
Figure 112016124179432-pat00051
에서의 각각의 정사각형 패치
Figure 112016124179432-pat00052
(102)를 SSE(Sum of Squared Error)를 수행하여 SSE가 최소가 되는 패치를 계산한다. 여기서, SSE(A, B)는 두 영역 A, B 사이에서 서로 대응되는 화소들의 값 차이를 제곱해서 모두 합한 제곱오차합을 의미한다.
SSE가 최소가 되는 패치는 참조 영역
Figure 112016124179432-pat00053
에서
Figure 112016124179432-pat00054
(104)와 가장 유사한 패치
Figure 112016124179432-pat00055
(102)를 의미한다.
복원 우선순위 결정부(150)는 구면 파노라마 영상의 좌우 화각이 360도이고 가장 좌측과 가장 우측이 서로 연결되어 있기 때문에 CS를 연산할 때 이를 감안하여 신뢰도 수준을 연산한다.
복원 우선순위 결정부(150)는 구면 파노라마 영상의 좌우 화각이 360도이고 가장 좌측과 가장 우측이 서로 연결되어 있기 때문에 DS에서 인접 화소들의 색상 변화를 의미하는
Figure 112016124179432-pat00056
를 연산할 때 이를 감안하여 데이터 항을 연산한다.
본 발명의 영상 인페인팅 장치(100)는 구면 파노라마 영상에서 정사각형 패치를 거친 후 다시 구면 파노라마 영상에 적용시키는 과정에서 두 번의 이중선형 보간법을 적용하게 되어 화소가 흐려지는 문제가 발생한다.
이러한 문제점을 해결하기 위해서
Figure 112016124179432-pat00057
와
Figure 112016124179432-pat00058
간의 유사도를 측정한 후, 패치를 구면 파노라마 영상에 투영하지 않고 참조 표본 패치
Figure 112016124179432-pat00059
의 화소를 손상 화소
Figure 112016124179432-pat00060
에 복사하게 된다.
(2) 획득한 패치의 적용
패치 적용부(160)는 다음의 [수학식 15]와 [수학식 16]을 이용하여 복합 우선순위 결정부에서 계산된 SSE가 최소가 되는 패치
Figure 112016124179432-pat00061
와 복원 대상 패치
Figure 112016124179432-pat00062
사이의 기하 관계(패치 유사도)를 설정한다.
Figure 112016124179432-pat00063
여기서,
Figure 112016124179432-pat00064
와
Figure 112016124179432-pat00065
는 참조 표본 패치에 속하는 화소의 좌표를 나타낸다.
Figure 112016124179432-pat00066
여기서,
Figure 112016124179432-pat00067
와
Figure 112016124179432-pat00068
는 복원 대상 표본 패치에 속하는 화소의 좌표를 나타낸다.
[수학식 15]에서 경도 이동은 단순한 화소의 x축 수평 이동으로 대치가 가능하다. 동일한 위도에서 경도만 변화하는 경우 패치의 형태가 변화하지 않기 때문이다.
구면 파노라마 영상에서 경도 이동 변환은 단순히 경도 좌표를 더하고 빼는 처리만 진행하여 처리가 가능하다.
따라서,
Figure 112016124179432-pat00069
의 경도가 0이 되도록
Figure 112016124179432-pat00070
의 화소를 이동시킨 후
Figure 112016124179432-pat00071
와
Figure 112016124179432-pat00072
의 위도 차이만큼 다시 위도 이동을 수행한다.
하지만, 위도 이동 변환은 위도가 높아질수록 피사체가 좌우로 넓게 펼쳐지는 특성을 가지고 있기 때문에 수식에 이를 반영해야 한다.
도 6은 전술한 [수학식 15]와 [수학식 16]을 그림으로 도식화한 것이다.
패치의 우측 상단 점의 좌표를 (x1, y1)이라고 하고, 패치가 각도 n의 위도로 이동한다면 이 점은 (
Figure 112016124179432-pat00073
)의 위치로 이동하게 된다.
x 좌표와
Figure 112016124179432-pat00074
사이의 x축간 거리가 1/cos(n)배 만큼 팽창한 것이다.
패치 적용부(160)는 위도 이동까지 수행한 화소를 다시
Figure 112016124179432-pat00075
의 위치에 맞추어 경도 이동을 수행하면,
Figure 112016124179432-pat00076
의 화소 (
Figure 112016124179432-pat00077
)에 대응되는 좌표 (
Figure 112016124179432-pat00078
)를 얻어낼 수 있다.
패치 적용부(160)는 전술한 [수학식 15]와 [수학식 16]을 이용하여 (
Figure 112016124179432-pat00079
) 중
Figure 112016124179432-pat00080
에 해당하는 화소들에 대해 대응 쌍 (
Figure 112016124179432-pat00081
)의 화소를 가져와 적용시켜 패치를 채운다.
기존의 Criminsi의 EBI 기법에서
Figure 112016124179432-pat00082
에 q의 신뢰도 항 C(q)를 복사한 것과 같이,
Figure 112016124179432-pat00083
에 해당하는
Figure 112016124179432-pat00084
의 신뢰도 항은 C(q)를 그대로 복사한다.
구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 방법은 전체 흐름을 정리해서 나타내면 아래와 같다.
제어부(170)는 신뢰도 항을 초기화하고 복원 루프에 진입한다. 복원 루프는 영상 내에서 손상 화소가 존재하지 않을 때까지 반복한다.
복원 우선순위 결정부(150)는 신뢰도(Confidence) 항 C(p)와 데이터 항 D(p)를 곱해 화소 p에서의 우선순위 P(p)를 연산한다(calculateConfidenceTerm 함수와 calculateDataTerm 함수, calculatePriorityPoint 함수를 이용함).
복원 우선순위 결정부(150)는 신뢰도(Confidence) 항 C(p)와 데이터 항 D(p)를 곱해 화소 p에서의 우선순위 P(p)를 연산한 후(calculatePriorityPoint 함수), 복원할 손상 영역의 경계에 속한 화소들 중에서 우선순위가 가장 높은 화소를 선택한다(findBiggestPriorityPoint 함수).
복합 우선순위 결정부는 복원 대상 패치
Figure 112016124179432-pat00085
와 손상 영역을 제외한 참조 영역
Figure 112016124179432-pat00086
에서의 각각의 정사각형 패치
Figure 112016124179432-pat00087
를 SSE(Sum of Squared Error)를 수행하여 SSE가 최소가 되는 패치를 계산한다(uniformPatch 함수, findSimilarPatch 함수).
패치 적용부(160)는 다음의 [수학식 15]와 [수학식 16]을 이용하여 복합 우선순위 결정부에서 계산된 SSE가 최소가 되는 패치
Figure 112016124179432-pat00088
와 복원 대상 패치
Figure 112016124179432-pat00089
사이의 기하 관계(패치 유사도)를 이용하여 손상 화소에 참조 표본 패치의 화소를 적용한다(applyPatch 함수). 제어부(170)는 신뢰도 항을 업데이트한다.
Figure 112016124179432-pat00090
본 발명의 구면 파노라마 영상에서 위도에 따른 변형을 고려하여 영상을 복원하는 방법을 제안한다.
이러한 방법을 통해 평면 기반의 영상 인페인팅 기법을 구면 파노라마 영상에 적용할 수 있는 것이다.
본 발명은 구면 파노라마 영상을 이용하여 증강 현실을 구현할 때 인식된 마커를 제거하거나 특정 물체를 선택, 영상에서 제거하는 등 다양한 응용에 적용할 수 있는 가능성이 있다.
이상에서 설명한 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 영상 인페인팅 장치
102: 참조 영역에서의 정사각형 패치
104: 복원 대상 패치
110: 입력부
120: 메모리부
130: 밝기값 계산부
140: 정사각형 패치 변환부
150: 복원 우선순위 결정부
160: 패치 적용부
170: 제어부

Claims (6)

  1. 구면 파노라마 영상데이터를 입력받아 위도와 경도를 이용하여 해당 위치를 가상의 평면에 투영해 정사각형 패치로 균일화하여 위도에 상관없이 동일한 모양을 가지는 표본으로 변환하는 제1 단계;
    상기 입력된 구면 파노라마 영상의 복원 대상 영상데이터에서 복원할 영역의 경계에 속한 모든 화소에 대하여 우선순위를 계산하고, 복원할 영역의 경계에서 우선순위가 가장 높은 제1 화소를 결정하는 제2 단계;
    복원할 영역을 제외한 나머지 부분인 참조 영역에 속한 모든 화소에 대하여 상기 결정한 제1 화소와의 패치 유사도를 계산하여 상기 참조 영역에서 유사도가 가장 높은 제2 화소를 선택하는 제3 단계;
    상기 복원할 영역의 경계에서 상기 결정한 제1 화소를 중심으로 한 제1 패치와 상기 참조 영역에서 상기 선택한 제2 화소를 중심으로 한 제2 패치와의 패치 유사도를 설정하여 상기 제2 화소를 상기 제1 화소에 복사하는 제4 단계; 및
    상기 복원 대상 영상데이터에서 복원할 영역이 모두 없어질 때까지 상기 제1 단계, 상기 제2 단계, 상기 제3 단계, 상기 제4 단계를 반복하여 처리하는 단계를 포함하며,
    상기 정사각형 패치로 균일화하여 변환하는 제1 단계는,
    상기 구면 파노라마 영상데이터에 대응하는 가상의 구체를 설정하는 단계;
    구 접면에 상기 가상의 구체를 투영하여 상기 정사각형 패치로 변환하는 단계를 포함하고, 상기 정사각형 패치의 각 화소 좌표 (x,y)에 대응하는 상기 구면 파노라마 영상데이터의 화소 좌표(
    Figure 112018004041596-pat00091
    )를 하기의 수학식 1과 수학식 2를 이용하여 계산하고, 상기 구면 파노라마 영상데이터에서 위도와 경도에서의 패치의 화소 좌표(
    Figure 112018004041596-pat00092
    )에 대응되는 패치에서의 화소 좌표(x,y)를 하기의 수학식 3, 수학식 4, 수학식 5를 이용하여 계산하는 것을 특징으로 하는 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 방법.
    [수학식 1]
    Figure 112018004041596-pat00093

    여기서, x,y는 정사각형 패치의 각 화소 좌표,
    Figure 112018004041596-pat00094
    는 정사각형 패치의 중심점 좌표, θ는 획득해야 할 패치의 위도,
    Figure 112018004041596-pat00095
    는 획득해야 할 패치의 경도, W는 상기 정사각형 패치의 너비임.
    [수학식 2]
    Figure 112018004041596-pat00096

    여기서, H는 상기 정사각형 패치의 높이임.
    [수학식 3]
    Figure 112018004041596-pat00097

    [수학식 4]
    Figure 112018004041596-pat00098

    [수학식 5]
    Figure 112018004041596-pat00099
  2. 삭제
  3. 제1항에 있어서,
    상기 제2 화소를 상기 제1 화소에 복사하는 제4 단계는,
    상기 제1 패치와 상기 제2 패치의 패치 유사도는 하기의 수학식 6과 수학식 7에 의해 설정되는 것을 특징으로 하는 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 방법.
    [수학식 6]
    Figure 112018004041596-pat00100

    여기서,
    Figure 112018004041596-pat00101
    와
    Figure 112018004041596-pat00102
    는 참조 표본 패치에 속하는 화소의 좌표를 나타냄.
    [수학식 7]
    Figure 112018004041596-pat00103

    여기서,
    Figure 112018004041596-pat00104
    와
    Figure 112018004041596-pat00105
    는 복원 대상 표본 패치에 속하는 화소의 좌표를 나타냄.
  4. 구면 파노라마 영상데이터를 입력받아 위도와 경도를 이용하여 해당 위치를 가상의 평면에 투영해 정사각형 패치로 균일화하여 위도에 상관없이 동일한 모양을 가지는 표본으로 변환하는 정사각형 패치 변환부;
    상기 입력된 구면 파노라마 영상의 복원 대상 영상데이터에서 복원할 영역의 경계에 속한 모든 화소에 대하여 우선순위를 계산하고, 복원할 영역의 경계에서 우선순위가 가장 높은 제1 화소를 결정하고, 복원할 영역을 제외한 나머지 부분인 참조 영역에 속한 모든 화소에 대하여 상기 결정한 제1 화소와의 패치 유사도를 계산하여 상기 참조 영역에서 유사도가 가장 높은 제2 화소를 선택하는 복원 우선순위 결정부; 및
    상기 복원할 영역의 경계에서 상기 결정한 제1 화소를 중심으로 한 제1 패치와 상기 참조 영역에서 상기 선택한 제2 화소를 중심으로 한 제2 패치와의 패치 유사도를 설정하여 위도에 따른 변형을 고려하며, 상기 제2 화소를 상기 제1 화소에 복사하는 패치 적용부를 포함하며,
    상기 정사각형 패치 변환부는 상기 구면 파노라마 영상데이터에 대응하는 가상의 구체를 설정하고, 구 접면에 상기 가상의 구체를 투영하여 상기 정사각형 패치로 변환하며, 상기 정사각형 패치의 각 화소 좌표 (x,y)에 대응하는 상기 구면 파노라마 영상데이터의 화소 좌표(
    Figure 112018004041596-pat00106
    )를 하기의 수학식 1과 수학식 2를 이용하여 계산하고, 상기 구면 파노라마 영상데이터에서 위도와 경도에서의 패치의 화소 좌표(
    Figure 112018004041596-pat00107
    )에 대응되는 패치에서의 화소 좌표(x,y)를 하기의 수학식 3, 수학식 4, 수학식 5를 이용하여 계산하는 것을 특징으로 하는 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치.
    [수학식 1]
    Figure 112018004041596-pat00108

    여기서, x,y는 정사각형 패치의 각 화소 좌표,
    Figure 112018004041596-pat00109
    는 정사각형 패치의 중심점 좌표, θ는 획득해야 할 패치의 위도,
    Figure 112018004041596-pat00110
    는 획득해야 할 패치의 경도, W는 상기 정사각형 패치의 너비임.
    [수학식 2]
    Figure 112018004041596-pat00111

    여기서, H는 상기 정사각형 패치의 높이임.
    [수학식 3]
    Figure 112018004041596-pat00112

    [수학식 4]
    Figure 112018004041596-pat00113

    [수학식 5]
    Figure 112018004041596-pat00114
  5. 삭제
  6. 제4항에 있어서,
    상기 패치 적용부는 상기 제1 패치와 상기 제2 패치의 패치 유사도는 하기의 수학식 6과 수학식 7에 의해 설정되는 것을 특징으로 하는 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치.
    [수학식 6]
    Figure 112016124179432-pat00115

    여기서,
    Figure 112016124179432-pat00116
    와
    Figure 112016124179432-pat00117
    는 참조 표본 패치에 속하는 화소의 좌표를 나타냄.
    [수학식 7]
    Figure 112016124179432-pat00118

    여기서,
    Figure 112016124179432-pat00119
    와
    Figure 112016124179432-pat00120
    는 복원 대상 표본 패치에 속하는 화소의 좌표를 나타냄.
KR1020160173428A 2016-12-19 2016-12-19 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법 KR101854612B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160173428A KR101854612B1 (ko) 2016-12-19 2016-12-19 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160173428A KR101854612B1 (ko) 2016-12-19 2016-12-19 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101854612B1 true KR101854612B1 (ko) 2018-05-04

Family

ID=62199174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160173428A KR101854612B1 (ko) 2016-12-19 2016-12-19 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101854612B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020171257A1 (ko) * 2019-02-21 2020-08-27 한국과학기술원 영상 처리 방법 및 그 장치
CN112236715A (zh) * 2018-06-27 2021-01-15 三星电子株式会社 用于增强现实的装置和方法
WO2022092451A1 (ko) * 2020-10-26 2022-05-05 주식회사 쓰리아이 딥러닝을 이용한 실내 위치 측위 방법
WO2022158796A1 (ko) * 2021-01-21 2022-07-28 (주)에이아이매틱스 구형 좌표계 영상의 영상 처리 장치
US11961256B2 (en) 2020-10-26 2024-04-16 3I Inc. Method for indoor localization using deep learning

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361075B1 (ko) 2012-08-17 2014-02-10 한림대학교 산학협력단 구조행렬을 이용한 예제기반 영상 인페인팅 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361075B1 (ko) 2012-08-17 2014-02-10 한림대학교 산학협력단 구조행렬을 이용한 예제기반 영상 인페인팅 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김보성 외 1명,"구면 파노라마 영상에서 평면 패턴의 기하 변환 추정", 정보과학회논문지 제42권 제10호, 2015.10, pp.1185-1194(2015.10.31.)*

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112236715A (zh) * 2018-06-27 2021-01-15 三星电子株式会社 用于增强现实的装置和方法
CN112236715B (zh) * 2018-06-27 2023-04-04 三星电子株式会社 用于增强现实的装置和方法
WO2020171257A1 (ko) * 2019-02-21 2020-08-27 한국과학기술원 영상 처리 방법 및 그 장치
WO2022092451A1 (ko) * 2020-10-26 2022-05-05 주식회사 쓰리아이 딥러닝을 이용한 실내 위치 측위 방법
US11961256B2 (en) 2020-10-26 2024-04-16 3I Inc. Method for indoor localization using deep learning
WO2022158796A1 (ko) * 2021-01-21 2022-07-28 (주)에이아이매틱스 구형 좌표계 영상의 영상 처리 장치

Similar Documents

Publication Publication Date Title
KR101854612B1 (ko) 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법
CN110490916B (zh) 三维对象建模方法与设备、图像处理装置及介质
US11875537B2 (en) Multi view camera registration
US9542745B2 (en) Apparatus and method for estimating orientation of camera
CA2662355C (en) Mosaic oblique images and methods of making and using same
US8587612B2 (en) Method and system for providing augmented reality based on marker tracking, and non-transitory computer-readable medium thereof
US10783607B2 (en) Method of acquiring optimized spherical image using multiple cameras
WO2016188010A1 (zh) 运动图像补偿方法及装置、显示装置
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
WO2010004466A1 (en) Three dimensional mesh modeling
TWI647443B (zh) 裂縫分析設備及方法
KR102551713B1 (ko) 전자 장치 및 그 이미지 처리 방법
JP2010287174A (ja) 家具シミュレーション方法、装置、プログラム、記録媒体
CN110458960B (zh) 一种基于偏振的彩色物体三维重建方法
JP4631973B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
CN112243518A (zh) 获取深度图的方法、装置及计算机存储介质
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
US20180213215A1 (en) Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape
US20210289187A1 (en) Apparatus and method for selecting camera providing input images to synthesize virtual view images
US11475629B2 (en) Method for 3D reconstruction of an object
CN111773706A (zh) 一种游戏场景的渲染方法和装置
KR101748674B1 (ko) 3차원 영상 생성 방법 및 장치
CN115127481A (zh) 条纹投影3d测量方法、终端设备及计算机可读存储介质
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
WO2021110051A1 (en) Method and system for associating device coordinate systems in a multi‐person ar system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant