KR101878668B1 - 360도 파노라마 이미지 내의 미술저작물 인식 방법 - Google Patents

360도 파노라마 이미지 내의 미술저작물 인식 방법 Download PDF

Info

Publication number
KR101878668B1
KR101878668B1 KR1020170019952A KR20170019952A KR101878668B1 KR 101878668 B1 KR101878668 B1 KR 101878668B1 KR 1020170019952 A KR1020170019952 A KR 1020170019952A KR 20170019952 A KR20170019952 A KR 20170019952A KR 101878668 B1 KR101878668 B1 KR 101878668B1
Authority
KR
South Korea
Prior art keywords
projection image
point
image
linear projection
angle
Prior art date
Application number
KR1020170019952A
Other languages
English (en)
Inventor
김종원
김훈
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020170019952A priority Critical patent/KR101878668B1/ko
Application granted granted Critical
Publication of KR101878668B1 publication Critical patent/KR101878668B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G06T3/0062—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 360도 파노라마 카메라로 찍은 영상에서 특징을 추출하여 데이터베이스 내에 있는 지재권을 소유한 미술저작물의 특징과 비교하여 360도 파노라마 영상에 지재권을 소유한 미술저작물이 포함되어 있는지를 인식하는 방법에 관한 것이다. 본 발명은 다면체 기반 rectilinear 투영 기법 및 키포인트 모양 사이 차이를 이용하여 기하학적 왜곡이 심한 equirectangular 포맷으로 되있는 360도 파노라마 영상을 여러 장의 rectilinear 투영된 영상으로 분리하여 미술저작물을 인식하는 방법을 제공한다.

Description

360도 파노라마 이미지 내의 미술저작물 인식 방법{A Method for Artwork Identification in 360-degree Panoramic Images}
본 발명은 360도 파노라마 카메라로 찍은 이미지에서 특징을 추출하여 데이터베이스 내에 있는 미술저작물의 특징과 비교하여 360도 파노라마 이미지에 저작권이 있는 미술저작물이 포함되어 있는지를 인식하는 방법에 관한 것이다.
카메라 기술이 발전함에 따라, 많은 사람들이 카메라의 파노라마 기능을 사용하여 360도 파노라마 이미지를 촬영하고 있다. 일반적인 카메라는 촬영하려는 물체를 향하여 찍으면 사진 속에 그 물체만 나타나고 그 주위 기타 물체는 나타나지 않지만, 360도 파노라마 카메라는 일반적인 카메라와 달리 촬영하려는 물체 외에도 주위 기타 모든 물체가 사진에 찍히기 때문에 저작권자의 허가 없이 미술저작물이 촬영될 수 있다.
정보통신 기술 발전에 따라 인터넷 상에서 이미지 콘텐츠가 무단 복제 및 전송되는 방식으로 저작권이 침해되는 문제가 빈번하게 발생하고 있고, 이러한 저작권 침해 행위를 추적 또는 방지하기 위하여 이미지 콘텐츠를 인식하는 방식이 널리 활용되고 있다.
그러나 360도 파노라마 이미지는 여러 방향으로 찍은 사진을 조합하여 좌, 우, 앞, 뒤, 상, 하 모든 각도의 이미지를 볼 수 있는 구형태의 3차원 이미지를 2차원 이미지로 등장방형도법(equirectangular projection)으로 투영하여 이루어진 영상으로서 기하학적 왜곡이 아주 심하다. 이 때문에 기존의 특징 추출 및 매칭 기법 기반 객체인식 기술로만 사용하여서는 360도 파노라마 이미지 속에 미술저작물을 인식하기 어려운 문제가 있다.
본 발명은 다면체 기반 직선적(rectilinear) 투영 기법 및 키포인트 모양을 이용하여 기하학적 왜곡이 심한 360도 파노라마 이미지에서 미술저작물을 인식하는 방법을 제공함에 그 목적이 있다.
전술한 과제의 해결을 위해 본 발명은 「(a) 등장방형도법(equirectangular projection)으로 투영된 360도 파노라마 이미지를 구(球) 이미지로 변형시키는 단계; (b) 상기 구와 중심을 공유하는 다면체를 생성하는 단계; (c) 상기 구 표면에서 상기 다면체의 각 꼭지점까지 가장 가까운 근정점(近頂點, Vj)을 구하는 단계; (d) 상기 구 표면에서 상기 다면체의 각 면의 중심점까지 가장 가까운 근면점(近面點, Cn)을 구하는 단계; (e) 상기 근정점(Vj) 및 근면점(Cn)을 이용하여 상기 구 이미지를 여러 개의 직선(rectilinear) 투영 이미지로 변환하는 단계; (f) 상기 직선 투영 이미지로부터 키포인트(Key Point)와 디스크립터(Descriptor)로 이루어진 특징을 추출하는 단계; (g) 데이터베이스 내 원본 미술저작물의 특징과 상기 직선 투영 이미지로부터 추출한 특징 간 매칭된 키포인트를 찾는 단계; 및 (h) 상기 매칭된 키포인트를 분석하여, 상기 데이터베이스 내의 원본 미술저작물이 상기 직선 투영 이미지에 존재하는지를 판별하는 단계; 를 포함하는 360도 파노라마 이미지 내의 미술저작물 인식 방법」을 제공한다.
상기 (e)단계에서 직선 투영 이미지의 높이(hv), 너비(wv) 및 직선 투영 방향을 도출하는 방법은 상기 (b)단계의 다면체가 무엇인지에 따라 달라진다.
상기 다면체가 32면체인 경우는 직선 투영 이미지의 상기 구의 반지름(r) 및 상기 근정점(Vj)과 근면점(Cn)의 삼차원 좌표(x,y,z)를 이용하여 상기 구 표면에서 상기 근정점(Vj)의 위도각(φv = arcsin(z/r))과 경도각(θv = arctan2(y,x)), 상기 근면점(Cn)의 위도각(lat = arcsin(z/r))과 경도각(lon = rctan2(y,x))을 각각 구하고, 시야범위 0~120도 내에서 상기 위도각(φv) 중 가장 큰 값과 가장 작은 값의 차이(dv)를 구해 상기 직선 투영 이미지의 높이(hv)로 정하고, 시야범위 0~120도 내에서 상기 경도각(θv) 중 가장 큰 값과 가장 작은 값의 차이(dh)를 구해 상기 직선 투영 이미지의 너비(wv)로 정하고, 상기 근면점(Cn)의 위도각(lat)과 경도각(lon)에 의해 직선 투영 방향을 결정한다.
상기 다면체가 12면체인 경우는, 상기 12면체의 각 면을 구성하는 5각형의 인접하지 않은 두 꼭지점과 매칭되는 반지름이 r인 구의 두 근정점(Vf, Vg)을 기초로 상기 직선 투영 이미지의 너비(wv)와 높이(hv)를 각각
Figure 112018020086144-pat00001
로 계산하고, 상기 근면점(Cn)의 위도각(lat = arcsin(z/r))과 경도각(lon = rctan2(y,x))을 구하고, 상기 근면점(Cn)의 위도각(lat)과 경도각(lon)에 의해 직선 투영 방향을 결정한다.
상기 다면체가 8면체인 경우는,직선 투영 방향 각을 남북 위도각 45도로 고정시키고, 상기 8면체의 적도(equator) 상에 인접한 두 점 사이의 각도를 상기 직선 투영 이미지의 너비(wv)로 대입하고, 상기 8면체의 극점과 적도상의 점 사이의 각도를 상기 직선 투영 이미지의 높이(hv)로 대입한다.
위와 같이 다면체의 종류별로 상기 직선 투영 이미지의 너비(wv)와 높이(hv)를 구하고, 직선 투영 방향을 결정한 후에는 하기 [좌표계산식]에 따라 직선 투영 이미지 픽셀의 이차원 좌표 (tx, ty)를 구함으로써, 상기 구 이미지를 직선 투영 이미지로 변환시킬 수 있다.
[좌표계산식]
Figure 112017015120731-pat00002
rhv : 보다는 크고,
Figure 112017015120731-pat00004
보다는 작은 상대좌표값
rwv :
Figure 112017015120731-pat00005
보다 크고,
Figure 112017015120731-pat00006
보다 작은 상대좌표값
또한, 상기 (f)단계에서는 SIFT(scale invariant feature transform), SURF(speeded-up robust features method), BRISK(binary robust invariant scalable keypoints), HOG(histograms of oriented gradient), MSER(maximally stable extremal regions), FAST(features from an accelerated segment test), FREAK(fast retina key point) 중 어느 하나 이상의 특징 추출 알고리즘을 적용할 수 있다.
또한, 상기 (g)단계는, 상기 원본 미술저작물의 특징이 상기 (f)단계에서 적용한 특징 추출 알고리즘과 동일한 알고리즘을 통해 추출되어 상기 데이터베이스에 저장된 것이고, 상기 원본 미술저작물과 직선 투영 이미지에서 각각 키포인트의 연결을 통해 특징 벡터를 생성하고, 상기 원본 미술저작물과 직선 투영 이미지에서 각각 상기 특징 벡터의 키포인트간 거리 및 벡터들의 길이 비례를 도출한 후 상기 원본 미술저작물과 직선 투영 이미지에서 각각 키포인트간 상대적 거리의 차이를 계산하여, 상기 원본 미술저작물의 키포인트간 거리값과 상기 직선 투영 이미지의 키포인트간 거리값의 차이가 기 설정된 임계값보다 작은 특징 벡터들을 매칭된 키포인트로 선택하는 것을 특징으로 할 수 있다.
또한, 상기 (h)단계는 하기 [차이값 도출식]에 따라 상기 데이터베이스 내 원본 미술저작물과 상기 직선 투영 이미지 간에 매칭된 키포인트 모양 사이의 차이값(dsk)을 도출하고, 상기 차이값(dsk) 중 최소값을 찾아 상기 최소값이 도출되는 원본 미술저작물을 상기 직선 투영 이미지에 존재하는 미술저작물로 판별하는 과정으로 진행시킬 수 있다.
[차이값 도출식]
Figure 112017015120731-pat00007
Pv : 원본 미술저작물 특징 벡터의 앞·뒤 벡터간 길이 비
Pu : 직선 투영 이미지 특징 벡터의 앞·뒤 벡터간 길이 비
m : 매칭된 키포인트의 수
전술한 본 발명에 따르면, 기하학적 왜곡이 심하여 이미지 내의 미술저작물 인식이 어려운 360도 파노라마 영상에서 미술저작물을 인식해 낼 수 있다.
이에 따라 기술 발전에 따라 다양하게 발생하는 저작권 침해 문제를 사전에 예방하고, 저작권 침해의 발견 및 사후 조치에 기여할 수 있다.
[도 1]은 본 발명에 따른 360도 파노라마 영상에서 미술저작물 인식 방법을 나타내는 흐름도이다.
[도 2]는 등장방형도법(equirectangular projection)의 설명도이다.
[도 3]은 본 발명에서 모델링되는 다면체의 예를 나타낸 것이다.
[도 4]는 구 표면에서 다면체의 꼭지점에 가장 가까운 근정점과 구 표면에서 다면체의 각 면 중심에 가장 가까운 근면점을 나타낸 것이다.
[도 5]는 본 발명에서 모델링하는 다면체가 12면체인 경우 시야범위의 너비와 높이 산출 과정을 나타낸 설명도이다.
[도 6]은 본 발명에 따른 키포인트 모양의 차이를 구하는 설명도이다.
[도 7]은 본 발명에 따른 방법을 적용하기 전 360도 파노라마 이미지만으로 미술저작물을 인식한 결과와 직선 투영 이미지를 통해 미술저작물을 인식한 결과를 비교하여 나타낸 것이다.
본 발명에 따른 360도 파노라마 이미지 내의 미술저작물 인식 방법은 컴퓨터 프로그램에 의한 컴퓨터 장치의 구동에 의해 구현되며, [도 1]을 통해 확인할 수 있는 것처럼, (a) 등장방형도법(equirectangular projection)으로 투영된 360도 파노라마 이미지를 구(球)로 변형시키는 단계; (b) 상기 구와 중심을 공유하는 다면체를 생성하는 단계; (c) 상기 구 표면에서 상기 다면체의 각 꼭지점까지 가장 가까운 근정점(近頂點, Vj)을 구하는 단계; (d) 상기 구 표면에서 상기 다면체의 각 면의 중심점까지 가장 가까운 근면점(近面點, Cn)을 구하는 단계; (e) 상기 근정점(Vj) 및 근면점(Cn)을 이용하여 상기 구 이미지를 여러 개의 직선(rectilinear) 투영 이미지로 변환하는 단계; (f) 상기 직선 투영 이미지로부터 키포인트(Key Point)와 디스크립터(Descriptor)로 이루어진 특징을 추출하는 단계; (g) 데이터베이스 내 원본 미술저작물의 특징과 상기 직선 투영 이미지로부터 추출한 특징 간 매칭된 키포인트를 찾는 단계; 및 (h) 상기 매칭된 키포인트를 분석하여, 상기 데이터베이스 내의 원본 미술저작물이 상기 직선 투영 이미지에 존재하는지를 판별하는 단계; 를 포함하는 360도 파노라마 이미지 내의 미술저작물 인식 방법을 포함하여 이루어진다.
이하에서는 첨부한 도면과 함께 본 발명을 각 단계별로 상세히 설명한다.
1. (a)단계
본 (a)단계는 등장방형도법(equirectangular projection)으로 투영된 360도 파노라마 이미지를 구(球)로 변형시키는 단계이다.
등장방형도법은 [도 2]에 도시된 바와 같이 구 표면에 있는 모든 지점을 평면 이미지에 매핑하는 방법이다.
본 단계는 등장방형도법(equirectangular projection)으로 투영된 2차원의 360도 파노라마 이미지를 다시 3차원의 구 이미지로 변형시키는 단계로서, 상기 구 형태 이미지는 3차원 데카르트 좌표계(x,y,z)로 구성할 수 있다.
[도 2]와 같이 등장방형도법으로 작성된 세계지도의 경우 x축 방향의 픽셀(pixel)은 경도 도수 θ에 대응하고, y축 방향의 픽셀은 위도 도수 φ에 대응한다. 상기, 세계지도 즉, 2차원 360도 파노라마 이미지를 픽셀별로 아래의 [식 1]에 대입하고, 중심이 좌표계의 원점에 있고 반지름이 r인 3차원 구 표면의 삼차원 좌표 (x,y,z)를 도출하여, 3차원 구 형태 이미지를 생성해 낼 수 있다.
[식 1]
x = r·cosθ·sinφ, y = r·sinθ·sinφ, z = r·sinθ
2. (b)단계
본 (b)단계는 상기 구와 중심을 공유하는 다면체를 생성하는 단계이다.
상기 구의 중심이 삼차원 좌표계의 원점에 있으면, 상기 다면체의 중심 역시 삼차원 좌표의 원점에 있다. [도 3]에는 상기 다면체의 예로서, 32면체, 12면체 및 8면체가 도시되어 있다.
3. (c)단계
본 (c)단계는 상기 구 표면에서 상기 다면체의 각 꼭지점까지 가장 가까운 근정점(近頂點, Vj)을 구하는 단계이다.
본 단계의 진행과정을 구체적으로 살펴보면 다음과 같다.
우선, 상기 다면체의 각 꼭지점 vtj(aj,bj,cj)과 상기 구 표면의 모든 점 pti(xi,yi,zi)과의 거리를 유클리드 거리 공식으로 계산한다. 아래 [식 2]에 따라 가장 작은 거리값에 대응되는 구 표면의 점들을 상기 다면체의 꼭지점과 가장 가까운 근정점(Vj)으로 선택한다.
[식 2]
Figure 112017015120731-pat00008
[도 4]에서 구 표면상의 검정색 점(●)이 곧 상기 근정점(Vj)이다.
4. (d)단계
본 (d)단계는 상기 구 표면에서 상기 다면체의 각 면의 중심점까지 가장 가까운 근면점(近面點, Cn)을 구하는 단계이다.
본 단계의 진행과정을 구체적으로 살펴보면 다음과 같다.
우선, 상기 다면체 각 면의 t개 정점 vtj(aj,bj,cj)을 선택하고 하기 [식 3]과 같이 t개 정점들의 좌표 평균을 계산하여 각 면의 중심점 on(acn,bcn,ccn)을 정한다. n은 한 다면체에 있는 면의 개수이다.
[식 3]
Figure 112017015120731-pat00009
다음으로, 각 면의 중심점on(acn,bcn,ccn)과 상기 구 표면의 모든 점pti(xi,yi,zi)과의 유클리드 거리를 계산한다. 아래 [식 4]에 따라 가장 작은 거리값에 대응되는 구 표면의 점들을 상기 다면체의 각 면에서 가장 가까운 근면점(Cn)으로 선택한다.
[식 4]
Figure 112017015120731-pat00010
[도 4]에서 구 표면상의 투명한 점(○)이 곧 상기 근면점(Cn)이다.
5. (e)단계
본 (e)단계는 상기 근정점(Vj) 및 근면점(Cn)을 이용하여 상기 구 이미지를 여러 개의 직선(rectilinear) 투영 이미지로 변환하는 단계이다.
이하에서는 32면체, 12면체 및 8면체별로 상기 직선 투영 이미지 크기 범위를 산출하는 방법과 직선 투영 방향을 결정하는 방법을 각각 예시한다. 상기 직선 투영 이미지 크기는 시야범위(viewing range)에 의해 결정되고, 상기 시야범위는 상기 근정점(Vj)을 이용하여 산출된다. 시야범위의 너비와 높이는 각도 단위(degrees)로 표시된다.
32면체를 적용한 경우, 먼저 구의 반지름 r 및 상기 근정점(Vj)의 삼차원 좌표 (x,y,z)를 이용하여 구 표면에서 아래 [식 5]와 같이 역 사인(sin)값을 이용하여 위도각(φv)을 구하고, 4-사분면 역 탄젠트(tan) 값을 이용하여 경도각(θv)을 구한다.
[식 5]
φv = arcsin(z/r), θv = arctan2(y,x)
하기 [식 6]에 따라 상기 근정점(Vj)의 위도각(φv) 중 가장 큰 값과 가장 작은 값의 차이를 구하여 dv라 하고, 경도각(θv) 중 가장 큰 값과 가장 작은 값의 차이를 구하여 dh라 한다.
[식 6]
dv = max{φv} - min{φv}, dh = max{θv} - min{θ}
다만, 상기 32면체에 대한 시야범위를 좌우범위와 상하범위 모두 0~120도 범위 내에서 정할 때 왜곡이 적은 최대 면적의 화면을 얻을 수 있다.
이에 하기 [식 7]에 나타난 바와 같이, 직선(rectilinear) 투영 이미지의 높이(hv)는 시야범위 0~120도 사이의 최대값으로 정하고, 너비(wv)는 시야범위 0~120도 사이의 최대값으로 정한다.
[식 7]
hv = max{dv, 0 < dv < 120}, wv = max{dh, 0 < dh < 120}
12면체를 적용한 경우, 시야범위의 너비(wv)는 인접하지 않은 꼭지점 사이의 거리를 기반으로 설정된다. [도 5] (a)의 꼭지점 V2와 V5는 시야범위의 너비(wv)를 나타내며, 이에 대응하는 [도 5] (b) 구(반지름은 r)의 근정점은 Vf와 Vg이다. 이를 기초로 직선(rectilinear) 투영 이미지의 너비(wv)는 하기 [식 8]과 같이 계산할 수 있다.
[식 8]
Figure 112017015120731-pat00011
[도 5] (a)에서 mp점은 V3과 V4 사이의 중간점이다. 구 표면상에는 상기 mp점과 가장 가까운 점이 있고, 상기 mp점과 가장 가까운 점 및 V1 사이의 거리가 시야범위의 높이(hv)인데, 이는 Vf 및 Vg 사이의 거리와 같다. 이에 따라 직선(rectilinear) 투영 이미지의 너비(hv)도 역시 상기 [식 8]에 의해 산출할 수 있다. 즉,
Figure 112017015120731-pat00012

상기 32면체와 12면체 모두에 대해 근면점(Cn)은 직선 투영 방향(the direction of the rectilinear projection)을 결정한다. 상기 [식 5]에 따라 구의 반지름(r) 및 근면점(Cn)의 삼차원 좌표 (x,y,z)를 이용하여 구 표면에서 상기 근면점(Cn)의 위도각(lat)과 경도각(lon)을 구할 수 있다.
8면체를 적용한 경우 직선 투영 방향 각은 45도의 남북 위도각으로 고정된다. 상기 직선 투영 이미지의 너비(wv)는 상기 8면체의 적도(equator)의 인접한 두 점 사이의 각도이고, 상기 직선 투영 이미지의 높이(hv)는 극점(상기 8면체의 최상단 꼭지점 또는 최하단 꼭지점)과 적도상의 점 사이의 각도이다.
전술한 시야범위(직선 투영 이미지의 너비, 높이)와 직선 투영 방향의 각도를 사용하여 하기 [식 9]에 따라 직선 투영 이미지 픽셀의 이차원 좌표 (tx, ty)를 구할 수 있다.
[식 9]
Figure 112017015120731-pat00013
+
상기 [식 9]에서 rhv는
Figure 112017015120731-pat00014
보다는 크고,
Figure 112017015120731-pat00015
보다는 작은 상대좌표값이고, rwv는
Figure 112017015120731-pat00016
보다 크고,
Figure 112017015120731-pat00017
보다 작은 상대좌표값이다(lon : 경도각, lat : 위도각).
6. (f)단계
본 (f)단계는 상기 직선 투영 이미지로부터 키포인트(Key Point)와 디스크립터(Descriptor)로 이루어진 특징을 추출하는 단계이다.
본 단계에 적용되는 특징 추출 알고리즘은 기존에 널리 사용되는 SIFT(scale invariant feature transform), SURF(speeded-up robust features method), BRISK(binary robust invariant scalable keypoints), HOG(histograms of oriented gradient), MSER(maximally stable extremal regions), FAST(features from an accelerated segment test), FREAK(fast retina key point) 중 어느 하나 이상을 적용할 수 있다.
전술한 특징 추출 알고리즘을 이용하여 이미지에서 키포인트를 찾고 각 키포인트에 디스크립터를 부여한하면 상기 키포인트 및 그에 해당하는 디스크립터가 이미지의 특징이 된다.
7. (g)단계
본 (g)단계는 데이터베이스 내 원본 미술저작물의 특징과 상기 직선 투영 이미지로부터 추출한 특징 간 매칭된 키포인트를 찾는 단계이다.
본 발명에서 하나의 360도 파노라마 이미지는 n개의 직선 투영 이미지로 분할되므로, 각 분할된 직선 투영 이미지에서 추출한 특징을 데이터베이스 내의 모든 미술저작물 특징과 매칭시킨다.
상기 원본 미술저작물의 특징은 상기 (f)단계에서 적용한 특징 추출 알고리즘과 동일한 알고리즘을 통해 추출되어, 미리 데이터베이스에 저장된 것이다.
[도 6]은 원본 미술저작물의 키포인트 이차원 좌표(p'i,q'i)와 직선 투영 이미지의 키포인트 이차원 좌표(pi,qi)간의 매칭 상태를 보여주는 예제이다. 점선으로 이어진 키포인트들이 서로 매칭된 키포인트이다. m개의 매칭된 키포인트들을 순서에 따라 연결하여 m-1개의 벡터를 생성하고, 이를 특징 벡터라 한다.
원본 미술저작물의 특징 벡터는 v로 표시하고 직선 투영 이미지의 특징 벡터는 u라고 표시한다. 유클리드 공식에 의해 상기 원본 미술저작물과 직선 투영 이미지에서 각각 키포인트별 거리를 계산할 수 있고, 앞·뒤 벡터 길이의 비례는 하기 [식 10]을 적용하여 계산할 수 있다.
[식 10]
Figure 112017015120731-pat00018
상기 원본 미술저작물과 직선 투영 이미지에서 각각 키포인트간 거리 및 벡터들의 길이 비례를 도출한 후에는 상기 원본 미술저작물과 직선 투영 이미지에서 각각 키포인트간 상대적 거리의 차이를 계산할 수 있다. 상기 원본 미술저작물의 키포인트간 거리값과 상기 직선 투영 이미지의 키포인트간 거리값의 차이가 임계값보다 작은 특징 벡터들을 선택하여 매칭된 키포인트라고 한다.
8. (h)단계
본 (h)단계는 상기 매칭된 키포인트를 분석하여, 상기 데이터베이스 내의 원본 미술저작물이 상기 직선 투영 이미지에 존재하는지를 판별하는 단계이다.
예를 들어 상기 데이터베이스 내의 원본 미술저작물 중 상기 직선 투영 이미지의 특징과 매칭된 키포인트 개수가 3보다 작은 것은 360도 파노라마 이미지 속에 들어 있는 것이 아닌 것으로 처리할 수 있다.
또한, 상기 데이터베이스 내 원본 미술저작물과 상기 직선 투영 이미지 간에 매칭된 키포인트 모양 사이의 차이값(dsk)을 하기 [식 11]에 따라 구할 수 있다.
[식 11]
Figure 112017015120731-pat00019
Pv : 원본 미술저작물 특징 벡터의 앞·뒤 벡터간 길이 비
Pu : 직선 투영 이미지 특징 벡터의 앞·뒤 벡터간 길이 비
m : 매칭된 키포인트의 수
상기 차이값(dsk) 중 최소값을 찾아 상기 최소값이 도출되는 원본 미술저작물을 상기 직선 투영 이미지에 존재하는 미술저작물로 판별할 수 있다. 상기 직선 투영 이미지는 360도 파노라마 이미지로부터 도출된 것이므로, 상기 직선 투영 이미지에 존재하는 미술저작물이 곧 360도 파노라마 이미지에 포함된 미술저작물이다.
[도 7]은 본 발명에 따른 방법을 사용하기 전 360도 파노라마 이미지만으로 미술저작을 매칭시킨 결과와 상기 360도 파노라마 이미지를 직선 투영 이미지로 변환하여 미술저작물과 매칭시킨 결과를 비교적으로 보여준다.
[도 7]의 (a)와 같이 360도 파노라마 이미지만으로 미술저작물과 매칭시킨 경우에는 매칭된 키포인트가 없다. [도 7]의 (b)와 같이 직선 투영 이미지로 미술저작물과 매칭시킬 경우 매칭된 키포인트가 많아지므로 미술저작물을 인식할 수 있다.
이상에서 본 발명에 관하여 구체적인 실시예와 함께 상세하게 설명하였다. 그러나 위의 실시 예에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 요지를 벗어남이 없는 범위에서 수정 또는 변형될 수 있다. 따라서 본 발명의 청구범위는 이와 같은 수정 또는 변형을 포함한다.
해당없음

Claims (8)

  1. (a) 등장방형도법(equirectangular projection)으로 투영된 360도 파노라마 이미지를 구(球) 이미지로 변형시키는 단계;
    (b) 상기 구와 중심을 공유하는 다면체를 생성하는 단계;
    (c) 상기 구 표면에서 상기 다면체의 각 꼭지점까지 가장 가까운 근정점(近頂點, Vj)을 구하는 단계;
    (d) 상기 구 표면에서 상기 다면체의 각 면의 중심점까지 가장 가까운 근면점(近面點, Cn)을 구하는 단계;
    (e) 상기 근정점(Vj) 및 근면점(Cn)을 이용하여 상기 구 이미지를 여러 개의 직선(rectilinear) 투영 이미지로 변환하는 단계;
    (f) 상기 직선 투영 이미지로부터 키포인트(Key Point)와 디스크립터(Descriptor)로 이루어진 특징을 추출하는 단계;
    (g) 데이터베이스 내 원본 미술저작물의 특징과 상기 직선 투영 이미지로부터 추출한 특징 간 매칭된 키포인트를 찾는 단계; 및
    (h) 상기 매칭된 키포인트를 분석하여, 상기 데이터베이스 내의 원본 미술저작물이 상기 직선 투영 이미지에 존재하는지를 판별하는 단계; 를 포함하는 360도 파노라마 이미지 내의 미술저작물 인식 방법.
  2. 제1항에서,
    상기 (b)단계의 다면체는 32면체이고,
    상기 (e)단계는, 상기 구의 반지름(r) 및 상기 근정점(Vj)과 근면점(Cn)의 삼차원 좌표(x,y,z)를 이용하여 상기 구 표면에서 상기 근정점(Vj)의 위도각(φv = arcsin(z/r))과 경도각(θv = arctan2(y,x)), 상기 근면점(Cn)의 위도각(lat = arcsin(z/r))과 경도각(lon = rctan2(y,x))을 각각 구하고, 시야범위 0~120도 내에서 상기 위도각(φv) 중 가장 큰 값과 가장 작은 값의 차이(dv)를 구해 상기 직선 투영 이미지의 높이(hv)로 정하고, 시야범위 0~120도 내에서 상기 경도각(θv) 중 가장 큰 값과 가장 작은 값의 차이(dh)를 구해 상기 직선 투영 이미지의 너비(wv)로 정하고, 상기 근면점(Cn)의 위도각(lat)과 경도각(lon)에 의해 결정된 직선 투영 방향에 따라 상기 구 이미지를 직선 투영 이미지로 변환하는 것을 특징으로 하는 360도 파노라마 이미지 내의 미술저작물 인식 방법.
  3. 제1항에서,
    상기 (b)단계의 다면체는 12면체이고,
    상기 (e)단계는, 상기 12면체의 각 면을 구성하는 5각형의 인접하지 않은 두 꼭지점과 매칭되는 반지름이 r인 구의 두 근정점(Vf, Vg)을 기초로 상기 직선 투영 이미지의 너비(wv)와 높이(hv)를 각각
    Figure 112018020086144-pat00020
    로 계산하고, 상기 근면점(Cn)의 위도각(lat = arcsin(z/r))과 경도각(lon = rctan2(y,x))을 구하여, 상기 근면점(Cn)의 위도각(lat)과 경도각(lon)에 의해 결정된 직선 투영 방향에 따라 상기 구 이미지를 직선 투영 이미지로 변환하는 것을 특징으로 하는 360도 파노라마 이미지 내의 미술저작물 인식 방법.
  4. 제1항에서,
    상기 (b)단계의 다면체는 8면체이고,
    상기 (e)단계는, 직선 투영 방향 각을 남북 위도각 45도로 고정시키고, 상기 8면체의 적도(equator) 상에 인접한 두 점 사이의 각도를 상기 직선 투영 이미지의 너비(wv)로 대입하고, 상기 8면체의 극점과 적도상의 점 사이의 각도를 상기 직선 투영 이미지의 높이(hv)로 대입하여, 상기 구 이미지를 직선 투영 이미지로 변환하는 것을 특징으로 하는 360도 파노라마 이미지 내의 미술저작물 인식 방법.
  5. 제2항 내지 제4항 중 어느 한 항에서,
    상기 (e)단계는 상기 직선 투영 이미지의 너비(wv)와 높이(hv)를 구하고, 직선 투영 방향을 결정한 후 하기 [좌표계산식]에 따라 직선 투영 이미지 픽셀의 이차원 좌표 (tx, ty)를 구함으로써, 상기 구 이미지를 직선 투영 이미지로 변환하는 것을 특징으로 하는 360도 파노라마 이미지 내의 미술저작물 인식 방법.
    [좌표계산식]
    Figure 112018020086144-pat00021

    rhv :
    Figure 112018020086144-pat00022
    보다는 크고,
    Figure 112018020086144-pat00023
    보다는 작은 상대좌표값
    rwv :
    Figure 112018020086144-pat00024
    보다 크고,
    Figure 112018020086144-pat00025
    보다 작은 상대좌표값
    lat : 위도각
    lon : 경도각
  6. 제1항에서,
    상기 (f)단계는 SIFT(scale invariant feature transform), SURF(speeded-up robust features method), BRISK(binary robust invariant scalable keypoints), HOG(histograms of oriented gradient), MSER(maximally stable extremal regions), FAST(features from an accelerated segment test), FREAK(fast retina key point) 중 어느 하나 이상의 특징 추출 알고리즘이 적용되는 것을 특징으로 하는 360도 파노라마 이미지 내의 미술저작물 인식 방법.
  7. 제1항에서,
    상기 (g)단계는, 상기 원본 미술저작물의 특징이 상기 (f)단계에서 적용한 특징 추출 알고리즘과 동일한 알고리즘을 통해 추출되어 상기 데이터베이스에 저장된 것이고, 상기 원본 미술저작물과 직선 투영 이미지에서 각각 키포인트의 연결을 통해 특징 벡터를 생성하고, 상기 원본 미술저작물과 직선 투영 이미지에서 각각 상기 특징 벡터의 키포인트간 거리 및 벡터들의 길이 비례를 도출한 후 상기 원본 미술저작물과 직선 투영 이미지에서 각각 키포인트간 상대적 거리의 차이를 계산하여, 상기 원본 미술저작물의 키포인트간 거리값과 상기 직선 투영 이미지의 키포인트간 거리값의 차이가 기 설정된 임계값보다 작은 특징 벡터들을 매칭된 키포인트로 선택하는 것을 특징으로 하는 360도 파노라마 이미지 내의 미술저작물 인식 방법.
  8. 제1항에서,
    상기 (h)단계는 하기 [차이값 도출식]에 따라 상기 데이터베이스 내 원본 미술저작물과 상기 직선 투영 이미지 간에 매칭된 키포인트 모양 사이의 차이값(dsk)을 도출하고, 상기 차이값(dsk) 중 최소값을 찾아 상기 최소값이 도출되는 원본 미술저작물을 상기 직선 투영 이미지에 존재하는 미술저작물로 판별하는 것을 특징으로 하는 360도 파노라마 이미지 내의 미술저작물 인식 방법.
    [차이값 도출식]
    Figure 112017015120731-pat00026

    Pv : 원본 미술저작물 특징 벡터의 앞·뒤 벡터간 길이 비
    Pu : 직선 투영 이미지 특징 벡터의 앞·뒤 벡터간 길이 비
    m : 매칭된 키포인트의 수
KR1020170019952A 2017-02-14 2017-02-14 360도 파노라마 이미지 내의 미술저작물 인식 방법 KR101878668B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170019952A KR101878668B1 (ko) 2017-02-14 2017-02-14 360도 파노라마 이미지 내의 미술저작물 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170019952A KR101878668B1 (ko) 2017-02-14 2017-02-14 360도 파노라마 이미지 내의 미술저작물 인식 방법

Publications (1)

Publication Number Publication Date
KR101878668B1 true KR101878668B1 (ko) 2018-07-16

Family

ID=63048186

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170019952A KR101878668B1 (ko) 2017-02-14 2017-02-14 360도 파노라마 이미지 내의 미술저작물 인식 방법

Country Status (1)

Country Link
KR (1) KR101878668B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112002003A (zh) * 2020-08-26 2020-11-27 长春理工大学 虚拟3d场景的球面全景立体画面生成与交互式显示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090080801A (ko) * 2008-01-22 2009-07-27 주식회사 비티웍스 콘텐츠 관리 시스템 및 방법
US20090232413A1 (en) * 2008-03-11 2009-09-17 Messagelabs Limited Scanning images for pornography

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090080801A (ko) * 2008-01-22 2009-07-27 주식회사 비티웍스 콘텐츠 관리 시스템 및 방법
US20090232413A1 (en) * 2008-03-11 2009-09-17 Messagelabs Limited Scanning images for pornography

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112002003A (zh) * 2020-08-26 2020-11-27 长春理工大学 虚拟3d场景的球面全景立体画面生成与交互式显示方法

Similar Documents

Publication Publication Date Title
US7929728B2 (en) Method and apparatus for tracking a movable object
CN108734087B (zh) 物体自动识别方法以及系统、购物设备和存储介质
KR101548928B1 (ko) 불변적인 시각적 장면 및 객체 인식
Takacs et al. Fast computation of rotation-invariant image features by an approximate radial gradient transform
US20130051626A1 (en) Method And Apparatus For Object Pose Estimation
US8711210B2 (en) Facial recognition using a sphericity metric
WO2016050290A1 (en) Method and system for determining at least one property related to at least part of a real environment
JP2012043308A (ja) 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム
Konishi et al. Real-time 6D object pose estimation on CPU
WO2018161298A1 (zh) 图像篡改取证方法及装置
US20150199573A1 (en) Global Scene Descriptors for Matching Manhattan Scenes using Edge Maps Associated with Vanishing Points
US20120033873A1 (en) Method and device for determining a shape match in three dimensions
Muñoz et al. Fast 6D pose from a single RGB image using Cascaded Forests Templates
CN110363179A (zh) 地图获取方法、装置、电子设备以及存储介质
KR102550864B1 (ko) 개체 이미지의 패턴에 의한 개체 인식 식별 방법 및 시스템
KR101878668B1 (ko) 360도 파노라마 이미지 내의 미술저작물 인식 방법
Lotfian et al. View-invariant object recognition using homography constraints
Furnari et al. Affine region detectors on the fisheye domain
CN111179271B (zh) 一种基于检索匹配的物体角度信息标注方法及电子设备
KR101741761B1 (ko) 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법
JP6606340B2 (ja) 画像検出装置、画像検出方法およびプログラム
CN103034859A (zh) 一种获取姿势模型的方法及装置
Sarkar et al. Feature-augmented Trained Models for 6DOF Object Recognition and Camera Calibration.
Matusiak et al. Depth-based descriptor for matching keypoints in 3D scenes
KR101900797B1 (ko) 루빅스 큐브를 이용한 증강현실 제공 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant