KR101598399B1 - 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템 - Google Patents

로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템 Download PDF

Info

Publication number
KR101598399B1
KR101598399B1 KR1020150151455A KR20150151455A KR101598399B1 KR 101598399 B1 KR101598399 B1 KR 101598399B1 KR 1020150151455 A KR1020150151455 A KR 1020150151455A KR 20150151455 A KR20150151455 A KR 20150151455A KR 101598399 B1 KR101598399 B1 KR 101598399B1
Authority
KR
South Korea
Prior art keywords
image
user
camera
road
view
Prior art date
Application number
KR1020150151455A
Other languages
English (en)
Inventor
이종훈
황인규
유승범
김종회
Original Assignee
공간정보기술 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공간정보기술 주식회사 filed Critical 공간정보기술 주식회사
Priority to KR1020150151455A priority Critical patent/KR101598399B1/ko
Application granted granted Critical
Publication of KR101598399B1 publication Critical patent/KR101598399B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T7/004—
    • H04N5/23261—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 사용자로부터 입력받은 이미지 영상에 매칭되는 지점의 로드뷰 이미지를 배경으로 하여 리포토그래피를 수행하는 발명에 관한 것으로, 보다 자세하게는, 사용자로부터 이미지 영상을 취득하는 영상 입력부와, 상기 사용자로부터 입력된 이미지 영상에 포함된 메타데이터를 분석하여 위치 정보를 추출하고, 위치 정보에 매칭되는 로드뷰 이미지를 취득하는 로드뷰 이미지 취득부와, 사용자로부터 입력된 이미지 영상에 대해 캘리브레이션을 수행하는 영상 보정부와, 사용자로부터 입력된 이미지 영상에 대한 촬영 당시의 카메라의 자세를 추출하고, 추출된 카메라의 팬 각(θpan)과 틸트 각(θtilt)에 따라 상기 사용자로부터 입력된 이미지 영상의 뷰 포인트와 상기 로드뷰 이미지 취득부에서 취득한 로드뷰 이미지의 뷰 포인트를 맞추는 카메라 자세 추출부와, 사용자로부터 입력된 이미지 영상과 상기 로드뷰 이미지 취득부에서 취득한 로드뷰 이미지에서 카메라 파라미터에 불변하는 특징점을 추출하는 특징점 추출부와, 사용자로부터 입력된 이미지 영상의 특징점과 로드뷰 이미지 취득부에서 취득한 로드뷰 이미지의 특징점을 정합하여 리포토그래피를 수행하는 영상 정합부를 포함하는 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템을 제시한다.

Description

로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템{SYSTEM FOR COMBINING IMAGES USING COORDINATE INFORMATION OF ROADVIEW IMAGE}
본 발명은 측지측량 기술분야 중 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템에 관한 것으로 보다 자세하게는 사용자로부터 입력받은 이미지 영상을 과거 사진으로 하고 사용자로부터 입력받은 이미지 영상에 매칭되는 지점의 로드뷰 이미지를 배경으로 리포토그래피에 필요한 이미지 합성을 수행하는 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템에 관한 것이다.
도 1a 및 도 1b는 리포토그래피(Rephotography)의 촬영 예시를 설명하기 위한 도면으로서, 이를 참조하여 설명하면 리포토그래피는 과거의 사진으로부터 현재의 같은 장소와 겹쳐 찍는 사진 촬영기법을 말한다. 이러한 리포토그래피의 결과물을 통해 과거의 사진과 현재의 같은 장소에 겹쳐 보이게 함으로써 과거와 현재의 그 장소가 어떻게 변화하였는지 쉽게 볼 수 있다.
그러나, 리포토그래피를 수행하기 위해서는 필수적으로 과거에 촬영한 사진을 가지고 해당 사진에 보여지는 장소와 동일한 장소를 직접 찾아야 하는 번거로움이 있다. 또한, 장소를 찾았다고 할지라도 그 장소에 직접 방문해야 하는 불편함이 있다.
리포토그래피는 일종의 이미지 합성에 관한 기술로서, 그에 관하 설명은 위키피디아 사이트(https://en.wikipedia.org/wiki/Rephotography)에 잘 개시되어 있으며, 대한민국 공개특허공보 2004-0001300호에는 파노라마 영상이미지를 배경으로 하여 객체 영상이미지를 합성하는 기술이 개시되어 있다.
대한민국 공개특허번호 2004-0001300호(2004.01.07) "파노라마 영상이미지를 배경으로 하는 영상이미지합성편집 시스템 및 그 방법"
상기의 문제점을 해결하기 위하여 본 발명은 사용자로부터 입력받은 이미지 영상을 과거 사진으로 하고 사용자로부터 입력받은 이미지 영상에 매칭되는 지점의 로드뷰 이미지를 배경으로 리포토그래피에 필요한 이미지 합성을 수행함으로써 해당 장소에 직접 찾아갈 필요없이 자동으로 리포토그래피 작업이 수행 가능한 이미지 합성 시스템을 제공하는 것을 발명의 목적으로 한다.
상기와 같은 목적을 달성하기 위하여 창안된 본 발명은 사용자로부터 이미지 영상을 취득하는 영상 입력부와, 상기 사용자로부터 입력된 이미지 영상에 포함된 메타데이터를 분석하여 위치 정보를 추출하고, 상기 위치 정보에 매칭되는 로드뷰 이미지를 취득하는 로드뷰 이미지 취득부와, 상기 사용자로부터 입력된 이미지 영상에 대해 캘리브레이션을 수행하여 카메라 내부 파라미터를 제거하여 보정하는 영상 보정부와, 상기 사용자로부터 입력된 이미지 영상에 대한 촬영 당시의 카메라의 자세를 추출하고, 추출된 카메라의 팬 각(θpan)과 틸트 각(θtilt)에 따라 상기 사용자로부터 입력된 이미지 영상의 뷰 포인트와 상기 로드뷰 이미지 취득부에서 취득한 로드뷰 이미지의 뷰 포인트를 맞추는 카메라 자세 추출부와, 특징점 추출 알고리즘을 사용하여 상기 사용자로부터 입력된 이미지 영상과 상기 로드뷰 이미지 취득부에서 취득한 로드뷰 이미지에서 카메라 파라미터에 불변하는 특징점을 추출하는 특징점 추출부 및 상기 사용자로부터 입력된 이미지 영상의 특징점과 상기 로드뷰 이미지 취득부에서 취득한 로드뷰 이미지의 특징점을 정합하고, 상기 로드뷰 이미지 취득부에서 취득한 로드뷰 이미지를 배경으로 하여 그 위에 상기 사용자로부터 입력된 이미지 영상이 겹치도록 촬영하는 리포토그래피를 수행하는 영상 정합부;를 포함하는 것을 특징으로 하는 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템을 제공한다.
본 발명의 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템에 따르면, 기존에 구축된 로드뷰 이미지 데이터를 리포토그래피의 배경 화면으로 이용함으로써 해당 장소를 직접 찾아가지 않고도 리포토그래피를 수행할 수 있어 사용자로 하여금 편리성을 제공한다.
또한, 사용자는 일단 본인이 소유하고 있는 사진을 전송하기만 하면 이에 매칭되는 로드뷰 이미지가 자동으로 추출되고 특징점에 따라 로드뷰 이미지와 정합되어 리포토그래피가 수행되므로 작업에 소요되는 시간을 크게 단축시킬 수 있다.
도 1a 및 도 1b는 리포토그래피의 촬영 예시를 설명하기 위한 도면이다.
도 2는 본 발명에 따른 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 3은 카메라의 내부 파라미터 중 비대칭 계수를 설명하기 위한 도면이다.도 4는 본 발명에 포함된 카메라 이동장치의 내부 단면도이다.
도 4는 특징점을 추출하는데 사용되는 SIFT(Scale Invariant Feature Transform)와 DoG(Difference of Gaussian)를 설명하기 위한 도면이다.
도 5는 본 발명의 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템을 이용하여 리포토그래피를 수행하는 방법을 순서대로 나타낸 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 기술 등은 첨부되는 도면들과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 본 실시 예는 본 발명의 개시가 완전하도록 함과 더불어, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공될 수 있다.
본 명세서에서 사용된 용어들은 실시 예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 다수형도 포함한다. 또한, 본 명세서에서 언급된 구성요소, 단계, 동작은 하나 이상의 다른 구성요소, 단계, 동작의 존재 또는 추가를 배제하지 않는다.
한편, 도면의 구성요소는 반드시 축척에 따라 그려진 것은 아니고, 예컨대, 본 발명의 이해를 돕기 위해 도면의 일부 구성요소의 크기는 다른 구성요소에 비해 과장될 수 있다. 또한, 각 도면에 걸쳐 표시된 동일 참조 부호는 동일 구성 요소를 지칭하고, 도시의 간략화 및 명료화를 위해, 도면은 일반적 구성 방식을 도시하고 있다, 또한, 본 발명의 설명된 실시 예의 논의를 불필요하게 불명료하도록 하는 것을 피하기 위해 공지된 특징 및 기술의 상세한 설명은 생략될 수 있다.
이하에서는 본 발명을 구현하기 위한 구체적인 실시예에 대하여 도면을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명에 따른 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 2를 참조하면, 본 발명에 따른 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템(100)은 사용자의 이미지 영상으로부터 자동으로 리포토그래피(Rephotography)를 수행하는 시스템으로, 여기서 '리포토그래피'는 과거의 사진을 현재의 같은 장소와 겹쳐 찍는 사진 촬영기법을 말한다.
이를 수행하기 위한 본 발명은 영상 입력부(110), 로드뷰 이미지 취득부(120), 영상 보정부(130), 카메라 자세 추출부(140), 특징점 추출부(150), 그리고 영상 정합부(160)를 주요 구성으로 이루어진다.
상기 영상 입력부(110)는 사용자로부터 이미지 영상을 취득하는 기능을 수행한다. 이때, 사용자로부터 입력된 이미지 영상은 리포토그래피에 있어 현재의 장소에 겹쳐 찍을 과거 사진이 되고, 이를 취득하기 위한 방식으로는 전자파일 형태의 과거 사진을 사용자가 직접 유무선 인터넷망을 통해 온라인 상으로 전송하거나 오프라인 상으로 제공된 사용자의 과거 사진을 스캔하여 저장하는 방식 등 다양한 방식으로 구현될 수 있다.
상기 로드뷰 이미지 취득부(120)는 이와 같이 입력된 사용자의 이미지 영상을 분석하여 위치 정보를 추출하고, 추출된 위치 정보에 매칭되는 로드뷰 이미지를 취득하는 기능을 수행한다. 여기서, 위치 정보는 사용자의 이미지 영상에 나타나는 장소의 위도 및 경도 좌표값으로, 이는 이미지 영상에 포함된 메타데이터를 분석함으로써 취득할 수 있다. 구체적으로, 디지털 카메라에서는 사진을 찍어 기록할 때마다 카메라 자체의 정보와 함께 촬영 당시의 시간, 노출, 플래시 사용 여부, 해상도, 사진 크기 등의 사진 정보 즉, 메타데이터를 화상데이터와 같이 저장하게 되는데, GPS기능을 이용하여 사진의 메타데이터를 분석하면 사진이 촬영된 GPS좌표값 즉, 사용자의 이미지 영상에 나타나는 장소의 위도 및 경도 좌표값이 추출된다.
이처럼 사용자로부터 입력된 이미지 영상의 위치 정보가 추출되면, 상기 로드뷰 이미지 취득부(120)는 이를 기초로 상기 위치 정보에 매칭되는 로드뷰 이미지를 로드뷰 이미지에 관한 전체 데이터가 하드디스크 등의 형태로 저장된 로드뷰DB(121)로부터 취득한다. 물론, 이외에도 유무선 인터넷망을 통해 로드뷰 서비스 제공 사업자로부터 직접 제공받아 취득할 수도 있다.
상기 로드뷰 이미지는 다음(www.daum.net) 등의 포털 사이트에서 제공하는 지도 서비스 중의 하나로서, 지도상에 표시된 차도나 인도 등을 따라 360도 촬영된 영상이 파노라마 형태로 제공되는 영상을 말하며, 축소 및 확대뿐만 아니라 둘러보기 등의 기능이 제공된다. 이와 같은 로드뷰 이미지에는 GPS좌표값이 함께 제공되며, 이를 통해 상기 로드뷰 이미지 취득부(120)는 사용자로부터 입력된 이미지 영상에 포함된 GPS좌표값과 일치하는 지점에서 촬영된 로드뷰 이미지를 얻을 수 있고, 이러한 로드뷰 이미지는 리포토그래피에 있어서 과거 사진 즉 사용자로부터 입력된 이미지 영상의 현재 배경으로 이용된다.
상기 영상 보정부(130)는 사용자로부터 입력된 이미지 영상에 대해 캘리브레이션(calibration)을 수행한다.
카메라 영상은 3차원 공간의 점들을 2차원 이미지 평면에 투사함으로써 얻어지는데, 이러한 3D공간좌표와 2D영상좌표 사이의 변환관계 또는 이 변환관계를 설명하는 파라미터를 찾는 과정에 있어서 촬영에 사용되는 카메라 렌즈, 렌즈와 이미지 센서 간의 거리, 렌즈와 이미지 센서가 이루는 각도 등 카메라의 내부 요인을 제거해야만 정확한 변환이 가능하다. 이처럼, 광학계에 있어 캘리브레이션은 렌즈의 초점거리, 주점(principal point), 비대칭 계수(skew coefficien) 등의 카메라 내부 파라미터를 제거하는 과정을 말하며, 이를 통해 3차원 점들이 이미지 영상에 투영되는 위치를 정확하게 구할 수 있다.
이러한 캘리브레이션은 사용자의 이미지 영상에 있어 카메라의 자세를 추출하기 위한 전처리 과정으로서 진행되며, 본 발명은 여러 종류의 캘리브레이션 알고리즘 중에서 JeanYves Bouguet의 Camera Calbration Tool box Matlab을 이용하며, 여기서 카메라 캘리브레이션의 행렬식은 다음과 같다.
Figure 112015105495712-pat00001
ax,ay는 각각 초점거리이며, x0,y0는 이미지 주점(principal point)의 좌표, s는 이미지 센서의 cell array의 y축이 기울어진 정도 즉, 도 3에서 α에 해당하는 비대칭 계수(skew coefficien)가 된다. 수학식 1의 행렬식을 통한 캘리브레이션 과정에 의해 카메라 내부 요인의 파라미터 값이 추출되면 이를 제거하여 사용자의 이미지 영상을 보정한다.
상기 카메라 자세 추출부(140)는 이와 같이 보정된 이미지 영상에 대해 카메라의 자세 즉, 촬영 당시의 카메라의 위치 및 방향(팬, 틸트) 등 카메라 외부 파라미터를 추출하는 기능을 수행한다.
이러한 카메라 외부 파라미터는 카메라의 설치 높이와 방향 등 카메라와 외부 공간과의 기하학적 관계에 관련된 값으로, 카메라 고유의 내부 파라미터와 상관없이 촬영 당시 카메라가 어떤 위치에 어떤 방향으로 설치되었는지에 따라 달라지고, 월드 좌표계를 어떻게 정의했느냐에 따라 달라진다. 따라서, 카메라의 자세는 우선 상기 영상 보정부(130)에 의해 카메라 내부 파라미터가 구해지면 미리 설정된 3D월드좌표-2D영상좌표 매칭 쌍들을 이용하여 변환행렬을 구하는 것으로 구할 수 있다.
여기서, 변환행렬은 opencv의 solvePnP 함수와 Rodrigues 함수를 통해서 추출할 수 있다. 즉, 3D월드좌표와 2D영상좌표 쌍들을 solvePnP 함수에 넣어주면 카메라의 자세에 관한 정보가 추출되고, opencv에서는 회전변환행렬 표현과 Rodrigues 표현 사이의 상호 변환을 위해 Rodrigues 함수가 제공된다.
보다 구체적으로, solvePnP 함수는 기본적으로 3D월드좌표를 3D카메라 좌표로 변환시키는 변환정보(rvec, tvec)를 반환하며, 이로부터 이하에서 설명하는 회전변환행렬 R과 평행이동 벡터 T가 산출된다(여기서, solvePnP 함수가 반환하는 값 rvec은 회전변환에 대한 Rodrigues 표현이 된다.).
3차원 공간상의 한 점 P에 대한 월드 좌표를
Figure 112015105495712-pat00002
= (xw, yw, zw), 카메라 좌표계에서 봤을 때의 좌표를
Figure 112015105495712-pat00003
= (xc, yc, zc), solvePnP 함수가 반환하는 회전변환 행렬을 R, 평행이동 벡터를 T라고 가정하였을 때 이하의 수학식 2와 같은 변환 관계식이 성립된다.
Figure 112015105495712-pat00004
카메라의 자세(팬, 틸트)는 카메라의 광학축에 대한 월드좌표를 구하면 되는데, 자세정보를 구할 때에는 평행이동은 관계가 없는 요소이기 때문에 회전변환만을 고려하여 카메라 광학축 벡터
Figure 112015105495712-pat00005
= (0, 0, 1) 에 대한 월드좌표
Figure 112015105495712-pat00006
를 아래의 수학식 3과 같이 계산한다.
Figure 112015105495712-pat00007
이렇게 계산된 광학축에 대한 월드좌표를
Figure 112015105495712-pat00008
= (zx, zy, zz)라 하면 카메라의 팬 각(θpan)과 틸트 각(θtilt)은 다음의 수학식 4와 같이 계산된다(다만, 팬 각(θpan)과 틸트 각(θtilt)은 3D 좌표계 변환 방법에 따르며 설계한 월드 좌표계 정의에 따라 달라질 수 있다.).
Figure 112015105495712-pat00009
카메라의 회전을 피치(pitch), 롤(roll), 요(yaw) 관점에서 보면 틸트 각(θtilt)은 피치, 팬 각(θpan)은 요에 해당하고, 롤(roll) 각은 이하의 수학식 5에 따라 카메라 좌표계의 X축 벡터 Xc = (1, 0, 0)에 대한 월드좌표 벡터 Xw = (xx, xy, xz)와 월드좌표계의 X축을 Z축을 중심으로 팬 각(θpan)만큼 회전시킨 Xpan 사이의 회전각으로 계산된다.
Figure 112015105495712-pat00010
(단, sign() 함수는 () 안의 값이 양수면 1, 음수면 -1인 부호함수)
이처럼 사용자의 이미지 영상에 대한 카메라의 자세가 추출되면, 결과값으로 받아온 팬 각(θpan)과 틸트 각(θtilt)에 맞추어 로드뷰 이미지의 팬 각 및 틸트 각을 예컨대 포털사이트 다음(www.daum.net)에서 제공하는 다음 맵 API를 이용하여 설정하면 사용자로부터 입력된 이미지 영상의 뷰 포인트(View Point)는 로드뷰 이미지의 뷰 포인트에 비슷하게 맞춰지게 된다.
상기 특징점 추출부(150)는 서로의 뷰 포인트가 맞춰진 상태에서 사용자로부터 입력된 이미지 영상의 특징점과 상기 로드뷰 이미지 취득부(120)에서 취득한 로드뷰 이미지의 특징점을 추출하고 이 둘을 정합하는 기능을 한다. 리포토그래피는 배경으로 사용되는 풍경의 특정 위치에 과거 사진이 정확하게 매칭되게 겹친 다음 촬영하는 기법이므로, 사용자의 이미지 영상 및 로드뷰 이미지에 있어서 사진의 크기와 회전 등 카메라의 파라미터에 불변하는 특징점 예컨대, 건물이나 도로 등을 정합시키는 것은 매우 중요하다.
상기 특징점 추출부(150)는 사용자로부터 입력된 이미지 영상의 스케일(scale)과 로드뷰 이미지의 스케일이 서로 다를 것이기 때문에 스케일 변화에 ?감한 문제를 해결하기 위하여 특징점 추출 알고리즘으로서 SIFT(Scale Invariant Feature Transform)와 DoG(Difference of Gaussian)를 사용하여 특징점을 추출한다.
여기서, DoG는 가우시안 컨벌루션된 영상에 대한 2차 미분 즉, Log의 근사이며, 스케일에 불변하기 위해서 각 octave에 sigma 값을 다르게 영상에 적용한다. 따라서, 도 4에 도시된 것처럼 피라미드를 구성하여 각 octave를 위한 블러된 영상을 s+3 만큼 생성하고, DoG 영상들을 생성하기 위하여 인접한 스케일의 영상들을 차연산한다. DoG 영상에서 Local extrema를 검출하기 위해 위, 아래로 인접한 9개의 이웃들과 현재 스케일의 8개의 이웃들을 비교하여 만약 이웃들의 전부보다 크거나 작으면 후보 키포인트(keypoint)로 선택한다. 즉, 도 4에 도시된 것처럼, 영상에 대해 스케일을 다르게 한 가우시안 이미지들에 대해 DoG를 뽑고 DoG 영상에서 Exrema 점을 찾는 것이다. 이처럼, 키포인트 후보로 만들어진 점들 중 매칭을 함에 있어서 안정적이지 못한 점들을 제거하고, 키포인트를 연속공간에 위치시키기 위해 테일러(Taylor) 급수를 사용한다.
상기 영상 정합부(160)는 이와 같이 구해진 로드뷰 이미지의 특징점과 사용자로부터 입력된 이미지 영상의 특징점이 매칭되게 정합하고 로드뷰 이미지를 배경으로 하여 그 위에 사용자로부터 입력된 이미지 영상이 겹치도록 촬영하는 리포토그래피를 수행한다. 상기 영상 정합부(160)는 이를 코드화된 프로그램에 따라 자동으로 수행되게 할 수 있다.
이하에서는 본 발명의 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템을 이용하여 리포토그래피를 수행하는 방법에 대해 살펴보기로 한다.
도 5는 본 발명의 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템을 이용하여 리포토그래피를 수행하는 방법을 순서대로 나타낸 흐름도이다.
도 5를 참조하면, 본 발명의 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템을 이용하여 리포토그래피를 수행하는 방법은 먼저, 사용자로부터 리포토그래피에 있어 과거 사진으로 사용할 이미지 영상을 취득하는 단계를 진행한다(S110). 이는 사용자로부터 직접 전자 형태의 이미지 영상을 온라인 상으로 전송받거나 오프라인 상으로 제공된 과거 사진을 스캔하여 전자 형태로 업로드함으로써 취득할 수 있다.
그 다음, 메타데이터 분석을 통해 사용자로부터 입력된 이미지 영상에 대한 위치 정보를 추출하는 단계를 진행한다(S120). 그러면, 추출된 위치 정보에 매칭되는 로드뷰 이미지 예컨대, 사용자의 이미지 영상에 포함된 GPS좌표값과 일치하는 지점에서 촬영된 로드뷰 이미지가 존재하는지 판단하고(S130), 만약 존재하면 해당 로드뷰 이미지를 취득하고(S140), 존재하지 않으면 작업을 종료하도록 한다.
그 다음, 사용자의 이미지 영상에 대해 캘리브레이션(calibration)을 수행하여 렌즈의 초점거리, 주점(principal point), 비대칭 계수(skew coefficien) 등의 카메라 내부 요인에 따른 파라미터를 제거하고(S150), 카메라의 외부 파라미터 즉, 사용자의 이미지 영상을 촬영할 당시의 카메라의 위치 및 방향(팬, 틸트) 등 카메라의 자세를 추출하여 사용자로부터 입력된 이미지 영상의 뷰 포인트와 로드뷰 이미지의 뷰 포인트를 비슷하게 맞추는 단계를 진행한다(S160).
그 다음, 특징점 추출 알고리즘 예컨대, SIFT(Scale Invariant Feature Transform)와 DoG(Difference of Gaussian) 등을 사용하여 사용자의 이미지 영상과 로드뷰 이미지에서 크기 및 회전에 불변하는 특징점을 각각 추출하여 정합시키고(S170), 로드뷰 이미지를 배경으로 하여 그 위에 사용자의 이미지 영상이 겹치도록 촬영하는 리포토그래피를 수행한다(S180).
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한, 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내고 설명하는 것에 불과하며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉, 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시 예들은 본 발명을 실시하는데 있어 최선의 상태를 설명하기 위한 것이며, 본 발명과 같은 다른 발명을 이용하는데 당업계에 알려진 다른 상태로의 실시, 그리고 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서, 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
100: 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
110: 영상 입력부 120: 로드뷰 이미지 취득부
130: 영상 보정부 140: 카메라 자세 추출부
150: 특징점 추출부 160: 영상 정합부

Claims (5)

  1. 사용자로부터 이미지 영상을 취득하는 영상 입력부;
    상기 사용자로부터 입력된 이미지 영상의 위치 정보를 추출하고, 상기 위치 정보에 매칭되는 로드뷰 이미지를 취득하는 로드뷰 이미지 취득부;
    상기 사용자로부터 입력된 이미지 영상에 대해 캘리브레이션을 수행하여 카메라 내부 파라미터를 제거하여 보정하는 영상 보정부;
    상기 사용자로부터 입력된 이미지 영상에 대하여 카메라 내부 파라미터를 제거하여 보정된 후의 이미지 영상에 대한 촬영 당시의 카메라의 자세를 추출하고, 추출된 카메라의 팬 각(θpan)과 틸트 각(θtilt)에 따라 상기 사용자로부터 입력된 이미지 영상의 뷰 포인트와 상기 로드뷰 이미지 취득부에서 취득한 로드뷰 이미지의 뷰 포인트를 맞추는 카메라 자세 추출부;
    특징점 추출 알고리즘을 사용하여 상기 사용자로부터 입력된 이미지 영상에 대하여 카메라 내부 파라미터를 제거하여 보정된 후의 이미지 영상과 상기 로드뷰 이미지 취득부에서 취득한 로드뷰 이미지에서 카메라 파라미터에 불변하는 특징점을 추출하는 특징점 추출부; 및
    상기 사용자로부터 입력된 이미지 영상에 대하여 카메라 내부 파라미터를 제거하여 보정된 후의 이미지 영상의 특징점과 상기 로드뷰 이미지 취득부에서 취득한 로드뷰 이미지의 특징점을 정합하고, 상기 로드뷰 이미지 취득부에서 취득한 로드뷰 이미지를 배경으로 하여 그 위에 상기 보정된 이미지 영상이 겹치도록 촬영하는 리포토그래피를 수행하는 영상 정합부;를 포함하는 것을 특징으로 하는 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템.
  2. 제 1항에 있어서,
    상기 로드뷰 이미지 취득부는 상기 사용자의 이미지 영상에 포함된 메타데이터를 분석하여 위치 정보를 추출하는 것을 특징으로 하는 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템.
  3. 제 1항에 있어서,
    상기 캘리브레이션 수행 시 JeanYves Bouguet의 Camera Calbration Tool box Matlab을 사용하는 것을 특징으로 하는 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템.
  4. 제 1항에 있어서,
    상기 카메라 자세 추출부는 opencv의 solvePnP 함수와 Rodrigues 함수에 의한 변환행렬을 통해 상기 카메라의 팬 각(θpan)과 틸트 각(θtilt)을 구하는 것을 특징으로 하는 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템.
  5. 제 1항에 있어서,
    상기 특징점 추출 알고리즘으로서 SIFT(Scale Invariant Feature Transform)와 DoG(Difference of Gaussian)를 사용하는 것을 특징으로 하는 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템.
KR1020150151455A 2015-10-30 2015-10-30 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템 KR101598399B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150151455A KR101598399B1 (ko) 2015-10-30 2015-10-30 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150151455A KR101598399B1 (ko) 2015-10-30 2015-10-30 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템

Publications (1)

Publication Number Publication Date
KR101598399B1 true KR101598399B1 (ko) 2016-03-02

Family

ID=55582612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150151455A KR101598399B1 (ko) 2015-10-30 2015-10-30 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템

Country Status (1)

Country Link
KR (1) KR101598399B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101891087B1 (ko) * 2018-04-18 2018-08-23 재단법인 거창화강석연구센터 드론을 이용한 암반사면의 안정성 평가방법
WO2024085628A1 (ko) * 2022-10-18 2024-04-25 네이버랩스 주식회사 그라운드 컨트롤 포인트 자동 취득 방법 및 시스템
WO2024106833A1 (ko) * 2022-11-16 2024-05-23 네이버랩스 주식회사 빌딩 컨트롤 포인트 자동 취득 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040001300A (ko) 2002-06-27 2004-01-07 백승헌 파노라마 영상이미지를 배경으로 하는 영상이미지합성편집 시스템 및 그 방법
KR20110006360A (ko) * 2009-07-14 2011-01-20 한국생산기술연구원 3차원 입체 컬러 영상 획득을 위한 영상 정합 방법 및 장치
KR20120105761A (ko) * 2011-03-16 2012-09-26 한국전자통신연구원 외부 환경 가시화 장치 및 그 방법
KR20140054710A (ko) * 2012-10-29 2014-05-09 경북대학교 산학협력단 3차원 지도 생성 장치 및 3차원 지도 생성 방법
KR20150084574A (ko) * 2014-01-14 2015-07-22 한화테크윈 주식회사 영상 정합을 위한 특징점 샘플링 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040001300A (ko) 2002-06-27 2004-01-07 백승헌 파노라마 영상이미지를 배경으로 하는 영상이미지합성편집 시스템 및 그 방법
KR20110006360A (ko) * 2009-07-14 2011-01-20 한국생산기술연구원 3차원 입체 컬러 영상 획득을 위한 영상 정합 방법 및 장치
KR20120105761A (ko) * 2011-03-16 2012-09-26 한국전자통신연구원 외부 환경 가시화 장치 및 그 방법
KR20140054710A (ko) * 2012-10-29 2014-05-09 경북대학교 산학협력단 3차원 지도 생성 장치 및 3차원 지도 생성 방법
KR20150084574A (ko) * 2014-01-14 2015-07-22 한화테크윈 주식회사 영상 정합을 위한 특징점 샘플링 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101891087B1 (ko) * 2018-04-18 2018-08-23 재단법인 거창화강석연구센터 드론을 이용한 암반사면의 안정성 평가방법
WO2024085628A1 (ko) * 2022-10-18 2024-04-25 네이버랩스 주식회사 그라운드 컨트롤 포인트 자동 취득 방법 및 시스템
WO2024106833A1 (ko) * 2022-11-16 2024-05-23 네이버랩스 주식회사 빌딩 컨트롤 포인트 자동 취득 방법 및 시스템

Similar Documents

Publication Publication Date Title
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
US9530235B2 (en) Aligning panoramic imagery and aerial imagery
JP5075182B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
JP6397617B2 (ja) 空中又は衛星写真の影除去方法及びその装置
US10482571B2 (en) Dual fisheye, hemispherical image projection and stitching method, device and computer-readable medium
Kedzierski et al. Methodology of improvement of radiometric quality of images acquired from low altitudes
US11270414B2 (en) Method for generating a reduced-blur digital image
KR20100065918A (ko) 사진의 촬영 위치 및 방향 정보 태깅 방법과 그 장치
CN102496147A (zh) 图像处理装置、图像处理方法和图像处理系统
KR101598399B1 (ko) 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
EP2648157A1 (en) Method and device for transforming an image
WO2020133080A1 (zh) 物体定位方法、装置、计算机设备及存储介质
US11842504B2 (en) Systems and methods for image processing based on optimal transport and epipolar geometry
CN107146195B (zh) 球面图像拼接方法和装置
US10580208B2 (en) Ceiling map building method, ceiling map building device, and ceiling map building program
EP2879090B1 (en) Aligning ground based images and aerial imagery
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备
KR102107465B1 (ko) 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법
KR100953737B1 (ko) 이미지 매칭을 이용한 맨홀 도화 시스템
JP2004020398A (ja) 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体
KR101332164B1 (ko) 복수개의 카메라로부터 획득된 영상 정보로부터 커브 성분을 제거함으로써 영상 보정을 수행하는 3차원 공간데이터 보정 시스템
KR102628714B1 (ko) 모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 4