KR101868740B1 - 파노라마 이미지 생성 방법 및 장치 - Google Patents

파노라마 이미지 생성 방법 및 장치 Download PDF

Info

Publication number
KR101868740B1
KR101868740B1 KR1020170031922A KR20170031922A KR101868740B1 KR 101868740 B1 KR101868740 B1 KR 101868740B1 KR 1020170031922 A KR1020170031922 A KR 1020170031922A KR 20170031922 A KR20170031922 A KR 20170031922A KR 101868740 B1 KR101868740 B1 KR 101868740B1
Authority
KR
South Korea
Prior art keywords
image
axis
calculated
matrix
sensor
Prior art date
Application number
KR1020170031922A
Other languages
English (en)
Inventor
김상균
임용철
김민우
Original Assignee
명지대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 명지대학교 산학협력단 filed Critical 명지대학교 산학협력단
Application granted granted Critical
Publication of KR101868740B1 publication Critical patent/KR101868740B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

파노라마 이미지 생성 방법 및 장치가 개시된다. 파노라마 이미지 생성 방법은, 카메라를 이용하여 제1 이미지(image1) 및 제2 이미지(image2)를 획득하고, 기울기를 탐지하는 센서를 이용하여 각 이미지에 대한 센서 데이터를 획득하는 단계, 센서 데이터를 이용하여 각 이미지의 x축, y축 및 z축의 회전각을 산출하는 단계, 산출된 x축, y축 및 z축의 회전각을 이용하여 제1 이미지와 제2 이미지의 위치를 서로 맞추는 보정을 수행하여 각 이미지의 전처리를 수행하는 단계, 전처리된 각 이미지에서 특징점을 추출하는 단계 및 추출된 특징점을 이용하여 제1 이미지와 제2 이미지를 스티칭(stitiching)하는 단계를 포함한다.

Description

파노라마 이미지 생성 방법 및 장치{Apparatus and method for generating panorama image}
본 발명은 파노라마 이미지 생성 방법 및 장치에 관한 것이다.
최근 디스플레이의 대형화와 단일 디스플레이를 여러 대 연결한 형태의 디스플레이 환경이 제공됨에 따라 파노라마 콘텐츠가 폭넓게 사용되고 있다. 파노라마 콘텐츠란 사용자에게 현장감 제공을 극대화하기 위한 넓은 화각의 고화질 콘텐츠를 일컫는다. 파노라마 콘텐츠는 상공에서 지상을 한 눈에 조망할 수 있는 항공 파노라마, 전자지도에 GPS 좌표를 적용하여 전국 지상공간에 대한 실사기반 정보를 제공하는 거리 파노라마, 관광명소, 숙박, 음식점 등 특정 장소의 정보를 고해상도로 보여주는 포인트 파노라마 등 실생활의 여러 부분에서 사용되고 있으며, 광고, 교육, 군사, 공연, 관광 등 다양한 타 산업 분야에 활용도가 높다.
파노라마 콘텐츠 제작방법 중 하나로 PhotoSynth를 들 수 있다. PhotoSynth 시스템은 어떤 장소 또는 어떤 물체에 대하여 촬영된 수많은 사진을 유사성을 분석하여 3차원 파노라마 사진으로 재구성하는 시스템이다. 사용자가 자신이 원하는 사진을 스마트폰으로 촬영하고 PhotoSynth 사이트에 업로드하면, 자동으로 3차원 파노라마가 생성된다. PhotoSynth의 단점은 3차원 파노라마를 구성하기 위해 많은 사진이 필요하며, 구성 시 부족한 부분이 어디인지 미리 확인할 방도가 없다는 것이다.
다른 콘텐츠 제작방법으로 파노라마 카메라를 이용한 방법이 있다. 파노라마 카메라에는 렌즈회전식과 광각렌즈형의 두 가지 방식이 있다.
렌즈회전식의 파노라마 카메라는 렌즈를 회전시켜 촬영하며, 렌즈의 배면에 차광통이 있고, 필름에 대응하는 곳에 슬릿이 있어서 화면의 한쪽으로부터 노광하는 형식을 취한다. 셔터속도는 렌즈의 회전속도를 변화시키는 방법으로 바꾼다. 이 카메라에 의한 사진은 광축에 대하여 직각인 부분이 크게 찍히고, 기울어질수록 거리가 커져서 작게 찍히는 성질이 있다.
광각렌즈형의 파노라마 카메라는 초광각 렌즈를 사용함으로 렌즈의 회전 없이도 파노라마 사진의 촬영이 가능하다. 하지만, 지정되어 있는 각도 이외의 사진을 촬영할 수 없다는 단점이 있다.
기존의 카메라로도 파노라마 콘텐츠를 제작할 수 있다. 축을 지정하고 지정된 축을 기준으로 일정한 간격으로 겹치는 면이 존재하도록 사진을 촬영 한 후, 프로그램을 사용하여 붙이는 방법이 있다. 카메라를 사용하여 파노라마 콘텐츠를 제작하기 위해서는 기준 축을 지정해야 하는 단점이 있다.
한편, 세계 센서 시장은 2014년 795억 달러에서 연평균 7.9% 성장하여 2019년 1,161억 달러 규모로 TV시장과 비슷한 규모로 성장할 전망이다. 최근 사물인터넷(Internet of Things)의 발전으로 센서 데이터의 중요성 또한 높아졌다. 또한, 이미 대중화를 이룬 스마트폰은 내부에 조도센서, 가속도센서, 자기장센서 등 다양한 센서가 탑재되면서, 손쉽게 센서 데이터를 다룰 수 있게 되었다. 따라서, 스마트폰의 다양한 센서들을 활용하여 기발하면서도 유용한 어플리케이션을 개발하는 개발자들이 늘어나고 있다. 드라마 시청 중 마음에 드는 상품이 있으면, 스마트폰을 흔들어서 상품을 판매하는 쇼핑몰로 이동하는 서비스, 스마트폰의 X, Y, Z축 기울기로 움직임을 조정하는 게임 등이 대표적인 예이다.
본 발명은 기울기를 탐지하는 센서와 카메라를 탑재한 전자기기를 이용하여 동시에 수집된 센서 데이터와 이미지 데이터로부터 3가지 자유도(3 DoF: Degree of Freedom)에 강인한 파노라마 이미지를 생성하는 파노라마 이미지 생성 방법 및 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 기울기를 탐지하는 센서와 카메라를 탑재한 전자기기가 수행하는 파노라마 이미지 생성 방법이 개시된다.
본 발명의 실시예에 따른 파노라마 이미지 생성 방법은, 상기 카메라를 이용하여 제1 이미지(image1) 및 제2 이미지(image2)를 획득하고, 상기 기울기를 탐지하는 센서를 이용하여 각 이미지에 대한 센서 데이터를 획득하는 단계, 상기 센서 데이터를 이용하여 상기 각 이미지의 x축, y축 및 z축의 회전각을 산출하는 단계, 상기 산출된 x축, y축 및 z축의 회전각을 이용하여 상기 제1 이미지와 상기 제2 이미지의 위치를 서로 맞추는 보정을 수행하여 상기 각 이미지의 전처리를 수행하는 단계, 상기 전처리된 각 이미지에서 특징점을 추출하는 단계 및 상기 추출된 특징점을 이용하여 상기 제1 이미지와 상기 제2 이미지를 스티칭(stitiching)하는 단계를 포함한다.
상기 제1 이미지와 상기 제2 이미지를 스티칭하는 단계는, 상기 추출된 특징점 중에서 참인 점(inlier)을 매칭점으로 선별하는 단계, 상기 선별된 매칭점을 이용하여 호모그래피 행렬을 산출하는 단계 및 상기 산출된 호모그래피 행렬을 이용하여 상기 스티칭을 수행하여 파노라마 이미지를 생성하는 단계를 포함한다.
상기 기울기를 탐지하는 센서는 가속도 센서 및 자기장 센서를 포함하되, 상기 각 이미지에 대한 센서 데이터를 획득하는 단계는, 상기 자기장 센서에 의하여 측정된 자기장을 이용하여 방위각을 산출하고, 상기 가속도 센서에 의하여 측정된 가속도를 이용하여 상기 산출된 방위각을 보정하는 단계를 포함한다.
상기 x축 회전각(pitch)은 상기 전자기기의 경사도를 나타내고, y축 회전각(roll)은 상기 전자기기의 좌우 회전각, z축 회전각(azimuth)은 상기 전자기기의 방위각을 나타낸다.
상기 각 이미지의 전처리를 수행하는 단계는, 상기 제1 이미지와 상기 제2 이미지의 각 축에 대한 회전각 차이의 평균값을 산출하고, 산출된 평균값만큼 각 이미지를 회전시킴으로써, 상기 보정을 수행한다.
상기 회전각 차이 및 상기 회전각 차이의 평균값은 하기 수학식을 이용하여 산출된다.
Δpitch = image2.pitch - image1.pitch
Δroll = image2.roll - image1.roll
Δazimuth = image2.azimuth - image1.azimuth
avgpitch = Δpitch / NUMBER_OF_IMAGE
avgroll = Δroll / NUMBER_OF_IMAGE
avgazimuth = Δazimuth / NUMBER_OF_IMAGE
상기 각 이미지의 전처리를 수행하는 단계는, 하기 수학식의 변환행렬을 이용하여 상기 회전각 차이의 평균값만큼 3차원 회전시킨다.
Figure 112017025286353-pat00001
여기서, Mtrans는 변환행렬을 나타내고, P3d→2d는 2차원 투영행렬을 나타내고, Rxyz는 회전행렬을 나타내고, P2d→3d는 3차원 투영행렬을 나타냄
상기 3차원 투영행렬은 하기 수학식으로 산출된다.
Figure 112017025286353-pat00002
상기 회전행렬은 하기 수학식으로 산출된다.
Figure 112017025286353-pat00003
Figure 112017025286353-pat00004
상기 2차원 투영행렬은 하기 수학식으로 산출된다.
Figure 112017025286353-pat00005
본 발명의 다른 측면에 따르면, 파노라마 이미지 생성 장치가 개시된다.
본 발명의 실시예에 따른 파노라마 이미지 생성 장치는, 기울기를 탐지하는 센서, 카메라, 명령어를 저장하는 메모리 및 상기 명령어를 실행하는 프로세서를 포함하되, 상기 명령어는, 상기 카메라를 이용하여 제1 이미지(image1) 및 제2 이미지(image2)를 획득하고, 상기 기울기를 탐지하는 센서를 이용하여 각 이미지에 대한 센서 데이터를 획득하는 단계, 상기 센서 데이터를 이용하여 상기 각 이미지의 x축, y축 및 z축의 회전각을 산출하는 단계, 상기 산출된 x축, y축 및 z축의 회전각을 이용하여 상기 제1 이미지와 상기 제2 이미지의 위치를 서로 맞추는 보정을 수행하여 상기 각 이미지의 전처리를 수행하는 단계, 상기 전처리된 각 이미지에서 특징점을 추출하는 단계, 상기 추출된 특징점 중에서 참인 점(inlier)을 매칭점으로 선별하는 단계, 상기 선별된 매칭점을 이용하여 호모그래피 행렬을 산출하는 단계 및 상기 산출된 호모그래피 행렬을 이용하여 이미지 스티칭(stitching)을 수행하여 파노라마 이미지를 생성하는 단계를 포함하는 파노라마 이미지 생성 방법을 수행한다.
본 발명의 실시예에 따른 파노라마 이미지 생성 방법 및 장치는, 기울기를 탐지하는 센서와 카메라를 탑재한 전자기기를 이용하여 동시에 수집된 센서 데이터와 이미지 데이터로부터 3가지 자유도에 강인한 파노라마 이미지를 생성할 수 있다.
도 1은 본 발명의 실시예에 따른 파노라마 이미지 생성 방법을 나타낸 흐름도.
도 2 내지 도 19는 본 발명의 실시예에 따른 파노라마 이미지 생성 방법을 설명하기 위한 도면.
도 20은 본 발명의 실시예에 따른 동영상 스티칭 방법을 나타낸 흐름도.
도 21은 본 발명의 실시예에 따른 파노라마 이미지 생성 장치의 구성을 개략적으로 예시한 도면.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 실시예에 따른 파노라마 이미지 생성 방법을 나타낸 흐름도이고, 도 2 내지 도 19는 본 발명의 실시예에 따른 파노라마 이미지 생성 방법을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 파노라마 이미지 생성 방법은, 3가지 자유도에 강인한 파노라마 이미지를 생성하기 위하여, 기울기를 탐지하는 센서와 카메라를 탑재한 스마트폰과 같은 전자기기에 의하여 수행될 수 있다. 이하에서는, 발명의 이해와 설명의 편의를 위하여, 본 발명의 실시예에 따른 파노라마 이미지 생성 방법이 스마트폰에서 수행되는 것으로 가정하기로 한다.
한편, 3가지 자유도는 도 2에 도시된 바와 같이, 사진을 촬영할 때 수평으로 틀어진 정도(panning), 수직으로 틀어진 정도(tilting), 좌우로 회전한 정도(rolling)를 의미할 수 있다.
이하, 도 1을 중심으로 본 발명의 실시예에 따른 파노라마 이미지 생성 방법을 설명하되, 도 2 내지 도 18을 참조하기로 한다.
S110 단계에서, 두 장의 이미지와 센서 데이터를 동시에 획득하고, 센서 데이터를 이용하여 x축, y축 및 z축의 회전각을 산출한다.
예를 들어, 이미지와 센서 데이터를 동시에 수집하기 위하여 카메라와 센서를 탑재한 안드로이드 스마트폰이 사용될 수 있다. 안드로이드는 스마트폰을 비롯한 타블렛, 싱글 보드 컴퓨터 등의 기기에 가장 많이 탑재되어 있는 운영체제이며, 다양한 센서를 표준 API를 통해 지원한다. 안드로이드 가속도 센서의 표준 API는 원시 데이터에 대한 좌표계로 정의되어 있으므로, 본 발명의 실시예에서는 센서 데이터가 표준 단위계로 변환되어 사용되어야 한다.
예를 들어, 센서 데이터를 이용하여 x축, y축 및 z축의 회전각을 산출하기 위하여, 가속도 센서와 자기장 센서가 사용될 수 있다.
가속도 센서는 도 3에 도시된 바와 같은 스마트폰의 x, y, z축의 각 방향으로 가해지는 가속도를 측정한다. 안드로이드 스마트폰의 경우, 가속도 센서에 의하여 실측된 가속도값에서 중력값을 뺀 값을 측정값으로 산출한다. 만약, 스마트폰이 지면과 평행하게 누워있는 상태라면, z축에 가해지는 실제 가속도값은 중력값인 약 9.81m/s2이 될 수 있다.
그리고, 자기장 센서는 x, y, -z축 주변의 자기장을 측정하며, 측정된 지구 자기장을 이용하여 방위각이 탐지될 수 있다. 하지만, 실제 세계에서는 지구 자기장 이외에 자기장 센서에 영향을 미칠 수 있는 요소가 존재한다. 따라서, 정확한 방위각을 산출하기 위해서는, 가속도 센서를 이용한 보정이 수행되어야 한다. 즉, 안드로이드의 표준 API를 이용하여, 가속도 센서 데이터와 자기장 센서 데이터로부터 회전 행렬이 산출될 수 있으며, 획득된 회전 행렬을 이용하여 3개의 축의 회전각이 산출될 수 있다. 도 3에 도시된 바와 같이, x축 회전각(pitch)은 스마트폰의 경사도를 나타내고, y축 회전각(roll)은 스마트폰의 좌우 회전각, z축 회전각(azimuth)은 스마트폰의 방위각을 나타낸다.
일반적으로, 스마트폰은 카메라가 사용되는 상태에서 가속도 센서 및 자기장 센서로부터 센서 데이터를 수집할 수 없다. 따라서, 도 4에 도시된 바와 같이, 스마트폰은 사진 또는 동영상이 촬영되는 동시에 센서 데이터를 수집하고, 수집된 센서 데이터를 이용하여 각 축의 회전각을 산출하는 어플리케이션이 필요하다.
S120 단계에서, 산출된 x축, y축 및 z축의 회전각을 이용하여 획득된 두 장의 이미지에 대한 전처리를 수행한다. 즉, 3가지 자유도에 따라 회전된 두 장의 이미지를 서로 맞추는 보정을 수행할 수 있다.
우선, 산출된 x축, y축 및 z축의 회전각을 이용하여 원본 이미지를 전처리하기 위하여 스마트폰의 x, y, z축과 이미지의 x, y, z축을 일치시킨다.
예를 들어, 도 5에 도시된 바와 같이, 스마트폰과 스마트폰에 의하여 촬영된 이미지는 x축은 일치하나, y축과 z축이 반대이므로, 산출된 x축, y축 및 z축의 회전각을 촬영된 이미지의 해당 축에 적용시킨다.
그리고, 두 이미지의 각 축에 대한 회전각 차이의 평균값을 산출하고, 산출된 평균값만큼 각 이미지를 회전시킴으로써, 두 장의 이미지의 위치를 서로 맞추는 보정을 수행할 수 있다.
예를 들어, 제1 이미지(image1)과 제2 이미지(image2)의 각 축에 대한 회전각 차이값 및 회전각 차이의 평균값은 하기 수학식과 같이 산출할 수 있다.
Figure 112017025286353-pat00006
Figure 112017025286353-pat00007
본 발명의 실시예에서는, 각 이미지를 회전각 차이의 평균값만큼 3차원 회전시키기 위하여 하기 수학식과 같이 변환행렬을 산출한다.
Figure 112017025286353-pat00008
여기서, Mtrans는 변환행렬을 나타내고, P3d→2d는 2차원 투영행렬을 나타내고, Rxyz는 회전행렬을 나타내고, P2d→3d는 3차원 투영행렬을 나타낸다.
이와 같이 산출되는 변환행렬을 이용하여 각 이미지를 와핑(warping)함으로써, 각 이미지를 회전시켜 두 장의 이미지의 위치를 서로 맞추는 보정을 수행할 수 있다. 여기서, 와핑은 원래 이미지의 각 지점들의 위치를 바꾸어 이미지를 왜곡시키는 방법이다.
여기서, 2차원 이미지를 3차원으로 투영하는 3차원 투영행렬은 하기 수학식으로 산출될 수 있다.
Figure 112017025286353-pat00009
그리고, 3차원 이미지를 회전시키기 위한 회전행렬은 하기 수학식으로 산출될 수 있다.
Figure 112017025286353-pat00010
Figure 112017025286353-pat00011
그리고, 3차원 이미지를 2차원으로 투영하는 2차원 투영행렬은 하기 수학식으로 산출될 수 있다.
Figure 112017025286353-pat00012
예를 들어, 도 6은 촬영된 두 장의 원본 이미지와 각 이미지의 산출된 x축, y축 및 z축의 회전각의 예를 나타낸다. 도 6에 도시된 두 이미지의 산출된 x축, y축 및 z축의 회전각으로부터 두 이미지의 각 축에 대한 회전각 차이값을 산출하면 다음과 같다.
Figure 112017025286353-pat00013
그리고, 각 축에 대한 회전각 차이의 평균값은 약 7.505°(x축), 약 5.615°(y축), 약 5.43°(z축)이 된다.
그래서, x축을 기준으로 각 이미지를 약 7.505°, y축을 기준으로 약 5.615°, z축을 기준으로 약 5.43° 회전시키면, 도 7에 도시된 바와 같이, 각 원본 이미지를 3차원 회전시켜 위치가 서로 맞춰져 보정된 두 이미지를 생성할 수 있다.
S130 단계에서, 전처리된 각 이미지에서 특징점을 추출한다.
이미지에서 물체를 인식하거나 추적하여 매칭할 때, 특징점을 추출하여 이미지 매칭을 수행할 수 있다.
예를 들어, 도 8에서 좌측 이미지의 A, B에 대응하는 지점을 우측 이미지에서 찾을 때, A는 용이하게 찾을 수 있으나, B는 그렇지 않다. 즉, A와 같이 주위 배경과 확연하게 다르면서 식별이 용이한 지점을 특징점으로 추출하여 매칭을 수행하는 것이 유리하다.
따라서, A와 같은 조건을 가진 지점을 추출하는 알고리즘을 이용하여 특징점을 추출할 수 있다. 이와 같은 알고리즘에는 SIFT(Scale-Invariant Feature Transform) 알고리즘, SURF(Speed Up Robust Features) 알고리즘, CDVS(Compact Descriptor for Visual Search) 알고리즘 등이 있다.
도 9를 참조하면, SIFT 알고리즘은 특징점을 추출하기 전 스케일 공간을 만든다. 스케일 공간은 여러 옥타브(octave)로 이루어져 있으며, 옥타브는 이미지의 크기에 따라 구분된다. 옥타브가 바뀌면 이미지의 가로, 세로 크기가 각각 1/2씩 줄어든다. 옥타브는 내부가 s개의 가우시안 이미지로 이루어져 있다. 가우시안 이미지는 입력 이미지에 분산 σ를 갖는 가우시안 필터(Gaussian filter)를 컨볼루션(convolution)하여 생성할 수 있다.
극점(local extrema) 검출을 위해 이미지의 라플라시안(Laplacian)을 구해야 하지만, SIFT는 속도 문제로 DoG(Difference of Gaussian)를 이용하여 각 스케일 별 라플라시안을 근사적으로 계산한다. DoG는 스케일 공간 내 인접한 가우시안 영상의 차로 구성되어 있다. 그래서, 도 10에 도시된 바와 같이, DoG 영상에서 지역 극점을 검출하기 위해 인접한(위, 아래) 스케일의 9개의 이웃들과 현재 스케일의 8개의 이웃들을 비교한다. 비교 대상이 인접한 26개의 이웃들보다 크거나 작으면 후보 특징점으로 선택한다.
위 과정을 통해 특징점 후보를 찾은 후, 대비(contrast)가 너무 낮은 점이나 모서리(edge) 점 등 안정적이지 못한 점을 제거한다. 특징점 후보들의 위치를 0~1 사이의 값으로 정규화 한 후, 밝기 값이 0.03보다 작을 경우 해당 점을 후보군에서 제거한다. 모서리 점은 해리스 코너 감지(Harris corner detection) 알고리즘을 사용하여 제거한다.
SIFT 알고리즘은 회전 변화에도 강인한 특징점을 검출하기 위하여, 특징점이 어떤 방향으로 되어있는지 정해야 한다. 방향을 정할 특징점을 선택 후, 주변 16×16의 영역을 잡는다. 16×16의 이미지를 가우시안 블러(Gaussian blur) 처리를 한 다음 각 점에 대한 방향(direction)과 크기(magnitude)를 결정한다. 결정된 방향과 크기정보를 0~360°를 10° 단위로 쪼개어 만든 36개의 통에 집어넣는다. 예를 들어, 크기가 5이고 방향이 45°인 점은 4번째 통에 5의 값을 추가하게 된다. 이렇게 모든 특징점 후보에 대한 방향 히스토그램(orientation histogram)을 생성한다. 생성된 히스토그램의 최고점(peak)이 각 점에 대한 실제 방향이 되고, 최고점의 80% 이상인 점이 더 있다면 2개 이상의 방향을 가진 복수의 특징점으로 분류하게 된다. 즉, 동일한 지점에서 여러 개의 특징점이 존재할 수 있다.
각 특징점 후보에 대한 방향과 크기를 정한 후, 특징점 서술자(Keypoint Descriptor)를 생성한다. 특징점 서술자는 특징점에 대한 실질적인 특징이며, 특징점의 방향을 구하는 것과 같이 16×16의 영역에서 계산을 한다. 서술자를 구할 특징점을 중심으로 주변에 있는 그래디언트(gradient) 값들의 방향을 구한다. 주변의 그래디언트 값들에 가우시안 가중치 함수(Gaussian weighted function)를 곱해서 거리에 대한 영향을 구한다. 이후, 16×16의 영역을 4×4의 16개의 영역으로 분할해서 방향 히스토그램을 만들어 4×4의 특징점 서술자를 생성한다. 도 11은 8×8 영역에서 2×2 특징점 서술자 생성 예시를 나타낸다.
한편, SURF 알고리즘은 적분된 이미지를 사용하여 특징점과 영역을 찾는다. SURF 알고리즘은 특징점 추출을 위해 고속 헤이시안 검출기(Fast-Hessian Detector)를 사용하는데, 이때 적분 이미지를 사용한다. 적분 이미지란, 이미지를 적분하여 영역의 넓이 즉, 밝기 값의 합을 미리 구한 이미지이다. 적분 이미지를 생성한 후, 부분합을 구하면 빠른 속도로 밝기의 합을 구할 수 있다. SURF 알고리즘은 간편화한 검출기(Detector)와 서술자(Descriptor)를 사용하여 연산의 차원수를 줄인다. 특징점 검출을 위해 정확도가 높은 헤이지안 행렬(Hessian matrix)을 사용한다. 헤이지안 행렬식은 결정요인(determinant)이 최대값인 영역을 검출하고 이에 대한 스케일을 선택하는 과정에 사용된다. 또한, 스케일 공간 분석에 최적화 되어있는 가우시안(Gaussian)을 사용하여 잡음에 대한 강인함(robustness)를 높였다.
스케일 공간은 이미지의 스케일 변화의 강인한 특징점을 찾기 위해서 SIFT 알고리즘에서도 구현된다. SURF 알고리즘 역시 스케일 공간을 구현한다. 하지만, SIFT 알고리즘과는 다르게 적분 이미지를 사용한 스케일 공간을 구성하고, 옥타브를 생성할 때 이미지의 크기를 변경하는 대신 필터의 크기를 증가시켜 컨볼루션한다. 이 방법은 이미지 축소 시 발생하는 에일리어싱(aliasing)을 없애고, 반복 연산의 횟수를 크게 줄이는 등의 이득을 취할 수 있다.
한편, CDVS 알고리즘은 영상의 특징점을 추출하고, 특징점들 주변의 지역적 특징을 서술하는 지역적 영상 특징 기술로써, 이전의 표준 기술들과 차별성을 가지고 있다. 또한, 수많은 지역적 특징을 서술해야 하므로 압축 기술이 표준화에 중요한 부분을 차지하고 있다.
도 12는 CDVS 알고리즘의 흐름도를 나타낸다. CDVS 알고리즘으로 특징점을 추출하기 위해서는 우선, 원본 이미지를 전처리한다. 원본 이미지의 가로, 세로 크기가 640이 넘어가면, 640에 맞추어 리샘플링 한다. 리샘플링된 이미지에 ALP(A Low-degree Polynomial) 검출기를 사용하여 LoG(Laplacian of Gaussian) 필터링 결과의 근사치를 구한다. LoG 필터링의 방법은 가우시안 필터를 사용해 이미지를 부드럽게(smoothing) 만든 후, 점의 변화율을 구하기 위해 이미지를 미분한다. 미분된 이미지에 라플라시안 필터를 컨벌루션하여 극값을 구할 수 있다. 이렇게 구해진 극값들 즉, 특징점 후보들을 비교하여 비슷한 특징점을 제거한다. 다음은 비슷한 특징점을 구분하는 조건이다.
(1) x, y 좌표 차이가 2 미만이다.
(2) 분산 σ의 차이가 0.4 미만이다.
(3) LoG 필터링 결과의 부호가 같다.
(4) LoG 필터링 결과의 절대값이 작다.
위 조건을 모두 만족한다면, 비슷한 특징점으로 간주하고 제거한다. 남은 특징점 후보들은 회전에 강인하기 위하여 주방향을 정해야한다. 주방향을 정하는 방법은 SIFT 알고리즘과 비슷한 방법을 사용한다. 그래디언트의 크기와 방향을 36개의 통에 넣어 방향 히스토그램을 만든 후, 최고점과 최고점의 80% 이상인 점들을 특징점으로 분류한다.
분류된 특징점에 대한 특징을 서술하기 위하여, CDVS 알고리즘에서도 서술자를 생성한다. CDVS 기술의 지역 특징점 서술자는 SIFT 알고리즘의 서술자와 같은 방법으로 생성한다. 또한, CDVS 기술은 전역 특징점 서술자를 생성한다. 전역 특징점 서술자의 개수는 상위 K개의 지역 특징점 서술자들을 집계(aggregation)하여 생성한다. 만약, K가 250을 초과할 경우, 나머지 지역 특징점들은 제외하고, 250개의 지역 특징점 서술자만 집계한다. 전역 특징점 서술자를 생성하기 위하여, PCA(Principal Component Analysis) 알고리즘으로 128차원의 지역 특징점 서술자를 32차원으로 줄인다. 32차원의 지역 특징점 서술자를 피셔 벡터 집계(Fisher Vector Aggregation) 알고리즘으로 집계한 후, 32비트로 이진화하여 저장한다.
CDVS 알고리즘은 SIFT, SURF와 다르게 특징점의 위치를 압축하여 저장한다. 압축의 과정은 3×3 크기로 이미지를 나눈다. 나누어진 3×3 영역에 특징점이 포함되어 있으면 1, 그렇지 않으면 0을 갖는 이진행렬을 생성한다. 이진행렬의 값이 1인 영역의 특징점 개수를 저장하는 벡터를 생성한다. 그 후, 이미지 중심부터 시계방향으로 돌면서 이진행렬과 특징점의 개수를 저장한 벡터를 산술 부호화한다.
S140 단계에서, 두 이미지의 특징점들 중에서 매칭점을 선별한다.
예를 들어, 도 13은 각 이미지에서 CDVS 알고리즘을 이용하여 추출된 특징점들을 나타낸다. 여기서, 빨간색으로 표시된 지점은 참인 점(inlier)을 나타내고, 파란색으로 표시된 지점은 이상점(outlier)을 나타낸다.
즉, 추출된 특징점들은 도 13에 도시된 바와 같이 매칭에 필요 없는 이상점들을 포함한다. 이상점은 데이터의 분포에서 현저하게 벗어난 값을 가진다. 이러한 이상점을 제거하기 위하여, RANSAC 알고리즘이 사용될 수 있다.
RANSAC 알고리즘은 무작위로 샘플 데이터들을 선별한 후 컨센서스(consensus)가 최대로 형성된 모델을 선택한다. 즉, 가장 많은 수의 데이터들로부터 참인 점(inlier)이라 지지를 받는 모델을 선택한다.
RANSAC 알고리즘의 전제조건은 다음과 같다.
(1) 데이터는 참인 점을 포함하고 있다고 가정한다.
(2) 데이터가 수학적 모델 인자들로 표현이 가능하다고 가정한다.
(3) 해당 모델에 맞지 않는 이상점이 존재한다.
(4) 참인 점이 이상점으로 잘못 판명 날 수도 있다.
(5) 주어진 참인 점들이 최적임을 예측하는 알고리즘이 존재한다고 가정한다.
도 14는 RANSAC 알고리즘의 예를 나타낸다. 도 14에 도시된 데이터는 직선에 맞는 데이터가 존재하므로, 조건 (1)에 부합하고, 직선에 맞지 않는 데이터가 존재하므로 조건 (3)을 만족시킨다. LSM(Least Square Method) 알고리즘을 사용하여 직선을 예측할 수 있으므로 조건 (2) 또한 만족시킨다. 그리고, 선택된 참인 점들이 충분히 많을 경우 참인 점들만 사용하여 계산 가능한 모델을 생성할 수 있기에 조건 (5)를 만족시킨다.
RANSAC 알고리즘은 추정(hypothesis)과 검사(verification) 단계를 여러 번 반복수행하여 참인 점을 구한다. 추정 단계에서는 원본 데이터에서 임의로 N개의 샘플 데이터를 선택하고, 선택된 데이터들을 정상적인 데이터로 보고 모델 파라미터를 예측한다. 검사 단계에서는 원본 데이터가 예측된 모델에 맞는지 검사한 후, 만약 원본 데이터가 유효한 데이터인 경우 유효 데이터 집합에 더한다. 예측된 모델이 잘 맞는다면 유효한 데이터 집합으로부터 새로운 모델을 구하게 된다.
추출된 이미지의 특징점 또한 RANSAC 알고리즘의 전제조건을 만족시킨다. 두 이미지의 특징점 서술자를 비교하여 같다고 판단되는 참인 점이 존재하므로 조건 (1)을 만족시키며, 그 외의 경우 이상점으로 판단하여 조건 (3)을 만족시킨다. 또한, 도 14와 같이 직선을 예측할 수 있으므로 조건 (2)에 부합한다. 그리고, 선택된 참인 점들이 충분히 많을 경우 참인 점들만 사용하여 계산 가능한 모델을 생성할 수 있기에 조건 (5)를 만족시킨다.
도 15는 RANSAC 알고리즘을 사용하여, CDVS 특징점의 참인 점을 추출하고, 참인 점으로부터 예측한 직선의 예를 나타낸다.
S150 단계에서, 각 이미지의 참인 특징점들로 선별된 매칭점을 이용하여 호모그래피 행렬을 산출한다.
서로 다른 이미지에 대하여 한 이미지가 다른 이미지에 투영된다면, 두 이미지들의 관계를 호모그래피(Homograpy)로 표현할 수 있다. 호모그래피는 2차원 이미지 사이의 관계를 설명할 수 있는 가장 일반적인 모델이며, 2차원 평면을 임의의 사각형으로 매핑시킬 수 있는 변환이다. 호모그래피는 투영변환(projective transformation)이라고도 한다.
호모그래피에서는 추정이 잘못되었을 때 뒤집힘(reflection), 뒤틀림(twist), 오목(concave) 현상이 발생할 수 있다. 도 16은 원본 이미지(1)와 호모그래피의 뒤집힘(2), 뒤틀림(3), 오목(4) 이미지를 보여준다.
이와 같은 이상 현상을 판단하는 방법은 다음과 같다.
산출된 호모그래피 행렬은 하기 수학식으로 정의될 수 있다.
Figure 112017025286353-pat00014
하기 수학식과 같은 조건을 만족하면, 이상 현상이 발생한 것으로 판단할 수 있다.
Figure 112017025286353-pat00015
여기서, D는 2×2 부분행렬의 행렬식 값이다. sx는 x축 스케일 인자이며, x축 단위벡터의 스케일 변화를 의미한다. sy는 y축 스케일 인자이다. P는 원근(perspective) 정도이고, 사각형이 사다리꼴 형태로 변한 정도를 나타낸다. 만약, D<0를 만족한다면, 점들 사이의 회전 순서가 지켜지지 않았음을 의미한다. 또한, sx, sy가 0.1보다 작다면 원래 크기에 비해 너무 작아졌음을 의미하고, 4보다 크다면 원래 크기에 비해 너무 커졌음을 의미한다. P가 0이면 사각형의 원근변화가 나타나지 않았음을 나타내며, 0.002보다 커졌을 경우 원근변화가 심하게 일어났다는 것을 뜻한다. 위 값들은 적절하게 수정하여 사용할 수 있다.
S160 단계에서, 산출된 호모그래피 행렬을 이용하여 이미지 스티칭(stitching)을 수행하여 파노라마 이미지를 생성한다. 즉, 산출된 호모그래피 행렬을 이용하여 두 이미지 중 하나의 이미지를 와핑(warping)시키고, 외핑된 이미지와 나머지 이미지를 합하여 이미지 스티칭을 수행할 수 있다.
도 17은 원본 이미지(좌측)와 와핑된 이미지(우측)의 예를 나타내며, 도 18은 본 발명의 실시예에 따른 이미지 전처리없이 이미지 스티칭을 수행한 결과를 나타내고, 도 19는 본 발명의 실시예에 따른 이미지 전처리 후, 이미지 스티칭을 수행한 결과를 나타낸다.
도 18에 도시된 빨간색 원 부분을 보면, 스티칭이 매끄럽게 되지 않은 것을 볼 수 있다. 이는 호모그래피가 정확하게 추정되지 않아 발생한 결과이다. 반면에, 본 발명의 실시예에 따른 파노라마 이미지 생성 방법이 적용되면, 특징점 추출 전에 이미지를 3차원 회전하는 전처리 과정을 거친 후, 이미지 스티칭 과정을 진행한 결과가 도 19와 같이 나타날 수 있다.
S170 단계에서, 생성된 파노라마 이미지가 출력 및 저장된다.
도 20은 본 발명의 실시예에 따른 동영상 스티칭 방법을 나타낸 흐름도이다.
동영상은 연속적인 이미지의 집합이다. 동영상을 스티칭하기 위해서는 동영상의 프레임별 이미지를 추출하여야 한다. 추출된 이미지들은 4장의 이미지를 스티칭하는 방법을 사용하여 스티칭 한 후, 스티칭 된 결과 이미지들을 합하여 하나의 동영상으로 만든다.
도 20을 참조하면, 동영상 스티칭 방법은 다음과 같다.
(1) 스티칭을 하기 위하여, 겹치는 부분이 있는 두 개의 동영상을 입력으로 받는다.
(2) 각각의 동영상에서 프레임 이미지를 추출한다.
(3) 4장의 이미지 스티칭을 사용하여 추출된 프레임 이미지를 모두 스티칭 한다.
(4) 스티칭 된 프레임을 동영상으로 재구성한다.
(5) 스티칭 결과 동영상을 저장한다.
동영상 스티칭 방법에서도, 전술한 이미지 전처리를 이미지 스티칭 전에 수행한다.
도 21은 본 발명의 실시예에 따른 파노라마 이미지 생성 장치의 구성을 개략적으로 예시한 도면이다.
도 21을 참조하면, 본 발명의 실시예에 따른 파노라마 이미지 생성 장치는 프로세서(10), 메모리(20), 통신부(30) 및 인터페이스(40)를 포함한다.
프로세서(10)는 메모리(20)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다.
메모리(20)는 다양한 유형의 휘발성 또는 비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리(20)는 ROM, RAM 등을 포함할 수 있다.
예를 들어, 메모리(20)는 본 발명의 실시예에 따른 파노라마 이미지 생성 방법을 수행하는 명령어들을 저장할 수 있다.
통신부(30)는 통신망을 통해 다른 장치들과 데이터를 송수신하기 위한 수단이다.
인터페이스부(40)는 네트워크에 접속하기 위한 네트워크 인터페이스 및 사용자 인터페이스를 포함할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
10: 프로세서
20: 메모리
30: 통신부
40: 인터페이스부

Claims (11)

  1. 기울기를 탐지하는 센서와 카메라를 탑재한 전자기기가 수행하는 파노라마 이미지 생성 방법에 있어서,
    상기 카메라를 이용하여 제1 이미지(image1) 및 제2 이미지(image2)를 획득하고, 상기 기울기를 탐지하는 센서를 이용하여 각 이미지에 대한 센서 데이터를 획득하는 단계;
    상기 센서 데이터를 이용하여 상기 각 이미지의 x축, y축 및 z축의 회전각을 산출하는 단계;
    상기 산출된 x축, y축 및 z축의 회전각을 이용하여 상기 제1 이미지와 상기 제2 이미지의 위치를 서로 맞추는 보정을 수행하여 상기 각 이미지의 전처리를 수행하는 단계;
    상기 전처리된 각 이미지에서 특징점을 추출하는 단계; 및
    상기 추출된 특징점을 이용하여 상기 제1 이미지와 상기 제2 이미지를 스티칭(stitiching)하는 단계를 포함하되,
    상기 각 이미지의 전처리를 수행하는 단계는,
    상기 제1 이미지와 상기 제2 이미지의 각 축에 대한 회전각 차이의 평균값을 산출하고, 산출된 평균값만큼 각 이미지를 회전시킴으로써, 상기 보정을 수행하고,
    하기 수학식의 변환행렬을 이용하여 상기 회전각 차이의 평균값만큼 3차원 회전시키는 것을 특징으로 하는 파노라마 이미지 생성 방법.
    Figure 112018012730680-pat00042

    여기서, Mtrans는 변환행렬을 나타내고, P3d→2d는 2차원 투영행렬을 나타내고, Rxyz는 회전행렬을 나타내고, P2d→3d는 3차원 투영행렬을 나타냄
  2. 제1항에 있어서,
    상기 제1 이미지와 상기 제2 이미지를 스티칭하는 단계는,
    상기 추출된 특징점 중에서 참인 점(inlier)을 매칭점으로 선별하는 단계;
    상기 선별된 매칭점을 이용하여 호모그래피 행렬을 산출하는 단계; 및
    상기 산출된 호모그래피 행렬을 이용하여 상기 스티칭을 수행하여 파노라마 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 파노라마 이미지 생성 방법.
  3. 제1항에 있어서,
    상기 기울기를 탐지하는 센서는 가속도 센서 및 자기장 센서를 포함하되,
    상기 각 이미지에 대한 센서 데이터를 획득하는 단계는,
    상기 자기장 센서에 의하여 측정된 자기장을 이용하여 방위각을 산출하고, 상기 가속도 센서에 의하여 측정된 가속도를 이용하여 상기 산출된 방위각을 보정하는 단계를 포함하는 것을 특징으로 하는 파노라마 이미지 생성 방법.
  4. 제1항에 있어서,
    상기 x축 회전각(pitch)은 상기 전자기기의 경사도를 나타내고, y축 회전각(roll)은 상기 전자기기의 좌우 회전각, z축 회전각(azimuth)은 상기 전자기기의 방위각을 나타내는 것을 특징으로 하는 파노라마 이미지 생성 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 회전각 차이 및 상기 회전각 차이의 평균값은 하기 수학식을 이용하여 산출되는 것을 특징으로 하는 파노라마 이미지 생성 방법.
    Δpitch = image2.pitch - image1.pitch
    Δroll = image2.roll - image1.roll
    Δazimuth = image2.azimuth - image1.azimuth
    avgpitch = Δpitch / NUMBER_OF_IMAGE
    avgroll = Δroll / NUMBER_OF_IMAGE
    avgazimuth = Δazimuth / NUMBER_OF_IMAGE
  7. 삭제
  8. 제1항에 있어서,
    상기 3차원 투영행렬은 하기 수학식으로 산출되는 것을 특징으로 하는 파노라마 이미지 생성 방법.
    Figure 112018012730680-pat00017

  9. 제1항에 있어서,
    상기 회전행렬은 하기 수학식으로 산출되는 것을 특징으로 하는 파노라마 이미지 생성 방법.
    Figure 112018012730680-pat00018

    Figure 112018012730680-pat00019

  10. 제1항에 있어서,
    상기 2차원 투영행렬은 하기 수학식으로 산출되는 것을 특징으로 하는 파노라마 이미지 생성 방법.
    Figure 112018012730680-pat00020

  11. 파노라마 이미지 생성 장치에 있어서,
    기울기를 탐지하는 센서;
    카메라;
    명령어를 저장하는 메모리; 및
    상기 명령어를 실행하는 프로세서를 포함하되,
    상기 명령어는,
    상기 카메라를 이용하여 제1 이미지(image1) 및 제2 이미지(image2)를 획득하고, 상기 기울기를 탐지하는 센서를 이용하여 각 이미지에 대한 센서 데이터를 획득하는 단계;
    상기 센서 데이터를 이용하여 상기 각 이미지의 x축, y축 및 z축의 회전각을 산출하는 단계;
    상기 산출된 x축, y축 및 z축의 회전각을 이용하여 상기 제1 이미지와 상기 제2 이미지의 위치를 서로 맞추는 보정을 수행하여 상기 각 이미지의 전처리를 수행하는 단계;
    상기 전처리된 각 이미지에서 특징점을 추출하는 단계; 및
    상기 추출된 특징점을 이용하여 상기 제1 이미지와 상기 제2 이미지를 스티칭(stitiching)하는 단계를 포함하는 파노라마 이미지 생성 방법을 수행하고,
    상기 각 이미지의 전처리를 수행하는 단계는,
    상기 제1 이미지와 상기 제2 이미지의 각 축에 대한 회전각 차이의 평균값을 산출하고, 산출된 평균값만큼 각 이미지를 회전시킴으로써, 상기 보정을 수행하고,
    하기 수학식의 변환행렬을 이용하여 상기 회전각 차이의 평균값만큼 3차원 회전시키는 것을 특징으로 하는 파노라마 이미지 생성 장치.
    Figure 112018012730680-pat00043

    여기서, Mtrans는 변환행렬을 나타내고, P3d→2d는 2차원 투영행렬을 나타내고, Rxyz는 회전행렬을 나타내고, P2d→3d는 3차원 투영행렬을 나타냄


KR1020170031922A 2017-01-04 2017-03-14 파노라마 이미지 생성 방법 및 장치 KR101868740B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170001508 2017-01-04
KR1020170001508 2017-01-04

Publications (1)

Publication Number Publication Date
KR101868740B1 true KR101868740B1 (ko) 2018-06-18

Family

ID=62767764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170031922A KR101868740B1 (ko) 2017-01-04 2017-03-14 파노라마 이미지 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101868740B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200137569A (ko) * 2019-05-30 2020-12-09 주식회사 라온버드 영상 기반의 유동인구 측정 시스템 및 방법
KR20210153235A (ko) 2020-06-10 2021-12-17 중앙대학교 산학협력단 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램
CN114125178A (zh) * 2021-11-16 2022-03-01 阿里巴巴达摩院(杭州)科技有限公司 视频拼接方法、设备和可读介质
CN116246085A (zh) * 2023-03-07 2023-06-09 北京甲板智慧科技有限公司 用于ar望远镜的方位角生成方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100751097B1 (ko) * 2006-04-04 2007-08-21 엠텍비젼 주식회사 가속도 센서를 이용한 파노라마 영상 촬상 장치
KR100946707B1 (ko) * 2009-09-16 2010-03-12 (주)올라웍스 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20110021507A (ko) * 2009-08-26 2011-03-04 주식회사 다음커뮤니케이션 파노라마 이미지에서 업체 정보를 얻는 방법
KR20110052124A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기
JP2012209895A (ja) * 2011-03-30 2012-10-25 Fujitsu Ltd ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
US20130113875A1 (en) * 2010-06-30 2013-05-09 Fujifilm Corporation Stereoscopic panorama image synthesizing device, multi-eye imaging device and stereoscopic panorama image synthesizing method
KR20140117120A (ko) * 2013-03-26 2014-10-07 삼성전자주식회사 방위각 보정 방법 및 그 전자 장치
CN105678722A (zh) * 2014-11-20 2016-06-15 深圳英飞拓科技股份有限公司 一种全景拼接图像弯曲矫正方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100751097B1 (ko) * 2006-04-04 2007-08-21 엠텍비젼 주식회사 가속도 센서를 이용한 파노라마 영상 촬상 장치
KR20110021507A (ko) * 2009-08-26 2011-03-04 주식회사 다음커뮤니케이션 파노라마 이미지에서 업체 정보를 얻는 방법
KR100946707B1 (ko) * 2009-09-16 2010-03-12 (주)올라웍스 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20110052124A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기
US20130113875A1 (en) * 2010-06-30 2013-05-09 Fujifilm Corporation Stereoscopic panorama image synthesizing device, multi-eye imaging device and stereoscopic panorama image synthesizing method
JP2012209895A (ja) * 2011-03-30 2012-10-25 Fujitsu Ltd ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
KR20140117120A (ko) * 2013-03-26 2014-10-07 삼성전자주식회사 방위각 보정 방법 및 그 전자 장치
CN105678722A (zh) * 2014-11-20 2016-06-15 深圳英飞拓科技股份有限公司 一种全景拼接图像弯曲矫正方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
효율적인 호모그래피 추정을 통한 파노라마 영상 생성, 전자공학회논문지 제50권 제8호(2013.08.)* *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200137569A (ko) * 2019-05-30 2020-12-09 주식회사 라온버드 영상 기반의 유동인구 측정 시스템 및 방법
KR102227562B1 (ko) * 2019-05-30 2021-03-12 주식회사 라온버드 영상 기반의 유동인구 측정 시스템 및 방법
KR20210153235A (ko) 2020-06-10 2021-12-17 중앙대학교 산학협력단 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램
CN114125178A (zh) * 2021-11-16 2022-03-01 阿里巴巴达摩院(杭州)科技有限公司 视频拼接方法、设备和可读介质
CN116246085A (zh) * 2023-03-07 2023-06-09 北京甲板智慧科技有限公司 用于ar望远镜的方位角生成方法和装置
CN116246085B (zh) * 2023-03-07 2024-01-30 北京甲板智慧科技有限公司 用于ar望远镜的方位角生成方法和装置

Similar Documents

Publication Publication Date Title
US10887519B2 (en) Method, system and apparatus for stabilising frames of a captured video sequence
Adel et al. Image stitching based on feature extraction techniques: a survey
US10121229B2 (en) Self-portrait enhancement techniques
KR101175097B1 (ko) 파노라마 영상 생성 방법
US8417060B2 (en) Methods for multi-point descriptors for image registrations
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
US20120300020A1 (en) Real-time self-localization from panoramic images
Lee et al. Simultaneous localization, mapping and deblurring
KR101868740B1 (ko) 파노라마 이미지 생성 방법 및 장치
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
US10121262B2 (en) Method, system and apparatus for determining alignment data
Park et al. Beyond GPS: Determining the camera viewing direction of a geotagged image
JP2016212784A (ja) 画像処理装置、画像処理方法
CN111598777A (zh) 天空云图的处理方法、计算机设备和可读存储介质
US20200160560A1 (en) Method, system and apparatus for stabilising frames of a captured video sequence
Pulli et al. Mobile panoramic imaging system
US8520950B2 (en) Image processing device, image processing method, program, and integrated circuit
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
Ha et al. Embedded panoramic mosaic system using auto-shot interface
Dasari et al. A joint visual-inertial image registration for mobile HDR imaging
US9135715B1 (en) Local feature cameras for structure from motion (SFM) problems with generalized cameras
Ventura et al. Structure and motion in urban environments using upright panoramas
JP6080424B2 (ja) 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置
WO2019080257A1 (zh) 电子装置、车祸现场全景图像展示方法和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant