KR20200030205A - 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법 - Google Patents

방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법 Download PDF

Info

Publication number
KR20200030205A
KR20200030205A KR1020180108760A KR20180108760A KR20200030205A KR 20200030205 A KR20200030205 A KR 20200030205A KR 1020180108760 A KR1020180108760 A KR 1020180108760A KR 20180108760 A KR20180108760 A KR 20180108760A KR 20200030205 A KR20200030205 A KR 20200030205A
Authority
KR
South Korea
Prior art keywords
epipolar
image
matrix
right images
photo
Prior art date
Application number
KR1020180108760A
Other languages
English (en)
Other versions
KR102107465B1 (ko
Inventor
김의명
최한승
홍송표
Original Assignee
남서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 남서울대학교 산학협력단 filed Critical 남서울대학교 산학협력단
Priority to KR1020180108760A priority Critical patent/KR102107465B1/ko
Publication of KR20200030205A publication Critical patent/KR20200030205A/ko
Application granted granted Critical
Publication of KR102107465B1 publication Critical patent/KR102107465B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 방법에 관한 것으로, 항공사진측량용 카메라, 드론에 장착된 카메라 또는 실내에 위치하는 카메라를 통해 수집되는 좌우영상에 대한 상호표정요소 또는 외부표정요소를 결정하고, 상기 결정한 상호표정요소 또는 외부표정요소를 토대로 좌우영상의 3차원 사진좌표축과 에피폴라 영상의 3차원 사진좌표축 간의 회전관계를 방향코사인을 통해 계산하여 3차원 회전행렬을 생성함으로써, 상기 생성한 3차원 회전행렬을 통해 상기 좌우영상에 대한 에피폴라 영상을 효과적으로 제작할 수 있도록 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 방법에 관한 것이다.

Description

방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법{SYSTEM AND METHOD FOR GENERATING EPIPOLAR IMAGES BY USING DIRECTION COSINE}
본 발명은 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법에 관한 것으로, 더욱 상세하게는 항공사진측량용 카메라, 드론에 장착된 카메라 또는 실내에 위치하는 카메라를 통해 수집되는 좌우영상에 대한 상호표정요소 또는 외부표정요소를 결정하고, 상기 결정한 상호표정요소 또는 외부표정요소를 토대로 좌우영상의 3차원 사진좌표축과 에피폴라 영상의 3차원 사진좌표축 간의 회전관계를 방향코사인을 통해 계산하여 3차원 회전행렬을 생성하여, 상기 생성한 3차원 회전행렬을 통해 상기 좌우영상에 대한 에피폴라 영상을 효과적으로 제작할 수 있도록 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법에 관한 것이다.
최근 영상처리 기술의 급격한 발전과 과거 필름 방식의 카메라 또한 고품질, 고해상도의 디지털 카메라로 교체되면서 상기 카메라를 통해 촬영되는 영상을 토대로 항공측량지도와 같은 입체적인 공간영상의 제작이 가능하게 되었다.
그러나 카메라로부터 촬영되는 영상은 실제 공간에 존재하는 3차원 객체가 2차원 영상으로 전환되면서 상기 3차원 객체에 대한 깊이 정보를 잃어버리기 때문에 하나의 영상으로 정확한 공간영상을 제작하기에는 그 한계가 있다.
이에 따라 최근에는 스테레오 카메라(stereo camera)를 통해 좌우영상을 동시에 획득하여, 상기 획득한 좌영상과 우영상의 위치 관계에 대한 에피폴라 기하학(epipolar geometry)을 토대로 에피폴라 영상을 생성하여 정확한 공간영상을 제작할 수 있도록 하는 에피폴라 영상 제작 방법이 개발되어 상용화되고 있다.
일반적으로 에피폴라 영상은 상기 좌영상과 우영상을 토대로 객체의 3차원 위치를 결정하거나 입체적인 지도와 같은 공간영상을 제작하기 위해서 필수적으로 생성하여야 하는 것으로, 상기 좌영상과 우영상에서 y-시차를 제거한 영상을 의미한다.
종래의 에피폴라 영상 제작 방법은 좌우영상의 회전각을 포함하는 상호표정요소와 카메라의 위치와 자세를 포함하는 외부표정요소를 이용하여 에피폴라 영상을 제작하는 것이었다.
상호표정요소를 이용한 종래의 에피폴라 영상 제작 방법은, 카메라로부터 입력되는 좌우영상에서 특징점 정합을 수행한 후, 상기 상호표정요소를 추정함으로써, 에피폴라 영상을 제작하는 방법이다.
그러나 상호표정요소를 이용한 종래의 에피폴라 영상 제작 방법은 객체에 대한 가상의 3차원 위치를 결정할 수 있으나, 축척이 고려되지 않고 상기 좌영상 또는 우영상 중 어느 영상이 기준(즉, 데이텀(datum))이 되는지를 알 수가 없기 때문에 상기 객체에 대한 절대적인 3차원 위치로 나타낼 수 없어 정확한 에피폴라 영상을 제작할 수 없는 문제점이 있었다.
또한 외부표정요소를 이용한 종래의 에피폴라 영상 제작 방법은, 카메라의 위치와 자세를 나타내는 외부표정요소를 결정한 후, 좌우영상 간의 기선과 좌우영상의 회전각을 개별적으로 계산함으로써, 에피폴라 영상을 제작하는 방법이다.
그러나 상기 외부표정요소를 이용한 종래의 에피폴라 영상 제작 방법은, 좌우영상의 회전각이 클 경우, 에피폴라 영상을 제작하기 위한 좌표축의 직교성이 보장되지 않기 때문에 정확한 에피폴라 영상을 제작하기에는 그 한계가 있었다.
이에 본 발명은 좌우영상에 대한 상호표정요소 또는 외부표정요소를 이용하여 상기 좌우영상에 대한 좌표축과 상기 좌우영상에 대한 에피폴라 좌표축을 생성하고, 방향코사인을 이용하여 상기 좌우영상에 대한 좌표축과 상기 에피폴라 영상에 대한 좌표축 간의 회전관계를 계산함으로써, 상기 좌우영상으로부터 에피폴라 영상을 효율적으로 제작함과 동시에 에피폴라 영상의 정밀도를 향상시킬 수 있도록 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 방법을 제시하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국등록특허 제1595406호(2016.02.12.)는 디지털항공사진 기반의 임분고 추정 시스템 및 그 방법에 관한 것으로, 디지털항공사진으로부터 에피폴라 영상을 생성한 후, 상기 생성한 에피폴라 영상으로부터 수치표면모델(DSM, digital surface model)을 산출하고, 상기 산출한 수치표면모델을 토대로 수치지면모델(DEM, digital elevation model)을 추출한 후, 상기 산출한 수치표면모델과 수치지면모델의 차분연산을 통해 지형지물의 높이 정보를 포함하는 정규수치표면모델(nDSM, normalized digital surface model)을 생성하는 디지털항공사진 기반의 임분고 추정 시스템 및 그 방법에 관한 것이다.
상기 선행기술은 디지털항공사진에 내부표정, 상호표정 및 절대표정 과정을 거쳐 실세계 좌표를 부여한 스테레오 영상을 생성하고, 상기 스테레오 영상에 대한 항공삼각측량을 거쳐 에피폴라 영상을 생성하는 방법에 대해 기재하고 있다.
이에 반하여 본 발명은 좌우영상으로부터 객체의 3차원 위치를 결정하기 위해 상호표정요소 또는 외부표정요소를 결정하고, 상기 결정한 상호표정요소 또는 외부표정요소를 토대로 좌우영상 및 에피폴라 영상에 대한 사진좌표축을 생성한 후, 상기 생성한 좌우영상 및 에피폴라 영상에 대한 사진좌표축 사이의 회전관계를 방향코사인을 이용하여 계산함으로써, 상기 좌우영상을 에피폴라 영상으로 정확하게 제작할 수 있도록 하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사하고 있지 않다.
또한 한국등록특허 제1614874호(2016.04.18.)는 지능형 3차원 씨씨티브이 카메라 영상 처리장치에 관한 것으로, 2개의 카메라(즉, 씨씨티브이)를 통해 촬영된 좌측 영상과 우측 영상을 포함한 스테레오 영상을 토대로 좌측 영상의 특정 지점에 대해 우측 영상의 동일한 특정 지점을 검색하여 좌측 영상을 기준으로 3차원 스테레오 영상의 수직 시차를 보정함으로써, 영상 내 사물에 대한 3차원 영상으로 처리할 수 있도록 하는 지능형 씨씨티브이 카메라 영상 처리장치에 관한 것이다.
즉, 상기 선행기술은 좌측 영상과 우측 영상 간의 픽셀 간 검색을 통해 좌측 영상의 특정 지점에 대하여 상기 우측 영상의 동일한 특정 지점을 검색함으로써, 상기 좌측 영상을 기준으로 스테레오 영상의 수직 시차를 보정하여 상기 스테레오 영상에 포함된 객체에 대한 3차원 영상을 생성할 수 있도록 하는 것이다.
반면에 본 발명은 카메라로부터 입력되는 좌우영상을 정합하여 결정한 상호표정요소, 또는 상기 카메라의 위치와 자세를 나타내는 외부표정요소를 토대로 생성한 좌우영상에 대한 좌표축과 에피폴라 영상에 대한 좌표축 및 방향코사인을 통해 상기 좌우영상으로부터 에피폴라 영상으로 한 번에 제작할 수 있는 변환행렬을 생성함으로써, 상기 좌우영상에 대한 에피폴라 영상을 정확하고 효율적으로 제작할 수 있도록 하는 것으로, 상기 선행기술은 본 발명의 이러한 기술적 특징을 시사 또는 암시하고 있지 않다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작 된 것으로서, 카메라로부터 입력되는 좌우영상에 대한 상호표정요소 또는 상기 카메라의 위치나 자세를 나타내는 외부표정요소를 결정하여, 좌우영상에 대한 좌표축과 에피폴라 영상에 대한 좌표축을 생성하고, 상기 생성한 좌우영상 및 에피폴라 영상에 대한 좌표축과 방향코사인을 이용하여 상기 좌우영상에 대한 에피폴라 영상을 한 번에 제작할 수 있도록 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은 상기 결정한 상호표정요소 또는 외부표정요소 및 상기 방향코사인을 이용하여 상기 좌우영상으로부터 에피폴라 영상으로 한 번에 제작하기 위한 에피폴라 행렬을 생성하는 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 상기 에피폴라 행렬을 생성함으로써, 상기 좌우영상에서 에피폴라 영상으로 변환할 때 각각의 픽셀마다 반복하여 계산할 필요 없이 신속하고 효율적으로 상기 에피폴라 영상을 제작하고, 상기 제작한 에피폴라 영상을 토대로 입체적인 공간영상을 제작할 수 있도록 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
본 발명의 일 실시예에 따른 방향코사인을 이용한 에피폴라 영상 제작 시스템은, 카메라로부터 특정 객체를 촬영한 좌우영상을 입력받는 좌우영상 입력부, 상기 입력되는 좌우영상에 대한 상호표정요소 또는 외부표정요소를 결정하는 표정요소 결정부, 상기 결정한 상호표정요소 또는 외부표정요소를 이용하여 생성되는 좌우영상의 3차원 사진좌표축에서 에피폴라 영상의 3차원 사진좌표축으로 회전하는 3차원 회전행렬을 생성하고, 상기 생성한 3차원 회전행렬을 토대로 상기 좌우영상에 대한 에피폴라 영상을 제작하는 에피폴라 영상 처리부를 포함하며, 상기 생성한 3차원 회전행렬은 방향코사인을 이용하여 계산되는 것을 특징으로 한다.
또한 상기 상호표정요소는, 상기 좌영상에 대한 회전각과 우영상에 대한 회전각을 포함하며, 상기 외부표정요소는, 상기 카메라의 위치 및 상기 좌영상 및 우영상에 대한 촬영각도를 포함하는 것을 특징으로 한다.
또한 상기 에피폴라 영상 처리부는, 상기 생성한 좌우영상의 사진좌표축 및 좌우영상의 투영중심을 이용하여 y-시차가 제거된 에피폴라 영상의 3차원 사진좌표축을 생성하는 3차원 에피폴라 사진좌표축 생성부, 상기 부등각사상변환을 이용하여 좌우영상에 대한 영상좌표를 사진좌표로 변환하기 위한 사진좌표 변환행렬을 생성하는 사진좌표 변환행렬 생성부, 상기 사진좌표 변환행렬을 통해 변환되는 좌우영상의 사진좌표를 에피폴라 영상에 대한 3차원 사진좌표로 변환하기 하기 3차원 회전행렬을 생성하는 3차원 회전행렬 생성부, 상기 3차원 회전행렬을 통해 변환되는 에피폴라 영상에 대한 3차원 사진좌표를 2차원 사진좌표로 변환하기 위한 투영행렬을 생성하는 투영행렬 생성부, 상기 투영행렬을 통해 변환되는 에피폴라 영상의 2차원 사진좌표를 에피폴라 영상의 영상좌표로 변환하기 위한 축 변환 행렬과 축척 및 이동행렬을 생성하는 축 변환 행렬/축척 및 이동행렬 생성부를 더 포함하는 것을 특징으로 한다.
또한 상기 투영행렬은, 상기 좌우영상의 초점거리를 평균함으로써 생성되고, 상기 축 변환 행렬은, 사진좌표계와 영상좌표계 사이의 y축이 상호 반대 방향으로 형성되는 특성을 이용하여 생성되며, 상기 축척 및 이동행렬은, 상기 에피폴라 영상좌표로 변환한 에피폴라 영상의 크기를 설정하고, 상기 에피폴라 영상좌표로 변환하는 과정에서 생성되는 음(-)의 좌표를 제거하기 위해 생성되는 것을 특징으로 한다.
또한 상기 에피폴라 영상 처리부는, 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬, 축척 및 이동행렬을 토대로 상기 좌우영상으로부터 에피폴라 영상을 한 번에 제작하기 위한 에피폴라 행렬을 생성하는 에피폴라 행렬 생성부, 상기 좌우영상에 상기 생성한 에피폴라 행렬을 적용하여 상기 좌우영상에 대한 에피폴라 영상을 각각 제작하는 에피폴라 영상 제작부를 더 포함하며, 상기 에피폴라 행렬은 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬, 축척 및 이동행렬을 순차적으로 곱함으로써, 생성되는 것을 특징으로 한다.
또한 상기 에피폴라 영상 제작부는, 상기 생성한 에피폴라 행렬에 대한 역행렬을 이용하여, 상기 제작한 에피폴라 영상에 대한 영상좌표를 상기 좌우영상에 대한 영상좌표로 변환하고, 상기 변환한 좌우영상에 대한 영상좌표의 밝기값(픽셀값)을 상기 제작한 에피폴라 영상에 대한 영상좌표의 밝기값으로 각각 적용하는 것을 더 포함하는 것을 특징으로 한다.
또한 상기 방향코사인을 이용한 에피폴라 영상 제작 시스템은, 카메라 캘리브레이션(calibration)을 통해 상기 카메라의 초점거리, 주점위치와 방사왜곡 및 접선왜곡에 대한 매개변수를 결정함으로써, 상기 좌우영상에 발생될 수 있는 카메라 왜곡을 보정하는 카메라 왜곡 보정부를 더 포함하는 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 방향코사인을 이용한 에피폴라 영상 제작 방법은, 카메라로부터 특정 객체를 촬영한 좌우영상을 입력받는 좌우영상 입력 단계, 상기 입력되는 좌우영상에 대한 상호표정요소 또는 외부표정요소를 결정하는 표정요소 결정 단계, 상기 결정한 상호표정요소 또는 외부표정요소를 이용하여 생성되는 좌우영상의 3차원 사진좌표축에서 에피폴라 영상의 3차원 사진좌표축으로 회전하는 3차원 회전행렬을 생성하고, 상기 생성한 3차원 회전행렬을 토대로 상기 좌우영상에 대한 에피폴라 영상을 제작하는 에피폴라 영상 처리 단계를 포함하며, 상기 생성한 3차원 회전행렬은 방향코사인을 이용하여 계산되는 것을 특징으로 한다.
또한 상기 에피폴라 영상 처리 단계는, 상기 생성한 좌우영상의 사진좌표축 및 좌우영상의 투영중심을 이용하여 y-시차가 제거된 에피폴라 영상의 3차원 사진좌표축을 생성하는 3차원 에피폴라 사진좌표축 생성 단계, 상기 부등각사상변환을 이용하여 좌우영상에 대한 영상좌표를 사진좌표로 변환하기 위한 사진좌표 변환행렬을 생성하는 사진좌표 변환행렬 생성 단계, 상기 사진좌표 변환행렬을 통해 변환되는 좌우영상의 사진좌표를 에피폴라 영상에 대한 3차원 사진좌표로 변환하기 위한 3차원 회전행렬을 생성하는 3차원 회전행렬 생성 단계, 상기 3차원 회전행렬을 통해 변환되는 에피폴라 영상에 대한 3차원 사진좌표를 2차원 사진좌표로 변환하기 위한 투영행렬을 생성하는 투영행렬 생성 단계, 상기 투영행렬을 통해 변환되는 에피폴라 영상의 2차원 사진좌표를 에피폴라 영상의 영상좌표로 변환하기 위한 축 변환 행렬과 축척 및 이동행렬을 생성하는 축 변환 행렬/축척 및 이동행렬 생성 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 에피폴라 영상 처리 단계는, 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬, 축척 및 이동행렬을 토대로 상기 좌우영상으로부터 에피폴라 영상을 한 번에 제작하기 위한 에피폴라 행렬을 생성하는 에피폴라 행렬 생성 단계, 상기 좌우영상에 상기 생성한 에피폴라 행렬을 적용하여 상기 좌우영상에 대한 에피폴라 영상을 각각 제작하는 에피폴라 영상 제작 단계를 더 포함하며, 상기 에피폴라 행렬은 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬, 축척 및 이동행렬을 순차적으로 곱함으로써, 생성되는 것을 특징으로 한다.
또한 상기 에피폴라 영상 제작 단계는, 상기 생성한 에피폴라 행렬에 대한 역행렬을 이용하여, 상기 제작한 에피폴라 영상에 대한 영상좌표를 상기 좌우영상에 대한 영상좌표로 변환하고, 상기 변환한 좌우영상에 대한 영상좌표의 밝기값(픽셀값)을 상기 제작한 에피폴라 영상에 대한 영상좌표의 밝기값으로 각각 적용하는 것을 더 포함하는 것을 특징으로 한다.
또한 상기 방향코사인을 이용한 에피폴라 영상 제작 방법은, 카메라 캘리브레이션을 통해 상기 카메라의 초점거리, 주점위치와 방사왜곡 및 접선왜곡에 대한 매개변수를 결정함으로써, 상기 좌우영상에 발생될 수 있는 카메라 왜곡을 보정하는 카메라 왜곡 보정 단계를 더 포함하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 방법은, 카메라로부터 입력되는 좌우영상을 정합하여 계산한 상호표정요소 또는 카메라의 위치와 자세를 나타내는 외부표정요소를 결정한 후, 상기 결정한 상호표정요소 또는 외부표정요소, 방향코사인을 이용하여, 좌우영상의 영상좌표로부터 에피폴라 영상의 영상좌표로 간편하게 변환함으로써, 상기 좌우영상에 대한 에피폴라 영상을 신속하고 효과적으로 제작할 수 있도록 하는 효과가 있다.
또한 본 발명은 상기 상호표정요소 또는 외부표정요소와 방향코사인을 토대로 상기 변환 시 적용할 에피폴라 행렬을 생성하고, 상기 생성한 에피폴라 행렬을 통해 상기 좌우영상을 에피폴라 영상으로 한 번에 변환할 수 있도록 하는 효과가 있다. 즉, 상기 좌우영상을 입력하는 특정 카메라에 대한 에피폴라 행렬을 생성해 놓으면, 이후 입력되는 좌우영상으로부터 상기 에피폴라 행렬을 이용하여 신속하고 정확하게 에피폴라 영상을 제작할 수 있도록 하는 것이 가능하다.
도 1은 본 발명의 일 실시예에 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 방법을 개략적으로 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 에피폴라 영상을 제작하는 방법을 설명하기 위해 에피폴라 기하학을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 에피폴라 영상의 픽셀값을 결정하는 과정을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 드론을 이용하여 촬영한 원영상에서 에피폴라 영상을 제작한 결과를 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 방향코사인을 이용한 에피폴라 영상 제작 시스템의 구성을 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 에피폴라 영상 처리부의 구성을 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따른 방향코사인을 이용한 에피폴라 영상 제작 과정을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예를 상세히 설명하기로 한다. 본 발명의 명세서 또는 출원에 개시되어 있는 일 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의 되어 있지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 아니한다.
도 1은 본 발명의 일 실시예에 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 방법을 개략적으로 설명하기 위해 나타낸 개념도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 방향코사인을 이용한 에피폴라 영상 제작 시스템(100)(이하, 에피폴라 영상 제작 시스템이라 칭함)은 드론과 같은 무인비행체(200)에 탑재된 카메라(300)로부터 좌우영상을 포함한 영상데이터를 입력받아 상기 좌우영상에 대한 에피폴라 영상을 각각 제작하는 기능을 수행한다.
즉, 상기 에피폴라 영상 제작 시스템(100)은 상기 좌우영상에서 종시차(즉, y-시차)를 제거하여, 상기 좌우영상에 포함된 객체에 대한 3차원 위치를 결정하거나, 지도 등과 같은 입체적인 공간영상을 생성하기 위한 토대가 되는 에피폴라 영상을 제작하는 것이다.
한편 도 1에는 상기 좌우영상은 무인비행체(200)에 탑재되는 카메라(300)로부터 입력되는 것으로 나타나 있으나, 비행기에 탑재된 항공사진측량용 카메라 또는 실내에 위치하는 카메라를 통해 촬영되어 입력될 수 있다.
또한 상기 카메라(300)는 두 개의 카메라로 구성되거나, 스테레오 카메라로 구성될 수 있으며, 상기 에피폴라 영상 제작 시스템(100)은 상기 두 개의 카메라 또는 스테레오 카메라로부터 특정 객체를 촬영한 좌우영상을 각각 입력받을 수 있다.
또한 상기 카메라(300)는 한 개의 카메라로 구성되어, 무인비행체(200)의 이동에 따라 촬영되는 영상을 순차적으로 입력받아, 상기 순차적으로 입력되는 영상을 각각 좌영상 및 우영상으로 설정할 수도 있다.
또한 에피폴라 영상 제작 시스템(100)은 상기 좌우영상으로부터 에피폴라 영상을 제작하기 위해 우선적으로, 상기 좌우영상에 대한 상호표정요소 또는 카메라(300)의 위치와 자세를 나타내는 외부표정요소를 결정한다.
상기 상호표정요소는 상기 좌우영상을 정합하여 공간상의 임의의 점과 그에 대응하는 좌우영상상의 점 및 카메라(300)의 투영중심이 동일 직선상에 있어야 할 조건인 공선조건 또는 상기 좌우영상에 대한 상기 카메라(300)에 대한 두 개의 투영중심과 공간상의 두 점이 동일한 평면상에 있기 위한 조건인 공면조건에 따라 상기 상호표정요소를 계산함으로써, 결정될 수 있다.
또한 상기 표정요소는 좌영상의 회전각, 우영상의 회전각 등을 포함한다.
또한 외부표정요소는 상기 카메라(300)에 장착된 GNSS(global navigation satellite system) 및 INS(inertial navigation system)을 통해 직접적으로 결정하거나, 상기 좌우영상을 상기 공면조건에 의한 상호표정(relative orientation)을 수행함으로써, 결정될 수 있다.
상기 외부표정요소는 카메라(300)의 위치와 자세를 나타내는 것으로, 상기 카메라의 위치와 상기 카메라(300)의 촬영각도를 포함한다.
한편 상기 상호표정요소 및 외부표정요소는 좌우영상 간의 관계를 설정하기 위해 결정하는 것으로, 다양한 주지의 방법을 통해 상기 상호표정요소 및 외부표정요소를 결정할 수 있다. 즉 본 발명에서는, 상기 상호표정요소 또는 외부표정요소를 결정하는 방법에 대해서는 그 제한을 두지 아니한다.
또한 상기 에피폴라 영상 제작 시스템(100)은 상기 좌우영상은 카메라(300) 렌즈의 굴절률이나 카메라(300)의 상태에 따라 방사왜곡이나 접선왜곡이 발생할 수 있으므로, 정확한 에피폴라 영상을 제작하기 위해 상기 좌우영상에 대한 카메라(300) 왜곡보정을 수행한다.
상기 왜곡보정은 카메라의 내부적인 특성을 결정하는 것으로, 카메라 캘리브레이션을 통해 카메라(300)의 초점거리, 주점위치 및 방사왜곡과 접선왜곡에 대한 매개변수를 결정할 수 있다.
따라서 에피폴라 영상 제작 시스템(100)은 상기 카메라 캘리브레이션을 통해 결정한 카메라(300)의 초점거리, 주점위치 및 방사왜곡과 접선왜곡에 대한 매개변수를 이용하여 다음의 [수학식 1]에 따라 카메라 왜곡이 보정된 좌우영상을 생성할 수 있다.
[수학식 1]
Figure pat00001
여기서, 상기 K1 및 K2는 방사왜곡에 대한 매개변수이고, P1 및 P2는 접선왜곡에 대한 매개변수를 의미한다. 또한 상기 x, y는 상기 좌우영상에 대한 사진좌표를 나타내고, 상기 xfree 및 yfree는 보정된 사진좌표를 의미한다.
이때, 상기 좌우영상들에 대한 밝기값들을 보정된 좌표에 대한 밝기값으로 각각 변환하면 최종적으로 상기 좌우영상에 대한 카메라 왜곡이 보정된 영상이 각각 생성된다.
또한 에피폴라 영상 제작 시스템(100)은 상기 왜곡이 보정된 좌우영상을 에피폴라 영상으로 에피폴라 영상으로 제작하기 위해서, 우선적으로 상기 에피폴라 영상에 대한 사진좌표축을 생성한다.
상기 에피폴라 영상은 상기 좌우영상에 대한 y-시차를 제거하기 위해 생성되는 것으로, 상기 에피폴라 영상에 대한 사진좌표축은 상기 좌우영상에 대한 투영중심과 상기 결정한 외부표정요소를 이용하여 생성되는 좌우영상에 대한 사진좌표축을 토대로 생성된다.
한편 상기 좌우영상에 대한 사진좌표축은 외부표정요소 외에 상기 결정한 상호표정요소를 통해 생성될 수 있다.
다음으로 에피폴라 영상 제작 시스템(100)은 좌우영상에 대한 영상좌표를 3차원의 사진좌표로 변환하기 위한 사진좌표 변환행렬을 생성하여, 상기 생성한 사진좌표 변환행렬을 통해 상기 좌우영상에 대한 영상좌표를 좌우영상에 대한 3차원 사진좌표로 변환할 수 있도록 한다.
상기 3차원 사진좌표는 좌우영상의 상기 좌우영상의 주점을 원점으로 하고, 영상좌표는 상기 좌우영상의 좌측상단을 원점으로 하고 있기 때문에, 상기 주점을 중심으로 좌우영상을 회전하고 에피폴라 영상으로 제작할 때 3차원 사진좌표를 이용하는 것이 용이하기 때문에 수행되는 것이다.
또한 에피폴라 영상 제작 시스템(100)은 좌우영상의 3차원 사진좌표에서 에피폴라 영상의 3차원 사진좌표로 변환한다.
상기 좌우영상은 투영중심이 서로 달라 상기 에피폴라 영상의 사진좌표축과 각기 다른 방향으로 회전되어 있으므로, 상기 좌우영상의 사진좌표축과 에피폴라 영상의 사진좌표축 간의 회전관계를 계산한 3차원 회전행렬을 생성하고, 상기 생성한 3차원 회전행렬을 상기 좌우영상의 사진좌표축에 적용하여 상기 좌우영상의 사진좌표를 에피폴라 영상의 사진좌표로 각각 변환한다. 이때, 상기 3차원 회전행렬은 방향코사인을 이용하여 계산된다.
또한 상기 에피폴라 영상 제작 시스템(100)은 상기 변환한 에피폴라 영상의 3차원 사진좌표를 에피폴라 영상으로 투영하기 위한 투영행렬을 생성하고, 상기 생성한 투영행렬을 통해 상기 에피폴라 영상의 3차원 사진좌표를 2차원으로 변환할 수 있도록 한다.
원래 에피폴라 영상에 대한 사진좌표는 좌우영상에 대한 영상좌표로부터 사진좌표로 각각 변환하여, 상기 변환한 사진좌표를 회전시켜 생성된 것이므로, 상기 에피폴라 영상에 대한 사진좌표를 영상좌표로 다시 변환할 필요가 있다.
이에, 상기 에피폴라 영상 제작 시스템(100)은 에피폴라 영상 축 변환 행렬을 생성하여, 상기 생성한 에피폴라 영상 축 변환 행렬을 통해 상기 계산한 2차원 에피폴라 사진좌표를 에피폴라 영상좌표로 변환한다. 이때, 상기 변환된 에피폴라 영상의 영상좌표는 원점 및 축척을 고려하지 않고 있다. 따라서 상기 에피폴라 영상 제작 시스템(100)은 축척 및 이동 행렬을 생성하여, 상기 생성한 축척 및 이동 행렬을 통해 상기 원점과 축척을 고려하여 최종적인 에피폴라 영상의 영상좌표를 생성하게 된다.
이후, 에피폴라 영상 제작 시스템(100)은 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬과 축척 및 이동 행렬을 토대로 상기 카메라(200)로부터 입력되는 좌우영상의 영상좌표를 에피폴라 영상좌표로 한 번에 변환하기 위한 에피폴라 행렬을 생성하게 된다.
이에 따라, 상기 에피폴라 행렬을 통해 상기 좌우영상으로부터 에피폴라 영상을 한 번에 제작할 수 있으며, 상기 좌우영상에서 에피폴라 영상으로 변환할 때, 각각의 픽셀마다 반복하여 계산할 필요가 없어, 신속하고 정확하게 상기 에피폴라 영상을 제작할 수 있도록 한다.
한편 에피폴라 영상 제작은 좌우영상에 상기 생성한 에피폴라 행렬을 적용하여 직접적으로 변환함으로써, 에피폴라 영상으로 제작할 수 있으나, 상기 제작된 에피폴라 영상의 모든 화소가 밝기값을 가진다는 보장성이 없을 수 있다.
따라서, 상기 에피폴라 영상 제장 시스템(100)은 상기 에피폴라 영상에 상기 에피폴라 행렬을 역으로 적용하여 좌우영상으로 변환하고, 상기 변환한 좌우영상에 대한 밝기값을 에피폴라 영상에 대한 밝기값으로 적용함으로써, 최종적인 에피폴라 영상을 제작할 수 있도록 한다.
상기에서 설명한 것과 같이, 본 발명은 카메라(300)로부터 입력되는 좌우영상에 대한 상호표정요소 또는 외부표정요소를 결정하고, 좌우영상에 대한 사진좌표축과 에피폴라 영상에 대한 사진좌표축간의 회전관계를 방향코사인을 통해 계산함으로써, 효과적이고 정확한 에피폴라 영상을 제작할 수 있도록 하며, 상기 생성한 에피폴라 행렬을 통해 좌우영상에서 에피폴라 영상으로 한 번에 변환할 수 있도록 함으로써, 신속하게 상기 에피폴라 영상을 제작할 수 있도록 한다.
이하에서는 도 2 및 도 3을 참조하여 에피폴라 영상을 제작하는 과정을 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 에피폴라 영상을 제작하는 방법을 설명하기 위해 에피폴라 기하학을 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 에피폴라 영상의 픽셀값을 결정하는 과정을 설명하기 위해 나타낸 도면이다.
도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 에피폴라 영상을 제작하는 방법을 설명하기 위해 도시한 에피폴라 기하학은 지상좌표계, 좌우영상에 대한 사진좌표계, 그리고 y-시차가 제거된 에피폴라 좌표계간의 관계를 나타낸 것이다.
에피폴라 3차원 사진좌표축은 도 2에 나타낸 것과 같이,
Figure pat00002
으로 3차원의 사진좌표축으로 나타낼 수 있다.
상기 에피폴라 영상의
Figure pat00003
축은 y-시차를 제거하기 위해, 상기 좌우영상의 투영중심(O1, 및 O2)을 연결한 기선방향과 일치하게 형성해야 하며, 상기
Figure pat00004
축은 다음의 [수학식 2]를 통해 좌우영상의 투영중심을 이용하여 계산할 수 있다.
[수학식 2]
Figure pat00005
여기서,
Figure pat00006
는 좌우영상에 대한 투영중심을 각각 나타낸다.
다음으로, 에피폴라 영상 제작 시스템(100)은 상기 계산한
Figure pat00007
축과 각각 직교하게 에피폴라 사진좌표축에 대한
Figure pat00008
축을 설정한다. 이때, 상기 에피폴라 영상은 상기 좌우영상과 유사한 축척을 가지게 하는 것이 필요하므로, 상기 에피폴라 영상의
Figure pat00009
축을 생성하기 위해 상기 좌우영상에 대한 3차원 사진좌표축을 생성한다.
이때, 상기 에피폴라 영상 제작 시스템(100)은 상기 좌우영상에 대한 3차원 사진좌표축을 외부표정요소를 이용하여 좌우영상에 대한 3차원 사진좌표축을 계산함으로써, 상기 좌우영상에 대한 3차원 사진좌표축을 생성할 수 있다.
즉, 상기 에피폴라 영상 제작 시스템(100)은 카메라(300)의 위치와 자세를 나타내는 외부표정요소를 결정한 후, 상기 결정한 외부표정요소를 이용하여 다음의 [수학식 3]에 따라 투영중심을 원점으로 하는 사진좌표축을 계산함으로써, 상기 좌우영상에 대한 3차원 사진좌표축을 생성한다.
[수학식 3]
Figure pat00010
여기서,
Figure pat00011
및
Figure pat00012
는 단위벡터로써, 상기 좌우영상에 대한 3차원 사진좌표축을 각각 나타내며, R은 3x3의 3차원 회전행렬을 나타낸다. 또한
Figure pat00013
,
Figure pat00014
와 같은 관계를 가지며, 좌우영상에 대한 3차원 좌표축을 계산하였기 때문에 에피폴라 영상의
Figure pat00015
축을 계산할 수 있다.
이때, 에피폴라 영상의
Figure pat00016
축은 다음의 [수학식 4]와 같이 벡터외적을 이용하여 먼저
Figure pat00017
과
Figure pat00018
의 평균을 취한 축과
Figure pat00019
축과 직교하는 임시의 y축을 설정한 후, 상기
Figure pat00020
축과 상기 설정한 임시의 y축을 외적함으로써, 상기
Figure pat00021
축을 계산한다.
[수학식 4]
Figure pat00022
여기서,
Figure pat00023
축은 단위벡터로 좌우영상의 3차원 z축을 나타낸다.
마지막으로, 에피폴라 영상의
Figure pat00024
축은 다음의 [수학식 5]를 통해
Figure pat00025
과
Figure pat00026
을 외적하여 직교하게 만들 수 있다.
[수학식 5]
Figure pat00027
여기서,
Figure pat00028
는 모두 벡터의 크기가 1인 단위벡터를 나타낸다.
다음으로, 상기 에피폴라 영상 제작 시스템(100)은 좌우영상을 회전하고 에피폴라 영상으로 변환할 때, 용이하게 수행될 수 있도록 사진좌표 변환행렬을 생성하여, 상기 생성한 사진좌표 변환행렬을 통해 상기 좌우영상에 대한 영상좌표를 사진좌표로 변환한다. 상기 사진좌표 변환행렬은 부등각사상변환(affine transformation)을 이용하여 생성되며, 상기 생성한 사진좌표 변환행렬을 상기 좌우영상의 영상좌표에 적용함으로써, 상기 좌우영상에 대한 사진좌표를 생성하게 된다.
이때, 상기 좌우영상에 대한 영상좌표를 사진좌표로 각각 변환하는 것은 다음의 [수학식 6]따라 수행된다.
[수학식 6]
Figure pat00029
여기서,
Figure pat00030
는 좌우영상에 대한 영상좌표를 나타내고,
Figure pat00031
는 상기 영상좌표로부터 변환되는 좌우영상에 대한 사진좌표를 의미한다. 또한 사진좌표 변환행렬의
Figure pat00032
는 부등각사상변환 매개변수를 나타내며, 상기 영상좌표(
Figure pat00033
)를 사진좌표(
Figure pat00034
)로 변환하는 값들을 의미하며, c는 상기 좌우영상의 초점거리를 나타낸다.
다음으로 상기 에피폴라 영상 제작 시스템(100)은 상기 변환한 좌우영상에 대한 사진좌표에서 에피폴라 영상의 사진좌표로 변환한다. 이때, 상기 에피폴라 영상 제작 시스템(100)은 상기 좌우영상에 대한 사진좌표를 에피폴라 영상의 사진좌표로 변환하기 위해, 상기 좌우영상에 대한 3차원 사진좌표축(즉, 좌영상의 사진좌표축(
Figure pat00035
) 및 우영상의 사진좌표축(
Figure pat00036
))과 상기 에피폴라 영상의 3차원 사진좌표축(
Figure pat00037
)간의 회전관계를 계산하기 위한 3차원 회전행렬을 생성하고, 상기 계산한 3차원 회전행렬을 통해 상기 좌우영상에 대한 사진좌표를 에피폴라 영상의 사진좌표로 변환한다.
이때, 상기 3차원 회전행렬은 다음의 [수학식 7]을 통해 방향코사인을 이용하여 계산할 수 있다. 즉, 다음의 [수학식 7] 에서 모든 좌표축의 요소들은 단위벡터이므로, 벡터내적으로 표현할 수 있다.
[수학식 7]
Figure pat00038
,
Figure pat00039
여기서,
Figure pat00040
및
Figure pat00041
은 좌우영상의 3차원 사진좌표축에서 에피폴라 영상의 3차원 사진좌표축으로 회전하는 3차원 회전행렬을 나타낸다. 즉, 상기 3차원 회전행렬은 좌우영상의 3차원 사진좌표축에서 에피폴라 영상의 3차원 사진좌표축으로 회전하는 행렬을 의미하는 것이다.
따라서, 상기 에피폴라 영상 제작 시스템(100)은 상기 [수학식 7]을 통해 계산한 3차원 회전행렬을 이용하여, 다음의 [수힉식 8]을 통해 좌우영상에 대한 3차원 사진좌표(
Figure pat00042
)를 변환하면 에피폴라 영상의 3차원 사진좌표(
Figure pat00043
)를 계산할 수 있다.
[수학식 8]
Figure pat00044
다음으로, 상기 에피폴라 영상 제작 시스템(100)은 상기 계산한 에피폴라 영상의 3차원 사진좌표를 2차원 사진좌표로 변환하기 위한 2차원 투영행렬을 생성하고, 상기 생성한 2차원 투영행렬을 통해 상기 에피폴라 영상의 3차원 사진좌표를 2차원 사진좌표로 변환한다.
이때, 상기 2차원 투영행렬은 상기 좌우영상의 초점거리를 평균함으로써, 생성되며, 상기 에피폴라 영상의 3차원 사진좌표를 2차원 사진좌표를 변환하는 것은 다음의 [수학식 9] 에 따라 수행된다.
[수학식 9]
Figure pat00045
여기서,
Figure pat00046
은 에피폴라 영상의 초점거리를 나타내며, 상기 좌우영상의 초점거리를 평균하여 계산할 수 있다.
한편 상기 좌우영상을 각각 회전하여 에피폴라 영상의 사진좌표를 생성하였기 때문에, 상기 에피폴라 영상의 사진좌표를 다시 영상좌표로 변환하여야 한다.
따라서, 상기 에피폴라 영상 제작 시스템(100)은 축 변환 행렬을 생성하여, 상기 생성한 축 변환 행렬을 통해 상기 에피폴라 사진좌표를 에피폴라 영상의 영상좌표로 변환한다.
한편 상기 에피폴라 영상의 사진좌표는 영상의 중심을 원점으로 하는 좌표계로 구성되어 있고, 에피폴라 영상의 영상좌표는 영상의 좌측상단을 원점으로 하는 좌표계로 구성되어 있다. 이에 따라, 사진좌표와 영상좌표는 y축이 반대 방향이기 때문에 상기 축 변환 행렬을 이용한 다음의 [수학식 10]을 통해 에피폴라 사진좌표(
Figure pat00047
)을 에피폴라 영상좌표(
Figure pat00048
)축으로 변환할 수 있다.
[수학식 10]
Figure pat00049
여기서,
Figure pat00050
는 원점 및 축척을 고려하지 않은 에피폴라 영상의 영상좌표를 의미한다.
다음으로 상기 변환한 에피폴라 영상에 대한 영상좌표에 축척 및 원점에 대한 이동량을 계산하기 위한 축척 및 이동 행렬을 생성하고, 상기 생성한 축척 및 이동 행렬을 통해 축척 및 원점에 대한 이동을 고려한 에피폴라 영상에 대한 영상좌표를 생성함으로써, 최종적인 에피폴라 영상을 제작한다.
상기 축 변환 행렬을 통해 에피폴라 사진좌표를 에피폴라 영상좌표로 변환한 경우, mm 단위를 사용하는 사진좌표와는 달리 영상좌표는 픽셀단위를 사용하기 때문에 상기 영상좌표에는 음수(-)값이 나타나지 않아야 된다.
이를 위해서, 상기 에피폴라 영상 제작 시스템(100)은 축척(S)과 2차원 이동량(
Figure pat00051
)에 대한 축척 및 이동 행렬을 이용하여 다음의 [수학식 11]을 통해 픽셀단위와 mm단위간의 단위변환 및 음수를 제거하고, 자료처리의 효율성을 높이기 위해 좌우영상 대해 생성되는 에피폴라 영상의 크기를 미리 설정한 크기로 동일하게 제작할 수 있다.
[수학식 11]
Figure pat00052
여기서, 축척(S)은 1/픽셀사이즈(pixel size),
Figure pat00053
는 좌우영상에 대한 에피폴라 영상의 영상좌표(
Figure pat00054
) 중 최소값을 가지는 값의 절대값을 나타내고,
Figure pat00055
는 에피폴라 영상의 영상좌표를 나타낸다.
한편, 상기 에피폴라 영상 제작 시스템(100)은 상기 에피폴라 영상을 제작하기 위해 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬, 축척 및 이동행렬을 순차적으로 곱하여 좌우영상의 영상좌표에서 에피폴라 영상의 영상좌표로 한 번에 변환할 수 있도록 하는 에피폴라 행렬을 생성할 수 있다.
따라서, 상기 에피폴라 영상 제작 시스템(100)은 초기에 상기 에피폴라 행렬을 구성하면, 카메라 왜곡이 보정된 좌우영상으로부터 에피폴라 영상을 제작하는 경우, 하나의 픽셀마다 반복하여 계산할 필요가 없이 한 번에 상기 좌우영상에 해당하는 에피폴라 영상을 각각 제작할 수 있는 것이다.
상기 에피폴라 행렬을 이용하여 상기 에피폴라 영상을 제작하는 방법은 다음의 [수학식 12]에 따라 수행된다.
[수학식 12]
Figure pat00056
,
Figure pat00057
여기서, 상기 Mep는 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬, 축척 및 이동행렬을 순차적으로 곱하여 보정된 좌우영상의 영상좌표에서 에피폴라 영상의 영상좌표로 변환하기 위한 에피폴라 행렬을 의미하며,
Figure pat00058
는 좌우영상의 영상좌표를 나타내고,
Figure pat00059
는 상기 변환된 에피폴라 영상의 영상좌표를 나타낸다.
한편 상기 제작된 에피폴라 영상의 모든 화소가 밝기값을 가진다는 보장이 없으므로, 도 3에 도시한 것과 같이, 상기 생성한 에피폴라 행렬의 역 행렬을 이용하여, 다음의 [수학식 13]에 따라 상기 생성한 에피폴라 영상의 영상좌표(
Figure pat00060
)에서 역으로 상기 좌우영상의 영상좌표(
Figure pat00061
)로 변환하고, 상기 에피폴라 영상좌표의 밝기값을 상기 좌우영상의 밝기값으로 치환함으로써, 최종적으로 완성된 에피폴라 영상을 제작할 수 있도록 한다.
[수학식 13]
Figure pat00062
도 4는 본 발명의 일 실시예에 따라 드론을 이용하여 촬영한 원영상에서 에피폴라 영상을 제작한 결과를 나타낸 것이다.
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따라 에피폴라 영상을 제작할 경우 y-시차가 제거되기 때문에, 동일한 영상점을 찾기 위해서 x방향으로 탐색을 수행하면 되는 것을 알 수 있다.
원영상과 에피폴라 영상을 비교해 보면, 원좌우영상에 비해서 에피폴라 좌우영상은 y-시차가 제거되어 있음을 알 수 있다.
도 5는 본 발명의 일 실시예에 따른 방향코사인을 이용한 에피폴라 영상 제작 시스템의 구성을 나타낸 블록도이다.
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 에피폴라 영상 제작 시스템(100)은 카메라(300)로부터 좌영상 및 우영상을 입력받는 좌우영상 입력부(110), 상기 입력받은 좌우영상에 대한 카메라 왜곡을 보정하는 카메라 왜곡 보정부(120), 상기 카메라 왜곡을 보정한 좌우영상으로부터 상호표정요소 또는 외부표정요소를 결정하는 표정요소 결정부(130), 상기 좌영상 및 우영상에 대한 y-시차가 제거된 에피폴라 영상을 각각 제작하는 에피폴라 영상 처리부(140)를 포함하여 구성된다.
또한 상기 카메라(300)는 객체를 중복하여 촬영한 좌영상 및 우영상을 상기 에피폴라 영상 제작 시스템(100)으로 제공하는 촬영장치를 의미하는 것으로, 무인비행체(200)에 탑재된 카메라이거나, 비행기에 탑재된 항공사진측량용 카메라 또는 실내에 위치한 카메라일 수 있다.
또한 상기 좌우영상은 두 개의 카메라를 통해 촬영된 것이거나, 상기 무인비행체(200) 또는 비행기가 이동해 가면서 특정 영역을 중복하여 순차적으로 촬영한 영상일 수 있다.
또한 카메라 왜곡 보정부(120)는 상기 카메라의 렌즈상태에 따라 상기 좌우영상에서 발생될 수 있는 방사왜곡 또는 접선왜곡을 보정하는 기능을 수행한다.
상기 카메라 왜곡 보정은, 카메라 캘리브레이션을 통해 카메라(300)의 초점거리, 주점위치 및 방상왜곡과 접선왜곡에 대한 매개변수를 결정함으로써, 수행된다.
즉, 상기 카메라 왜곡 보정부(120)는 상기 카메라 왜곡을 보정함으로써, 상기 좌우영상으로부터 정확한 에피폴라 영상을 제작할 수 있도록 한다.
또한 표정요소 결정부(130)는 상기 카메라 왜곡을 보정한 좌우영상을 정합하여 상기 좌영상의 회전각 및 우영상의 회전각 등을 포함하는 상호표정요소를 결정하거나, 또는 상기 카메라(300)의 자세나 위치를 나타내는 외부표정요소를 결정한다.
상기 외부표정요소는 카메라(300)의 위치와 해당 카메라(300)의 촬영각도를 의미한다.
한편 본 발명에서, 상기 상호표정요소 또는 외부표정요소를 결정하는 것은 그 제한을 두지 아니하며, 다양한 주지의 방법을 통해 상기 상호표정요소 또는 외부표정요소를 결정할 수 있음은 상술한 바와 같다.
또한 에피폴라 영상 처리부(140)는 상기 결정한 상호표정요소 또는 외부표정요소를 토대로, 상기 카메라 왜곡을 보정한 좌우영상의 3차원 사진좌표축을 계산하고, 상기 계산한 좌우영상의 3차원 사진좌표축을 토대로 상기 좌우영상에 대한 에피폴라 영상의 3차원 사진좌표축을 생성하여, 상기 생성한 좌우영상의 3차원 사진좌표축과 상기 에피폴라 영상의 3차원 사진좌표축 사이의 회전관계를 방향코사인을 이용하여 계산하고, 상기 계산한 회전관계를 토대로 상기 좌우영상에 대한 에피폴라 영상을 각각 제작하는 기능을 수행한다.
한편 상기 에피폴라 영상 처리부(140)는 도 5를 참조하여 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 에피폴라 영상 처리부의 구성을 나타낸 블록도이다.
도 6에 도시한 바와 같이, 에피폴라 영상 처리부(140)는 에피폴라 영상에 대한 사진좌표축을 생성하는 3차원 에피폴라 사진좌표축 생성부(141), 좌우영상에 대한 영상좌표를 사진좌표로 변환하기 위한 사진좌표 변환행렬 생성부(152), 상기 사진좌표 변환행렬을 토대로 변환되는 좌우영상의 사진좌표를 에피폴라 영상에 대한 3차원 사진좌표로 변환하기 위한 3차원 회전행렬을 생성하는 3차원 회전행렬 생성부(143), 상기 3차원 회전행렬을 통해 변환되는 에피폴라 영상의 3차원 사진좌표를 에피폴라 영상의 2차원 사진좌표로 변환하기 위한 투영행렬을 생성하는 투영행렬 생성부(144), 상기 투영행렬을 통해 변환되는 에피폴라 영상의 2차원 사진좌표를 에피폴라 영상의 영상좌표로 변환하기 위한 축 변환 행렬과 축척 및 이동행렬을 순차적으로 생성하는 축 변환 행렬/축척 및 이동행렬 생성부(145), 상기 생성한 각각의 행렬을 토대로 상기 좌우영상으로부터 에피폴라 영상을 한 번에 제작하기 위한 에피폴라 행렬을 생성하는 에피폴라 행렬 생성부(146) 및 상기 생성한 에피폴라 행렬을 이용하여 상기 좌우영상에 대한 에피폴라 영상을 각각 제작하는 에피폴라 영상 제작부(147)를 포함하여 구성된다.
또한 상기 3차원 에피폴라 사진좌표축 생성부(141)는 상기 좌우영상으로부터 단위벡터로 구성된 에피폴라 영상에 대한 3차원 에피폴라 사진좌표축을 생성하는 기능을 수행하는 것으로, 우선적으로 상기 표정요소 결정부(130)를 통해 결정한 외부표정요소를 이용하여 상기 카메라 왜곡을 보정한 좌우영상에 대한 3차원 사진좌표축을 생성한다.
또한 상기 3차원 에피폴라 사진좌표축 생성부(141)는 상기 생성한 3차원 사진좌표축과 상기 좌우영상의 투영중심을 이용하여 상기 에피폴라 영상의 3차원 사진좌표축을 생성하게 된다.
또한 사진좌표 변환행렬 생성부(142)는 부등각사상변환을 이용하여 사진좌표 변환행렬을 생성하고, 상기 생성한 사진좌표 변환행렬을 이용하여 상기 카메라 왜곡이 보정된 좌우영상의 영상좌표를 사진좌표로 변환할 수 있도록 하는 기능을 수행한다.
상기 좌우영상에 대한 영상좌표를 사진좌표로 변환하는 것은, 좌우영상을 회전시키고 에피폴라 영상으로 변환할 때 용이하기 때문임은 상술한 바와 같다.
또한 3차원 회전행렬 생성부(143)는 상기 사진좌표 변환행렬을 통해 변환되는 좌우영상의 사진좌표를 에피폴라 영상에 대한 3차원 사진좌표로 변환하는 기능을 수행한다.
이때, 상기 3차원 회전행렬 생성부(143)는 상기 생성한 3차원 사진좌표축과 에피폴라 영상의 3차원 사진좌표축 간의 회전관계를 방향코사인을 이용하여 3차원 회전행렬을 생성하며, 상기 생성한 3차원 회전행렬을 통해 상기 변환한 좌우영상의 사진좌표를 에피폴라 영상의 3차원 사진좌표로 변환할 수 있도록 한다.
즉, 상기 3차원 회전행렬 생성부(143)는 상기 좌우영상의 사진좌표축에서 에피폴라 사진좌표축으로 회전하는 3차원 회전행렬을 방향코사인 이용하여 생성함으로써, 상기 좌우영상의 사진좌표로부터 에피폴라 영상의 3차원 사진좌표를 계산할 수 있도록 한다.
또한 투영행렬 생성부(144)는 상기 변환한 에피폴라 영상의 3차원 사진좌표를 2차원 사진좌표로 변환하기 위한 투영행렬을 생성한다.
이때, 상기 투영행렬은 상기 좌우영상의 초점거리를 평균하여 계산함으로써, 생성되며, 상기 생성한 투영행렬을 이용하여 상기 에피폴라 영상의 3차원 사진좌표를 2차원 사진좌표로 변환할 수 있도록 한다.
또한 축 변환 행렬/축척 및 이동행렬 생성부(145)는 상기 투영행렬을 통해 변환되는 에피폴라 영상의 2차원 사진좌표를 에피폴라 영상에 대한 영상좌표로 변환하기 위한 축 변환 행렬과 축척 및 이동행렬을 순차적으로 생성한다.
한편 사진좌표는 좌우영상의 중심을 원점으로 하고 있으며, 영상좌표는 좌우영상의 좌측상단을 원점으로 하고 있기 때문에 상기 사진좌표와 영상좌표는 y축이 서로 반대방향인 특성을 가지고 있다.
따라서, 상기 축 변환 행렬/축척 및 이동행렬 생성부(145)는 상기 특성을 이용하여 축 변환 행렬을 생성하고, 상기 생성한 축 변환 행렬을 이용하여 상기 에피폴라 2차원 사진좌표를 에피폴라 영상에 대한 영상좌표로 변환한다.
이때, 상기 변환한 에피폴라 영상에 대한 영상좌표는 원점 및 축척을 고려하지 않기 때문에 상기 축 변환 행렬/축척 및 이동행렬 생성부(145)는 축척 및 원점에 대한 2차원 이동량을 이용하여 축척 및 이동 행렬을 생성하며, 상기 생성한 축척 및 이동 행렬을 이용하여 상기 2차원 에피폴라 사진좌표를 에피폴라 영상에 대한 영상좌표로 최종적으로 변환할 수 있도록 한다.
또한 에피폴라 행렬 생성부(146)는 상기 카메라 왜곡이 보정된 좌우영상으로부터 에피폴라 영상을 한 번에 제작하기 위한 에피폴라 행렬을 생성하며, 상기 에피폴라 행렬을 통해 상기 카메라(300)로부터 입력되는 좌우영상에 대한 에피폴라 영상을 직접적으로 제작할 수 있도록 한다.
한편 상기 에피폴라 행렬은 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬 및 축척 및 이동행렬을 순차적으로 곱함으로써, 생성된다.
또한 에피폴라 영상 제작부(147)는 상기 카메라 왜곡이 보정된 좌우영상에 생성한 에피폴라 행렬을 적용함으로써, 상기 좌우영상에 대한 에피폴라 영상을 제작하여 출력하는 기능을 수행한다.
한편 상기 에피폴라 행렬을 적용하여 생성되는 에피폴라 영상에 대한 모든 화소가 밝기값을 가진다는 보장성이 없기 때문에, 상기 제작한 에피폴라 영상에 상기 생성한 에피폴라 행렬에 대한 역행렬을 적용함으로서, 상기 제작한 에피폴라 영상을 상기 좌우영상에 대한 영상좌표로 변환하고, 상기 변환한 좌우영상의 영상좌표에 대한 픽셀값(즉, 밝기값)을 상기 제작한 에피폴라 영상에 대한 영상좌표의 픽셀값으로 각각 적용함으로써, 최종적인 에피폴라 영상을 제작할 수 있다.
또한 상기 에피폴라 영상 제작부(147)는 상기 제작한 에피폴라 영상을 데이터베이스(400)에 저장하거나, 상기 좌우영상을 토대로 입체적인 공간영상을 제작하기 위한 제작자(미도시)에게 제공하는 기능을 수행하게 된다.
도 7은 본 발명의 일 실시예에 따른 방향코사인을 이용한 에피폴라 영상 제작 과정을 나타낸 흐름도이다.
도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 방향코사인을 이용한 에피폴라 영상 제작 과정은 우선, 상기 에피폴라 영상 제작 시스템(100)은 무인비행체(200)나 비행기 또는 실내에 위치하는 카메라(300)로부터 특정 객체를 촬영한 좌우영상을 입력받는다(S110).
다음으로 상기 에피폴라 영상 제작 시스템(100)은 상기 입력받은 좌우영상에 대한 카메라 왜곡을 보정한다(S120).
상기 카메라 왜곡을 보정하는 것은, 카메라 캘리브레이션을 통해 카메라의 초점거리, 주점위치와 방사왜곡 및 접석왜곡에 대한 매개변수를 결정함으로써, 수행된다.
다음으로 상기 에피폴라 영상 제작 시스템(100)은 상기 카메라 왜곡을 보정한 좌우영상을 토대로 3차원 에피폴라 사진좌표축을 생성한다(S130).
상기 3차원 에피폴라 사진좌표축은 카메라의 위치와 자세를 나타내는 외부요정요소를 이용하여 생성한 좌우영상의 사진좌표축과, 상기 좌우영의 투영중심을 토대로 생성됨은 상술한 바와 같다.
다음으로 에피폴라 영상 제작 시스템(100)은 상기 카메라 왜곡을 보정한 좌우영상을 사진좌표로 변환하기 위한 사진좌표 변환행렬을 생성한다(S140).
상기 사진좌표 변환행렬은 부등각사상변환을 이용하여 생성되며, 상기 생성한 사진좌표 변환행렬을 이용하여 상기 좌우영상을 사진좌표로 변환할 수 있다.
다음으로 에피폴라 영상 제작 시스템(100)은 상기 변환한 좌우영상 사진좌표에서 에피폴라 영상의 사진좌표로 변환하기 위해 상기 좌우영상의 사진좌표축에서 에피폴라 사진좌표축으로 회전하는 3차원 회전행렬을 생성한다.
이때, 상기 3차원 회전행렬은 방향코사인을 이용하여 계산되며, 상기 생성한 3차원 회전행렬을 통해 상기 좌우영상에 대한 에피폴라 영상의 3차원 사진좌표를 계산할 수 있다.
다음으로 에피폴라 영상 제작 시스템(100)은 상기 3차원 회전행렬을 통해 계산한 에피폴라 영상의 3차원 사진좌표를 2차원 사진좌표로 변환하기 위한 투영행렬을 생성한다(S160).
한편 상기 투영행렬은 상기 좌우영상의 초점거리를 평균하여 계산함으로써, 생성되며, 상기 생성한 투영행렬을 이용하여 상기 에피폴라 영상의 3차원 사진좌표를 2차원 사진좌표로 변환할 수 있다.
다음으로 에피폴라 영상 제작 시스템(100)은 상기 변환한 에피폴라 영상의 2차원 사진좌표를 에피폴라 영상좌표로 변환하기 위한 축 변환 행렬과 축척 및 이동행렬을 생성한다(S170).
한편 상기 축 변환 행렬은 사진좌표와 영상좌표간의 y축이 상호 반대인 특성을 이용하여 생성되며, 상기 축척 및 이동행렬은 좌우영상에 대한 에피폴라 영사의 크기를 결정하고, 상기 변환되는 영상좌표에서 음수(-)값을 제거하기 위해 생성된다.
따라서, 상기 에피폴라 영상 제작 시스템(100)은 상기 에피폴라 영상의 2차원 사진좌표에 상기 축 변환 행렬과 축척 및 이동행렬을 순차적으로 적용하여 상기 에피폴라 영상의 2차원 사진좌표를 에피폴라 영상에 대한 영상좌표로 변환할 수 있다.
다음으로 상기 에피폴라 영상 제작 시스템(100)은 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬 및 이동행렬을 순차적으로 곱하여, 상기 카메라 왜곡이 보정된 좌우영상의 영상좌표에서 에피폴라 영상의 영상좌표로 한 번에 변환하기 위한 에피폴라 행렬을 생성(S180)하고, 상기 생성한 에피폴라 행렬을 이용하여 상기 좌우영상에 대한 에피폴라 영상을 제작한다(S190).
이상에서 설명한 바와 같이, 본 발명의 방향코사인을 이용한 에피폴라 영상 제작 시스템은 방향코사인을 이용하여 좌우영상의 사진좌표축에서 에피폴라 사진좌표축으로 회전하는 3차원 회전행렬을 생성하고, 상기 생성한 3차원 회전행렬을 토대로 상기 좌우영상에 대한 에피폴라 영상을 정확하고 효과적으로 제작할 수 있도록 하는 효과가 있다.
상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.
아울러 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 방향코사인을 이용한 에피폴라 영상 제작 시스템
110: 좌우영상 입력부 120: 카메라 왜곡 보정부
130: 표정요소 결정부 140: 에피폴라 영상 처리부
141: 3차원 에피폴라 사진좌표축 생성부 142: 사진좌표 변환행렬 생성부
143: 3차원 회전행렬 생성부 144: 투영행렬 생성부
145: 축 변환 행렬/축척 및 이동행렬 생성부
146: 에피폴라 행렬 생성부 170: 에피폴라 영상 제작부
200: 무인비행체 300: 카메라
400: 데이터베이스

Claims (14)

  1. 카메라로부터 특정 객체를 촬영한 좌우영상을 입력받는 좌우영상 입력부;
    상기 입력받은 좌우영상에 대한 상호표정요소 또는 외부표정요소를 결정하는 표정요소 결정부;
    상기 결정한 상호표정요소 또는 외부표정요소를 이용하여 생성되는 좌우영상의 3차원 사진좌표축에서 에피폴라 영상의 3차원 사진좌표축으로 회전하는 3차원 회전행렬을 생성하고, 상기 생성한 3차원 회전행렬을 토대로 상기 좌우영상에 대한 에피폴라 영상을 제작하는 에피폴라 영상 처리부;를 포함하며,
    상기 생성한 3차원 회전행렬은 방향코사인을 이용하여 계산되는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.
  2. 청구항 1에 있어서,
    상기 상호표정요소는,
    좌영상에 대한 회전각과 우영상에 대한 회전각을 포함하며,
    상기 외부표정요소는,
    상기 카메라의 위치 및 상기 좌영상 및 우영상에 대한 촬영각도를 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.
  3. 청구항 1에 있어서,
    상기 에피폴라 영상 처리부는,
    상기 생성한 좌우영상의 사진좌표축 및 좌우영상의 투영중심을 이용하여 y-시차가 제거된 에피폴라 영상의 3차원 사진좌표축을 생성하는 3차원 에피폴라 사진좌표축 생성부;
    부등각사상변환을 이용하여 좌우영상에 대한 영상좌표를 사진좌표로 변환하기 위한 사진좌표 변환행렬을 생성하는 사진좌표 변환행렬 생성부;
    상기 사진좌표 변환행렬을 통해 변환되는 좌우영상의 사진좌표를 에피폴라 영상에 대한 3차원 사진좌표로 변환하기 위한 3차원 회전행렬을 생성하는 3차원 회전행렬 생성부;
    상기 3차원 회전행렬을 통해 변환되는 에피폴라 영상에 대한 3차원 사진좌표를 2차원 사진좌표로 변환하기 위한 투영행렬을 생성하는 투영행렬 생성부;
    상기 투영행렬을 통해 변환되는 에피폴라 영상의 2차원 사진좌표를 에피폴라 영상의 영상좌표로 변환하기 위한 축 변환 행렬과 축척 및 이동행렬을 생성하는 축 변환 행렬/축척 및 이동행렬 생성부;를 더 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.
  4. 청구항 3에 있어서,
    상기 투영행렬은, 상기 좌우영상의 초점거리를 평균함으로써 생성되고,
    상기 축 변환 행렬은, 사진좌표계와 영상좌표계 사이의 y축이 상호 반대 방향으로 형성되는 특성을 이용하여 생성되며,
    상기 축척 및 이동행렬은, 에피폴라 영상좌표로 변환한 에피폴라 영상의 크기를 설정하고, 상기 에피폴라 영상좌표로 변환하는 과정에서 생성되는 음(-)의 좌표를 제거하기 위해 생성되는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.
  5. 청구항 3에 있어서,
    상기 에피폴라 영상 처리부는,
    상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬, 축척 및 이동행렬을 토대로 상기 좌우영상으로부터 에피폴라 영상을 한 번에 제작하기 위한 에피폴라 행렬을 생성하는 에피폴라 행렬 생성부;
    상기 좌우영상에 상기 생성한 에피폴라 행렬을 적용하여 상기 좌우영상에 대한 에피폴라 영상을 각각 제작하는 에피폴라 영상 제작부;를 더 포함하며,
    상기 에피폴라 행렬은 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬, 축척 및 이동행렬을 순차적으로 곱함으로써, 생성되는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.
  6. 청구항 5에 있어서,
    상기 에피폴라 영상 제작부는,
    상기 생성한 에피폴라 행렬에 대한 역행렬을 이용하여, 상기 제작한 에피폴라 영상에 대한 영상좌표를 상기 좌우영상에 대한 영상좌표로 변환하고, 상기 변환한 좌우영상에 대한 영상좌표의 밝기값(픽셀값)을 상기 제작한 에피폴라 영상에 대한 영상좌표의 밝기값으로 각각 적용하는 것을 더 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.
  7. 청구항 1에 있어서,
    상기 방향코사인을 이용한 에피폴라 영상 제작 시스템은,
    카메라 캘리브레이션을 통해 상기 카메라의 초점거리, 주점위치와 방사왜곡 및 접선왜곡에 대한 매개변수를 결정함으로써, 상기 좌우영상에 발생될 수 있는 카메라 왜곡을 보정하는 카메라 왜곡 보정부;를 더 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.
  8. 카메라로부터 특정 객체를 촬영한 좌우영상을 입력받는 좌우영상 입력 단계;
    상기 입력받은 좌우영상에 대한 상호표정요소 또는 외부표정요소를 결정하는 표정요소 결정 단계;
    상기 결정한 상호표정요소 또는 외부표정요소를 이용하여 생성되는 좌우영상의 3차원 사진좌표축에서 에피폴라 영상의 3차원 사진좌표축으로 회전하는 3차원 회전행렬을 생성하고, 상기 생성한 3차원 회전행렬을 토대로 상기 좌우영상에 대한 에피폴라 영상을 제작하는 에피폴라 영상 처리 단계;를 포함하며,
    상기 생성한 3차원 회전행렬은 방향코사인을 이용하여 계산되는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.
  9. 청구항 8에 있어서,
    상기 상호표정요소는,
    좌영상에 대한 회전각과 우영상에 대한 회전각을 포함하며,
    상기 외부표정요소는,
    상기 카메라의 위치 및 상기 좌영상 및 우영상에 대한 촬영각도를 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.
  10. 청구항 8에 있어서,
    상기 에피폴라 영상 처리 단계는,
    상기 생성한 좌우영상의 사진좌표축 및 좌우영상의 투영중심을 이용하여 y-시차가 제거된 에피폴라 영상의 3차원 사진좌표축을 생성하는 3차원 에피폴라 사진좌표축 생성 단계;
    부등각사상변환을 이용하여 좌우영상에 대한 영상좌표를 사진좌표로 변환하기 위한 사진좌표 변환행렬을 생성하는 사진좌표 변환행렬 생성 단계;
    상기 사진좌표 변환행렬을 통해 변환되는 좌우영상의 사진좌표를 에피폴라 영상에 대한 3차원 사진좌표로 변환하기 위한 3차원 회전행렬을 생성하는 3차원 회전행렬 생성 단계;
    상기 3차원 회전행렬을 통해 변환되는 에피폴라 영상에 대한 3차원 사진좌표를 2차원 사진좌표로 변환하기 위한 투영행렬을 생성하는 투영행렬 생성 단계;
    상기 투영행렬을 통해 변환되는 에피폴라 영상의 2차원 사진좌표를 에피폴라 영상의 영상좌표로 변환하기 위한 축 변환 행렬과 축척 및 이동행렬을 생성하는 축 변환 행렬/축척 및 이동행렬 생성 단계;를 더 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.
  11. 청구항 10에 있어서,
    상기 투영행렬은, 상기 좌우영상의 초점거리를 평균함으로써 생성되고,
    상기 축 변환 행렬은, 사진좌표계와 영상좌표계 사이의 y축이 상호 반대 방향으로 형성되는 특성을 이용하여 생성되며,
    상기 축척 및 이동행렬은, 에피폴라 영상좌표로 변환한 에피폴라 영상의 크기를 설정하고, 상기 에피폴라 영상좌표로 변환하는 과정에서 생성되는 음(-)의 좌표를 제거하기 위해 생성되는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.
  12. 청구항 10에 있어서,
    상기 에피폴라 영상 처리 단계는,
    상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬, 축척 및 이동행렬을 토대로 상기 좌우영상으로부터 에피폴라 영상을 한 번에 제작하기 위한 에피폴라 행렬을 생성하는 에피폴라 행렬 생성 단계;
    상기 좌우영상에 상기 생성한 에피폴라 행렬을 적용하여 상기 좌우영상에 대한 에피폴라 영상을 각각 제작하는 에피폴라 영상 제작 단계;를 더 포함하며,
    상기 에피폴라 행렬은 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬, 축척 및 이동행렬을 순차적으로 곱함으로써, 생성되는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.
  13. 청구항 12에 있어서,
    상기 에피폴라 영상 제작 단계는,
    상기 생성한 에피폴라 행렬에 대한 역행렬을 이용하여, 상기 제작한 에피폴라 영상에 대한 영상좌표를 상기 좌우영상에 대한 영상좌표로 변환하고, 상기 변환한 좌우영상에 대한 영상좌표의 밝기값(픽셀값)을 상기 제작한 에피폴라 영상에 대한 영상좌표의 밝기값으로 각각 적용하는 것을 더 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.
  14. 청구항 8에 있어서,
    상기 방향코사인을 이용한 에피폴라 영상 제작 방법은,
    카메라 캘리브레이션을 통해 상기 카메라의 초점거리, 주점위치와 방사왜곡 및 접선왜곡에 대한 매개변수를 결정함으로써, 상기 좌우영상에 발생될 수 있는 카메라 왜곡을 보정하는 카메라 왜곡 보정 단계;를 더 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.
KR1020180108760A 2018-09-12 2018-09-12 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법 KR102107465B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180108760A KR102107465B1 (ko) 2018-09-12 2018-09-12 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180108760A KR102107465B1 (ko) 2018-09-12 2018-09-12 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법

Publications (2)

Publication Number Publication Date
KR20200030205A true KR20200030205A (ko) 2020-03-20
KR102107465B1 KR102107465B1 (ko) 2020-05-07

Family

ID=69958087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180108760A KR102107465B1 (ko) 2018-09-12 2018-09-12 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법

Country Status (1)

Country Link
KR (1) KR102107465B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102475790B1 (ko) * 2020-11-20 2022-12-08 김동욱 지도제작플랫폼장치 및 이를 이용한 지도제작방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160082886A (ko) * 2014-12-29 2016-07-11 서울시립대학교 산학협력단 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160082886A (ko) * 2014-12-29 2016-07-11 서울시립대학교 산학협력단 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:N. CONEN ET AL.,* *

Also Published As

Publication number Publication date
KR102107465B1 (ko) 2020-05-07

Similar Documents

Publication Publication Date Title
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
KR20180067908A (ko) 3차원 모델 복원 장치 및 방법
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
KR20170067373A (ko) 드론 촬영 이미지를 기반으로 3ｄ 오브젝트를 자동으로 추출하는 시스템 및 방법
CN110827392B (zh) 单目图像三维重建方法、系统及装置
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
JP2022089269A (ja) キャリブレーション装置およびキャリブレーション方法
JP2953154B2 (ja) 形状合成方法
JP2002516443A (ja) ３次元表示のための方法および装置
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
KR102107465B1 (ko) 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법
KR101598399B1 (ko) 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
JP2019032660A (ja) 撮像システム、撮像方法
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备
Xu et al. A real-time ranging method based on parallel binocular vision
Aliakbarpour et al. Inertial-visual fusion for camera network calibration

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant