KR101738269B1 - 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템 - Google Patents

에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템 Download PDF

Info

Publication number
KR101738269B1
KR101738269B1 KR1020150150235A KR20150150235A KR101738269B1 KR 101738269 B1 KR101738269 B1 KR 101738269B1 KR 1020150150235 A KR1020150150235 A KR 1020150150235A KR 20150150235 A KR20150150235 A KR 20150150235A KR 101738269 B1 KR101738269 B1 KR 101738269B1
Authority
KR
South Korea
Prior art keywords
image
axis
operation range
epipolar line
matching
Prior art date
Application number
KR1020150150235A
Other languages
English (en)
Other versions
KR20170049759A (ko
Inventor
전재욱
이상준
쾅 빈 딘
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020150150235A priority Critical patent/KR101738269B1/ko
Publication of KR20170049759A publication Critical patent/KR20170049759A/ko
Application granted granted Critical
Publication of KR101738269B1 publication Critical patent/KR101738269B1/ko

Links

Images

Classifications

    • H04N13/0003—
    • G06K9/32—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H04N13/0007—

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템에 관한 것으로, (a) 캘리브레이션을 통해 스테레오 카메라로부터 입력된 제1 영상 및 제2 영상의 에피폴라 라인을 추출하는 단계; (b) 추출된 에피폴라 라인상에서 제1 영상의 임의의 기준점과 대응되는 제2 영상의 X축 연산범위(d)에 대한 Y축 연산범위(r)으로 이동하며 대응점을 비교연산하여 유사도를 추출하고, 추출된 값 중 유사도가 가장 높은 값을 해당하는 X축 연산범위(d)에 저장하는 단계; 및 (c) (b) 단계에서 저장된 X축 연산범위(d)에 저장된 유사도 중 가장 높은 값에 해당하는 위치의 X축 연산범위(d)를 디스페리티(Disparity)로 설정하는 단계를 포함한다.
이와 같은 본 발명은, 에피폴라 라인 불완전 정렬(Imperfection Rectification) 문제를 해결하고, 영상 정렬(Rectification)시 발생한 오차 정보를 자동으로 반영하여 정확한 디스페리티(Disperity) 정보를 획득하여 스테레오 비전 처리 결과물 품질을 향상시키는 스테레오 매칭방법 및 그 시스템을 제공한다.

Description

에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템{STEREO MATCHING METHOD AND SYSTEM USING OF EPIPOLAR LINE EXPANSION PARAMETER}
본 발명은 스테레오 영상 매칭방법 및 그 시스템에 관한 것으로, 보다 상세하게는 스테레오 비젼 처리의 품질을 향상시키는 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템에 관한 것이다.
스테레오 비전 기술은 두 개의 카메라를 통해 입력되는 양안 영상에서 같은 선상에 위치하는 동일한 정보를 찾아 그 사이의 거리 정보(Disparity)를 찾아 이를 이용하여 물체와의 거리 정보를 검출하는 기술이다.
도 1은 종래의 양안 카메라로부터 입력된 왼쪽 영상 및 오른쪽 영상의 에피폴라 라인 보정의 예를 나타낸 모식도이다.
두 영상 사이에 붉은 선은 에피폴라 라인(Epipolar Line)을 나타내며 붉은색 네모는 동일한 정보가 존재하는 영역을 나타낸다. 이와 같이 양안 영상에서 동일한 영상 정보가 같은 에피폴라 라인(Epipolar Line) 상에 위치하지 않고 다른 위치에 있다면 이 정보를 찾기 위에 영상의 전반적인 영역을 비교 검색해야 하는 문제가 발생하여 동일 정보를 검색하는 데 있어, 연산 시간을 줄이기 위한 방법으로 동일 정보가 같은 에피폴라 라인(Epipolar Line) 상에 위치하도록 보정하는 기술이 스테레오 비전 기능 구현에 있어 전처리 과정으로 반드시 수반되게 된다.
도 1에 나타낸 바와 같이, 103과 104는 각 양안 영상의 동일 정보가 같은 에피폴라 라인 상에 위치하도록 보정된 영상을 보여준다. 이렇게 동일 정보가 같은 선상에 위치하면 각 영상 간에 동일한 정보를 검색하는 영역이 같은 선상으로 한정되어 스테레오 비전 기능 구현을 위한 매칭 연산을 하는 데 있어 필요한 연상량과 영역을 줄일 수 있다.
양안 영상의 에피폴라 라인(Epipolar Line) 조정에 있어 정렬(Rectification) 단계가 중요한 이유는 양안 카메라를 설치하는 과정에서 카메라의 설치된 위치, 센서의 수직/수평/기울기 오차 및 카메라의 수평 문제 등이 발생하기 때문이다.
따라서 이러한 설치 오차 문제를 보정하기 위해 보정 정보를 추출하는 과정을 반드시 거치게 되는데 이를 캘리브레이션(Calibration)이라 하며, 이 정보를 이용해서 영상을 보정하는 과정을 정렬(Rectification)이라 한다.
캘리브레이션(Calibration)은 입력된 영상으로부터 일정한 패턴 정보를 추출해서 이루어지는 과정으로 완벽한 보정 결과를 얻기가 어려우며, 좌우 영상의 수평 위치가 1~2줄 정도 차이가 발생 가능하다. 또한 이러한 오차는 영상이 커질수록 더욱더 크게 나타나게 된다.
종래의 기술은 양안 영상의 수평 정보를 맞추기 위한 에피폴라 라인(Epipolar Line) 보정에 있어 발생하는 오차 문제를 그대로 반영하여 사용하기 때문에 이로 인한 오차 발생 문제를 그대로 가져가고 있다. 이러한 오차문제는 영상의 크기가 작으면 크게 문제되지 않지만 영상이 커질수록 이러한 오차 범위가 커지기 때문에 영상 크기가 커질수록 이런 문제를 반드시 해결해야만 하는 문제점이 있다.
대한민국 공개특허공보 제10-2010-0072776호(공개일자: 2010년07월01) 대한민국 공개특허공보 제10-2015-0038859호(공개일자: 2015년04월09일)
본 발명에 따른 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템은 다음과 같은 해결과제를 가진다.
첫째, 본 발명은 에피폴라 라인 불완전 정렬(Imperfection Rectification) 문제를 해결하기 위한 스테레오 매칭방법 및 그 시스템을 제공하고자 함이다.
둘째, 본 발명은 영상 정렬(Rectification)시 발생한 오차 정보를 자동으로 반영하여 정확한 디스페리티(Disperity) 정보를 획득하는 스테레오 매칭방법 및 그 시스템을 제공하고자 함이다.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하고자 본 발명의 제1 특징은 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법으로서, (a) 캘리브레이션을 통해 스테레오 카메라로부터 입력된 제1 영상 및 제2 영상의 에피폴라 라인을 추출하는 단계; (b) 추출된 에피폴라 라인상에서 제1 영상의 임의의 기준점과 대응되는 제2 영상의 X축 연산범위(d)에 대한 Y축 연산범위(r)으로 이동하며 대응점을 비교연산하여 유사도를 추출하고, 추출된 값 중 유사도가 가장 높은 값을 해당하는 X축 연산범위(d)에 저장하는 단계; 및 (c) (b) 단계에서 저장된 X축 연산범위(d)에 저장된 유사도 중 가장 높은 값에 해당하는 위치의 X축 연산범위(d)를 디스페리티(Disparity)로 설정하는 단계를 포함한다.
여기서, 상기 (b) 단계에서 비교연산은 픽셀 단위로 수행되는 것이 바람직하고, 상기 Y축 연산범위(r)의 범위는 제1 영상 및 제2 영상의 크기에 따라 설정되는 것이 바람직하며, 제1 영상 및 제2 영상의 에피폴라 라인의 Y축 위치가 서로 일치하지 않은 것이 바람직하다.
또한, (b) 단계에서 유사도를 추출하는 방법은 정합 비용 함수(matching cost function)를 사용하는 것이 바람직하고, 상기 정합 비용 함수(matching cost function)는,
Figure 112015104816381-pat00001
(여기서, C는 기준이 되는 영상을 의미하며, p는 비교 대상이 되는 기준점을 나타내고, d는 디스페리티(Disparity) 값을 얻기 위해 제한되는 연산 범위 또는 X축 연산범위를 나타내고, r은 에피폴라 라인을 기준으로 하는 Y축 연산범위를 의미한다.)와 같은 식을 만족하는 것이 바람직하다.
더하여, 바람직하게는 상기 정합 비용 함수(matching cost function)는 로컬 매칭(Local Matching) 기반 알고리즘이 적용된 것일 수 있고, 상기 정합 비용 함수(matching cost function)는 글로벌 매칭(Global Matching) 기반 알고리즘이 적용된 것일 수 있다.
그리고, 본 발명의 제2 특징은 스테레오 영상 매칭시스템에 관한 것으로, 캘리브레이션을 통해 스테레오 카메라로부터 입력된 제1 영상 및 제2 영상의 에피폴라 라인을 추출하는 에피폴라 라인 추출부; 및 추출된 에피폴라 라인상에서 제1 영상의 임의의 기준점과 대응되는 제2 영상의 X축 연산범위(d)에 대한 Y축 연산범위(r)으로 이동하며 대응점을 비교연산하여 유사도를 추출하고, 추출된 유사도 값 중 가장 높은 값에 해당하는 X축 연산범위(d)를 디스페리티(Disparity)로 설정하여 제1 영상 및 제2 영상을 정합하는 영상 정합부를 포함한다.
여기서, 상기 영상 정합부는, 추출된 유사도 값 중 가장 높은 값에 해당하는 X축 연산범위(d)를 저장하는 디스페리티 임시 저장부; 및 디스페리티 임시 저장부에서 저장된 X축 연산범위(d)의 위치점에서의 유사도 중 가장 높은 값에 해당하는 X축 연산범위(d)를 디스페리티(Disparity)로 설정하는 디스페리티 설정부를 포함하고, 상기 Y축 연산범위(r)의 범위는 제1 영상 및 제2 영상의 크기에 따라 설정되는 것이 바람직하다.
그리고, 본 발명의 제3 특징은 하드웨어와 결합되어 청구항 1의 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램을 그 특징으로 한다.
본 발명에 따른 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템은 다음과 같은 효과를 가진다.
첫째, 본 발명은 본 발명은 양안 영상을 이용한 스테레오 비전(stereo vision) 기술 개발에 있어 입력된 양안 영상의 같은 정보가 동일한 선상에 위치하도록 정렬(Rectification)하는 작업에서 발생하는 오차를 개선하여 부정합 문제를 해결하기 위한 스테레오 매칭방법 및 그 시스템을 제공한다.
둘째, 본 발명은 두 영상 간에 유사 정보를 분석하여 디스페리티(Disparity) 정보를 산출함에 있어 영상 정렬(Rectification)시 발생한 오차 정보를 자동으로 반영하여 해결할 수 있는 스테레오 매칭방법 및 그 시스템을 제공한다.
셋째, 본 발명은 영상 정렬(Rectification) 과정에서 발생 가능한 에피폴라 라인(Epipolar Line) 부정합 문제를 해결하여 스테레오 비전(Stereo Vision) 처리 결과물의 품질을 향상시킬 수 있는 스테레오 매칭방법 및 그 시스템을 제공한다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래의 양안 카메라로부터 입력된 왼쪽 영상 및 오른쪽 영상의 에피폴라 라인 보정의 예를 나타낸 모식도이다.
도 2는 본 발명의 실시예에 따른 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법의 흐름을 나타낸 도면이다.
도 3은 에피폴라 라인 정합에 따른 영상 정렬의 결과를 비교한 도면이다.
도 4는 종래의 윈도우 영역 기반의 스테레오 매칭방법의 모식도이다.
도 5는 본 발명의 실시예에 따른 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법에 적용되는 수식의 동작 구조를 도식화한 도면이다.
도 6은 불완전 정렬(imperfect rectification)을 갖는 백팩의 스테레오 이미지를 이용하여, 본 발명의 실시예에 따른 서로 다른 R 값들을 가지고 센서스 기반 스테레오 알고리즘의 결과를 나타낸 사진이다.
이하, 첨부한 도면을 참조하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 설명한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 이해할 수 있는 바와 같이, 후술하는 실시예는 본 발명의 개념과 범위를 벗어나지 않는 한도 내에서 다양한 형태로 변형될 수 있다. 가능한 한 동일하거나 유사한 부분은 도면에서 동일한 도면부호를 사용하여 나타낸다.
본 명세서에서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지는 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.
본 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.
본 명세서에서 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법의 흐름을 나타낸 도면이다. 도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 스테레오 영상 매칭방법은, (a) 캘리브레이션을 통해 스테레오 카메라로부터 입력된 제1 영상 및 제2 영상의 에피폴라 라인을 추출하는 단계(S100); (b) 추출된 에피폴라 라인상에서 제1 영상의 임의의 기준점과 대응되는 제2 영상의 X축 연산범위(d)에 대한 Y축 연산범위(r)으로 이동하며 대응점을 비교연산하여 유사도를 추출하고, 추출된 값 중 유사도가 가장 높은 값을 해당하는 X축 연산범위(d)에 저장하는 단계(S200); 및 (c) (b) 단계에서 저장된 X축 연산범위(d)에 저장된 유사도 중 가장 높은 값에 해당하는 위치의 X축 연산범위(d)를 디스페리티(Disparity)로 설정하는 단계(S300)를 포함하여 구성된다.
이와 같이, 본 발명의 실시예는 스테레오 영상의 두 영상 간에 유사 정보를 분석하여 디스페리티(Disparity) 정보를 산출하여 정합 또는 매칭하는 방법에 있어 영상 정렬(Image rectification)시 발생하는 에피폴라 라인의 부정합 문제를 해결하여 스테레오 비젼 처리 결과물의 품질을 향상시킬 수 있는 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법을 제공한다.
(a) 단계는 캘리브레이션(calibration)을 통해 스테레오 카메라로부터 입력된 제1 영상 및 제2 영상의 에피폴라 라인(epipoliar line)을 생성하는 단계이다. 스테레오 영상에서 3차원 영상으로 표현할 때, 캘리브레이션(calibration)이 필수적으로 필요한데, 캘리브레이션에서 스테레오 영상의 좌 영상과 우 영상의 평활화를 하기위해 대응점 추출이 중요하며, 이 대응점을 찾기 위해 사용되는 것이 에피폴라 라인(epipolar line)이다.
즉, 좌 영상 위의 어느 한 점과 대응되는 우 영상 위의 점을 알고자 할 때, 우 영상을 모든 화소들을 비교하는 것에 대비하여 에피폴라 라인(epipolar line) 위에서 대응점을 찾는 것이 더 수월하기 때문에 에피폴라 라인을 추출 또는 생성하는 과정은 스테레오 매칭 프로세스에서 중요한 과정이다. 본 발명의 실시예에서는 이하에서 에피폴라 라인을 생성하는 알고리즘 또는 방법의 설명은 생략하고 일반적으로 사용하는 알고리즘을 적용하여 스테레오 영상의 제1 영상 및 제2 영상의 에피폴라 라인을 생성 또는 추출하는 것으로 가정한다.
(b) 단계는 추출된 에피폴라 라인을 이용하여 디스페리티를 설정하기 위한 대응점의 유사도를 산출하는 단계이고, (c) 단계는 (b) 단계에서 저장된 X축 연산범위(d)의 위치점에서의 유사도 중 가장 높은 값에 해당하는 X축 연산범위(d)를 디스페리티(Disparity)로 설정하는 단계이다. 이하에서 도면을 참조하여 보다 구체적으로 설명하기로 한다.
도 3은 에피폴라 라인 정합에 따른 영상 정렬의 결과를 비교한 도면이다. 도 3의 (a)는 완전 정렬(Perfect Rectification)에 의해 보정이 잘 이루어진 결과를 나타내고, 도 3의 (b)는 불완전 정렬(Imperfect Rectification)에 의해 보정이 부정확하게 이루어진 결과를 나타낸다.
도 3의 (a)에 나타낸 바와 같이, 양안 영상에 있어 왼쪽 영상의 210과 같은 정보를 가지는 점이 오른쪽 영상의 220와 같은 선상에 위치하는 것을 볼 수 있고(Perfect Rectification), 도 3의 (b)에 나타낸 바와 같이, 왼쪽 영상의 230과 같은 정보를 가지는 점인 오른쪽 영상의 240점이 같은 에피폴라 라인상에 위치하지 못하기 때문에(Imperfect Rectification), 동일한 에피폴라 라인의 정보를 기준으로 정보를 검색하는 스테레오 매칭 방법에 있어 연산에 오류가 발생하게 된다.
상술한 바와 같이 에피폴라 라인 정렬이 완벽하게 이루어진다는 보장이 없기에 이러한 문제를 해결하고 비교 정확도를 높이기 위해서 정보를 비교함에 있어 한 점을 기준으로 비교하지 않고 주변 영상 정보까지 모두 반영하여 도 3과 같이 일정한 영역의 윈도우 영역을 만들고 이 정보를 기반으로 같은 크기의 정보를 비교하는 방법도 사용되고 있다. 도 4는 종래의 윈도우 영역 기반의 스테레오 매칭방법의 모식도이다.
그러나 이 방법 역시 오차 범위에 대한 정보는 그대로 반영되기 때문에 정렬(Rectification) 과정에서 발생하는 문제를 근본적으로 해결할 수는 없다. 또한 필요 이상으로 윈도우 영역을 키우는 것은 연산량을 증가시켜 전체적인 시스템의 성능을 저하 시키는 원인이 된다.
이러한 문제를 해결하기 위해 본 발명의 실시예에서는 다음과 같은 방법을 제안한다.
현존하는 스테레오 매칭 알고리즘들은 대응되는 픽셀들이 정면평행(frontal-parallel)이라는 완전 정렬(perfect rectification) 가정한다. 그러므로, 정합 비용(matching cost) 계산에 있어서, 기준 이미지 I에서의 기준픽셀 p와 대응되는 타겟 이미자 I'에서의 후보 픽셀 p'는 동일한 y축 좌표를 가지고, x좌표 값에 관해서만 차이가 있다.
그러나, 높은 분해능을 갖는 스테레오 이미지들의 처리에 있어서, 정렬(rectification) 알고리즘은 부정확하게 수행될 수 있다. 그 결과, 스테레오 이미지들 사이의 대응되는 픽셀들이 y축 좌표 값들의 차이가 발생할 수 있게 된다. 이것은 대응되는 픽셀들의 정면평행(frontal-parallel)에 대한 가정이 이 경우에 더이상 유효하지 않음을 의미한다.
그러므로, 현존하는 스테레오 매칭 알고리즘들은 불완전 정렬(Imperfect rectification) 프로세스에 의해 발생하는 새로운 문제를 인정한다.
본 발명의 실시예에서는 기존의 불완전 정렬(Imperfect rectification), 방사 왜곡 및 평탄 효과와 다른 스테레오 이미지 조건들을 가지고 훌륭히 작동되는 새로운 스테레오 매칭 알고리즘을 제안하는 것은 아니지만, 지난 10년간 방사 왜곡 및 평탄 효과를 개선하기 위해 개발된 기존의 정합 비용 함수(matching cost function)를 재사용 하여, 불완전 정렬에도 불구하고 스테레오 매칭을 훌륭히 수행할 수 있는 새로운 스테레오 영상 매칭방법을 제안한다.
P = [xp, yp]T 참조 이미지 I(제1 영상)에서의 픽셀이라고 하고, P' = [xp', yp ']T 참조 이미지(제2 영상) I' 에서의 픽셀이라고 하고, ｄ =[d, r]T 디스페리티 값이라고 한다. 본 발명의 실시예에서는 기준 이미지로서 좌측 이미지를 사용한다. 여기서 d는 에피폴라 라인을 따라 대응점들을 비교연산하기 위한 X축 연산범위를 의미하고, r은 에피폴라 라인을 기준으로 하는 Y축 연산범위를 의미한다.
정면평행(frontal-parallel)을 가정하는 기존의 스테레오 매칭 알고리즘들은 r이 항상 제로 값으로 세팅된다. 이 고정된 r = o 가정은 기존의 스테레오 매칭 알고리즘들이 불완전 정렬에 의해 성능이 떨어지는 주요 원인이 된다.
제안된 본 발명의 실시예에서는, r 값이 변화될 수 있고, [-R, R] 구간이 될 수 있으며, 여기서 R은 에피폴라 라인의 확장 파라미터이다. M1은 기존 접근에서의 정합 비용 함수(matching cost function)가 된다. 픽셀 p 에 대한 정합 비용 값과 디스페리티 값 d는 다음의 [수학식 1]과 같이 정면평행(frontal-parallel) 가정에서 계산 된다.
Figure 112015104816381-pat00002
여기서, 함수 M1은 기준 이미지(제1 영상)의 픽셀 p의 좌표값과 d 값을 취한다. 대응되는 타겟 이미지(제2 영상)의 픽셀 p'의 좌표값은 다음의 [수학식 2]와 같이 계산된다. d는 디스페리티(Disparity) 값을 얻기 위해 제한되는 연산 범위 또는 X축 연산범위를 의미한다.
Figure 112015104816381-pat00003
전면평행 가정은 [수학식 2]으로 나타낼 수 있다. 기준 이미지의 픽셀 p와 대응되는 타겟 이미지의 픽셀 p'는 동일한 y축 좌표값 yp값을 갖는다. 이것은 기준 이미지에서 각 픽셀에 대한 대응되는 타겟 이미지의 픽셀들이 동일한 에피폴라 라인을 가진다는 것을 의미한다.
불완전 정렬(imperfection rectification) 문제는 좌우측 이미지들의 대응 픽셀들이 다른 에피폴라 라인에 위치될 수 있다는 것이 문제이다. 그러므로, [수학식 2]에서 나타나는 대응 픽셀들을 찾기 위한 세팅은 디스페리티 정보를 정확하게 수정하는데 실패하게 되는데, 이는 p'의 에피폴라 라인이 p의 에피폴라 라인과 동일한 위치에 있다는 조건 때문이다.
이와 같은 불완전 정렬(imperfection rectification) 개선하기 위해, 본 발명의 실시예에서는 픽셀 p'에 대응되는 조사 영역으로 y=yp 를 기준으로 상부 및 하부의 픽셀 라인들을 포함한다. 즉, 본 발명의 실시예에서는 다음의 [수학식 3]과 같은 정합 비용 값들을 얻기 위한 세팅을 한다.
Figure 112015104816381-pat00004
여기서, M2는 본 발명의 실시예에서 사용되는 정합 비용 함수(matching cost function)이다. 함수 M2는 조사영역이 얼마나 확장되는 지를 결정하는 또 하나의 입력 파라미터 r을 가진다. [수학식 3]에서 제안한 본 발명의 실시예에서 착안한 아이디어는 각 디스페리티 d에 대하여, 정합 비용 함수는 타겟 이미지에서 상부 및 하부 픽셀 P' = [xp - d, yp]T 가 고려되어야 한다는 점과 대부분 유사한 픽셀들이 값의 계산에 의해 선택된다는 점이다.
보다 구체적으로, 본 발명의 실시예에 따른 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법에 적용되는 정합 비용함수인 [수학식 3]에 대하여 설명하면 다음과 같다.
여기서, C는 기준이 되는 왼쪽 영상(제1 영상) 또는 오른쪽 영상(제2 영상)을 의미하며, C의 p는 비교 대상이 되는 기준점을 나타낸다. 이 p는 영상에서 x,y 좌표로 표현될 수 있다. d는 디스페리티(Disparity) 값을 얻기 위해 제한되는 연산 범위 또는 X축 연산범위를 나타낸다. d는 기준이 되는 영상의 한 점을 기준으로 비교 대상이 되는 영상의 같은 점으로부터 얼마나 많은 픽셀 정보를 이동해가면서 비교할지를 나타낸다.
비교된 정보는 p의 각 d에 저장이 되고, 이후 이 정보 중 유사도 정보가 가장 높은 값이 위치하는 d의 주소값을 디스페리티(Disparity)로 선정하게 된다. 예로 d의 두 번째 위치 값이 가장 유사도가 높은 값을 가지고 있는 것으로 판단되면 현재 p의 디스페리티(Disparity) 값은 2로 결정된다.
d 값을 이용한 연산 영역을 제한하는 이유는 필요 이상으로 너무 많은 영상 정보를 비교하는 것은 무의미하기에 연산량을 줄여 연산속도를 늘리기 위한 방법으로 이를 제한하여 사용되고 있다.
그리고, 상술한 바와 같이, M2는 본 발명의 실시예에 적용되는 정합 비용 함수(matching cost function)로서, 비교 대상이 되는 영상을 나타내며, M2의 p는 C의 p에 대응이 되는 좌표를 나타내며, d는 이 점을 기준으로 이동된 X축 좌표 값을 나타낸다. r은 d를 기준으로 위아래 Y축 좌표로 검색 가능한 검색 또는 연산범위를 나타낸다.
임의의 d점을 기준으로 r 범위만큼 위아래 정보를 모두 검색하여 기준이 되는 C의 p 점과 정보를 비교하게 되고 이중 유사도가 가장 높은 값을 C의 d에 저장하게 된다. 최종적으로 C의 p 점에 대해 저장된 모든 d 값을 비교하여 가장 유사도가 높은 정보를 찾아 그 값을 해당 위치의 디스페리티(Disparity) 값으로 정하게 된다.
도 5는 본 발명의 실시예에 따른 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법에 적용되는 수식의 동작 구조를 도식화한 도면이다. 도 5에 나타낸 바와 같이, 410은 기준이 되는 영상의 한 줄을 나타내며, 411은 연산 기준이 되는 임의 점 p를 나타낸다. 430은 비교되는 영상에서 410과 같은 선상에 위치하는 영상 정보가 되며, 420과 440은 430을 기준으로 위아래 선상에 위치하는 영상 정보들을 나타낸다.
421은 비교대상이 되는 영상에서 기준 영상의 411과 같은 정보가 위치하는 위치를 나타내게 된다. 이 정보를 찾기 위해 제안된 수식을 적용하여 411과 같은 좌표 정보를 가지는 430의 좌표로부터 d 범위 범위만큼 이동해 가면서 비교 연산을 수행하게 된다. 연산 방향은 왼쪽 영상이 기준이 될 경우 오른쪽 영상의 같은 지점을 기준으로 왼쪽으로 이동해가며 정보를 비교하게 되며, 오른쪽 영상이 기준이 될 경우 왼쪽 영상의 같은 위치로부터 오른쪽으로 이동해 가면서 비교하게 된다.
d 만큼 이동된 각 지점에서 앞서 언급된 r 범위만큼 위아래 정보도 같이 비교하게 되며 이런 방법을 반복해서 수행해 나가다 보면 각 위치의 r 범위 내에서 유사도가 가장 높다고 판단되는 450 값을 해당 위치의 d 값으로 저장하게 된다. 이후 앞서 수식 설명에서 언급한 바와 같이 저장된 모든 d 값들 중 유사도가 가장 높은 값이 위치하는 d를 최종 디스페리티(Disparity) 값으로 지정하게 된다.
이와 같은 방법을 이용해서 411에 대응되는 421이 같은 선상에 위치하지 않더라도 찾을 수 있게 된다. r의 범위는 영상이 커질수록 수평 오차가 범위가 커지기 때문에 영상 크기에 따라 에피폴라 라인의 정렬(Rectification) 결과의 오차 정보를 반영하여 범위를 유동적으로 조절하게 된다.
도 6은 불완전 정렬(imperfect rectification)을 갖는 백팩의 스테레오 이미지를 이용하여, 본 발명의 실시예에 따른 서로 다른 R 값들을 가지고 센서스 기반 스테레오 알고리즘의 결과를 나타낸 사진이다.
도 6의 (a)는 왼쪽 카메라 입력 영상, (b)는 오른쪽 카메라 입력 영상을 나타내며, C는 이론적으로 얻어진 완벽한 디스페리티(Disparity) 영상을 나타낸다. 도 5의 (d) 내지 (f)의 영상은 스테레오 비전 연산 방법 중 국소 정합(Local Matching) 기반의 알고리즘에 제안된 방법을 적용한 결과로서 (d)는 r 범위를 0으로 하여 기존 알고리즘을 그대로 사용한 결과이며, (d)와 (f)는 본 발명의 실시예에서와 같이 r 값을 반영하여 제안된 방법을 적용한 결과로서, 연산 결과의 품질이 더욱 좋아지는 것을 확인할 수 있다.
도 6의 (g) 내지 (k)의 영상은 스테레오 비전 연산 방법 중 글로벌 정합(Global Matching) 기반의 알고리즘에 제안된 방법을 적용한 결과로서 (g)는 r 범위를 0으로 하여 기존 알고리즘을 그대로 사용한 결과이며, (h)와 (k)는 r 값을 반영하여 본 발명의 실시예에 따른 매칭방법을 적용한 결과로서, 연산 결과의 품질이 더욱 좋아지는 것을 확인 가능하다.
이러한 실험 결과를 통해서 본 발명의 실시예에 따른 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법을 기존 기술에 적용함으로써 에피폴라 라인 정렬(rectification) 오차로 발생하는 문제를 개선 가능한 것을 확인할 수 있다.
그리고, 이와 같은 본 발명의 실시예에 따른 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법을 적용하기 위한 시스템은, 캘리브레이션을 통해 스테레오 카메라로부터 입력된 제1 영상 및 제2 영상의 에피폴라 라인을 추출하는 에피폴라 라인 추출부; 및 추출된 에피폴라 라인상에서 제1 영상의 임의의 기준점과 대응되는 제2 영상의 X축 연산범위(d)에 대한 Y축 연산범위(r)으로 이동하며 대응점을 비교연산하여 유사도를 추출하고, 추출된 값 중 유사도가 가장 높은 값에 해당하는 X축 연산범위(d)를 디스페리티(Disparity)로 설정하여 제1 영상 및 제2 영상을 정합하는 영상 정합부를 포함하여 구성된다.(도시하지 않음)
여기서, 상기 영상 정합부는, 추출된 유사도 값 중 가장 높은 값에 해당하는 X축 연산범위(d)를 저장하는 디스페리티 임시 저장부; 및 디스페리티 임지 저장부에서 저장된 X축 연산범위(d)의 위치점에서의 유사도 중 가장 높은 값에 해당하는 X축 연산범위(d)를 디스페리티(Disparity)로 설정하는 디스페리티 설정부를 포함한다. 또한, 상기 Y축 연산범위(r)의 범위는 제1 영상 및 제2 영상의 크기에 따라 설정되는 것이 바람직하다.(도시하지 않음)
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. (a) 캘리브레이션을 통해 스테레오 카메라로부터 입력된 제1 영상 및 제2 영상의 에피폴라 라인을 추출하는 단계;
    (b) 추출된 에피폴라 라인상에서 제1 영상의 임의의 기준점과 대응되는 제2 영상의 X축 연산범위(d)에 대한 Y축 연산범위(r)으로 이동하며 대응점을 비교연산하여 유사도를 추출하고, 추출된 값 중 유사도가 가장 높은 값을 해당하는 X축 연산범위(d)에 저장하는 단계; 및
    (c) (b) 단계에서 저장된 X축 연산범위(d)에 저장된 유사도 중 가장 높은 값에 해당하는 위치의 X축 연산범위(d)를 디스페리티(Disparity)로 설정하는 단계를 포함하되,
    제1 영상 및 제2 영상의 에피폴라 라인의 Y축 위치가 서로 일치하지 않은 것을 특징으로 하는 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법.
  2. 청구항 1에 있어서,
    상기 (b) 단계에서 비교연산은 픽셀 단위로 수행되는 것을 특징으로 하는 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법.
  3. 청구항 1에 있어서,
    상기 Y축 연산범위(r)의 범위는 제1 영상 및 제2 영상의 크기에 따라 설정되는 것을 특징으로 하는 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법.
  4. 삭제
  5. 청구항 1에 있어서,
    (b) 단계에서 유사도를 추출하는 방법은 정합 비용 함수(matching cost function)를 사용하는 것을 특징으로 하는 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법.
  6. 청구항 5에 있어서,
    상기 정합 비용 함수(matching cost function)는,
    Figure 112015104816381-pat00005

    (여기서, C는 기준이 되는 영상을 의미하며, p는 비교 대상이 되는 기준점을 나타내고, d는 디스페리티(Disparity) 값을 얻기 위해 제한되는 연산 범위 또는 X축 연산범위를 나타내고, r은 에피폴라 라인을 기준으로 하는 Y축 연산범위를 의미한다.)와 같은 식을 만족하는 것을 특징으로 하는 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법.
  7. 청구항 5에 있어서,
    상기 정합 비용 함수(matching cost function)는 로컬 매칭(Local Matching) 기반 알고리즘이 적용된 것을 특징으로 하는 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법.
  8. 청구항 5에 있어서,
    상기 정합 비용 함수(matching cost function)는 글로벌 매칭(Global Matching) 기반 알고리즘이 적용된 것을 특징으로 하는 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법.
  9. 캘리브레이션을 통해 스테레오 카메라로부터 입력된 제1 영상 및 제2 영상의 에피폴라 라인을 추출하는 에피폴라 라인 추출부; 및
    추출된 에피폴라 라인상에서 제1 영상의 임의의 기준점과 대응되는 제2 영상의 X축 연산범위(d)에 대한 Y축 연산범위(r)으로 이동하며 대응점을 비교연산하여 유사도를 추출하고, 추출된 유사도 값 중 가장 높은 값에 해당하는 X축 연산범위(d)를 디스페리티(Disparity)로 설정하여 제1 영상 및 제2 영상을 정합하는 영상 정합부를 포함하되,
    제1 영상 및 제2 영상의 에피폴라 라인의 Y축 위치가 서로 일치하지 않은 것을 특징으로 하는 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭시스템.
  10. 청구항 9에 있어서,
    상기 영상 정합부는,
    추출된 유사도 값 중 가장 높은 값에 해당하는 X축 연산범위(d)를 저장하는 디스페리티 임시 저장부; 및
    디스페리티 임시 저장부에서 저장된 X축 연산범위(d)의 위치점에서의 유사도 중 가장 높은 값에 해당하는 X축 연산범위(d)를 디스페리티(Disparity)로 설정하는 디스페리티 설정부를 포함하는 것을 특징으로 하는 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭시스템.
  11. 청구항 9에 있어서,
    상기 Y축 연산범위(r)의 범위는 제1 영상 및 제2 영상의 크기에 따라 설정되는 것을 특징으로 하는 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭시스템.
  12. 하드웨어와 결합되어 청구항 1의 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법을 실행시키기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터프로그램.

KR1020150150235A 2015-10-28 2015-10-28 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템 KR101738269B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150150235A KR101738269B1 (ko) 2015-10-28 2015-10-28 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150150235A KR101738269B1 (ko) 2015-10-28 2015-10-28 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20170049759A KR20170049759A (ko) 2017-05-11
KR101738269B1 true KR101738269B1 (ko) 2017-05-22

Family

ID=58740993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150150235A KR101738269B1 (ko) 2015-10-28 2015-10-28 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR101738269B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305277B (zh) * 2017-12-26 2020-12-04 中国航天电子技术研究院 一种基于直线段的异源图像匹配方法

Also Published As

Publication number Publication date
KR20170049759A (ko) 2017-05-11

Similar Documents

Publication Publication Date Title
US20230252664A1 (en) Image Registration Method and Apparatus, Electronic Apparatus, and Storage Medium
US9990534B2 (en) Image processing device and image processing method
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN109754459B (zh) 一种用于构建人体三维模型的方法及系统
JP4521235B2 (ja) 撮影画像の変化抽出装置及び方法
KR20120068470A (ko) 스테레오 영상 정합 장치 및 그 방법
JP5776771B2 (ja) 対応点探索装置、および距離測定装置
WO2014183385A1 (zh) 一种终端及其实现图像处理的方法
TWI767575B (zh) 用於多影像地面控制點判定之方法、非暫時性機器可讀媒體及系統
TW201824859A (zh) 運用變焦影像資訊以改善原視差影像匹配錯誤之方法
Santana-Cedrés et al. Invertibility and estimation of two-parameter polynomial and division lens distortion models
CN106558038B (zh) 一种水天线检测方法及装置
CN104537627A (zh) 一种深度图像的后处理方法
US11803978B2 (en) Generating composite image from multiple images captured for subject
CN103778607A (zh) 一种图像校正方法
KR101738269B1 (ko) 에피폴라 라인 확장 파라미터를 이용한 스테레오 영상 매칭방법 및 그 시스템
US20230269475A1 (en) Image reconstruction method and device
CN104794680B (zh) 基于同一卫星平台的多相机图像镶嵌方法及装置
WO2014054124A1 (ja) 路面標示検出装置及び路面標示検出方法
CN117522803A (zh) 基于双目视觉和目标检测的桥梁部件精确定位方法
CN110322508B (zh) 一种基于计算机视觉的辅助定位方法
US10430971B2 (en) Parallax calculating apparatus
Pertuz et al. Improving shape-from-focus by compensating for image magnification shift
JP2006145419A (ja) 画像処理方法
US20140118568A1 (en) Method and apparatus for processing image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20200217

Year of fee payment: 4