KR101869226B1 - 이종 카메라를 위한 시차 맵 생성 방법 - Google Patents

이종 카메라를 위한 시차 맵 생성 방법 Download PDF

Info

Publication number
KR101869226B1
KR101869226B1 KR1020170010729A KR20170010729A KR101869226B1 KR 101869226 B1 KR101869226 B1 KR 101869226B1 KR 1020170010729 A KR1020170010729 A KR 1020170010729A KR 20170010729 A KR20170010729 A KR 20170010729A KR 101869226 B1 KR101869226 B1 KR 101869226B1
Authority
KR
South Korea
Prior art keywords
image
processing apparatus
image processing
value
block
Prior art date
Application number
KR1020170010729A
Other languages
English (en)
Inventor
전재욱
쾅 빈 딘
반 허우 응웬
변진영
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020170010729A priority Critical patent/KR101869226B1/ko
Application granted granted Critical
Publication of KR101869226B1 publication Critical patent/KR101869226B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

이종 카메라를 위한 시차 맵 생성 방법은 영상 처리 장치가 이종 카메라가 획득한 영상을 획득하는 단계, 상기 영상 처리 장치가 상기 영상의 매칭 비용을 합산하는 단계, 상기 영상 처리 장치가 상기 영상에서 텍스처 영역을 검출하는 단계 및 상기 영상 처리 장치가 상기 영상에서 상기 텍스처 영역을 고려하여 상기 영상에 대한 한 시차 값을 연산하는 단계를 포함한다.

Description

이종 카메라를 위한 시차 맵 생성 방법{DISPARITY MAP GENERATING METHOD FOR MONO CAMERAS}
이하 설명하는 기술은 이종 모노 카메라로 획득한 영상에 대한 시차 맵 생성 기법에 관한 것이다.
스테레오 카메라는 3차원 영상 처리 기술의 다양한 분야에서 활용되고 있는 영상획득 장치이다. 스테레오 영상을 생성하기 위하여 일반적으로 영상 교정(rectification)을 수행한다. 스테레오 영상 교정은 스테레오 정합 과정에서 에피폴라 라인(epipolar line)을 서로 평행하게 일치시키기 위한 것이다.
한국등록특허 제10-1457385호
종래 스테레오 매칭 기법은 완벽한 교정 과정을 거친 ?을 전제로 한다. 따라서 이종 카메라를 사용하여 획득한 영상과 같이 불완전하게 교정이 되거나, 교정되지 않은 영상에 대해서는 종래 기법은 정확한 시차 맵을 생성하기 어렵다.
이하 설명하는 기술은 스테레오 매칭을 위한 영상이 불완전하게 교정되거나, 교정되지 않은 영상을 이용하여 시차 맵을 생성하기 위한 기법을 제공하고자 한다.
이종 카메라를 위한 시차 맵 생성 방법은 영상 처리 장치가 이종 카메라가 획득한 영상을 획득하는 단계, 상기 영상 처리 장치가 상기 영상의 매칭 비용을 합산하는 단계, 상기 영상 처리 장치가 상기 영상에서 텍스처 영역을 검출하는 단계 및 상기 영상 처리 장치가 상기 영상에서 상기 텍스처 영역을 고려하여 상기 영상에 대한 한 시차 값을 연산하는 단계를 포함한다.
다른 측면에서 이종 카메라를 위한 시차 맵 생성 방법은 영상 처리 장치가 이종 카메라가 획득한 영상을 획득하는 단계, 상기 영상 처리 장치가 상기 영상의 매칭 비용을 합산하는 단계, 상기 영상 처리 장치가 상기 영상에서 텍스처 영역을 검출하는 단계 및 상기 영상 처리 장치가 상기 텍스처 영역을 고려한 에너지 함수를 이용하여 상기 영상에 대한 한 시차 값을 결정하는 단계를 포함한다.
이하 설명하는 기술은 이종 카메라가 획득한 영상과 같은 소스 영상을 이용하여 시차 맵을 생성할 수 있다.
도 1은 이종 카메라를 사용하는 자동차에 대한 예이다.
도 2는 스테레오 카메라가 획득한 에피폴라 라인에 대한 예이다.
도 3은 이종 카메라를 위한 시차 맵 생성 과정에 대한 순서도의 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
먼저 스테레오 매칭에 대해 간략하게 설명한다. 스테레오 알고리즘 과정은 일반적으로 매칭 비용(matching cost) 연산, 비용 합산(cost aggregation), 시차(disparity) 연산, 시차 수정(disparity refinement) 단계를 포함한다. 이를 통해 시차 맵(disparity map)을 생성한다. 널리 알려진 바와 같이 시차는 스테레오 정합을 위한 두개의 영상(좌안 영상 및 우안 영상)에서 동일 객체의 우치 차이를 의미한다.
스테레오 매칭은 지역적(local) 방법과 전역적(global) 방법으로 분류될 수 있다. 두가지 방식 모두 매칭 비용 연산을 포함한다. 전역적인 방법은 최적화된 목적 함수를 이용하여 전역적인 시차 표면(Disparity surface)을 구한다. 이와는 다르게 지역적인 방법은 지역 윈도우(Local window)를 이용하여 픽셀에 대한 시차를 구한다.
매칭 비용 연산 과정은 기준 영상(예컨대, 좌안 영상)에 있는 픽셀 p에 대해 매칭 비용 값을 갖는 시차 공간 영상(disparity space image) C를 생성한다. C에서 픽셀 p에 대한 값을 Cd(p)라고 한다.
지역적 스테레오 매칭 방법은 C에 있는 매칭 비용 값을 지역적으로 평탄(smooth)하게 하는 비용 합산을 사용한다. C에 대하여 매칭 비용 합산한 결과를 C'라고 하면, 픽셀 p에 대한 시차 값은 WTA(winner-takes-all) 기법에 따라 아래 수학식 1과 같이 표현할 수 있다.
Figure 112017008104410-pat00001
수학식 1에서 DE는 추정된 시차 맵이다.
전역적 스테레오 매칭 방법은 두 개의 이웃 필셀 사이의 시차의 평탄도를 조건으로 갖는 에너지 함수를 최소화하는 방법을 사용한다. 즉, 낮은 에너지를 갖는 시차 맵을 생성하는 것이다. 아래 수학식 2는 에너지 함수에 대한 일 예이다.
Figure 112017008104410-pat00002
Edata는 매칭 비용 연산 과정에서 산출되는 영상 일관성(photo consistency)에 대한 값이다. Esmooth는 아래 수학식 3과 같이 표현되는 평탄도에 대한 값이다.
Figure 112017008104410-pat00003
Figure 112017008104410-pat00004
수학식 3과 4에서 dp는 픽셀 p의 시차값, dq는 픽셀 q의 시차값이다. Ω는 기준 영상에서 이웃하는 픽셀의 집합이다. s()는 두 개 픽셀의 시차값이 다른 경우에 대한 패널티를 부여하는 평탄 함수이다. 수학식 4에서
Figure 112017008104410-pat00005
는 평탄도와 데이터 항목(data term)의 균형을 맞추기 위하여 사전에 정의된 패널티 값이다.
스테레오 영상을 이루는 두 개의 영상에 대해 교정(rectification)을 수행할 수 있다. 스테레오 영상 교정(rectification)은 스테레오 매칭 과정에서 에피폴라 라인(epipolar line)을 서로 평행하게 일치시키기 위한 것이다. 이하 설명하는 기술은 이종 카메라를 사용하여 에피폴라 라인이 일치하지 않는 영상을 이용하여 시차 맵을 생성하는 기법에 관한 것이다. 즉 이하 설명하는 기술은 부정확한 교정이나 교정이 수행되지 않은 영상을 이용하여 시차 맵을 생성하기 위한 기법에 해당한다.
이종 카메라가 사용되는 예에 대해 설명한다. 다양한 환경에서 이종 카메라가 사용될 수 있다. 이종 카메라는 각 카메라가 동일한 객체에 대한 영상을 획득한다. 도 1은 이종 카메라를 사용하는 자동차에 대한 예이다.
도 1은 이종 카메라를 사용하는 자동차에 대한 예이다. 도 1은 차량(10)에 배치된 카메라가 화각이 중첩되는 영상을 획득하는 예이다. 도 1은 차량(10)에 복수의 카메라가 배치된 하나의 예이다. 카메라 1(camera 1)은 차량(10)의 전면부에 배치되고, 차량의 전면 방향의 영상을 획득한다. 카메라 2(camera 2)는 차량(10)의 좌측 사이드 미러에 배치되고, 차량의 후면 방향의 영상을 획득한다. 카메라 3(camera 3)은 차량(10)의 우측 사이드 미러에 배치되고, 차량의 후면 방향의 영상을 획득한다. 카메라 4(camera 4)는 차량(10)의 상부에 배치되고, 차량의 전면 방향의 영상을 획득한다. 카메라 5(camera 5)는 차량(10)의 후면부에 배치되고, 차량의 후면 방향의 영상을 획득한다.
카메라 1과 카메라 4는 차량(10)의 전면 방향을 촬영하면서 중첩된 영역 A에 대한 영상을 획득할 수 있다. 카메라 2와과 카메라 5는 차량(10)의 후면 방향을 촬영하면서 중첩된 영역 B에 대한 영상을 획득할 수 있다. 카메라 2와 카메라 3은 차량(10)의 후면 방향을 촬영하면서 중첩된 영역 C에 대한 영상을 획득할 수 있다.
이하 설명하는 기술은 이와 같이 복수의 이종 카메라가 획득한 영상을 이용하여 스테레오 영상을 생성하기 위한 것이다. 도 1을 살펴보면, 영역 A에 대한 영상을 획득하는 카메라 1 및 카메라 4의 위치 및 높이 등이 다르다. 나아가 카메라 1 및 카메라 4는 하드웨어 스펙 등도 서로 다를 수 있다. 따라서 종래 스테레오 카메라에 대한 처리 위해 추가적인 전처리 내지 후처리가 필요할 수 있다.
도 2는 스테레오 카메라가 획득한 에피폴라 라인에 대한 예이다. 도 2(a)는 이상적인 카메라를 사용한 경우에 대한 예이다. 두 개의 카메라가 획득한 영상의 에피폴라 라인이 정확하게 일치한다. 도 2(b)는 두 개의 카메라가 획득한 영상의 에피폴라 라인이 일치하지 않는 경우이다. 도 2에서 원으로 표시한 부분은 동일한 객체의 동일한(대응되는) 지점의 의미한다. 도 2(b)에서는 좌안 영상에서는 영역 A가 에피폴라 라인에 위치하지만, 우안 영상에서는 동일 영역이 에피폴라 라인을 기준으로 수직 방향(상)으로 이격된 상태이다. 이종 카메라를 사용하는 경우 기본적으로 2개의 카메라로 획득한 영상은 도 2(b)와 같이 에피폴라 라인이 일치하지 않는다.
이하 설명에서 설명의 편의를 위해 영상 처리 장치가 스테레오 매칭을 수행한다고 가정한다. 영상 처리 장치는 카메라가 획득한 영상을 이용하여 스테레오 영상을 생성하는 장치이다. 예컨대, 영상 처리 장치는 PC, 서버, 차량에 탑재된 임베디드 칩 등일 수 있다. 영상 처리 장치는 도 2(b)와 같은 소스 영상을 이용하여 스테레오 영상 생성을 위한 시차 맵을 생성한다.
도 3은 이종 카메라를 위한 시차 맵 생성 과정(100)에 대한 순서도의 예이다. 영상 처리 장치는 이종 카메라 중 하나의 카메라가 획득한 영상 A를 입력받고(110), 이종 카메라 중 나머지 하나의 카메라가 획득한 영상 B를 입력받는다. 도 3은 설명의 편의를 위해 2개의 이종 카메라를 이용한 예를 가정한다.
영상 처리 장치는 매칭 비용을 연산하고, 매칭 비용을 합산한다(130). 영상 처리 장치는 널리 알려진 다양한 알고리즘을 이용하여 스테레오 영상 매칭을 위한 비용 연산 및 비용 합산을 할 수 있다.
영상 처리 장치는 텍스처(texture) 영역을 검출한다(140). 텍스처 영역을 검출하는 과정에 대해 설명한다. 텍스처는 픽셀 강도가 지역적으로 변화하는 영역 내지 패턴이라고 할 수 있다.
영상 처리 장치는 전체 영상을 복수의 블록으로 나누고, 균질한 텍스처 검출을 이용하여 텍스처 영역에 해당하는 블록을 검출할 수 있다. 영상 처리 장치는 아래의 수학식 5 및 수학식 6을 이용하여 텍스처 영역을 검출할 수 있다.
Figure 112017008104410-pat00006
수학식 5에서 M은 한 블록의 픽셀 집합, m은 그 블록 픽셀들의 평균값, mp은 픽셀 p의 픽셀값이다. 예컨대, 물체의 경계(에지 등)나 텍스처가 밀집한 부분에서 σ값이 더 커지게 된다.
영상 처리 장치는 σ가 임계값보다 큰 블록을 텍스처 영역을 결정할 수 있다. 즉 아래 수학식 6에서 G(σ)의 값이 1인 영역이 텍스처 영역이 될 수 있다.
Figure 112017008104410-pat00007
영상 처리 장치는 텍스처 영역을 기준으로 시차 값 연산을 수행한다(150). 시차 값 연산 과정은 지역적 스테레오 매칭 기법과 전역적 스테레오 매칭 기법에 서로 상이하다. 이에 대해서는 후술한다.
최종적으로 영상 처리 장치는 시차 수정 과정을 수행하여 시차 맵을 완성한다(160). 영상 처리 장치는 널리 알려진 다양한 알고리즘을 사용하여 시차 수정 과정을 수행할 수 있다.
이하 영상 처리 장치가 텍스처 영역을 검출 한 후 시차 값을 연산하는 과정에 대해 설명한다. 지역적 스테레오 매칭 기법과 전역적 스테레오 매칭 기법을 구분하여 순서대로 설명한다.
지역적 스테레오 매칭 기법
먼저 지역적 스테레오 매칭 기법에서 시차값을 결정하는 과정에 대해 설명한다. 지역적 스테레오 매칭 방법에서는 매칭 비용 연산과 비용 합산 과정이 중요하다. 최종적인 시차 연산은 각 픽셀에서 최소 비용 값과 관련된 시차 값을 선택하기만 하면 된다.
매칭 비용은 아래의 수학식 7과 같이 정의할 수 있다. 매칭 비용은 좌안 영상과 우안 영상에서 대응되는 영역(윈도우) 사이에 관한 것이다. 아래 수학식 7에서 w는 윈도우 크기이다. 수학식 7은 좌안 영상의 픽셀 p와 우안 영상의 픽셀 q 사이의 매칭 비용이다. 수학식 7로 표현되는 매칭 비용을 제1 매칭 비용이라고 명명한다.
Figure 112017008104410-pat00008
C(p,d)는 시차값 레벨 d에서 픽셀 p의 매칭 비용이다. C(p, p-d)는 좌안 영상의 픽셀 p와 우안 영상의 픽셀 p-d 사이의 매칭 비용이다.
이제 두 개의 영상 사이에서 수직 방향의 차이를 고려한 매칭 비용을 설명한다. 아래 수학식 8은 좌안 영상의 픽셀 p와 우안 영상의 픽셀 pr-d 사이의 매칭 비용이다. pr-d는 대응되는 지점 (x-d, y±r)에서의 픽셀(픽셀값)이다. 수학식 8에서 S는 전술한 텍스처 영역을 의미한다. 수학식 8로 표현되는 매칭 비용을 제2 매칭 비용이라고 명명한다.
Figure 112017008104410-pat00009
이제 영상 처리 장치는 정확한 시차 값(D(p))을 찾기 위해 아래의 수학식 9에 해당하는 판단을 수행할 수 있다. 즉, 영상 처리 장치는 제1 매칭 비용과 제2 매칭 비용 중 모두 고려하여 작은 비용을 선택하는 것이다.
Figure 112017008104410-pat00010
C(p,d)는 (x,y) 위치의 좌측 영상 픽셀 p와 (x-d, y) 위치의 우측 영상 픽셀 사이의 매칭 비용이다. C(p,d,r)은 도 2(b)와 같이 수직 방향으로 에피폴라 라인이 일치하지 않는 경우를 고려하기 위한 것이다. C(p,d,r)은 (x,y) 위치의 좌측 영상 픽셀 p와 (x-d, y±r) 위치의 우측 영상 픽셀 사이의 매칭 비용이다. r은 수직 위치의 차이를 나타내며 저주파수 영역에서는 r = 0이 될 수 있다. 따라서 수학식 1의 종래 스테레오 매칭 기법과 달리 영상 처리 장치는 수학식 9를 기준으로 시차 값을 연산하게 된다.
전역적 스테레오 매칭 기법
전역적 스테레오 매칭 기법에서 시차값을 결정하는 과정에 대해서도 설명한다. 전술한 바와 같이 영상 처리 장치는 에너지를 최소화하는 시차를 찾는다.
영상 처리 장치는 지역적 스테레오 매칭 과정과 유사하게 텍스처 영역을 검출한다. 영상 처리 장치는 텍스처 영역을 고려한 에너지 함수를 이용한다. 아래 수학식 10은 새로운 에너지 함수(E(D))에 대한 예이다. 영상 처리 장치는 에너지 함수(E(D))를 최소화하는 시차 값을 결정한다.
Figure 112017008104410-pat00011
Edata는 매칭 비용 연산 과정에서 산출되는 영상 일관성에 대한 값이다. Esmooth는 수학식 3과 같이 표현되는 평탄도에 대한 값이다. Etexture는 텍스처 영역에 대한 측정값이다. 텍스처 영역에 속하는 픽셀은 보다 강한 평탄도 조건을 갖게된다. Etexture는 아래 수학식 11과 같이 연산될 수 있다.
Figure 112017008104410-pat00012
Figure 112017008104410-pat00013
Dp는 픽셀 p의 시차값, Dq는 픽셀 q의 시차값이다. Ω는 기준 영상에서 이웃하는 픽셀의 집합이다.
Figure 112017008104410-pat00014
()는 두 개 픽셀의 시차값이 다른 경우에 대한 패널티를 부여하는 평탄 함수이다. τp는 대응되는 픽셀에 대한 수직 위치의 차이이다. th는 픽셀이 텍스처 영역에 위치하는지 여부를 결정하는 임계값에 해당한다. P는 평탄도와 데이터 항목의 균형을 맞추기 위하여 사전에 정의된 패널티 값이다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (10)

  1. 영상 처리 장치가 이종 카메라가 획득한 영상을 획득하는 단계;
    상기 영상 처리 장치가 상기 영상의 매칭 비용을 합산하는 단계;
    상기 영상 처리 장치가 상기 영상에서 텍스처 영역을 검출하는 단계; 및
    상기 영상 처리 장치가 상기 영상에서 상기 텍스처 영역을 고려하여 상기 영상에 대한 한 시차 값을 연산하는 단계를 포함하며,
    상기 영상 처리 장치는 상기 텍스처 영역에 대해 아래 수식을 이용하여 상기 시차 값을 연산하는 이종 카메라를 위한 시차 맵 생성 방법.
    Figure 112018035218563-pat00020

    (D(p)는 픽셀에 대한 시차 값이고, C(p,d)는 (x,y) 위치의 좌측 영상 픽셀 p와 (x-d, y) 위치의 우측 영상 픽셀 사이의 매칭 비용이고, C(p,d,r)은 텍스처 영역에서 (x,y) 위치의 좌측 영상 픽셀 p와 (x-d, y±r) 위치의 우측 영상 픽셀 사이의 매칭 비용임)
  2. 제1항에 있어서,
    상기 영상 처리 장치는 상기 영상을 복수의 블록으로 나누고, 각 블록에 속한 픽셀의 균일도를 연산하고, 상기 균일도가 기준값 이상인 블록을 상기 텍스처 영역으로 검출하는 이종 카메라를 위한 시차 맵 생성 방법.
  3. 제1항에 있어서,
    상기 영상 처리 장치는 상기 영상을 복수의 블록으로 나누고, 상기 복수의 블록 중 블록에 속한 픽셀의 평균값과 상기 블록에 속한 각각의 픽셀값의 차이를 누적한 값이 기준값 이상인 블록을 상기 텍스처 영역으로 검출하는 이종 카메라를 위한 시차 맵 생성 방법.
  4. 제1항에 있어서,
    상기 영상 처리 장치는 상기 텍스처 영역에 대해 상기 영상에서 에피폴라 라인이 일치하지 않는 지점의 수직 방향 차이를 고려하여 상기 시차 값을 연산하는 이종 카메라를 위한 시차 맵 생성 방법.
  5. 삭제
  6. 영상 처리 장치가 이종 카메라가 획득한 영상을 획득하는 단계;
    상기 영상 처리 장치가 상기 영상의 매칭 비용을 합산하는 단계;
    상기 영상 처리 장치가 상기 영상에서 텍스처 영역을 검출하는 단계; 및
    상기 영상 처리 장치가 상기 텍스처 영역을 고려한 에너지 함수를 이용하여 상기 영상에 대한 한 시차 값을 결정하는 단계를 포함하며,
    상기 영상 처리 장치는 아래의 수식으로 정의되는 상기 에너지 함수를 이용하여 상기 시차 값을 결정하는 이종 카메라를 위한 시차 맵 생성 방법.
    Figure 112018035218563-pat00021

    (E(D)는 상기 에너지 함수이고, Edata는 매칭 비용 연산 과정에서 산출되는 영상 일관성에 대한 값, Esmooth는 평탄도에 대한 값, Etexture는 텍스처 영역에 대한 측정값임)
  7. 제6항에 있어서,
    상기 영상 처리 장치는 상기 영상을 복수의 블록으로 나누고, 각 블록에 속한 픽셀의 균일도를 연산하고, 상기 균일도가 기준값 이상인 블록을 상기 텍스처 영역으로 검출하는 이종 카메라를 위한 시차 맵 생성 방법.
  8. 제6항에 있어서,
    상기 영상 처리 장치는 상기 영상을 복수의 블록으로 나누고, 상기 복수의 블록 중 블록에 속한 픽셀의 평균값과 상기 블록에 속한 각각의 픽셀값의 차이를 누적한 값이 기준값 이상인 블록을 상기 텍스처 영역으로 검출하는 이종 카메라를 위한 시차 맵 생성 방법.
  9. 제6항에 있어서,
    상기 영상 처리 장치는 상기 텍스처 영역에 대해서는 상기 텍스처 영역이 아닌 나머지 영역과 다른 제한 조건을 갖는 에너지 함수를 사용하여 상기 시차 값을 결정하는 이종 카메라를 위한 시차 맵 생성 방법.
  10. 삭제
KR1020170010729A 2017-01-23 2017-01-23 이종 카메라를 위한 시차 맵 생성 방법 KR101869226B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170010729A KR101869226B1 (ko) 2017-01-23 2017-01-23 이종 카메라를 위한 시차 맵 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170010729A KR101869226B1 (ko) 2017-01-23 2017-01-23 이종 카메라를 위한 시차 맵 생성 방법

Publications (1)

Publication Number Publication Date
KR101869226B1 true KR101869226B1 (ko) 2018-06-19

Family

ID=62790693

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170010729A KR101869226B1 (ko) 2017-01-23 2017-01-23 이종 카메라를 위한 시차 맵 생성 방법

Country Status (1)

Country Link
KR (1) KR101869226B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258759A (zh) * 2023-05-15 2023-06-13 北京爱芯科技有限公司 一种立体匹配方法、装置和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110013916A (ko) * 2009-08-04 2011-02-10 이상화 이종 영상 촬영장치를 이용한 실물 인식 시스템 및 실물 인식 방법
KR101457385B1 (ko) 2012-12-24 2014-11-04 청주대학교 산학협력단 스테레오영상의 기울어짐 보정 방법
KR20150097367A (ko) * 2014-02-17 2015-08-26 삼성전자주식회사 영상 보정 방법 및 장치
KR20160098012A (ko) * 2015-02-09 2016-08-18 삼성전자주식회사 영상 매칭 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110013916A (ko) * 2009-08-04 2011-02-10 이상화 이종 영상 촬영장치를 이용한 실물 인식 시스템 및 실물 인식 방법
KR101457385B1 (ko) 2012-12-24 2014-11-04 청주대학교 산학협력단 스테레오영상의 기울어짐 보정 방법
KR20150097367A (ko) * 2014-02-17 2015-08-26 삼성전자주식회사 영상 보정 방법 및 장치
KR20160098012A (ko) * 2015-02-09 2016-08-18 삼성전자주식회사 영상 매칭 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258759A (zh) * 2023-05-15 2023-06-13 北京爱芯科技有限公司 一种立体匹配方法、装置和设备
CN116258759B (zh) * 2023-05-15 2023-09-22 北京爱芯科技有限公司 一种立体匹配方法、装置和设备

Similar Documents

Publication Publication Date Title
US9424650B2 (en) Sensor fusion for depth estimation
US9374571B2 (en) Image processing device, imaging device, and image processing method
KR101862199B1 (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
JP5587930B2 (ja) 距離算出装置及び距離算出方法
EP3869797B1 (en) Method for depth detection in images captured using array cameras
RU2529594C1 (ru) Устройство калибровки, система измерения расстояния, способ калибровки и программа калибровки
US9025862B2 (en) Range image pixel matching method
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
KR100938195B1 (ko) 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법
US9025009B2 (en) Method and systems for obtaining an improved stereo image of an object
US10205928B2 (en) Image processing apparatus that estimates distance information, method of controlling the same, and storage medium
JP2953154B2 (ja) 形状合成方法
JP6694234B2 (ja) 距離測定装置
JP2017142613A (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
KR101272574B1 (ko) 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법
CN102447917A (zh) 立体图像匹配方法及其设备
GB2603715A (en) Depth estimation using a neural network
JP5501084B2 (ja) 平面領域検出装置及びステレオカメラシステム
JP2001208524A (ja) 画像処理装置及び画像処理方法
KR20180061803A (ko) 도로면 폐색 영역 복원 장치 및 방법
US9538161B2 (en) System and method for stereoscopic photography
KR101869226B1 (ko) 이종 카메라를 위한 시차 맵 생성 방법
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
JP2005250994A (ja) ステレオ画像処理装置
JP2014238409A (ja) 距離算出装置及び距離算出方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant