KR101766149B1 - 저연산 스테레오 영상 매칭 장치 및 방법 - Google Patents

저연산 스테레오 영상 매칭 장치 및 방법 Download PDF

Info

Publication number
KR101766149B1
KR101766149B1 KR1020160084870A KR20160084870A KR101766149B1 KR 101766149 B1 KR101766149 B1 KR 101766149B1 KR 1020160084870 A KR1020160084870 A KR 1020160084870A KR 20160084870 A KR20160084870 A KR 20160084870A KR 101766149 B1 KR101766149 B1 KR 101766149B1
Authority
KR
South Korea
Prior art keywords
matching
cost
value
reliability
pixel
Prior art date
Application number
KR1020160084870A
Other languages
English (en)
Inventor
이동하
이재홍
박태곤
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160084870A priority Critical patent/KR101766149B1/ko
Priority to US15/367,770 priority patent/US10003784B2/en
Priority to CN201611139389.3A priority patent/CN107635127B/zh
Application granted granted Critical
Publication of KR101766149B1 publication Critical patent/KR101766149B1/ko

Links

Images

Classifications

    • H04N13/0239—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H04N13/0007—
    • H04N13/0022—
    • H04N13/0246—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 저연산 스테레오 영상 매칭 장치 및 방법에 대하여 개시한다. 본 발명의 일면에 따른 스테레오 영상 매칭 장치는, 스테레오 영상의 각 픽셀의 값을 각기 순차적인 N개의 비트씩 분배하여 분배된 N비트로 구성된 복수의 스테레오 영상을 출력하는 비트 분배부; 복수의 스테레오 영상을 각기 입력받아 각 스테레오 영상의 각 픽셀에 대해 매칭 코스트 값을 계산하는 복수의 코스트 계산부; 상기 복수의 코스트 계산부에 의해 각기 계산된 각 매칭 코스트 값들의 코스트 특성을 이용하여 매칭 신뢰도를 산출하는 신뢰도 산출부; 및 상기 매칭 신뢰도가 높고 코스트 값이 상대적으로 낮은 깊이값을 최종 깊이값으로 결정하는 깊이 결정부를 포함하는 것을 특징으로 한다.

Description

저연산 스테레오 영상 매칭 장치 및 방법{Apparatus and Method for Stereo Matching which needs small Computation}
본 발명은 스테레오 영상 매칭 기술에 관한 것으로서, 더 구체적으로는 스테레오 매칭의 연산량을 줄일 수 있는 저연산 스테레오 영상 매칭 장치 및 방법에 관한 것이다.
다양한 센서와 카메라 기술 발전과 더불어 이들의 융합을 통한 자율주행 기술이 활발히 연구되고 있다.
그 중, 차량의 눈과 같은 역할을 하는 스테레오 카메라는 전방의 장애물 위치와 움직임을 파악하는 매우 중요한 요소이다.
통상, 스테레오 카메라를 이용한 영상처리 기술은 좌우 영상 유사도 비교를 통한 매칭 코스트 계산, 코스트 최적화 및 최종 깊이 결정 단계를 거친다.
이러한 단계들 중에서 매칭 코스트 계산은 영상의 모든 픽셀에 대하여 반복적으로 수행되는 연산이므로, 영상 데이터 량이 많아지면 많아질수록 급격하게 계산량 및 로직 부하가 발생한다.
HDR(High Dynamic Range) 영상은 종래의 LDR(Low Dynamic Range) 영상에 대비하여 적게는 1.5배에서 2배에 데이터 량이 크므로, 종래의 스테레오 매칭 알고리즘을 그대로 적용하면, 연산 속도가 급격히 저하된다.
한국공개특허 2015-0051388(공개일자 2015.05.13)
본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 스테레오 매칭의 연산량을 줄일 수 있는 저연산 스테레오 영상 매칭 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일면에 따른 스테레오 영상 매칭 장치는, 스테레오 영상의 각 픽셀의 값을 각기 순차적인 N개의 비트씩 분배하여 분배된 N비트로 구성된 복수의 스테레오 영상을 출력하는 비트 분배부; 복수의 스테레오 영상을 각기 입력받아 각 스테레오 영상의 각 픽셀에 대해 매칭 코스트 값을 계산하는 복수의 코스트 계산부; 상기 복수의 코스트 계산부에 의해 각기 계산된 각 매칭 코스트 값들의 코스트 특성을 이용하여 매칭 신뢰도를 산출하는 신뢰도 산출부; 및 상기 매칭 신뢰도가 높고 코스트 값이 상대적으로 낮은 깊이값을 최종 깊이값으로 결정하는 깊이 결정부를 포함하는 것을 특징으로 한다.
본 발명의 다른 면에 따른 적어도 하나의 프로세서에 의한 스테레오 영상 매칭 방법은, 스테레오 영상의 각 픽셀의 값을 각기 순차적인 N개의 비트씩 분배하여 분배된 N비트로 구성된 복수의 스테레오 영상을 출력하는 단계; 복수의 스테레오 영상을 각기 입력받아 각 스테레오 영상의 각 픽셀에 대해 매칭 코스트 값을 계산하는 단계; 상기 복수의 스테레오 영상의 매칭 코스트 값들의 코스트 특성을 이용하여 매칭 신뢰도를 산출하는 단계; 및 상기 매칭 신뢰도가 높고 코스트 값이 상대적으로 낮은 깊이값을 최종 깊이값으로 결정하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 최종 깊이값으로 결정하는 단계는 상기 매칭 신뢰도를 이용하여 상기 복수의 스테레오 영상에 대한 코스트 값들 중에서 상기 최종 깊이값의 결정에 이용할 코스트 값들을 선택하는 단계; 및 선택된 상기 코스트 값들 중에서 최소값에 대응하는 깊이값을 상기 최종 깊이값으로 산출할 수 있다.
그리고 상기 N은 2의 승수이며, 상기 복수의 스테레오 영상을 출력하는 단계는 상기 각 픽셀의 값의 비트수가 2의 승수가 아니면, 상기 각 픽셀의 값 중에서 일부 비트를 중복 출력하는 단계를 포함할 수 있다.
본 발명에 따르면, 스테레오 매칭의 연산량을 줄이고 속도를 향상시킬 수 있다.
또한, 본 발명에서는 종래의 LDR(Low Dynamic Range) 영상보다 명부 및 암부의 텍스쳐 표현력이 우수한 HDR(High Dynamic Range) 영상을 스테레오 영상 처리할 때 명부 또는 암부에서 발생하는 매칭 실패 현상을 크게 개선시킬 수 있다.
도 1은 본 발명에 따른 스테레오 영상 매칭 장치를 도시한 구성도.
도 2는 본 발명에 따른 스테레오 영상 매칭 장치의 매칭 영상을 도시한 도면.
도 3은 본 발명에 따른 스테레오 영상 매칭 방법을 도시한 흐름도.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이제 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 스테레오 영상 매칭 장치를 도시한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 스테레오 영상 매칭 장치(10)는 비트 분배부(110), 복수의 코스트 계산부(120, 130), 신뢰도 산출부(140) 및 깊이 결정부(150)를 포함한다.
비트 분배부(110)는 스테레오 영상(좌영상 및 우영상)을 입력 받고, 입력된 스테리오 영상의 각 비트를 복수의 순차적인 N개 비트씩 분배하여 병렬 출력한다. 예를 들면, 좌 영상과 우 영상의 각 픽셀이 16비트인 경우, 비트 분배부(110)는 스테레오 영상 데이터의 각 픽셀 데이터를 상위 8비트와 하위 8비트로 분배하여 출력할 수 있다.
전술한, N은 2의 승수일 수 있다. 이에, 만약, 스테레오 영상의 각 픽셀의 데이터 총 비트수가 2의 승수가 아니면, 각 픽셀의 데이터 중에서 일부 비트를 중복 출력할 수 있다. 예를 들면, 좌 영상과 우 영상의 각 픽셀이 12비트인 경우, 비트 분배부(110)는 중간의 4비트를 중복 포함시켜 상위 8비트와 하위 8비트로 분배할 수 있다.
이하의 명세서에서는 비트 분배부(110)가 스테레오 영상을 상위 비트(Upper bit)를 포함하는 스테레오 영상과 하위 비트(Lower bit)를 포함하는 스테레오 영상으로 분배하는 경우를 예로 들어 설명한다.
복수의 코스트 계산부(120, 130)는 병렬 출력된 N개 비트로 구성된 스테레오 영상을 각기 입력 받아, 스테레오 영상 매칭 코스트를 산출한다.
상세하게는, 제1 코스트 계산부(120)는 상위 비트로 구성되는 좌 영상과 상위 비트로 구성되는 우 영상을 입력받아 좌 영상과 우 영상의 같은 라인에 해당하는 픽셀의 값을 이용하여 정합 코스트(이하, 제1 코스트 값)를 계산한다. 이때, 제1 코스트 계산부(120)는 SAD(Sum of Absolute Difference), SSD (Sum of Squared Difference) 등의 영역 기반 Cost 평가 방법을 이용하여 제1 코스트 값을 계산할 수 있다.
마찬가지로, 제2 코스트 계산부(130)는 하위 비트로 구성되는 좌 영상과 하위 비트로 구성되는 우 영상에 대하여 제1 코스트 계산부(120)에 대응하는 처리를 수행하여 제2 코스트 값을 계산한다.
그리고 제1 및 제2 코스트 계산부(130)는 입력된 스테레오 영상의 모든 픽셀에 대해 각기 제1 코스트 값들로 구성되는 제1 코스트 집합과 제2 코스트 값들로 구성되는 제2 코스트 집합을 출력한다.
신뢰도 산출부(140)는 제1 및 제2 코스트 집합의 코스트 특성을 이용하여 매칭 신뢰도를 산출한다. 구체적으로, 신뢰도 산출부(140)는 하기의 수학식 1을 이용하여 제1 코스트 집합과 제2 코스트 집합의 매칭 신뢰도(conf(C))를 산출할 수 있다.
[수학식 1]
Figure 112016065054494-pat00001
여기서, C(
Figure 112016065054494-pat00002
Figure 112016065054494-pat00003
)는 깊이 값(Depth)에 따라 변하는 매칭 코스트이며, Var(C)는 매칭 코스트의 분산값이다. 그리고, MinRatio(c)는 하기의 수학식 2와 같으며, a와 b는 실험적으로 얻어지는 임의의 상수일 수 있다. 예를 들어, a, b 값은 그 값을 변화시키며 스테레오 영상의 시차를 산출하여 기준 시차와 비교하는 과정을 통해서 결정될 수 있다.
[수학식 2]
Figure 112016065054494-pat00004
여기서, Cf는 매칭 코스트의 최소값(First minimum)이며, Cs는 매칭 코스트 중 차 최소값(Second minimum)일 수 있다. 여기서, 매칭 신뢰도(conf(C))는 매칭 코스트가 시차에 따른 변화가 클수록, 그리고 매칭 코스트의 최소값과 차 최소값의 차이가 클수록 커짐을 알 수 있다.
깊이 결정부(150)는 수학식 2에 의해 산출된 매칭 신뢰도를 이용하여 하기의 수학식 3과 같이 최종 깊이(Depth)를 산출한다.
[수학식 3]
Figure 112016065054494-pat00005
Figure 112016065054494-pat00006
더 상세하게는, 깊이 결정부(150)는 각 픽셀에 대한 제1 및 제2 코스트 집합 중에서 매칭 신뢰도를 높게 만드는 코스트 집합을 선택하고, 선택된 코스트 집합 내 최소값에 대응하는 깊이값을 각 픽셀에 대한 최종 깊이값으로 결정할 수 있다.
이후, 깊이 결정부(150) 또는 다른 구성요소는 최종 깊이값을 이용하여 시차 맵을 구성할 수 있다.
이하, 도 2를 참조하여 본 발명의 실시예에 따른 스테레오 영상 매칭 장치의 효과에 대하여 설명한다. 도 2는 본 발명의 실시예에 따른 스테레오 영상 매칭 장치의 매칭 영상을 도시한 도면이다.
도 2와 같이, 상위 비트를 포함하는 스테레오 영상 매칭 결과(210)는 명부의 매칭 성공 확률이 상대적으로 높으나, 암부에서는 실패 영역이 다수 발생하였다.
반면, 하위 비트를 포함하는 스테레오 영상의 매칭 결과(220)는 암부의 매칭 성공 확률은 상대적으로 높았으나, 명부에서 다수 실패 영역이 다수 발생하였다.
그러나, 본 발명에서는 신뢰도 산출부(140)에 의해 산출된 매칭 신뢰도를 이용하여 제1 및 제2 코스트 계산부(130)의 매칭 결과를 합성한 영상(230)은 명부와 암부 모두에서 정확도가 보장된 깊이 영상을 얻을 수 있다.
이 같이, 본 발명에서는 원 영상을 일괄 스테레오 매칭하는 방법과 동등 또는 유사한 수준의 정확도를 유지하면서도, 그 연산량은 대폭 줄일 수 있어, 처리 속도를 크게 향상시킬 수 있다. 만약, 본 발명에서 16 비트 스테레오 영상에 대한 스테레오 매칭을 수행한다면, 종래의 16비트 스테레오 영상을 일괄 매칭하는 방식에 비해 최대 50%까지 매칭 연산량을 줄일 수 있다.
또한, 본 발명에서는 종래의 LDR(Low Dynamic Range) 영상보다 명부 및 암부의 텍스쳐 표현력이 우수한 HDR(High Dynamic Range) 영상을 스테레오 영상 처리할 때 명부 또는 암부에서 발생하는 매칭 실패 현상을 크게 개선시킬 수 있다.
그뿐만 아니라, 본 발명에서는 LDR에서 사용하는 제어기를 그대로 활용할 수 있고, HDR 영상 입력으로 인한 로직 과부하 현상을 크게 개선할 수 있다.
이러한, 본 발명의 실시예는 자율 주행 시스템의 스테레오 카메라 모듈, ADAS(Advanced Driver Assistant System) 카메라 모듈 및 ADAS 통합 제어기 모듈 등의 사용할 분야에 적용되어, 그 연산량을 줄이고 처리 속도를 향상시킬 수 있다.
이하, 도 3을 참조하여 본 발명의 실시예에 따른 스테레오 영상 매칭 방법에 대하여 설명한다. 도 3은 본 발명의 실시예에 따른 스테레오 영상 매칭 방법을 도시한 흐름도이다.
도 3을 참조하면, 비트 분배부(110)는 스테레오 영상의 각 픽셀의 값을 각기 순차적인 N개의 비트씩 분배하여 분배된 N비트로 구성된 복수의 스테레오 영상을 출력한다(S310). 이때, 비트 분배부(110)는 스테레오 영상의 각 픽셀의 값의 총 비트수가 2의 승수가 아니면, 분배된 N개의 비트 중에서 다른 N개의 비트와 연접하는 비트를 필요에 따라 중복시켜 출력할 수 있다.
제1 및 제2 코스트 계산부(120, 130)는 제1 및 제2 스테레오 영상의 각 픽셀에 대해 매칭 코스트 값을 계산한다(S320). 상세하게는, 제1 및 제2 코스트 계산부(120, 130)는 제1 및 제2 스테레오 영상의 모든 픽셀에 대해 각기 코스트 값을 계산하고, 픽셀별로 각기 제1 및 제2 코스트 집합을 출력할 수 있다.
신뢰도 산출부(140)는 복수의 스테레오 영상의 매칭 코스트 값들의 코스트 특성을 이용하여 매칭 신뢰도를 산출한다(S330). 이때, 신뢰도 산출부(140)는 각 코스트 집합의 매칭 신뢰도를 산출할 수 있다.
깊이 결정부(150)는 매칭 신뢰도가 높은 코스트 집합 내 최소 코스트 값에 대응하는 깊이값을 최종 깊이값으로 결정한다(S340). 이때, 깊이 결정부(150)는 제1 및 제2 코스트 집합 중에서 각 픽셀의 깊이값 결정에 사용될 신뢰도가 높은 코스트 집합을 선택한다. 그리고, 깊이 결정부(150)는 선택된 코스트 집합에서 가장 코스트가 낮은 시차에 대응하는 깊이값을 최종 깊이값으로 결정한다.
이후, 깊이 결정부(150) 또는 다른 구성요소는 각 픽셀에 대해 결정된 최종 깊이값을 이용하여 깊이 맵을 생성할 수 있다.
이와 같이, 본 발명의 실시예는 원 영상을 일괄 스테레오 매칭하는 방법과 동등 또는 유사한 수준의 정확도를 유지하면서도, 그 연산량은 대폭 줄일 수 있어, 처리 속도를 크게 향상시킬 수 있다.
또한, 본 발명의 실시예는 HDR(High Dynamic Range) 영상을 스테레오 영상 처리할 때 명부 또는 암부에서 발생하는 매칭 실패 현상을 크게 개선시킬 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.
10: 스테레오 영상 매칭 장치 110: 비트 분배부
120: 제1 코스트 계산부 130: 제2 코스트 계산부
140: 신뢰도 산출부 150: 깊이 결정부

Claims (9)

  1. 스테레오 영상의 각 픽셀의 값을 각기 순차적인 N개의 비트씩 분배하여 분배된 N비트로 구성된 복수의 스테레오 영상을 출력하는 비트 분배부;
    복수의 스테레오 영상을 각기 입력받아 각 스테레오 영상의 각 픽셀에 대해 매칭 코스트 값을 계산하는 복수의 코스트 계산부;
    상기 복수의 코스트 계산부에 의해 각기 계산된 각 매칭 코스트 값들의 코스트 특성을 이용하여 매칭 신뢰도를 산출하는 신뢰도 산출부; 및
    상기 매칭 신뢰도가 높고 코스트 값이 상대적으로 낮은 깊이값을 최종 깊이값으로 결정하는 깊이 결정부
    를 포함하는 스테레오 영상 매칭 장치.
  2. 제1항에서, 상기 신뢰도 산출부는,
    상기 각 픽셀의 매칭 코스트의 최소값(first minimum)에 대한 차 최소값(second minimum)의 비율을 이용하여 상기 매칭 신뢰도를 산출하는 것인 스테레오 영상 매칭 장치.
  3. 제2항에서, 상기 신뢰도 산출부는,
    상기 매칭 코스트 값의 분산을 더 이용하여 상기 매칭 신뢰도를 산출하는 것인 스테레오 영상 매칭 장치.
  4. 제1항에서, 상기 깊이 결정부는,
    상기 매칭 신뢰도를 이용하여 상기 복수의 코스트 계산부에 의해 각기 계산된 각 매칭 코스트 값들 중에서 상기 최종 깊이값의 결정에 이용할 코스트 값들을 선택하고, 선택된 상기 코스트 값들 중에서 최소값에 대응하는 깊이값을 상기 최종 깊이값으로 산출하는 것인 스테레오 영상 매칭 장치.
  5. 제1항에서,
    상기 N은 2의 승수이며,
    상기 비트 분배부는, 상기 각 픽셀의 값의 비트수가 2의 승수가 아니면, 상기 각 픽셀의 값 중에서 일부 비트를 중복 출력하는 것인 스테레오 영상 매칭 장치.
  6. 적어도 하나의 프로세서에 의한 스테레오 영상 매칭 방법으로서,
    스테레오 영상의 각 픽셀의 값을 각기 순차적인 N개의 비트씩 분배하여 분배된 N비트로 구성된 복수의 스테레오 영상을 출력하는 단계;
    복수의 스테레오 영상을 각기 입력받아 각 스테레오 영상의 각 픽셀에 대해 매칭 코스트 값을 계산하는 단계;
    상기 복수의 스테레오 영상의 매칭 코스트 값들의 코스트 특성을 이용하여 매칭 신뢰도를 산출하는 단계; 및
    상기 매칭 신뢰도가 높고 코스트 값이 상대적으로 낮은 깊이값을 최종 깊이값으로 결정하는 단계
    를 포함하는 스테레오 영상 매칭 방법.
  7. 제6항에서, 상기 매칭 신뢰도를 산출하는 단계는,
    상기 각 픽셀의 매칭 코스트의 최소값(first minimum)에 대한 차 최소값(second minimum)의 비율과 상기 매칭 코스트 값의 분산을 이용하여 상기 매칭 신뢰도를 산출하는 단계를 포함하는 것인 스테레오 영상 매칭 방법.
  8. 제6항에서, 상기 최종 깊이값으로 결정하는 단계는,
    상기 매칭 신뢰도를 이용하여 상기 복수의 스테레오 영상에 대한 코스트 값들 중에서 상기 최종 깊이값의 결정에 이용할 코스트 값들을 선택하는 단계; 및
    선택된 상기 코스트 값들 중에서 최소값에 대응하는 깊이값을 상기 최종 깊이값으로 산출하는 단계를 포함하는 것인 스테레오 영상 매칭 방법.
  9. 제6항에서, 상기 N은 2의 승수이며, 상기 복수의 스테레오 영상을 출력하는 단계는,
    상기 각 픽셀의 값의 비트수가 2의 승수가 아니면, 상기 각 픽셀의 값 중에서 일부 비트를 중복하는 단계를 포함하는 것인 스테레오 영상 매칭 방법.
KR1020160084870A 2016-07-05 2016-07-05 저연산 스테레오 영상 매칭 장치 및 방법 KR101766149B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160084870A KR101766149B1 (ko) 2016-07-05 2016-07-05 저연산 스테레오 영상 매칭 장치 및 방법
US15/367,770 US10003784B2 (en) 2016-07-05 2016-12-02 Stereo image matching apparatus and method requiring small calculation
CN201611139389.3A CN107635127B (zh) 2016-07-05 2016-12-12 需要少量计算的立体图像匹配装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160084870A KR101766149B1 (ko) 2016-07-05 2016-07-05 저연산 스테레오 영상 매칭 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101766149B1 true KR101766149B1 (ko) 2017-08-07

Family

ID=59653875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160084870A KR101766149B1 (ko) 2016-07-05 2016-07-05 저연산 스테레오 영상 매칭 장치 및 방법

Country Status (3)

Country Link
US (1) US10003784B2 (ko)
KR (1) KR101766149B1 (ko)
CN (1) CN107635127B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748244B2 (en) * 2017-06-09 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for stereo content detection
TWI719440B (zh) * 2018-04-02 2021-02-21 聯發科技股份有限公司 立體匹配方法及相應立體匹配裝置
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100813100B1 (ko) 2006-06-29 2008-03-17 성균관대학교산학협력단 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
KR20110071207A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 스테레오 매칭을 위한 카메라 영상 평가 및 보정 방법과 이를 적용한 스테레오 카메라 시스템
CN101877129B (zh) * 2010-06-08 2012-05-23 浙江工业大学 基于最小和缓存加速策略的泛化置信度传播的双目立体视觉匹配方法
KR101344943B1 (ko) 2011-11-25 2013-12-27 경북대학교 산학협력단 실시간 스테레오 정합 시스템
KR101896941B1 (ko) 2012-06-25 2018-09-12 엘지이노텍 주식회사 스테레오 매칭 장치 및 그 방법
KR101907852B1 (ko) 2012-09-06 2018-10-15 현대모비스 주식회사 스테레오 영상 처리 방법 및 장치
KR101888969B1 (ko) 2012-09-26 2018-09-20 엘지이노텍 주식회사 영상특성을 이용한 스테레오 매칭장치
CN103279973A (zh) * 2013-06-13 2013-09-04 清华大学 基于混合并行的立体图像匹配系统
KR102132242B1 (ko) 2013-11-04 2020-07-10 현대모비스 주식회사 스테레오 카메라 보정 시스템
KR102214934B1 (ko) * 2014-07-18 2021-02-10 삼성전자주식회사 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
CN104820991B (zh) * 2015-05-15 2017-10-03 武汉大学 一种基于代价矩阵的多重软约束立体匹配方法

Also Published As

Publication number Publication date
US20180014001A1 (en) 2018-01-11
CN107635127B (zh) 2020-06-12
CN107635127A (zh) 2018-01-26
US10003784B2 (en) 2018-06-19

Similar Documents

Publication Publication Date Title
US8538150B2 (en) Method and apparatus for segmenting multi-view images into foreground and background based on codebook
CN110793544B (zh) 路侧感知传感器参数标定方法、装置、设备及存储介质
US9014463B2 (en) System for real-time stereo matching
US20100142828A1 (en) Image matching apparatus and method
KR101766149B1 (ko) 저연산 스테레오 영상 매칭 장치 및 방법
US20160173852A1 (en) Disparity computation method through stereo matching based on census transform with adaptive support weight and system thereof
CN110827202A (zh) 目标检测方法、装置、计算机设备和存储介质
KR102513707B1 (ko) 학습 장치, 추론 장치, 학습 모델 생성 방법 및 추론 방법
CN114004754B (zh) 一种基于深度学习的场景深度补全系统及方法
Zha et al. A real-time global stereo-matching on FPGA
CN105701787B (zh) 基于置信度的深度图融合方法
EP3001382B1 (en) Method and apparatus for generating disparity map based on image frames photographed by stereo camera
CN109859253A (zh) 一种立体匹配方法、装置和电子设备
US9609304B2 (en) 3-dimensional data processing apparatus and method
CN103578077B (zh) 一种图像缩放处理方法和相关装置
JP2008304202A (ja) 距離画像生成方法、距離画像生成装置及びプログラム
CN111079523A (zh) 物体检测方法、装置、计算机设备和存储介质
US9070196B2 (en) Apparatus and method for estimating disparity using visibility energy model
CN115760646B (zh) 一种针对不规则孔洞的多模态人脸图像修复方法和系统
CN111951348B (zh) 确定框选区域的方法、装置及电子设备
JP2016032265A (ja) 画像処理装置
US11657530B2 (en) Stereo matching method and apparatus of images
Seo et al. A new parallel hardware architecture for high-performance stereo matching calculation
US10269131B2 (en) Image processing apparatus and image processing method
KR102122523B1 (ko) 3차원 입체 영상용 깊이지도 보정장치 및 보정방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant