WO2018062650A2 - 스테레오 매칭 장치 및 방법 - Google Patents

스테레오 매칭 장치 및 방법 Download PDF

Info

Publication number
WO2018062650A2
WO2018062650A2 PCT/KR2017/003031 KR2017003031W WO2018062650A2 WO 2018062650 A2 WO2018062650 A2 WO 2018062650A2 KR 2017003031 W KR2017003031 W KR 2017003031W WO 2018062650 A2 WO2018062650 A2 WO 2018062650A2
Authority
WO
WIPO (PCT)
Prior art keywords
sample points
matching
matching window
edge distance
stereo matching
Prior art date
Application number
PCT/KR2017/003031
Other languages
English (en)
French (fr)
Other versions
WO2018062650A3 (ko
Inventor
홍현기
이종철
임창경
전대윤
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Publication of WO2018062650A2 publication Critical patent/WO2018062650A2/ko
Publication of WO2018062650A3 publication Critical patent/WO2018062650A3/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Definitions

  • the present invention relates to a stereo matching apparatus and method, specifically
  • the present invention relates to a stereo matching apparatus and method that improves a Census transform (CT) method.
  • CT Census transform
  • the census transform converts the relative brightness comparison between two pixels into a bit string. Sum of absolute differences (SAD), Sum of squared difference (SSD), Normalized cross-correlation (NCC), etc. Compare.
  • SAD Sum of absolute differences
  • SSD Sum of squared difference
  • NCC Normalized cross-correlation
  • the census transformation only determines the high and low of the relative brightness value between pixels, and thus shows robust results in brightness variation and radiation distortion.
  • the census transformation is sensitive to noise because it compares the high and low brightness values with the surrounding pixels in the matching window based on one center pixel. That is, when the center pixel is affected by noise or the like, the probability of mismatching is greatly increased.
  • the present invention improves the Census transform (CT) method to provide a faster and more accurate stereo matching apparatus and method.
  • CT Census transform
  • a stereo matching device is provided.
  • an image input unit for receiving a left eye image and a right eye image, a census transformation setting unit for setting a matching window size, a number of sample points and an edge distance, a set matching window size, a number of sample points, and an edge distance
  • a census converter and a census transform bit for generating a census transform bit sequence by comparing pixel brightness values with other sample points symmetrically located by the edge distance from each sample point sampled by the number of sample points in the matching window.
  • a stereo matching apparatus may be provided that includes a stereo matching unit that performs stereo matching using columns.
  • a stereo matching method is provided.
  • a stereo matching method includes receiving a left eye image and a right eye image, setting a matching window size, a number of sample points, and an edge distance, using a set matching window size, number of sample points, and an edge distance. Comparing the pixel brightness value with each sample point sampled by the number of sample points in the matching window symmetrically apart from each other by the edge distance; and comparing the pixel brightness values with the first census transform bit of the left eye image.
  • the method may include generating a second census transform bit string of the row and right eye images, and performing stereo matching using the first and second census transform bit strings.
  • the present invention improves the Census Transform (CT) method to provide a faster and more accurate stereo matching apparatus and method.
  • CT Census Transform
  • the present invention can be used for matching and tracking feature points that are robust to noise and rotational changes of an image by comparing brightness values of neighboring pixels except a center pixel in a matching window with brightness values of neighboring pixels symmetrically spaced apart by a predetermined distance. have.
  • 1 to 2 are views for explaining a stereo matching device according to an embodiment of the present invention.
  • 3 to 5 are views for explaining a stereo matching method according to an embodiment of the present invention.
  • 6 to 9 illustrate examples of a stereo matching method according to a change in a setting value of a stereo matching method according to an embodiment of the present invention.
  • 10 to 17 is a view comparing the performance of the stereo matching method and the stereo matching of the present invention according to an embodiment.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • FIG. 1 and 2 are views for explaining a stereo matching apparatus according to an embodiment of the present invention.
  • the stereo matching apparatus 100 includes an image input unit 110, a matching census conversion setting unit 120, a census conversion unit 130, and a stereo matching unit 140.
  • the image input unit 110 receives a left eye image and a right eye image.
  • the census conversion setting unit 120 compares the brightness values of the neighboring pixels excluding the center pixel in the matching window from the input left eye image and the right eye image with the brightness values of the neighboring pixels spaced apart by a certain distance.
  • the size of the window is mXm (m is a natural number of 3 or more odd numbers)
  • the number of sample points is one of at least 8 to at most mXm-1 of the surrounding pixels excluding the center pixel in mXm pixels proportional to the size of the matching window.
  • the edge distance is set to one of the edge distances of at least 1 to at most m-1. In this case, the edge distance is calculated as a distance 1 for all adjacent pixels on the horizontal, vertical, or diagonal lines in the matching window using a Chebyshev distance measuring method.
  • the census converter 130 sets each sample point sampled by the number of sample points set in the matching window by using the matching window size, the number of sample points, and the edge distance set by the census conversion setting unit 120.
  • a census transform bit string is generated by comparing the pixel brightness values with other sample points located symmetrically apart by the edge distance.
  • the census converter 130 samples eight sample points among neighboring pixels excluding the center pixel 205 in the matching window.
  • Each sample point may generate a census transform bit string by comparing pixel brightness values with other sample points symmetrically positioned by an edge distance 210 apart from each other.
  • the pixel brightness value comparison may be performed in the order of 220 to 290.
  • the stereo matching apparatus 100 includes a second sample symmetrically located at an edge distance of two from the first sample point (first to eighth sample points) sampled at 220, such that the first sample point is eighth sample point.
  • a census transform bit is generated by comparing the pixel brightness values of the points.
  • the stereo matching apparatus 100 compares pixel brightness values of the second sample point and the third sample point symmetrically positioned by an edge distance of 2, thereby generating a census transform bit.
  • the stereo matching apparatus 100 compares pixel brightness values of the third sample point and the fourth sample point symmetrically spaced apart from each other by two edge distances, thereby generating a census transform bit.
  • the stereo matching apparatus 100 compares pixel brightness values of a fourth sample point and a fifth sample point symmetrically spaced apart from each other by two edge distances, thereby generating a census transform bit.
  • the stereo matching apparatus 100 compares pixel brightness values of a sixth sample point symmetrically spaced apart from the fifth sample point by two edge distances, thereby generating a census transform bit.
  • the stereo matching apparatus 100 compares pixel brightness values of the sixth sample point and the seventh sample point symmetrically spaced apart from each other by two edge distances to generate a census transform bit.
  • the stereo matching apparatus 100 compares the pixel brightness values of the sample point 7 and another sample point 8 symmetrically positioned by an edge distance of 2, thereby generating a census transform bit.
  • the stereo matching apparatus 100 generates a census transform bit by comparing pixel brightness values of the eighth sample point and the first sample point symmetrically spaced apart from each other by two edge distances.
  • the stereo matching apparatus 100 generates eight census transform bit streams generated at 220 to 290 of FIG. 2 as one census transform bit string.
  • the stereo matching unit 140 performs stereo matching by using the census transform bit string generated by the census converter 130.
  • the stereo matching unit 140 may perform stereo matching by calculating a hamming distance between the census transform bit sequence for the left eye image and the census transform bit sequence for the right eye image. Since this is obvious to those skilled in the art, a detailed description thereof will be omitted.
  • 3 to 5 are views for explaining a stereo matching method according to an embodiment of the present invention.
  • step S310 receives a left eye image and a right eye image.
  • Step S320 sets the matching window size, the number of sample points, and the edge distance.
  • each sample point sampled by the number of sample points set in the matching window is symmetrically located by the edge distance, based on the matching window size set in step S320. Compare the pixel brightness values with other sample points.
  • the pixel brightness values are compared using Equation 1.
  • Equation 1 the function generates 1 when the difference between the brightness value Iq of the peripheral pixel q excluding the center pixel p of the matching window and the brightness value Iq 'of the peripheral pixel q' separated by a predetermined distance is greater than 0, and 0 otherwise. do.
  • pixel brightness values are compared in each of the left eye image and the right eye image received in step S310.
  • the first census transform bit string of the left eye image and the second census transform bit string of the right eye image are generated based on the result of comparing the pixel brightness values of step S330.
  • the census transform bit string uses Equation 2.
  • Equation 2 C (P) is a value implemented by an exclusive OR operation on a bit string, and W is a size of a matching window.
  • stereo matching is performed using the first and second census transform bit strings generated in operation S340.
  • the general census transformation has a disadvantage of being sensitive to noise because it compares the high and low brightness values of neighboring pixels based on the brightness value of one center pixel in the matching window.
  • the general census transformation has a large amount of calculation because the number of bit strings to be converted increases as the size of the matching window increases.
  • the stereo matching method according to the present invention compares the high and low brightness values of neighboring pixels except the center pixel in the matching window, it is possible to generate a sensation transform bit string that is robust to noise.
  • the stereo matching method when the size of the matching window is 5 ⁇ 5, such as 400, 24 sample points are extracted from neighboring pixels except for the center pixel 405 in the matching window. Each sample point can be sampled and compared to the pixel brightness values with other sample points that are symmetrically positioned by an edge distance 410 apart from each other to produce a sensation transformed bit string that is robust to noise.
  • the stereo matching method reduces the bit string calculation amount by selecting the position of the comparison sample point according to the edge distance, and generates a census transform bit string that is robust to radiation distortion and brightness change. can do.
  • the stereo matching method selects at least 8 to 24 sample points and sets the comparison distance between the sample points from 1 to 4 at a minimum.
  • Various census transform bit strings can be generated.
  • the shaded portions are sample points, and pixel brightness values of the sample points are compared in the arrow direction.
  • the arrow direction may be clockwise or counterclockwise.
  • the census transform bit string may be generated in two patterns.
  • the census transform bit string may be generated in three patterns.
  • a census transform bit string may be generated in one pattern.
  • the census transform bit string may be generated in seven patterns.
  • a census transform bit string may be generated in one pattern.
  • a census transform bit string may be generated in one pattern.
  • the census transform bit string may be generated in three patterns.
  • a census transform bit string may be generated in one pattern.
  • a census transform bit string may be generated in one pattern.
  • the stereo matching method may compare pixel values of sample points in various patterns with respect to the same edge distance and the same number of sample points as shown in FIG. 5. Accordingly, the stereo matching method may generate a census transform bit string that is robust to radiation distortion and brightness change by setting the sample point comparison pattern 500 according to the input image.
  • 6 to 9 are examples of a stereo matching method according to a change in a setting value of the stereo matching method according to an embodiment of the present invention.
  • the stereo matching method may select a sample point having a high correlation from an input matching image.
  • 600 to 610 of FIG. 6 are results of measuring an average correlation between each sample point selected through the pattern 507 to 513 of FIG. 5 and the center pixel in the matching window in the Middlebury standard image.
  • 600 is a result of using a Middlebury standard image without noise
  • the stereo matching method may select a sample point capable of improving a stereo matching result by measuring a correlation between sample points according to a sample point comparison pattern.
  • the stereo matching method according to an embodiment shows more robust stereo matching performance because the height of the brightness value is continuously compared by comparing the sample points before and after sampling.
  • FIG. 7 is an average cost value distribution of stereo matching obtained by applying a conventional census transformation method and a stereo matching method for arbitrary a and b regions in a Middlebury standard image.
  • areas a and b are planes facing the camera, and parallax values of the ground truth are 18 and 15.
  • 700 and 710 are matching cost distributions obtained by the conventional stereo matching method
  • 720 and 730 are matching cost distributions obtained by the stereo matching method of the present invention.
  • the 700 and 710 have two minimum cost errors and it is difficult to obtain accurate time difference information.
  • 720 and 730 are obtained at the time difference values of 18 and 15, respectively. Therefore, the stereo matching apparatus 100 according to an embodiment may obtain more robust stereo matching performance than the conventional census conversion method.
  • 800 to 820 are cost error distributions obtained by setting edge lengths to 2, 3, and 4, respectively, when sampling 16 points in a 5 ⁇ 5 matching window in a Middlebury standard image.
  • FIG. 8 can relatively clearly distinguish the location of the minimum error cost in the case of 800 compared to the case of 820. Accordingly, the stereo matching method according to an embodiment may obtain a more reliable distribution of matching costs than when the distance between the sample points compared in the matching window is two.
  • the stereo matching method of the present invention is more reliable than the conventional stereo matching method (CT) because the PKRN result is relatively large.
  • 10 to 17 are diagrams comparing the performance of the conventional stereo matching method and the stereo matching method according to an embodiment of the present invention.
  • FIG. 11 is a result of measuring a mismatching rate of the disparity maps 1020 to 1040 generated using 1000 of FIG. 10, and the mismatch of conventional census conversion methods (CT, MCT, GCT) The result was 4.86% lower than the matching rate.
  • FIG. 13 is a result of measuring a mismatching rate of the disparity maps 1220 to 1240 generated using 1200 of FIG. 12, and is a mismatch of the conventional census conversion method (CT, MCT, GCT).
  • the matching rate was lower than 5.10%.
  • FIG. 14 is a result of measuring a mismatch rate by adding Gaussian noise intensity (dB) to the 1000 image of FIG. 10.
  • dB Gaussian noise intensity
  • the stereo matching method can obtain a result that is robust to the overall noise regardless of the strength of the noise depending on the number of sample points in the matching window.
  • the stereo matching method shows the best performance when using the 16-3-1 514 pattern when considering 16 sample points for the 1000 image of FIG. 10.
  • the 24-2-1 (516) pattern showed better performance when the signal to noise ratio (SNR) was relatively low (30, 25, 20 dB).
  • the 16-3-1 (514) pattern shows the best performance.
  • the method of considering many sample points in the matching window is excellent, and in the opposite case, the performance of a pattern which is advantageous to grasp the characteristic brightness distribution of the image is good.
  • the average of the mismatch rates of the total noise image intensity (dB) shows that the 16-3-1 (513) and 16-2-2 (508) patterns show the best performance. This means that when a stereo matching method matches an image having Gaussian noise using a 5 ⁇ 5 size matching window, even 16 sample points represent sufficiently accurate matching performance.
  • FIG. 16 is a result of measuring an average mismatch rate of an unobstructed region for 1000 of FIG. 10 according to impulse noise.
  • the stereo matching method obtains the best performance of 24.78% when using the 16-2-2 508 pattern in an image including impulse noise. Accordingly, it can be seen that the stereo matching method shows better performance when 16 sample points are selected rather than sampling all the points in the 5 ⁇ 5 size matching window.
  • 17 is a mismatch rate result of a stereo matching method using conventional census transformation (CT, MCT, GCT) methods and a stereo matching method of the present invention when Gaussian noise and impulse noise exist.
  • CT census transformation
  • MCT MCT
  • GCT GCT
  • the conventional stereo matching method is greatly affected by Gaussian noise and impulse noise.
  • the stereo matching method 300 of the present invention shows stable matching performance even when there is no noise in the brightness value of the pixel or when the brightness value of the pixel changes greatly due to the noise.
  • the stereo matching method 300 of the present invention enables robust feature point matching such as noise and rotation change by selecting a distance and a comparison pattern between pixels to be compared in the matching window.
  • a correlation between a motion or an object / person in a video sequence, a query image match for an image database, an object recognition in an image, and a user's position eg It can be applied to location recognition, camera tracking and reconstruction using 3D computer vision, and mosaic / panorama image generation.
  • the stereo matching method may be implemented in the form of program instructions that may be executed through computer means such as various servers.
  • programs and applications for executing the stereo matching method according to the present invention may be installed in computer means and recorded in a computer readable medium.
  • Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like.
  • the program instructions recorded on the computer readable medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Hardware devices specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 스테레오 매칭 장치 및 방법에 관한 것으로서, 구체적으로는 센서스 변환(Census transform; CT) 방법을 개선한 스테레오 매칭 장치 및 방법에 관한 것이다.

Description

스테레오 매칭 장치 및 방법
본 발명은 스테레오 매칭 장치 및 방법에 관한 것으로서, 구체적으로는
센서스 변환(Census transform; CT) 방법을 개선한 스테레오 매칭 장치 및 방법에 관한 것이다.
센서스 변환은 두 화소 간의 상대적인 밝기 비교를 비트 열로 변환한다. 차이 절대값의 합(Sum of absolute differences: SAD) 또는 차이 제곱 값의 합(Sum of squared difference: SSD), 표준화 상호 상관성(Normalized cross-correlation: NCC)등의 방법은 매칭 윈도우 내의 모든 화소 값을 비교한다. 이에 비해 센서스 변환은 화소 간의 상대적인 밝기 값의 높고 낮음만을 판단하기 때문에 밝기 변화와 방사 왜곡에 강건한 결과를 보여준다. 그러나 센서스 변환은 하나의 중심 화소를 기준으로 매칭 윈도우 내의 주변 화소들과 밝기 값의 높고 낮음을 비교하기 때문에 잡음에 민감하다. 즉, 중심 화소가 잡음 등에 의해 영향 받는 경우, 오매칭될 확률이 크게 증가한다.
본 발명은 센서스 변환(Census transform; CT) 방법을 개선하여 보다 빠르고 정확한 스테레오 매칭 장치 및 방법을 제공한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 스테레오 매칭 장치가 제공된다.
본 발명의 일 측면에 따르면, 좌안 영상 및 우안 영상을 입력 받는 영상 입력부, 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정하는 센서스 변환 설정부, 설정한 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 이용하여, 매칭 윈도우 내에서 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하여 센서스 변환 비트 열을 생성하는 센서스 변환부 및 센서스 변환 비트 열을 이용하여 스테레오 매칭을 수행하는 스테레오매칭부를 포함하는 스테레오 매칭 장치가 제공될 수 있다.
본 발명의 다른 측면에 따르면, 스테레오 매칭 방법이 제공된다.
본 발명의 일 측면에 따른 스테레오 매칭 방법은 좌안 영상과 우안 영상을 입력 받는 단계, 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정하는 단계, 설정된 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 이용하여, 매칭 윈도우 내에서 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하는 단계, 화소 밝기 값 비교를 통해 좌안 영상의 제1 센서스 변환 비트 열 및 우안 영상의 제2 센서스 변환 비트 열을 생성하는 단계 및 제1 및 제2 센서스 변환 비트 열을 이용하여 스테레오 매칭을 수행하는 단계를 포함할 수 있다.
본 발명은 센서스 변환(Census Transform; CT) 방법을 개선하여 보다 빠르고 정확한 스테레오 매칭 장치 및 방법을 제공한다.
또한, 본 발명은 매칭 윈도우 내의 중심 화소를 제외한 주변 화소의 밝기 값과 일정한 거리만큼 떨어져 대칭적으로 위치한 주변 화소의 밝기 값을 비교함으로써 영상의 잡음과 회전 변화 등에 강건한 특징점 매칭 및 추적 등에 활용될 수 있다.
도 1 내지 도 2는 본 발명의 일 실시 예에 따른 스테레오 매칭 장치를 설명하기 위한 도면들.
도 3 내지 도 5는 본 발명의 일 실시 예에 따른 스테레오 매칭 방법을 설명하기 위한 도면들.
도 6 내지 도 9는 본 발명의 일 실시 예에 따른 스테레오 매칭 방법의 설정 값 변화에 따른 스테레오 매칭 방법의 예시.
도 10 내지 도 17은 일 실시 예에 따른 기존 스테레오 매칭 방법과 본 발명의 스테레오 매칭의 성능을 비교한 도면들.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명하도록 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 첨부된 도면을 참고하여 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1 및 도 2는 본 발명의 일 실시 예에 따른 스테레오 매칭 장치를 설명하기 위한 도면들이다.
도 1을 참조하면, 스테레오 매칭 장치(100)은 영상 입력부(110), 매칭 센서스 변환 설정부(120), 센서스 변환부(130), 스테레오 매칭부(140)를 포함하여 구성된다.
영상 입력부(110)는 좌안 영상 및 우안 영상을 입력 받는다.
센서스 변환 설정부(120)는 입력 받은 좌안 영상 및 우안 영상에서 매칭 윈도우 내의 중심 화소를 제외한 주변 화소의 밝기 값과 일정한 거리만큼 떨어진 주변 화소의 밝기 값을 비교하기 위해 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정한다. 여기서 윈도우의 크기는 mXm (m은 3이상의 홀수인 자연수)이고, 샘플 점 개수는 매칭 윈도우의 크기에 비례하는 mXm 개의 화소에서 중심 화소를 제외한 주변 화소 중 최소 8개 내지 최대 mXm-1개 중 하나이며, 에지 거리는 최소 1 내지 최대 m-1 의 에지 거리 중 하나로 설정한다. 이 때, 에지 거리는 체비셰프(Chebyshev) 거리 측정 방법을 이용하여 매칭 윈도우 내의 가로, 세로 또는 대각선상의 인접 화소를 모두 거리 1로 계산한다.
센서스 변환부(130)는 센서스 변환 설정부(120)에서 설정한 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 이용하여, 매칭 윈도우 내에서 설정한 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 설정한 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하여 센서스 변환 비트 열을 생성한다.
예를 들어, 도 2를 참조하면, 센서스 변환부(130)는 200과 같이 매칭 윈도우의 크기가 3 X 3일 때, 매칭 윈도우 내의 중심 화소(205)를 제외한 주변 화소 중에서 샘플 점 8개를 샘플링하고, 각각의 샘플 점은 에지 거리(210)가 2만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하여 센서스 변환 비트 열을 생성할 수 있다. 이 때, 화소 밝기 값 비교는 220 내지 290의 순서로 진행할 수 있다.
보다 상세하게, 스테레오 매칭 장치(100)는 220과 같이 샘플링한 각각의 샘플 점(제1 샘플 점 내지 제8 샘플 점)에서 제 1샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 2샘플 점의 화소 밝기 값을 비교하여 센서스 변환 비트 생성한다.
230에서 스테레오 매칭 장치(100)는 제 2샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 3샘플 점의 화소 밝기 값을 비교하여 센서스 변환 비트 생성한다.
240에서 스테레오 매칭 장치(100)는 제 3샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 4샘플 점의 화소 밝기 값을 비교하여 센서스 변환 비트 생성한다.
250에서 스테레오 매칭 장치(100)는 제 4샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 5샘플 점의 화소 밝기 값을 비교하여 센서스 변환 비트 생성한다.
260에서 스테레오 매칭 장치(100)는 제 5샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 6샘플 점의 화소 밝기 값을 비교하여 센서스 변환 비트 생성한다.
270에서 스테레오 매칭 장치(100)는 제 6샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 7샘플 점의 화소 밝기 값을 비교하여 센서스 변환 비트 생성한다.
280에서 스테레오 매칭 장치(100)는 샘플 점(7)과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 다른 샘플 점(8)의 화소 밝기 값을 비교하여 센서스 변환 비트 생성한다.
290에서 스테레오 매칭 장치(100)는 제 8샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 1샘플 점의 화소 밝기 값을 비교하여 센서스 변환 비트 생성한다.
스테레오 매칭 장치(100)는 도 2의 220 내지 290에서 생성된 8개의 센서스 변환 비트 열을 하나의 센서스 변환 비트 열로 생성한다.
스테레오 매칭부(140)는 센서스 변환부(130)에서 생성된 센서스 변환 비트 열을 이용하여 스테레오 매칭을 수행한다.
예를 들어, 스테레오 매칭부(140)는 좌안 영상에 대한 센서스 변환 비트 열 및 우안 영상에 대한 센서스 변환 비트 열 간의 해밍 거리를 산출하여 스테레오 매칭을 수행할 수 있다. 이는 당업자에게 자명한 사항이므로 상세한 설명은 생략하기로 한다.
도 3 내지 도 5는 본 발명의 일 실시 예에 따른 스테레오 매칭 방법을 설명하기 위한 도면들이다.
도 3을 참조하면, 단계 S310은 좌안 영상과 우안 영상을 입력 받는다.
단계 S320은 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정한다.
단계 S330은 단계 S320에서 설정한 매칭 윈도우 크기에 따라, 샘플 점 개수 및 에지 거리를 이용하여, 매칭 윈도우 내에서 설정한 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 상기 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교한다. 여기서 화소 밝기 값 비교는 수학식 1을 이용한다.
[수학식 1]
f(Iq, Iq') = 1(if Iq-Iq'>0) or 0(otherwise)
수학식 1에서 함수는 매칭 윈도우의 중심 화소 p를 제외한 주변 화소 q의 밝기 값 Iq와 일정한 거리만큼 떨어진 주변 화소 q'의 밝기 값 Iq'의 차이가 0보다 클 경우에는 1, 그 이외에는 0을 생성한다.
이러한 방법으로 단계 S310에서 입력 받은 좌안 영상 및 우안 영상 각각에서 화소 밝기 값 비교를 수행한다.
단계 S340은 단계 S330의 화소 밝기 값 비교 결과를 통해 좌안 영상의 제1 센서스 변환 비트 열 및 우안 영상의 제2 센서스 변환 비트 열을 생성한다. 여기서, 센서스 변환 비트 열은 수학식 2를 이용한다.
[수학식 2]
C(p)=ⓧf(Iq,Iq')(q∈W)
수학식 2에서 C(P)는 비트 열에 대해 배타적 논리합 연산으로 구현되는 값이고, W는 매칭 윈도우의 크기이다.
단계 S350은 단계 S340 에서 생성한 제1 및 제2 센서스 변환 비트 열을 이용하여 스테레오 매칭을 수행한다.
일반적인 센서스 변환은 매칭 윈도우 내에서 하나의 중심 화소의 밝기 값을 기준으로 주변 화소들의 밝기 값의 높고 낮음을 비교하기 때문에 잡음에 민감한 단점이 있다.
또한, 일반적인 센서스 변환은 매칭 윈도우의 크기가 커질수록 변환되는 비트 열의 수가 증가하기 때문에 계산량이 많아진다.
반면, 본 발명에 따른 스테레오 매칭 방법은 매칭 윈도우 내에서 중심 화소를 제외한 주변 화소들의 밝기 값의 높고 낮음을 비교하기 때문에 잡음에 강인한 센서스 변환 비트 열을 생성할 수 있다.
또한, 본 발명에 따른 스테레오 매칭 방법 매칭 윈도우 내에서 비교할 화소의 개수 및 비교 거리에 따른 위치를 선택함으로써 비트 열 계산량을 감소시키면서도 안정적인 매칭 결과를 얻을 수 있다.
도 4를 참조하여 예를 들면, 일 실시 예에 따른 스테레오 매칭 방법은 400과 같이 매칭 윈도우의 크기가 5 X 5일 때, 매칭 윈도우 내의 중심 화소(405)를 제외한 주변 화소 중에서 샘플 점 24개를 샘플링하고, 각각의 샘플 점은 에지 거리(410)가 3만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하여 잡음에 강인한 센서스 변환 비트 열을 생성할 수 있다.
도 5를 참조하여 예를 들면, 일 실시 예에 따른 스테레오 매칭 방법은 에지 거리에 따른 비교 샘플 점의 위치를 선택함으로써 비트 열 계산량을 감소시키고, 방사 왜곡과 밝기 변화에 강건한 센서스 변환 비트 열을 생성할 수 있다.
도 5의 501 내지 517을 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 X 5 일 경우, 최소 8개에서 최대 24개의 샘플 점을 선택하고, 샘플 점 간의 비교 거리를 최소 1부터 최대 4로 설정하여 다양한 센서스 변환 비트 열을 생성할 수 있다.
도 5의 501 내지 517에서 회색으로 표시한 부분은 샘플 점이고, 화살표 방향으로 샘플 점의 화소 밝기 값 비교를 수행한다. 이때, 화살표 방향은 시계방향 또는 반시계 방향일 수 있다.
도 5의 501 내지 502를 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 X 5 일 때, 8개의 샘플 점들 간의 비교 거리를 2로 설정할 경우, 2가지 패턴으로 센서스 변환 비트 열을 생성할 수 있다.
도 5의 503 내지 505를 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 X 5 일 때, 8개의 샘플 점들 간의 비교 거리를 3으로 설정할 경우, 3가지 패턴으로 센서스 변환 비트 열을 생성할 수 있다.
도 5의 506을 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 X 5 일 때, 8개의 샘플 점들 간의 비교 거리를 4로 설정할 경우, 1가지 패턴으로 센서스 변환 비트 열을 생성할 수 있다.
도 5의 507 내지 513을 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 X 5 일 때, 16개의 샘플 점들 간의 비교 거리를 2로 설정할 경우, 7가지 패턴으로 센서스 변환 비트 열을 생성할 수 있다.
도 5의 514를 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 X 5 일 때, 16개의 샘플 점들 간의 비교 거리를 3으로 설정할 경우, 1가지 패턴으로 센서스 변환 비트 열을 생성할 수 있다.
도 5의 515을 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 X 5 일 때, 16개의 샘플 점들 간의 비교 거리를 4로 설정할 경우, 1가지 패턴으로 센서스 변환 비트 열을 생성할 수 있다.
도 5의 503 내지 505를 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 X 5 일 때, 8개의 샘플 점들 간의 비교 거리를 3으로 설정할 경우, 3가지 패턴으로 센서스 변환 비트 열을 생성할 수 있다.
도 5의 516을 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 X 5 일 때, 24개의 샘플 점들 간의 비교 거리를 2로 설정할 경우, 1가지 패턴으로 센서스 변환 비트 열을 생성할 수 있다.
도 5의 517을 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 X 5 일 때, 24개의 샘플 점들 간의 비교 거리를 3으로 설정할 경우, 1가지 패턴으로 센서스 변환 비트 열을 생성할 수 있다.
일 실시 예에 따른 스테레오 매칭 방법은 도 5와 같이 동일한 에지 거리 및 동일한 샘플 점의 개수에 대해서도 다양한 패턴으로 샘플 점의 화소 값을 비교할 수 있다. 따라서, 스테레오 매칭 방법은 입력된 영상에 따라 샘플 점 비교 패턴(500)을 설정함으로써 방사 왜곡과 밝기 변화에 강건한 센서스 변환 비트 열을 생성할 수 있다.
도 6 내지 도 9는 본 발명의 일 실시 예에 따른 스테레오 매칭 방법의 설정 값 변화에 따른 스테레오 매칭 방법의 예시들이다.
도 6을 참조하면, 일 실시 예에 따른 스테레오 매칭 방법은 입력된 매칭 영상에서 높은 상관관계를 가지는 샘플 점을 선택할 수 있다.
도 6의 600 내지 610은 미들버리 표준 영상에서 도 5의 507 내지 513 패턴을 통해 선택된 각각의 샘플 점과 매칭 윈도우 내 중심 화소의 평균 상관관계를 측정한 결과이다. 여기서 600은 잡음이 포함되지 않은 미들버리 표준 영상을 이용한 결과이고, 610은 가우시안 잡음(σ=5.12)이 추가된 미들버리 표준 영상을 이용한 결과이다.
600 내지 610은 도 5의 507,508,512 및 513 패턴을 통해 선택된 각각의 샘플 점에서 매칭 윈도우의 중심 화소와 높은 상관도를 보인다. 이와 같이 일 실시 예에 따른 스테레오 매칭 방법은 샘플 점 비교 패턴에 따른 샘플 점간의 상관 관계를 측정함으로써 스테레오 매칭 결과를 향상 시킬 수 있는 샘플 점을 선택할 수 있다.
도 7을 참조하면, 일 실시 예에 따른 스테레오 매칭 방법은 샘플링한 샘플 점에서 이전 및 이후 샘플 점 간의 비교를 통해 밝기 값의 높낮이를 연속적으로 비교하기 때문에 더욱 강건한 스테레오 매칭 성능을 보인다.
도 7은 미들버리 표준 영상에서 임의의 a와 b영역에 대해 기존 센서스 변환 방법과 스테레오 매칭 방법적을 적용하여 얻어진 스테레오 매칭의 평균 비용 값 분포이다. 도 7에서 a와 b 영역은 카메라를 마주보는 평면으로 실측 영상(ground truth)의 시차 값은 18과 15이다.
도 7에서 700과 710은 기존 스테레오 매칭 방법에 의해 얻어진 매칭 비용 분포이며, 720과 730은 본 발명의 스테레오 매칭 방법에 의해 얻어진 매칭 비용 분포이다. 700과 710은 두 개의 최소 비용 오차가 존재하며 정확한 시차 정보를 구하기 어렵다. 반면, 720과 730은 매칭 비용의 시차 값이 18과 15에서 각각 얻어진다. 따라서, 일 실시 예에 따른 스테레오 매칭 장치(100)는 기존 센서스 변환 방법에 비해 더욱 강건한 스테레오 매칭 성능을 얻을 수 있다.
도 8은 일 실시 예에 따른 본 발명의 스테레오 매칭 방법의 에지 거리 변화에 따른 스테레오 매칭 비용 분포이다.
800 내지 820은 미들버리 표준 영상에서 5 X 5의 매칭 윈도우에서 16개의 점을 샘플링하는 경우, 에지 길이를 2, 3, 4로 각각 설정하여 얻어진 비용 오차 분포이다.
도 8은 800의 경우가 820의 경우에 비해서 최소 오차 비용의 위치를 상대적으로 분명하게 구분할 수 있다. 따라서, 일 실시 예에 따른 스테레오 매칭 방법은 매칭 윈도우 내에서 비교되는 샘플 점들간의 거리가 2인 경우가 다른 경우에 비해, 보다 신뢰할 수 있는 매칭 비용의 분포를 얻을 수 있다.
도 9는 미들버리 표준 영상에서 기존 스테레오 매칭 방법과 본 발명의 스테레오 매칭 방법을 이용하여 얻어진 시차 값의 PKRN 신뢰도 결과이다.
도 9를 참조하면, 본 발명의 스테레오 매칭 방법은 기존의 스테레오 매칭 방법(CT)보다 PKRN 결과값이 상대적으로 크기 때문에 얻어진 시차 정보를 보다 신뢰할 수 있다.
도 10 내지 도 17은 일 실시 예에 따른 기존 스테레오 매칭 방법과 본 발명의 스테레오 매칭 방법의 성능을 비교한 도면들이다.
도 10 내지 도 11을 참조하면, 도 11은 도 10의 1000을 이용하여 생성된 시차 맵 1020 내지 1040의 오매칭률을 측정한 결과로, 기존의 센서스 변환 방법(CT, MCT, GCT)의 오매칭률 보다 낮은 4.86%의 결과를 보였다.
도 12 내지 도 13을 참조하면, 도 13은 도 12의 1200을 이용하여 생성된 시차 맵 1220 내지 1240의 오매칭률을 측정한 결과로, 기존의 센서스 변환 방법(CT, MCT, GCT)의 오매칭률 보다 낮은 5.10%을 보였다.
도 14는, 도 10의 1000 영상에 가우시안 잡음의 세기(dB)를 추가하여 오매칭률을 측정한 결과이다.
일반적으로, 가우시안 잡음은 영상의 모든 화소에 영향을 주기 때문에 기존의 센서스 변환 방법(CT, MCT, GCT)은 잡음의 세기와 관계 없이 전반적으로 잡음에 강건하지 못하다.
반면, 스테레오 매칭 방법은 매칭 윈도우 내에 샘플 점의 개수에 따라 잡음의 세기와 관계 없이 전반적으로 잡음에 강건한 결과 값을 얻을 수 있다.
도 15를 참조하면, 스테레오 매칭 방법은 도 10의 1000 영상에 대해 16개의 샘플 점에 대해 고려하는 경우, 16-3-1(514) 패턴을 사용할 때 가장 좋은 성능을 보인다. 또한, 신호 대 잡음비(Signal to noise ratio; SNR)가 높은 잡음이 상대적으로 적은 경우(30, 25, 20dB)에는 24-2-1(516) 패턴이 우수한 성능을 보였으며, 잡음이 보다 추가된 경우(15, 10dB)에서는 16-3-1(514) 패턴이 가장 좋은 성능을 보인다. 상대적으로 적은 잡음이 추가된 경우에는 매칭 윈도우 내의 많은 샘플 점들을 고려하는 방법이 우수하며, 그 반대의 경우는 이미지의 특징적인 밝기 분포를 파악하기 유리한 패턴의 성능이 좋다. 또한, 전체 잡음 영상 세기(dB)의 오매칭률들의 평균은 16-3-1(513)과 16-2-2(508) 패턴이 가장 좋은 성능을 나타낸다. 이는, 스테레오 매칭 방법은 5 X 5 크기의 매칭 윈도우를 이용하여 가우시안 잡음이 존재하는 영상을 매칭하는 경우, 16개의 샘플 점으로도 충분히 정확한 매칭 성능을 나타내는 것을 의미한다.
도 16은 임펄스 잡음에 따른 도 10의 1000에 대해 가려짐 없는 영역의 평균 오매칭률을 측정한 결과이다.
도 16을 참조하면, 스테레오 매칭 방법은 임펄스 잡음이 포함된 영상에서 16-2-2(508) 패턴을 이용할 때, 가장 좋은 성능 24.78%를 얻는다. 따라서, 스테레오 매칭 방법은 5 X 5 크기의 매칭 윈도우 내의 모든 점들을 샘플링하기 보다는 16개의 샘플 점을 선택하는 경우에 보다 개선된 성능을 보임을 알 수 있다.
도 17은 가우시안 잡음과 임펄스 잡음이 존재하는 경우, 기존의 센서스 변환(CT, MCT, GCT)방법에 의한 스테레오 매칭 방법과 본 발명의 스테레오 매칭 방법의 오매칭률 결과이다.
도 16 내지 도 17을 참조하면, 기존의 스테레오 매칭 방법은 가우시안 잡음과 임펄스 잡음 등에 의해 많은 영향을 받는다.
반면, 본 발명의 스테레오 매칭 방법(300)은 화소의 밝기 값에 잡음이 없는 경우나, 화소의 밝기 값이 잡음으로 인해 크게 변하는 경우에도 안정적인 매칭 성능을 보인다.
따라서, 본 발명의 스테레오 매칭 방법(300)은 매칭 윈도우 내에서 비교하는 화소 간의 거리와 비교 패턴을 선택함으로써 잡음과 회전 변화 등에 강건한 특징점 매칭이 가능하다. 또한, 스테레오 매칭 방법(300)을 이용하여 보다 향상된 대응 관계 설정(correspondence establishment)을 통해 영상 시퀀스에서 모션이나 물체/사람 추적, 영상 데이터베이스에 대한 질의 영상간의 매칭과 영상 내 객체 인식, 사용자의 위치(location) 인식, 3차원 컴퓨터비전 이용한 카메라 추적 및 재구성, 모자이크/파노라마 영상 생성 등에 적용이 가능하다.
본 발명의 다양한 실시 예에 따른 스테레오 매칭 방법은 다양한 서버 등의 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다. 또한, 본 발명에 따른 스테레오 매칭 방법을 실행하는 프로그램 및 애플리케이션은 컴퓨터 수단에 설치되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (12)

  1. 좌안 영상 및 우안 영상을 입력 받는 영상 입력부;
    매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정하는 센서스 변환 설정부;
    상기 설정한 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 이용하여,
    상기 매칭 윈도우 내에서 상기 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 상기 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하여 센서스 변환 비트 열을 생성하는 센서스 변환부;
    상기 센서스 변환 비트 열을 이용하여 스테레오 매칭을 수행하는 스테레오 매칭부; 를 포함하는 스테레오 매칭 장치.
  2. 제 1항에서 있어서, 상기 샘플 점 개수는,
    상기 매칭 윈도우의 크기에 비례하는 mXm (m은 3이상의 홀수인 자연수)개의 화소에서 중심 화소를 제외한 주변 화소 중 최소 8개 내지 최대 mXm-1개 중 하나로 설정하는 스테레오 매칭 장치.
  3. 제 1항에서 있어서, 상기 에지 거리는,
    상기 매칭 윈도우 내의 가로, 세로 또는 대각선상의 인접 화소를 모두 거리 1로 계산하는 체비셰프(Chebyshev) 거리 측정 방법을 이용하여,
    매칭 윈도우의 크기 mxm (m은 3이상의 홀수인 자연수)에서 최소 1 내지 최대 m-1 의 에지 거리 중 하나로 설정하는 스테레오 매칭 장치.
  4. 제 1항에서 있어서, 상기 센서스 변환부는,
    상기 매칭 윈도우 내의 중심 화소를 제외한 주변 화소에서 가로, 세로 또는 대각선상에 대칭으로 위치한 화소를 샘플링하는 스테레오 매칭 장치.
  5. 제 1항에서 있어서, 상기 센서스 변환부는,
    상기 샘플링한 샘플 점을 이전 및 이후 샘플 점 간의 비교를 통해 밝기 값의 높낮이를 연속적으로 비교하는 스테레오 매칭 장치.
  6. 스테레오 매칭 장치에서 수행되는 스테레오 매칭 방법에 있어서,
    좌안 영상과 우안 영상을 입력 받는 단계;
    매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정하는 단계;
    상기 설정된 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 이용하여, 상기 매칭 윈도우 내에서 상기 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 상기 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하는 단계;
    상기 화소 밝기 값 비교를 통해 상기 좌안 영상의 제1 센서스 변환 비트 열 및 상기 우안 영상의 제2 센서스 변환 비트 열을 생성하는 단계; 및
    상기 제1 및 제2 센서스 변환 비트 열을 이용하여 스테레오 매칭을 수행하는 단계를 포함하는 스테레오 매칭 방법.
  7. 제 6항에 있어서,
    상기 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정하는 단계는,
    상기 매칭 윈도우의 크기에 비례하는 mxm (m은 3이상의 홀수인 자연수)개의 화소에서 중심 화소를 제외한 주변 화소 중 최소 8개 내지 최대 mxm-1개 중 하나로 샘플 점의 개수를 설정하는 스테레오 매칭 방법.
  8. 제 6항에 있어서,
    상기 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정하는 단계는,
    상기 매칭 윈도우 내의 가로, 세로 또는 대각선상의 인접 화소를 모두 거리 1로 계산하는 체비셰프(Chebyshev) 거리 측정 방법을 이용하여,
    매칭 윈도우의 크기 mxm (m은 3이상의 홀수인 자연수)에서 최소 1 내지 최대 m-1 의 에지 거리 중 하나로 설정하는 스테레오 매칭 방법.
  9. 제 6항에 있어서,
    상기 설정된 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 이용하여, 상기 매칭 윈도우 내에서 상기 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 상기 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하는 단계는
    상기 매칭 윈도우 내의 중심 화소를 제외한 주변 화소에서 가로, 세로 또는 대각선상에 대칭으로 위치한 화소를 샘플링하는 스테레오 매칭 장치.
  10. 제 6항에 있어서,
    상기 설정된 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 이용하여, 상기 매칭 윈도우 내에서 상기 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 상기 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하는 단계는
    상기 매칭 윈도우 내의 중심 화소를 제외한 주변 화소에서 샘플링한 화소의 밝기 값과 상기 에지 거리만큼 떨어져 샘플링한 화소의 밝기 값을 비교하는 스테레오 매칭 방법.
  11. 제 6항에 있어서,
    상기 설정된 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 이용하여, 상기 매칭 윈도우 내에서 상기 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 상기 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하는 단계는
    상기 샘플링한 화소를 이전 및 이후 샘플 점 간의 비교를 통해 밝기 값의 높낮이를 연속적으로 비교하는 스테레오 매칭 방법.
  12. 제 6항 내지 제11항 중 어느 한 항의 스테레오 매칭 방법을 실행하기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
PCT/KR2017/003031 2016-09-30 2017-03-21 스테레오 매칭 장치 및 방법 WO2018062650A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160126818A KR101850113B1 (ko) 2016-09-30 2016-09-30 스테레오 매칭 장치 및 방법
KR10-2016-0126818 2016-09-30

Publications (2)

Publication Number Publication Date
WO2018062650A2 true WO2018062650A2 (ko) 2018-04-05
WO2018062650A3 WO2018062650A3 (ko) 2018-09-07

Family

ID=61760508

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/003031 WO2018062650A2 (ko) 2016-09-30 2017-03-21 스테레오 매칭 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101850113B1 (ko)
WO (1) WO2018062650A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989133B1 (ko) * 2018-06-12 2019-09-30 중앙대학교 산학협력단 스테레오 이미지에서 공통 지원 영역을 이용한 실시간 스테레오 매칭 장치 및 매칭 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016427A (ja) * 2001-07-02 2003-01-17 Telecommunication Advancement Organization Of Japan ステレオ画像の視差推定方法
KR101200490B1 (ko) * 2008-12-10 2012-11-12 한국전자통신연구원 영상 정합 장치 및 방법
KR101564809B1 (ko) * 2013-11-28 2015-11-02 연세대학교 산학협력단 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법 및 그 장치
JP6253450B2 (ja) * 2014-02-28 2017-12-27 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
KR101622344B1 (ko) * 2014-12-16 2016-05-19 경북대학교 산학협력단 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템

Also Published As

Publication number Publication date
WO2018062650A3 (ko) 2018-09-07
KR20180036867A (ko) 2018-04-10
KR101850113B1 (ko) 2018-04-20

Similar Documents

Publication Publication Date Title
Wu et al. Exposing video inter-frame forgery based on velocity field consistency
WO2015005577A1 (ko) 카메라 포즈 추정 장치 및 방법
WO2013085148A1 (en) Apparatus and method for eliminating noise in stereo image
WO2013151270A1 (en) Apparatus and method for reconstructing high density three-dimensional image
WO2012064010A4 (en) Image conversion apparatus and display apparatus and methods using the same
WO2020111426A1 (en) Method and system of presenting moving images or videos corresponding to still images
EP3721380A1 (en) Method and system for facial recognition
WO2013125768A1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법
WO2018111011A1 (ko) 이동 객체 탐지 시스템 및 방법
WO2014133251A1 (ko) 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
WO2021241804A1 (ko) 다중 플로우 기반 프레임 보간 장치 및 방법
WO2018062650A2 (ko) 스테레오 매칭 장치 및 방법
WO2016064107A1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
WO2014051309A1 (en) Stereo matching apparatus using image property
WO2018021657A1 (ko) 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
WO2016035924A1 (ko) 달리기 감지 방법 및 시스템
WO2013066095A1 (ko) 얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2010095796A1 (ko) 세그먼트 특징을 이용한 내용 기반 동영상 검출 방법
WO2020171304A1 (ko) 영상 복원 장치 및 방법
WO2016159613A1 (ko) 영상 합성을 위한 객체 추적 방법 및 시스템
WO2023210884A1 (ko) 비지역적 평균 기반의 노이즈 제거 장치 및 방법
WO2022158681A1 (ko) 얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법
WO2021153889A1 (ko) 생체정보 분산관리 시스템 및 이를 이용한 생체인식 방법
WO2019124634A1 (ko) 압축영상에 대한 신택스 기반의 객체 추적 방법
WO2022014831A1 (ko) 오브젝트 검출 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17856536

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17856536

Country of ref document: EP

Kind code of ref document: A2