KR100411875B1 - 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법 - Google Patents
스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법 Download PDFInfo
- Publication number
- KR100411875B1 KR100411875B1 KR10-2001-0033943A KR20010033943A KR100411875B1 KR 100411875 B1 KR100411875 B1 KR 100411875B1 KR 20010033943 A KR20010033943 A KR 20010033943A KR 100411875 B1 KR100411875 B1 KR 100411875B1
- Authority
- KR
- South Korea
- Prior art keywords
- parallax
- image
- matching
- edge
- feature
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Abstract
1. 청구범위에 기재된 발명이 속한 기술 분야
본 발명은 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원 영상 표시 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 디지털 입체 영상을 스테레오 정합(Stereo Matching)하여 얻어진 영역 기반 정합과 특징 기반 정합 시차 지도에서 에지 정보, 시차 지도의 통계적인 특성 등을 이용한 규칙에 의해 적절한 시차를 선택함으로써 시차 지도의 정확성을 높이는 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원 영상 표시 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
3. 발명의 해결방법의 요지
본 발명은, 스테레오 영상 시차 지도 융합 장치에 적용되는 스테레오 영상 시차 지도 융합 방법에 있어서, 영상내의 위치를 표시하기 위한 색인을 초기화하는 제 1 단계; 상기 색인값이 표시하는 위치의 기준 영상 화소가 에지 영상인지를 확인하는 제 2 단계; 상기 제 2 단계의 확인 결과, 에지 영상이면 에지 화소 융합을 하고 다음 위치로 이동하여 상기 제 2 단계로 진행하는 제 3 단계; 및 상기 제 2 단계의 확인 결과, 에지 영상이 아니면 비에지 화소 융합을 하고 다음 위치로 이동하여 상기 제 2 단계로 진행하는 제 4 단계를 포함함.
4. 발명의 중요한 용도
본 발명은 멀티미디어 시스템 등에 이용됨.
Description
본 발명은 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원 영상 표시 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 특히 영역 기반 정합 방법과 특징 기반 정합 방법을 사용하여 디지털 스테레오 좌우 영상을 정합함으로써 얻어진 두 시차 지도를 일정한 규칙에 의해 융합함으로써 두 정합 방법 결과의 단점을 해결하고, 보다 정확한 시차 지도를 얻는 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원 영상 표시 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
두 대의 좌우 카메라로부터 취득된 스테레오 영상 중 하나를 기준 영상으로, 다른 영상을 탐색 영상으로 놓았을 때, 이 두 영상에서 공간상의 동일한 한 점에 대한 기준 영상과 탐색 영상에서의 영상 좌표의 차이를 시차라고 하며, 이 시차를 추출하거나 시차의 정확도를 개선하기 위한 연구는 스테레오 비전 분야에서 많은연구가 진행되어 왔다.
스테레오 영상으로부터 시차를 구하기 위해서는 기준 영상의 임의의 점에 해당하는 대응점을 탐색 영상에서 찾아야 하는데, 이를 위한 종래의 기술은 크게 두 가지로 분류할 수 있다.
첫 번째 방법은 영역 기반 방법이다.
이 방법은 기준 영상의 화소를 중심으로 일정한 크기의 창틀 내의 화소들과, 대응점이라고 간주되는 탐색 영상의 화소들을 중심으로 하는 같은 크기의 창틀 내의 화소들 간의 유사도를 계산하여, 가장 유사도가 큰 값을 갖는 화소를 대응점이라고 규정함으로써 시차를 구하는 방법이다.
이 방법의 예로서는 "대한민국 특허공개 1999-0080598호(정합 화소 수를 이용한 유사도 측정 방법 및 이를 구현하기 위한 장치, 김형곤 외 2명)", 일본 특허 공개 "P2000-356514호(스테레오 카메라를 이용한 거리 측정 방법 및 거리 측정 장치, 주식회사 도시바)" 등이 있다.
두 번째 방법은 특징 기반 방법이다.
이 방법은 기준 영상과 탐색 영상에서 에지, 영 교차점 등 공간상의 정합 특징 (Matching Primitive)을 추출하고, 이 특징들 간의 유사도를 계산함으로써 대응되는 정합 특징 쌍을 선택하여 시차를 구하는 방법이다.
이 방법의 예로서는 일본 특허 공개 "P2000-172884호(3차원 모델의 작성방법, 주식회사 명전사)", 논문 "Hierachical Waveform Matching: A New Feature-based Stereo Technique(D. M. McKeown and Y. Hsieh, Proceeding of theConference on Computer Vision and Pattern Recognition, Urban Champlain, III, June 16-18, 1992)" 등이 있다.
그러나, 이러한 방법들 중에서 절대적으로 가장 우수한 성능을 가졌다고 말할 수 있는 방법은 없으며, 영상의 종류나 정합 화소의 위치에 따라 다른 성능을 보이고 있다.
예를 들어, 영역 기반 정합 방법은 연속적으로 시차 변화가 발생하는 모든 화소에 대해 시차를 계산하므로 계산시간이 오래 걸리며, 밝기가 유사한 화소들이 많은 영역이나 시차 불연속 지점의 시차 계산에서 정합 오차를 발생시키는 문제점을 가지고 있다.
또한, 특징 기반 정합 방법은 정합 특징이 존재하는 부분에서만 시차를 계산하므로 계산시간이 짧고, 시차 불연속 지점의 시차를 비교적 정확하게 구할 수 있다는 장점이 있는 반면, 모든 화소의 시차를 구할 수 없어 보간 과정이 필요하다는 문제점이 있다.
따라서, 최근에는 이 두 방법의 장단점을 보완할 수 있는 여러 가지 방법이 제안되었는데, 그 중 하나가 두 정합의 결과를 일정한 규칙에 의해 융합함으로써 보다 정확한 시차 지도를 얻기 위한 방법이 있다. 이러한 예로는 "D. M. McKeown, Jr." 등의 논문 "Refinement of Disparity Estimates Through the Fusion of Monocular Image Segmentations(Proceedings of Computer Vision and Pattern Recognition, pp. 486-492, 1992)", "Hseih" 등의 논문 "Performance Evaluation of Scene Registration and Stereo Matching for Cartographic FeatureExtraction(IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 14, no. 2, Feb. 1992)", 그리고 "엄 기문" 등의 "Refinement of Disparity Map using the Rule-based Fusion of Area and Feature-based Matching Results(Proceedings of International Symposium on Remote Sensing, pp. 304-309, Nov. 1999)" 논문 등이 있다.
이 중 "D. M. McKeown, Jr." 등이 제안한 방법은 여러 종류의 영상 분할 알고리즘을 이용하여 기준 영상을 여러 개의 영역으로 분할하고, 각 영역 내에서 두 시차 지도의 시차 빈도 (Disparity Histogram)를 계산한 다음, 시차 빈도 값이 큰 시차를 선택 하는 방법이다.
그러나, 이 방법은 영역 분할 결과에 따라 결과가 달라질 수 있으며, 미정합이나 오정합이 많이 발생하는 시차 불연속 지점에서 잘못된 시차를 선택할 수 있다는 문제점이 있다.
또한, "Hseih" 등이 제안한 방법은 영역 기반 정합과 특징 기반 정합에 의해 얻어진 두 시차 중에서, 시차에 의해 정합된 점으로 구해진 두 화소를 중심으로 한 일정 크기의 창틀 내에서 기준 영상과 탐색 영상의 밝기 차이를 계산하여 두 시차 중에서 그 차이가 작은 시차를 선택하는 방법이다.
그러나, 이 방법은 구현이 간단하다는 장점에도 불구하고, 기준 영상과 탐색 영상 간에 밝기 차이가 크거나, 차폐지역이 존재하는 경우에는 잘못된 시차를 선택할 수 있다는 문제점이 있다.
또한, "엄 기문" 등이 제안한 방법은 상기 방법들의 단점을 보완하기 위해에지 영상과, 일정한 크기(3X3)의 창틀 내에서 각 시차 지도의 표준 편차 등 통계적 특성을 이용하여, 만들어진 규칙에 의해 시차를 선택하는 방법이다.
그러나, 이 방법은 실제적인 융합이 에지 부분에서만 이루어진다는 문제점이 있다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 디지털 입체 영상을 스테레오 정합(Stereo Matching)하여 얻어진 영역 기반 정합과 특징 기반 정합 시차 지도에서 에지 정보, 시차 지도의 통계적인 특성 등을 이용한 규칙에 의해 적절한 시차를 선택함으로써 시차 지도의 정확성을 높이는 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원 영상 표시 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것을 제공하는데 그 목적이 있다.
도 1 은 본 발명이 적용되는 3차원 영상 표시 시스템의 일실시예 구성도.
도 2 는 본 발명에 따른 3차원 영상 표시 방법에 대한 일실시예 흐름도.
도 3 은 본 발명에 따른 스테레오 영상 시차 지도 융합 방법에 대한 일실시예 흐름도.
도 4 는 본 발명에 따른 스테레오 영상 시차 지도 융합 방법에 있어서 에지 화소 융합 과정에 대한 일실시예 동작 흐름도.
도 5 는 본 발명에 따른 스테레오 영상 시차 지도 융합 방법에 있어서 에지 화소 융합 과정 중 시차의 타당성 검증 과정에 대한 일실시예 동작 흐름도.
도 6 은 본 발명에 따른 스테레오 영상 시차 지도 융합 방법에 있어서 비에지 화소 융합 과정에 대한 일실시예 동작 흐름도.
* 도면의 주요 부분에 대한 부호의 설명
11-1 : 좌측 카메라 11-2 : 우측 카메라
12-1 : 좌측 에지 추출부 12-2 : 우측 에지 추출부
13 : 영역 기반 정합부 14 : 특징 기반 정합부
15 : 융합 처리부 16 : 보간부
17 : 시차 지도 기록부 18 : 3차원 영상 표시부
상기 목적을 달성하기 위한 본 발명은, 스테레오 영상 시차 지도 융합 장치에 적용되는 스테레오 영상 시차 지도 융합 방법에 있어서, 영상내의 위치를 표시하기 위한 색인을 초기화하는 제 1 단계; 상기 색인값이 표시하는 위치의 기준 영상 화소가 에지 영상인지를 확인하는 제 2 단계; 상기 제 2 단계의 확인 결과, 에지 영상이면 에지 화소 융합을 하고 다음 위치로 이동하여 상기 제 2 단계로 진행하는 제 3 단계; 및 상기 제 2 단계의 확인 결과, 에지 영상이 아니면 비에지 화소 융합을 하고 다음 위치로 이동하여 상기 제 2 단계로 진행하는 제 4 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은, 3차원 영상 표시 장치에 적용되는 스테레오 영상 시차 지도 융합 방법을 이용한 3차원 영상 표시 방법에 있어서, 좌우 영상 입력 장치로부터 각각 좌우 영상을 입력받고, 상기 입력받은 영상으로부터 좌우 에지 영상을 추출하는 제 1 단계; 상기 좌우 영상과 상기 좌우 에지 영상을 입력으로 하여 구해진 영역 기반 정합 시차 지도와 특징 기반 정합 시차 지도를 이용하여 화소의 에지 여부 및 시차 지도의 특성에 따라 시차를 선택하는 제 2 단계; 상기 선택된 시차를 합쳐 디지털 영상으로 기록하는 제 3 단계; 및 시차 지도를 3차원적 모형으로 영상 표시하는 제 4 단계를 포함한다.
한편, 본 발명은, 프로세서를 구비한 영상 시차 지도 융합 장치에, 영상내의 위치를 표시하기 위한 색인을 초기화하는 제 1 기능; 상기 색인값이 표시하는 위치의 기준 영상 화소가 에지 영상인지를 확인하는 제 2 기능; 상기 제 2 기능에 의한 확인 결과, 에지 영상이면 에지 화소 융합을 하고 다음 위치로 이동하여 상기 제 2 기능으로 진행하는 제 3 기능; 및 상기 제 2 기능에 의한 확인 결과, 에지 영상이 아니면 비에지 화소 융합을 하고 다음 위치로 이동하여 상기 제 2 기능으로 진행하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
또한, 본 발명은, 프로세서를 구비한 3차원 영상 표시 장치에, 좌우 영상 입력 장치로부터 각각 좌우 영상을 입력받고, 상기 입력받은 영상으로부터 좌우 에지 영상을 추출하는 제 1 기능; 상기 좌우 영상과 상기 좌우 에지 영상을 입력으로 하여 구해진 영역 기반 정합 시차 지도와 특징 기반 정합 시차 지도를 이용하여 화소의 에지 여부 및 시차 지도의 특성에 따라 시차를 선택하는 제 2 기능; 상기 선택된 시차를 합쳐 디지털 영상으로 기록하는 제 3 기능; 및 시차 지도를 3차원적 모형으로 영상 표시하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명이 적용되는 3차원 영상 표시 시스템의 일실시예 구성도이다.
도 1 에 도시된 바와 같이, 3차원 영상 표시 시스템은 두 대의 카메라(11-1, 11-2)로부터 촬영된 각각의 기준 영상과 탐색 영상을 에지 추출부(12-1, 12-2), 영역 기반 정합부(13)와 특징 기반 정합부(14)로 입력시키고, 각각의 출력으로 나온 에지 영상과 시차 지도를 다시 융합 처리부(16)에 입력시켜 상기 시차 지도에서의 시차 존재 여부 및 에지 여부에 따라 정해진 규칙을 이용하여 적절한 시차를 선택하며, 또한 필요에 따라 융합 처리부(16) 앞단에서 정합되지 않은 화소의 시차를 구하기 위한 보간부(15)를 거쳐 보간된 시차 지도를 융합 처리부(16)로 입력하며, 최종적으로 각 화소에 대해 구해진 시차를 디지털 영상으로 기록하는 시차 지도 기록부(17), 시차 지도와 기준 영상을 합성하여 3차원 영상으로 표시하는 3차원 영상 표시부(28)를 포함한다.
여기서, 에지 추출부(12-1, 12-2)에서 추출된 에지 영상은 사용된 영역 기반 정합 방법 및 특징 기반 정합 방법에 따라 영역 기반 정합부(13)와 특징 기반 정합부(14)로 기준 및 탐색 영상과 함께 입력으로 사용 가능하다.
상기와 같이 구성된 본 발명이 적용되는 3차원 영상 표시 시스템의 동작을 도 2 를 참조하여 살펴보면 다음과 같다.
도 2 는 본 발명에 따른 3차원 영상 표시 방법에 대한 일실시예 흐름도이다.
도 2 에 도시된 바와 같이, 먼저 좌우 카메라(11-1, 11-2)로부터 취득된 각 영상을 에지 추출부(12), 영역 기반 정합부(13) 및 특징 기반 정합부(14)로 입력하고, 에지 추출부(12)에서는 상기 좌우 카메라(11-1, 11-2)로부터 취득된 각 영상으로부터 "Prewitt"이나 "Canny" 에지 추출 연산자를 이용하여 에지 영상을 추출하여(201) 영역 기반 정합부(13) 및 특징 기반 정합부(14)로 입력하고, 좌우 카메라(11-1, 11-2)로부터 취득된 영상과 에지 추출부(12)에서 획득한 에지 영상을 입력받은 영역 기반 정합부(13)와 특징 기반 정합부(14)에서 각각의 시차 지도를 획득한다(202).
그리고, 보간부(15)에서는 상기 특징 기반 정합에 의한 시차 지도와 에지 영상을 다시 입력으로 받아 특징 기반 정합에 의한 시차 지도의 비에지 화소에 대해 보간을 수행하여 보간된 특징 기반 정합에 의한 시차 지도를 얻는다(203).
그리고, 융합 처리부(16)에서는 상기 영역 기반 정합부(13)와 상기 특징 기반 정합부(14)에서 획득한 각각의 시차 지도와 상기 에지 추출부(12)에서 획득한 에지 영상을 이용해 먼저 시차를 계산할 화소를 에지 화소와 비에지 화소로 분류하며, 분류된 화소는 각각 정해진 규칙에 따라 적절한 시차를 선택한다(204).
그리고, 시차 지도 기록부(17)에서 상기 선택된 각 화소의 시차를 디지털 영상으로 기록하며(205), 이를 3차원 영상 표시부(18)에서 3차원 그래픽을 이용하여 기준 영상과 시차지도를 합성하여 3차원 영상으로 표시한다(206).
도 3 은 본 발명에 따른 스테레오 영상 시차 지도 융합 방법에 대한 일실시예 흐름도이다.
여기서, 영상 내의 위치를 표시하기 위한 색인(index)으로서 i, j를 두어 본 도에 대한 설명을 하기로 한다. 이때, i는 행 위치 좌표 색인으로 "0"부터 "영상의 행 방향 최대 크기-1"까지 변하며, j는 열 위치 좌표 색인으로 "0"부터 "영상의 열 방향 최대 크기-1"까지 변한다.
우선, 영상 내의 위치를 표시하기 위한 색인인 i, j를 0으로 초기화한다(301).
그리고, i와 j의 좌표(0, 0)인 화소부터 Pref,i,j가 에지인지를 확인한다(302). 여기서 Pref,i,j는 좌표가 (i, j)로 주어지는 기준 영상(좌측 영상)의 한 화소를 의미하며, 에지인지 조사하는 부분은 에지 영상에서 해당 위치 화소의 밝기 값을 조사하여 에지 화소 여부를 판단하게 된다. 통상의 경우, 에지 영상은 에지 화소인 경우 255의 밝기를 할당하고, 그렇지 않은 경우에는 0의 밝기를 할당한다.
상기의 확인 결과, 에지인 경우에는 에지 화소 융합을 수행하고(303), 에지가 아닌 경우에는 특징 기반 정합 시차 지도의 비에지 화소의 시차를 보간하고(304) 비에지 화소 융합을 수행한다(305).
그리고, 상기에서와 같이 한 화소에 대해 에지 화소 융합 또는 비에지 화소 융합을 수행한 후 다음 화소로 이동함으로써, 전체 화소에 대해 상기 전 과정(302-305)을 반복한다(306-309).
이하의 본 발명에서 제시하는 시차 선택 규칙의 기본적인 가정은 에지 부분 화소의 경우에는 에지 화소로 정합되며 수직 화소 및 수평 화소와 같은 방향성도 일치해야 한다는 것이다. 또한, 수직 에지 화소의 경우에는 특징 기반 정합 결과가 영역 기반 정합 결과에 비해 정확할 확률이 높으며, 수평 에지 부분 화소의 경우에는 특징 기반 정합 결과에 비해 영역 기반 정합 결과가 정확할 확률이 높다고 가정하여 시차를 선택하게 된다.
도 4 는 본 발명에 따른 스테레오 영상 시차 지도 융합 방법에 있어서 에지 화소 융합 과정에 대한 일실시예 동작 흐름도이다.
우선, 본 도에서 사용하는 변수에 대해 살펴보면, Ptarget,i,j,area는 영역 기반 정합(Area-based Matching)방법에 의해 얻어진 Pref,i,j의 시차로부터 구한 대상 영상(Target Image)내 정합점을 의미하며, Ptarget,i,j,ftr은 특징 기반 정합(Feature-based Matching) 방법에 의해 얻어진 Pref,i,j의 시차로부터 구한 대상 영상(Target Image)내 정합점을 의미한다.
또한, dnew,i,j는 융합에 의해 새로 얻어진 Pref,i,j의 시차를 의미하며,darea,i,j는 영역 기반 정합 방법에 의해 얻어진 시차이며, dftr,i,j는 특징 기반 정합 방법에 의해 얻어진 Pref,i,j의 시차이다.
그 과정을 보면, 원래 정합하려는 Pref,i,j가 에지 화소이므로, 원래 그 정합점도 에지 화소이어야 한다. 따라서, 두 정합 방법에 의해 구해진 정합점 중 에지 화소인 점이 정확한 정합점일 확률이 높기 때문에 Ptarget,i,j,area와 Ptarget,i,j,ftr가 둘 다 에지 화소인지를 확인한다(401).
그리고, 상기 확인 결과, Ptarget,i,j,area와 Ptarget,i,j,ftr가 둘 다 에지 화소이면, Pref,i,j와 Ptarget,i,j,area, Pref,i,j와 Ptarget,i,j,ftr의 에지 방향이 같은 지를 확인한다(404). 이때, 방향은 에지 화소인 경우 그 화소가 속한 선소(연결된 에지)의 방향에 의해 또는, 해당 화소의 밝기 변화에 대한 그라디안트 (Gradient)값에 의해 그 화소의 에지 방향을 알 수 있으므로, 정합된 두 점의 에지 방향을 비교하여 방향의 유사성이 높은 두 점을 정합점으로 선택하기 위해 사용된다.
Pref,i,j와 Ptarget,i,j,area의 에지 방향이 같고 또한, Pref,i,j와 Ptarget,i,j,ftr의 에지 방향이 같으면, Pref,i,j의 방향이 수평인지를 확인하여 수평이면(407), darea,i,j를 dnew,i,j로 하고(413), Pref,i,j의 방향이 수평인지를 확인하여 수평이 아니면(407), dftr,i,j를 dnew,i,j로 한다(412).
여기서, 방향의 수평 여부를 확인하는 이유는, 본 발명에서는 방향 유사성의 판단은 수평 방향과 수직 방향으로 구분하는 기준을 정하고, 이 기준에 따라 수평 방향 화소인지 수직 방향 화소인지 여부만으로 수행하게 되는데 만약, 에지 화소여부와 방향이 모두 유사한 점이 두 결과 모두에서 나올 경우 또는 정합된 두 점이 모두 에지 화소가 아닐 경우에는 수평 방향 에지 정합 결과가 특징 기반 정합에서 영역 기반 정합에 비해 일반적으로 오차가 클 확률이 높다고 판단하여 수평 방향의 경우에는 영역 기반 정합 결과를, 그렇지 않을 경우에는 특징 기반 정합 결과를 선택하기 위해서이다.
그리고, Pref,i,j와 Ptarget,i,j,ftr의 에지 방향만 같으면(405), dftr,i,j를 dnew,i,j로 한다(411). 또한, Pref,i,j와 Ptarget,i,j,area의 에지 방향만 같으면(406), 시차의 타당성을 검토하는 과정을 거쳐 정합점을 찾는다(414). 또한, 모두 방향이 다르면, Pref,i,j의 방향이 수평인지를 확인하여 수평이면(408), darea,i,j를 dnew,i,j로 하고(410), Pref,i,j의 방향이 수평인지를 확인하여 수평이 아니면(408), dftr,i,j를 dnew,i,j로 한다(411).
그리고, Ptarget,i,j,area가 에지가 아니거나 Ptarget,i,j,ftr가 에지가 아니면(401), Ptarget,i,j,ftr가 에지인 경우(402)에는 dftr,i,j를 dnew,i,j로 한다(409). 또한, Ptarget,i,j,area가 에지인 경우(403)에는 시차의 타당성을 검토하는 과정을 거쳐 정합점을 찾는다(414). 또한, 모두 에지가 아닌 경우에는 Pref,i,j의 방향이 수평인지를 확인하여 수평이면(408), darea,i,j를 dnew,i,j로 하고(410), Pref,i,j의 방향이 수평인지를 확인하여 수평이 아니면(408), dftr,i,j를 dnew,i,j로 한다(411).
도 5 는 본 발명에 따른 스테레오 영상 시차 지도 융합 방법에 있어서 에지 화소 융합 과정 중 시차의 타당성 검증 과정에 대한 일실시예 동작 흐름도이다.
먼저, 사용된 각 주요 변수의 설명은 다음과 같다.
우선, avgarea,i,j는 darea,i,j에 대한 3X3 창틀 내 영역 기반 정합 시차 지도의 평균시차를 의미하고, stdarea,i,j는 darea,i,j에 대한 3X3 창틀 내 영역 기반 정합 시차 지도의 시차에 대한 표준 편차를 의미한다.
또한, diffi,j는 영역 기반 정합에 의해 얻어진 시차인 darea,i,j와 3×3 창틀 내 평균 시차 avgarea,i,j의 절대값 차이를 의미하며, 이는 darea,i,j가 주위 시차들과 비교하였을 때 두드러지게 차이가 많이 나는 점인지를 조사하고, 차이가 클 경우 잘못 정합된 점일 확률이 높으므로 이를 선택하지 않기 위해 사용된다.
또한, Th1는 diffi,j와 stdarea,i,j사이의 차이를 판별하기 위한 임계치이고, Th2은 diffi,j 즉, 영역 기반 시차 darea,i,j와 avgarea,i,j 와의 차이를 판별하기 위한 임계치이다.
그 동작을 살펴보면, 우선 avgarea,i,j와 stdarea,i,j를 계산한다(501).
그리고, diffi,j를 stdarea,i,j값과 비교하여 그 차이가 임계치 Th1보다 작으면(502) diffi,j를 임계치 Th2와 stdarea,i,j값 중 작은 값과 비교하여(503) diffi,j가 작으면 유효한 시차일 확률이 있다고 보아 darea,i,j를 선택하고(504) 그렇지 않으면 dftr,i,j를 dnew,i,j로 선택한다(505). 여기서, 503의 과정은 502의 과정에서 정확한 시차일 확률이 높아진 darea,i,j의 정확성을 보다 확실하게 조사하기 위한 것이다.
그리고, diffi,j를 stdarea,i,j값과 비교하여 그 차이가 임계치 Th1보다 작지 않으면(502) darea,i,j를 정확하지 않은 시차로 판단하여 특징 기반 정합에 의한 시차 dftr,i,j를 dnew,i,j로 선택한다(505).
도 6 은 본 발명에 따른 스테레오 영상 시차 지도 융합 방법에 있어서 비에지 화소 융합 과정에 대한 일실시예 동작 흐름도이다.
먼저, 도 6 에 사용된 각 주요 변수들에 대해 설명하면, Histarea[d], Histftr[d], Histmax[d]는 (i,j)를 중심으로 한 3×3 창틀 내에서 영역기반 정합, 특징기반 정합에 의해 얻어진 시차 지도상에서 계산된 시차 d의 히스토그램 및 최대 빈도 수를 가지는 시차 d를 나타낸다.
본 발명에서는 특징 기반 정합 시차 지도의 비에지 화소에 대한 시차 보간을 한 후(304) 비에지 화소에 대한 융합을 수행한다. 비에지 화소에 대한 융합을 위해 우선, 비에지 화소 융합을 할 대상인 3×3 창틀을 설정한다(601).
그리고, 설정된 3×3 창틀 내에서 중심화소(i,j)를 제외한 나머지 8개 화소(창틀내의 주위 화소)의 에지 여부를 에지 영상으로부터 조사하여(602) 에지 화소가 있을 경우에는 히스토그램 조사에서 제외시키고 창틀 내 다음 화소에 대해(603) 다시 에지 화소 여부를 조사한다(602). 일반적으로 시차 변화가 불연속적으로 일어나는 부분이 존재하는 경우가 많으므로 시차 분포가 에지 화소를 경계로 달라진다. 따라서, 시차 변화가 비교적 완만하게 일어나는 화소들만 선택하기 위해 에지 화소를 제외하는 것이다.
그리고, 상기에서 에지 화소를 제외하고 나면. 각 시차 지도의 히스토그램을 계산하여(604), 두 시차 지도에서 각각 최대 빈도수를 가지는 시차를 구하고, 다시 두 최대 빈도수를 가지는 시차를 조사하여 둘 중 최대 빈도수를 가지는 시차가 영역기반 정합에 의한 시차이면(605), darea,i,j를 dnew,i,j로 선택하고(606) 그렇지 않으면 특징 기반 정합에 의한 시차 dftr,i,j를 dnew,i,j로 선택한다(607).
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 종래의 영역 기반 정합 시스템 또는 방법과 특징 기반 정합 시스템 또는 방법이 가지는 단점을 보완하기 위해 적절한 규칙을 통해 두 정합 결과를 융합함으로써 보다 정확한 시차 지도를 얻을 수 있는 효과가 있다.
또한, 본 발명은 기존의 시차 융합 방법이 화소 종류에 관계없이 하나의 규칙을 적용하거나 에지 화소에 대해서만 규칙을 적용함으로써 발생하는 문제점을, 화소 종류에 따라 다른 규칙을 적응적으로 적용함으로써 보다 정확한 시차지도를 얻을 수 있는 효과가 있다.
Claims (13)
- 스테레오 영상 시차 지도 융합 장치에 적용되는 스테레오 영상 시차 지도 융합 방법에 있어서,영상내의 위치를 표시하기 위한 색인을 초기화하는 제 1 단계;상기 색인값이 표시하는 위치의 기준 영상 화소가 에지 영상인지를 확인하는 제 2 단계;상기 제 2 단계의 확인 결과, 에지 영상이면 에지 화소 융합을 하고 다음 위치로 이동하여 상기 제 2 단계로 진행하는 제 3 단계; 및상기 제 2 단계의 확인 결과, 에지 영상이 아니면 비에지 화소 융합을 하고 다음 위치로 이동하여 상기 제 2 단계로 진행하는 제 4 단계를 포함하는 스테레오 영상 시차 지도 융합 방법.
- 제 1 항에 있어서,상기 제 3 단계의 에지 화소 융합 과정은,영역 기반 정합 방법에 의한 대상 영상의 정합점과 특징 기반 정합 방법에 의한 대상 영상의 정합점이 에지 영상인지를 확인하는 제 5 단계;상기 제 5 단계의 확인 결과, 상기 특징 기반 정합 방법에 의한 대상 영상의 정합점이 에지 영상인 경우 특징 기반 정합 방법에 의한 시차를 선택하는 제 6 단계;상기 제 5 단계의 확인 결과, 상기 영역 기반 정합 방법에 의한 대상 영상의 정합점이 에지 영상인 경우 시차의 타당성을 검증하여 시차를 선택하는 제 7 단계;상기 제 5 단계의 확인 결과, 에지 영상이 아닌 경우, 상기 기준 영상 화소의 방향을 확인하여 수평이면 상기 영역 기반 정합 방법에 의한 시차를 선택하고 수평이 아니면 상기 특징 기반 정합 방법에 의한 시차를 선택하는 제 8 단계; 및상기 제 5 단계의 확인 결과, 에지 영상이면, 상기 특징 기반 정합 방법에 의한 대상 영상의 정합점, 상기 영역 기반 정합 방법에 의한 대상 영상의 정합점 및 상기 기준 영상 화소의 방향에 따라 시차를 선택하는 제 9 단계를 포함하는 스테레오 영상 시차 지도 융합 방법.
- 제 2 항에 있어서,상기 제 9 단계는,상기 특징 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소 및 상기 영역 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소의 방향의 동일 여부를 확인하는 제 10 단계;상기 제 10 단계의 확인 결과, 상기 특징 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소가 서로 방향이 동일한 경우 특징 기반 정합 방법에 의한 시차를 선택하는 제 11 단계;상기 제 10 단계의 확인 결과, 상기 영역 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소가 서로 방향이 동일한 경우 시차의 타당성을 검증하여 시차를 선택하는 제 12 단계;상기 제 10 단계의 확인 결과, 상기 특징 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소 및 상기 영역 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소의 방향이 틀린 경우 상기 기준 영상 화소의 방향을 확인하여 수평이면 상기 영역 기반 정합 방법에 의한 시차를 선택하고 수평이 아니면 상기 특징 기반 정합 방법에 의한 시차를 선택하는 제 13 단계; 및상기 제 10 단계의 확인 결과, 상기 특징 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소 및 상기 영역 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소의 방향이 같은 경우 상기 기준 영상 화소의 방향을 확인하여 수평이면 상기 영역 기반 정합 방법에 의한 시차를 선택하고 수평이 아니면 상기 특징 기반 정합 방법에 의한 시차를 선택하는 제 14 단계를 포함하는 스테레오 영상 시차 지도 융합 방법.
- 제 2 항 또는 제 3 항에 있어서,상기 시차의 타당성을 검증하여 시차를 선택하는 과정은,소정의 영역내의 영역 기반 정합 시차 지도의 평균시차와 영역 기반 정합 시차 지도의 시차에 대한 표준 편차를 계산하는 제 15 단계;상기 영역 기반 정합 시차 지도의 시차에 대한 표준 편차와 상기 영역 기반 정합에 의해 얻어진 시차와 상기 소정의 영역내 평균 시차의 절대값 차이를 비교하여 그 차이가 제 1 임계치보다 크거나 같으면 특징 기반 정합 방법에 의한 시차를 선택하는 제 16 단계; 및상기 영역 기반 정합 시차 지도의 시차에 대한 표준 편차와 상기 영역 기반 정합에 의해 얻어진 시차와 상기 소정의 영역내 평균 시차의 절대값 차이를 비교하여 그 차이가 상기 제 1 임계치보다 작으면, 상기 영역 기반 정합에 의해 얻어진 시차와 상기 소정의 영역내 평균 시차의 절대값 차이를, 상기 영역 기반 정합 시차 지도의 시차에 대한 표준 편차와 제 2 임계치 중 작은 값과 비교하여, 상기 영역 기반 정합에 의해 얻어진 시차와 상기 소정의 영역내 평균 시차의 절대값 차이가 작으면 영역 기반 정합 방법에 의한 시차를 선택하고, 크거나 같으면 특징 기반 정합 방법에 의한 시차를 선택하는 제 17 단계를 포함하는 스테레오 영상 시차 지도 융합 방법.
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,상기 제 4 단계의 비에지 화소 융합 과정은,상기 특징 기반 정합 시차 지도의 비에지 화소의 시차를 보간하는 제 15 단계;소정의 영역을 설정하고 영역내의 에지 화소를 제외한 화소에 대해 영역 지반 정합에 의한 시차의 히스토그램과 특징 기반 정합에 의한 시차의 히스토그램을 계산하는 제 16 단계;상기 영역 지반 정합에 의한 시차의 히스토그램과 상기 특징 기반 정합에 의한 시차의 히스토그램 중 최대 빈도수를 가지는 히스토그램을 조사하는 제 17 단계; 및상기 조사 결과, 상기 최대 빈도수를 가지는 히스토그램이 상기 영역 지반 정합에 의한 시차의 히스토그램이면 영역 기반 정합 방법에 의한 시차를 선택하고, 상기 최대 빈도수를 가지는 히스토그램이 상기 특징 지반 정합에 의한 시차의 히스토그램이면 특징 기반 정합 방법에 의한 시차를 선택하는 제 18 단계를 포함하는 스테레오 영상 시차 지도 융합 방법.
- 3차원 영상 표시 장치에 적용되는 스테레오 영상 시차 지도 융합 방법을 이용한 3차원 영상 표시 방법에 있어서,좌우 영상 입력 장치로부터 각각 좌우 영상을 입력받고, 상기 입력받은 영상으로부터 좌우 에지 영상을 추출하는 제 1 단계;상기 좌우 영상과 상기 좌우 에지 영상을 입력으로 하여 구해진 영역 기반 정합 시차 지도와 특징 기반 정합 시차 지도를 이용하여 화소의 에지 여부 및 시차 지도의 특성에 따라 시차를 선택하는 제 2 단계;상기 선택된 시차를 합쳐 디지털 영상으로 기록하는 제 3 단계; 및시차 지도를 3차원적 모형으로 영상 표시하는 제 4 단계를 포함하는 스테레오 영상 시차 지도 융합 방법을 이용한 3차원 영상 표시 방법.
- 제 6 항에 있어서,상기 제 2 단계의 시차 선택 과정은,영상내의 위치를 표시하기 위한 색인을 초기화하는 제 5 단계;상기 색인값이 표시하는 위치의 기준 영상 화소가 에지 영상인지를 확인하는 제 6 단계;상기 제 6 단계의 확인 결과, 에지 영상이면 에지 화소 융합을 하고 다음 위치로 이동하여 상기 제 6 단계로 진행하는 제 7 단계; 및상기 제 6 단계의 확인 결과, 에지 영상이 아니면 비에지 화소 융합을 하고 다음 위치로 이동하여 상기 제 6 단계로 진행하는 제 8 단계를 포함하는 스테레오 영상 시차 지도 융합 방법를 이용한 3차원 영상 표시 방법.
- 제 7 항에 있어서,상기 제 7 단계의 에지 화소 융합 과정은,영역 기반 정합 방법에 의한 대상 영상의 정합점과 특징 기반 정합 방법에 의한 대상 영상의 정합점이 에지 영상인지를 확인하는 제 9 단계;상기 제 9 단계의 확인 결과, 상기 특징 기반 정합 방법에 의한 대상 영상의 정합점이 에지 영상인 경우 특징 기반 정합 방법에 의한 시차를 선택하는 제 10 단계;상기 제 9 단계의 확인 결과, 상기 영역 기반 정합 방법에 의한 대상 영상의 정합점이 에지 영상인 경우 시차의 타당성을 검증하여 시차를 선택하는 제 11 단계;상기 제 9 단계의 확인 결과, 에지 영상이 아닌 경우, 상기 기준 영상 화소의 방향을 확인하여 수평이면 상기 영역 기반 정합 방법에 의한 시차를 선택하고 수평이 아니면 상기 특징 기반 정합 방법에 의한 시차를 선택하는 제 12 단계; 및상기 제 9 단계의 확인 결과, 에지 영상이면, 상기 특징 기반 정합 방법에 의한 대상 영상의 정합점, 상기 영역 기반 정합 방법에 의한 대상 영상의 정합점 및 상기 기준 영상 화소의 방향에 따라 시차를 선택하는 제 13 단계를 포함하는 스테레오 영상 시차 지도 융합 방법을 이용한 3차원 영상 표시 방법.
- 제 8 항에 있어서,상기 제 13 단계는,상기 특징 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소 및 상기 영역 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소의 방향의 동일 여부를 확인하는 제 14 단계;상기 제 14 단계의 확인 결과, 상기 특징 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소만이 서로 방향이 동일한 경우 특징 기반 정합 방법에 의한 시차를 선택하는 제 15 단계;상기 제 14 단계의 확인 결과, 상기 영역 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소가 서로 방향이 동일한 경우 시차의 타당성을 검증하여 시차를 선택하는 제 16 단계;상기 제 14 단계의 확인 결과, 상기 특징 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소 및 상기 영역 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소의 방향이 틀린 경우 상기 기준 영상 화소의 방향을 확인하여 수평이면 상기 영역 기반 정합 방법에 의한 시차를 선택하고 수평이 아니면 상기 특징 기반 정합 방법에 의한 시차를 선택하는 제 17 단계; 및상기 제 14 단계의 확인 결과, 상기 특징 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소 및 상기 영역 기반 정합 방법에 의한 대상 영상의 정합점과 상기 기준 영상 화소의 방향이 같은 경우 상기 기준 영상 화소의 방향을 확인하여 수평이면 상기 영역 기반 정합 방법에 의한 시차를 선택하고 수평이 아니면 상기 특징 기반 정합 방법에 의한 시차를 선택하는 제 18 단계를 포함하는 스테레오 영상 시차 지도 융합 방법을 이용한 3차원 영상 표시방법.
- 제 8 항 또는 제 9 항에 있어서,상기 시차의 타당성을 검증하여 시차를 선택하는 과정은,소정의 영역내의 영역 기반 정합 시차 지도의 평균시차와 영역 기반 정합 시차 지도의 시차에 대한 표준 편차를 계산하는 제 19 단계;상기 영역 기반 정합 시차 지도의 시차에 대한 표준 편차와 상기 영역 기반 정합에 의해 얻어진 시차와 상기 소정의 영역내 평균 시차의 절대값 차이를 비교하여 그 차이가 제 1 임계치보다 크면 특징 기반 정합 방법에 의한 시차를 선택하는 제 20 단계; 및상기 영역 기반 정합 시차 지도의 시차에 대한 표준 편차와 상기 영역 기반 정합에 의해 얻어진 시차와 상기 소정의 영역내 평균 시차의 절대값 차이를 비교하여 그 차이가 상기 제 1 임계치보다 작으면, 상기 영역 기반 정합에 의해 얻어진 시차와 상기 소정의 영역내 평균 시차의 절대값 차이를, 상기 영역 기반 정합 시차 지도의 시차에 대한 표준 편차와 제 2 임계치 중 작은 값과 비교하여, 상기 영역 기반 정합에 의해 얻어진 시차와 상기 소정의 영역내 평균 시차의 절대값 차이가 작으면 영역 기반 정합 방법에 의한 시차를 선택하고, 크면 특징 기반 정합 방법에 의한 시차를 선택하는 제 21 단계를 포함하는 스테레오 영상 시차 지도 융합 방법을 이용한 3차원 영상 표시방법.
- 제 7 항 내지 제 9 항 중 어느 한 항에 있어서,상기 제 8 단계의 비에지 화소 융합 과정은,상기 특징 기반 정합 시차 지도의 비에지 화소의 시차를 보간하는 제 19 단계;소정의 영역을 설정하고 영역내의 에지 화소를 제외한 화소에 대해 영역 지반 정합에 의한 시차의 히스토그램과 특징 기반 정합에 의한 시차의 히스토그램을 계산하는 제 20 단계;상기 영역 지반 정합에 의한 시차의 히스토그램과 상기 특징 기반 정합에 의한 시차의 히스토그램 중 최대 빈도수를 가지는 히스토그램을 조사하는 제 21 단계; 및상기 조사 결과, 상기 최대 빈도수를 가지는 히스토그램이 상기 영역 지반 정합에 의한 시차의 히스토그램이면 영역 기반 정합 방법에 의한 시차를 선택하고, 상기 최대 빈도수를 가지는 히스토그램이 상기 특징 지반 정합에 의한 시차의 히스토그램이면 특징 기반 정합 방법에 의한 시차를 선택하는 제 22 단계를 포함하는 스테레오 영상 시차 지도 융합 방법을 이용한 3차원 영상 표시 방법.
- 프로세서를 구비한 영상 시차 지도 융합 장치에,영상내의 위치를 표시하기 위한 색인을 초기화하는 제 1 기능;상기 색인값이 표시하는 위치의 기준 영상 화소가 에지 영상인지를 확인하는 제 2 기능;상기 제 2 기능에 의한 확인 결과, 에지 영상이면 에지 화소 융합을 하고 다음 위치로 이동하여 상기 제 2 기능으로 진행하는 제 3 기능; 및상기 제 2 기능에 의한 확인 결과, 에지 영상이 아니면 비에지 화소 융합을 하고 다음 위치로 이동하여 상기 제 2 기능으로 진행하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
- 프로세서를 구비한 3차원 영상 표시 장치에,좌우 영상 입력 장치로부터 각각 좌우 영상을 입력받고, 상기 입력받은 영상으로부터 좌우 에지 영상을 추출하는 제 1 기능;상기 좌우 영상과 상기 좌우 에지 영상을 입력으로 하여 구해진 영역 기반 정합 시차 지도와 특징 기반 정합 시차 지도를 이용하여 화소의 에지 여부 및 시차 지도의 특성에 따라 시차를 선택하는 제 2 기능;상기 선택된 시차를 합쳐 디지털 영상으로 기록하는 제 3 기능; 및시차 지도를 3차원적 모형으로 영상 표시하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0033943A KR100411875B1 (ko) | 2001-06-15 | 2001-06-15 | 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0033943A KR100411875B1 (ko) | 2001-06-15 | 2001-06-15 | 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020095752A KR20020095752A (ko) | 2002-12-28 |
| KR100411875B1 true KR100411875B1 (ko) | 2003-12-24 |
Family
ID=27709463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2001-0033943A KR100411875B1 (ko) | 2001-06-15 | 2001-06-15 | 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100411875B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100991671B1 (ko) | 2008-12-15 | 2010-11-04 | 재단법인대구경북과학기술원 | 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치 |
| KR101163042B1 (ko) | 2009-11-26 | 2012-07-05 | 재단법인대구경북과학기술원 | 차량 검출 장치 및 방법 |
Families Citing this family (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030005512A (ko) * | 2001-07-09 | 2003-01-23 | (주)브이알그래픽스 | 입체 영상 상영을 위한 듀얼 디브이디 플레이어 동기 제어장치 및 방법 |
| KR100601958B1 (ko) * | 2004-07-15 | 2006-07-14 | 삼성전자주식회사 | 3차원 객체 인식을 위한 양안차 추정 방법 |
| KR100762670B1 (ko) | 2006-06-07 | 2007-10-01 | 삼성전자주식회사 | 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치 |
| KR100850561B1 (ko) | 2007-01-03 | 2008-08-06 | (주)폴리다임 | 디지털 이미지 내의 픽셀 윤곽 가로선 제거 방법 |
| KR100888459B1 (ko) * | 2007-03-14 | 2009-03-19 | 전자부품연구원 | 피사체의 깊이 정보 검출 방법 및 시스템 |
| US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
| US9843742B2 (en) | 2009-03-02 | 2017-12-12 | Flir Systems, Inc. | Thermal image frame capture using de-aligned sensor array |
| US10244190B2 (en) | 2009-03-02 | 2019-03-26 | Flir Systems, Inc. | Compact multi-spectrum imaging with fusion |
| US9517679B2 (en) | 2009-03-02 | 2016-12-13 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9674458B2 (en) | 2009-06-03 | 2017-06-06 | Flir Systems, Inc. | Smart surveillance camera systems and methods |
| US9948872B2 (en) | 2009-03-02 | 2018-04-17 | Flir Systems, Inc. | Monitor and control systems and methods for occupant safety and energy efficiency of structures |
| US9998697B2 (en) | 2009-03-02 | 2018-06-12 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9473681B2 (en) | 2011-06-10 | 2016-10-18 | Flir Systems, Inc. | Infrared camera system housing with metalized surface |
| US9986175B2 (en) | 2009-03-02 | 2018-05-29 | Flir Systems, Inc. | Device attachment with infrared imaging sensor |
| US10757308B2 (en) | 2009-03-02 | 2020-08-25 | Flir Systems, Inc. | Techniques for device attachment with dual band imaging sensor |
| WO2012170946A2 (en) | 2011-06-10 | 2012-12-13 | Flir Systems, Inc. | Low power and small form factor infrared imaging |
| US9635285B2 (en) | 2009-03-02 | 2017-04-25 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| WO2012170949A2 (en) | 2011-06-10 | 2012-12-13 | Flir Systems, Inc. | Non-uniformity correction techniques for infrared imaging devices |
| USD765081S1 (en) | 2012-05-25 | 2016-08-30 | Flir Systems, Inc. | Mobile communications device attachment with camera |
| US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
| US9756264B2 (en) | 2009-03-02 | 2017-09-05 | Flir Systems, Inc. | Anomalous pixel detection |
| US9235876B2 (en) | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Row and column noise reduction in thermal images |
| US9819880B2 (en) | 2009-06-03 | 2017-11-14 | Flir Systems, Inc. | Systems and methods of suppressing sky regions in images |
| US9756262B2 (en) | 2009-06-03 | 2017-09-05 | Flir Systems, Inc. | Systems and methods for monitoring power systems |
| US9716843B2 (en) | 2009-06-03 | 2017-07-25 | Flir Systems, Inc. | Measurement device for electrical installations and related methods |
| US9292909B2 (en) | 2009-06-03 | 2016-03-22 | Flir Systems, Inc. | Selective image correction for infrared imaging devices |
| US9843743B2 (en) | 2009-06-03 | 2017-12-12 | Flir Systems, Inc. | Infant monitoring systems and methods using thermal imaging |
| US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| KR101626057B1 (ko) | 2009-11-19 | 2016-05-31 | 삼성전자주식회사 | 3뷰 영상의 디스패리티 추정 방법 및 장치 |
| US9848134B2 (en) | 2010-04-23 | 2017-12-19 | Flir Systems, Inc. | Infrared imager with integrated metal layers |
| US9706138B2 (en) | 2010-04-23 | 2017-07-11 | Flir Systems, Inc. | Hybrid infrared sensor array having heterogeneous infrared sensors |
| US9918023B2 (en) | 2010-04-23 | 2018-03-13 | Flir Systems, Inc. | Segmented focal plane array architecture |
| US9207708B2 (en) | 2010-04-23 | 2015-12-08 | Flir Systems, Inc. | Abnormal clock rate detection in imaging sensor arrays |
| KR101682137B1 (ko) | 2010-10-25 | 2016-12-05 | 삼성전자주식회사 | 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치 |
| US10169666B2 (en) | 2011-06-10 | 2019-01-01 | Flir Systems, Inc. | Image-assisted remote control vehicle systems and methods |
| US9143703B2 (en) | 2011-06-10 | 2015-09-22 | Flir Systems, Inc. | Infrared camera calibration techniques |
| US9900526B2 (en) | 2011-06-10 | 2018-02-20 | Flir Systems, Inc. | Techniques to compensate for calibration drifts in infrared imaging devices |
| EP2719166B1 (en) | 2011-06-10 | 2018-03-28 | Flir Systems, Inc. | Line based image processing and flexible memory system |
| US10051210B2 (en) | 2011-06-10 | 2018-08-14 | Flir Systems, Inc. | Infrared detector array with selectable pixel binning systems and methods |
| US9235023B2 (en) | 2011-06-10 | 2016-01-12 | Flir Systems, Inc. | Variable lens sleeve spacer |
| US9961277B2 (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Infrared focal plane array heat spreaders |
| US9706137B2 (en) | 2011-06-10 | 2017-07-11 | Flir Systems, Inc. | Electrical cabinet infrared monitor |
| US10841508B2 (en) | 2011-06-10 | 2020-11-17 | Flir Systems, Inc. | Electrical cabinet infrared monitor systems and methods |
| US10079982B2 (en) | 2011-06-10 | 2018-09-18 | Flir Systems, Inc. | Determination of an absolute radiometric value using blocked infrared sensors |
| US10389953B2 (en) | 2011-06-10 | 2019-08-20 | Flir Systems, Inc. | Infrared imaging device having a shutter |
| US9509924B2 (en) | 2011-06-10 | 2016-11-29 | Flir Systems, Inc. | Wearable apparatus with integrated infrared imaging module |
| US9058653B1 (en) | 2011-06-10 | 2015-06-16 | Flir Systems, Inc. | Alignment of visible light sources based on thermal images |
| EP2765554A4 (en) * | 2011-12-16 | 2015-08-05 | Japan Science & Tech Agency | CHARACTER EXTRACTION PROCESS, PERSONAL CLASSIFICATION METHOD, PERSONAL IDENTIFICATION METHOD, CHARACTER EXTRACTION DEVICE, PERSONAL CLASSIFICATION DEVICE, PERSONAL IDENTIFICATION DEVICE, CHARACTER EXTRACTION / PERSON IDENTIFICATION PROGRAM AND RECORD MEDIUM WITH THE PROGRAM |
| EP2873058B1 (en) | 2012-07-16 | 2016-12-21 | Flir Systems, Inc. | Methods and systems for suppressing noise in images |
| US9811884B2 (en) | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
| US9973692B2 (en) | 2013-10-03 | 2018-05-15 | Flir Systems, Inc. | Situational awareness by compressed display of panoramic views |
| US11297264B2 (en) | 2014-01-05 | 2022-04-05 | Teledyne Fur, Llc | Device attachment with dual band imaging sensor |
| CN107677682B (zh) * | 2017-11-07 | 2024-03-08 | 泉州创力模具有限公司 | 一种鞋模表面破损检测装置及检测方法 |
| CN112214273B (zh) * | 2020-10-14 | 2023-04-21 | 合肥芯颖科技有限公司 | 一种数字时钟显示方法、装置、电子设备和存储介质 |
| CN116665034B (zh) * | 2022-11-11 | 2023-10-31 | 中国消防救援学院 | 一种基于边缘特征的立体匹配及火焰空间定位方法 |
-
2001
- 2001-06-15 KR KR10-2001-0033943A patent/KR100411875B1/ko not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100991671B1 (ko) | 2008-12-15 | 2010-11-04 | 재단법인대구경북과학기술원 | 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치 |
| KR101163042B1 (ko) | 2009-11-26 | 2012-07-05 | 재단법인대구경북과학기술원 | 차량 검출 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20020095752A (ko) | 2002-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100411875B1 (ko) | 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법 | |
| US11954813B2 (en) | Three-dimensional scene constructing method, apparatus and system, and storage medium | |
| Hong et al. | Segment-based stereo matching using graph cuts | |
| CN108369741B (zh) | 用于配准数据的方法和系统 | |
| US5734743A (en) | Image processing method and apparatus for block-based corresponding point extraction | |
| US5719954A (en) | Stereo matching method and disparity measuring method | |
| EP2811423A1 (en) | Method and apparatus for detecting target | |
| EP2064675B1 (en) | Method for determining a depth map from images, device for determining a depth map | |
| CN111066065A (zh) | 用于混合深度正则化的系统和方法 | |
| US20170161546A1 (en) | Method and System for Detecting and Tracking Objects and SLAM with Hierarchical Feature Grouping | |
| KR100953076B1 (ko) | 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치 | |
| Kordelas et al. | Content-based guided image filtering, weighted semi-global optimization, and efficient disparity refinement for fast and accurate disparity estimation | |
| Oliveira et al. | Selective hole-filling for depth-image based rendering | |
| KR20110021500A (ko) | 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치 | |
| Abd Manap et al. | Disparity refinement based on depth image layers separation for stereo matching algorithms | |
| CN110675442B (zh) | 一种结合目标识别技术的局部立体匹配方法及系统 | |
| CN108399360A (zh) | 一种连续型障碍物检测方法、装置及终端 | |
| CN107578419B (zh) | 一种基于一致性轮廓提取的立体图像分割方法 | |
| KR20160085708A (ko) | 멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치 | |
| El Ansari et al. | Temporal consistent fast stereo matching for advanced driver assistance systems (ADAS) | |
| Kovacs et al. | Edge detection in discretized range images | |
| Ratajczak et al. | Vehicle size estimation from stereoscopic video | |
| Song et al. | Edge-guided depth map enhancement | |
| Xu et al. | Occlusion-aware motion layer extraction under large interframe motions | |
| Liu et al. | A new segment-based algorithm for stereo matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20081202 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |