KR20060063558A - 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법 - Google Patents

깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법 Download PDF

Info

Publication number
KR20060063558A
KR20060063558A KR1020050028382A KR20050028382A KR20060063558A KR 20060063558 A KR20060063558 A KR 20060063558A KR 1020050028382 A KR1020050028382 A KR 1020050028382A KR 20050028382 A KR20050028382 A KR 20050028382A KR 20060063558 A KR20060063558 A KR 20060063558A
Authority
KR
South Korea
Prior art keywords
image
depth information
variation
information
depth
Prior art date
Application number
KR1020050028382A
Other languages
English (en)
Other versions
KR100776649B1 (ko
Inventor
엄기문
안충현
이수인
김승만
김강연
이관행
Original Assignee
한국전자통신연구원
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 광주과학기술원 filed Critical 한국전자통신연구원
Publication of KR20060063558A publication Critical patent/KR20060063558A/ko
Application granted granted Critical
Publication of KR100776649B1 publication Critical patent/KR100776649B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 한 쌍 이상의 스테레오 영상을 정합하여 얻어지는 기준 영상에 대한 변이 지도의 정확도를 향상시키기 위하여 깊이 카메라 등에 의해 얻어진 기준시점에 대한 깊이 정보를 이용하여 스테레오 정합의 변이 탐색 범위 및 정합 창틀을 적응적으로 결정함으로써 변이 지도의 정확도를 향상시키면서도 변이 탐색 범위를 최소화할 수 있는 스테레오/다시점 영상 정합 장치 및 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 다시점 비디오 카메라 및 깊이 정보 획득 장치로부터 획득한 다시점 영상 및 기준 시점에 대한 깊이 정보를 이용하여 변이 지도를 작성하여 3차원 영상 정보를 획득하기 위한 깊이 정보 기반 스테레오/다시점 영상 정합 장치로서, 상기 다시점 영상을 이용하여 각 시점의 카메라 정보를 추출하기 위한 카메라보정수단; 상기 깊이 정보를 기준시점에 대한 변이로 변환하기 위한 깊이정보변환수단; 및 기준 시점에 대한 변이 지도를 계산하기 위하여 상기 다시점 영상을 입력받아 기준 시점 영상과 정합할 대상 영상의 극상선(epipolar line)을 일치시키는 영상 보정(image rectification)을 수행하기 위한 영상보정수단을 포함함.
4. 발명의 중요한 용도
본 발명은 다시점 영상 기반 장면 모델링 시스템 등에 이용됨.
변이 지도, 스테레오 정합, 다시점 영상, 3차원 영상 처리

Description

깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법{A depth information-based Stereo/Multi-view Stereo Image Matching Apparatus and Method}
도 1은 본 발명에 따른 깊이 정보 기반 스테레오/다시점 영상 정합 장치의 일실시예 구성도,
도 2는 본 발명에 따른 깊이 정보 기반 스테레오/다시점 영상 정합 방법에 대한 일실시예 흐름도,
도 3은 본 발명의 바람직한 실시예에 따라 다시점 영상 보정부로부터 계산된 3시점 보정 영상의 예시도로서, 3차원 공간상의 점 P와 보정된 다시점 영상 및 극상선 간의 위치 관계를 3시점 영상으로 나타낸 도면,
도 4는 본 발명에 따른 정합 창틀 선택 및 탐색 범위 설정 과정에 대한 일실시예 흐름도,
도 5는 본 발명에 따른 깊이 정보를 이용한 변이 탐색 범위 설정 과정에 대한 일실시예 설명도이다.
* 도면의 주요 부분에 대한 부호의 설명
101 : 다시점 비디오카메라 102 : 깊이 카메라
110 : 다시점비디오 저장부 120 : 깊이 정보 저장부
130 : 카메라 보정부 140 : 깊이 정보 변환부
150 : 다시점영상 보정부 160 : 정합창틀 선택부
170 : 변이탐색영역 계산부 180 : 변이 탐색부
190 : 변이 선택부 200 : 변이지도 생성/저장부
본 발명은 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법에 관한 것으로, 더욱 상세하게는 3차원 장면이나 객체의 모델링에 많이 사용되는 깊이 카메라, 스캐너 등의 능동적 깊이 정보 획득 장치에 의해 얻어진 기준 시점의 깊이 정보를 이용하여 변이 지도를 작성하고 이를 이용하여 3차원 영상 정보를 획득하기 위한 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 그 방법에 관한 것이다.
객체나 장면의 3차원 정보를 획득하는 방법은 크게 능동적 방법과 수동적 방법으로 구분할 수 있다.
상기 능동적 방법은 3차원 스캐너, 구조적 밝기(structured light) 또는 3차원 깊이 카메라(depth camera) 등의 능동적 3차원 정보 획득 장치를 이용하여 여러 시점에서 깊이 정보(깊이지도, depth map)를 획득하고, 이를 공통 3차원 좌표계 상에서 정렬하거나, 상대적인 변환 관계를 구하여 정렬/결합함으로써 3차원 모델을 구성한다(참조 문헌 : I. Stamos, P. K. Allen, "3-D Model Construction Using Range and Image Data," IEEE International conference on Computer Vision and Pattern Recognition, pp.531-536, June 2000).
이러한 능동적 방법은 비교적 신속하면서도 정확한 3차원 점들을 제공하며, 조광 조건의 영향을 받지 않는 장점이 있다. 하지만, 그 해상도에 제약이 있으며, 고가의 장비가 필요하다는 단점이 있다.
한편, 상기 수동적 방법은 여러 시점의 광학 카메라로부터 얻어진 영상으로부터 텍스처 정보를 이용하여 3차원 정보를 생성하기 위한 방법이며, 스테레오 정합(stereo matching) 방법이 대표적이다(참조 문헌 : Soon-Yong Park and Murai Subbarao, "A Range Image Refinement Technique for Multi-view 3D Model Reconstruction," Proceedings of International Conference on 3-D Digital Imaging and Modeling 2003, October 2003).
상기 스테레오 정합은 두 대의 좌우 카메라로부터 취득된 영상 중 하나를 기준 영상으로, 다른 영상을 탐색 영상으로 놓았을 때, 이 두 영상에서 공간상의 동일한 한 점에 대한 기준 영상과 탐색 영상에서의 영상 좌표의 차이를 계산하는데 이를 변이(disparity)라고 한다. 상기 변이를 기준 영상의 각 화소에 대하여 계산하면, 영상의 형태로 변이가 저장되는데 이를 변이 지도(disparity map)이라고 한다.
즉, 수동적 방법은 이러한 변이 지도를 여러 시점의 영상으로부터 여러 개 추출하고, 이들을 카메라 정보를 이용하여 공통 좌표계 상에서 정렬, 결합함으로써 3차원 정보를 획득한다.
이러한 수동적 방법은 상기 능동적 방법에 비해 저가의 비용으로 3차원 정보를 얻을 수 있으며, 영상의 해상도가 높아서 더욱 정밀한 결과를 얻을 수 있고, 텍스쳐 정보를 포함하고 있으므로 생성된 모델에 텍스쳐 정보를 투영하여 보다 사실적인 3차원 모델을 얻을 수 있다는 장점이 있다. 하지만, 조광 조건 및 텍스쳐 정보의 영향이 크며, 차폐 지역에서 오차가 크며, 조밀한 변이 지도를 얻기 위해서는 수행 시간이 길다는 단점이 있다.
최근에는 자외선 등 능동 센서를 이용하여 3차원 정보를 얻고, 동시에 카메라에 의해 그 영역에 대한 영상 텍스쳐 정보를 얻을 수 있는 3차원 깊이 카메라가 발표되기도 하였다(3DV Systems, Zcam™).
전술한 상기 두 가지 종류의 3차원 정보 획득 방법은 각각 장단점이 있으므로, 최근에는 이러한 능동적 방법과 수동적 방법의 결합을 통하여 3차원 정보의 정확도를 개선하기 위한 기술들(예: S. Weik, "Registration of 3-D Partial Surface Models using Luminance and Depth Information," Proceedings of International Conference on Recent Advances in 3-D Digital Imaging and Modeling, pp. 93-100, May 1997)이 발표되고 있다.
하지만, 이러한 방법들도 카메라 보정 오차에 의한 오류를 해결할 수 없다는 문제점이 있으며, 단순하게 레인지(range) 데이터의 정확한 정렬을 위한 보조적인 수단으로서 영상 데이터를 활용함으로써 활용도가 제한적인 문제점이 있다.
또한, 최근에는 능동적 방법에 의해 얻어진 데이터와 수동적 방법에 의한 데이터의 융합을 통하여 두 방법의 장단점을 보완하는 기술(참조 문헌 : 대한민국 등록특허 1004118750000, 엄기문외, 스테레오 영상 시차지도 융합 방법 및 그를 이용한 3차원 영상 표시 방법)도 연구되고 있다. 하지만, 상기 기술 역시 전술한 두 방법에 의한 깊이지도 데이터가 부정확할 경우 융합된 깊이지도 데이터의 정확도도 부정확하게 된다는 단점이 있다. 즉 두 입력 깊이 데이터의 정확도에 의존적이라는 문제점이 있다.
따라서 단순한 결과만의 융합이 아니라 능동적 방법 및 수동적 방법에 의한 깊이 정보의 획득 과정에서 상호 보완적으로 두 데이터를 이용하는 기법의 개발이 요구된다.
본 발명은 상기 요구에 부응하기 위하여 제안된 것으로, 한 쌍 이상의 스테레오 영상을 정합하여 얻어지는 기준 영상에 대한 변이 지도의 정확도를 향상시키기 위하여 깊이 카메라 등에 의해 얻어진 기준시점에 대한 깊이 정보를 이용하여 스테레오 정합의 변이 탐색 범위 및 정합 창틀을 적응적으로 결정함으로써 변이 지도의 정확도를 향상시키면서도 변이 탐색 범위를 최소화할 수 있는 스테레오/다시점 영상 정합 장치 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 깊이 카메라 등에 의해 획득된 깊이 정보 및 두 대 이상의 카메라에 의해 동일 시간에 촬영된 한 쌍 이상의 스테레오/다시점 영상을 이용하여 기준 시점에 대한 변이 지도를 계산하여, 변이 탐색 범위의 설정 및 정합 창틀 종류 선택에 깊이 정보를 이용함으로써 변이 지도의 정확도를 향상시키면서도 변이 탐색 범위를 최소화하여 3차원 영상 정보를 획득할 수 있는 스테레오/다시점 영상 정합 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 더욱 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 다시점 비디오 카메라 및 깊이 정보 획득 장치로부터 획득한 다시점 영상 및 기준 시점에 대한 깊이 정보를 이용하여 변이 지도를 작성하여 3차원 영상 정보를 획득하기 위한 깊이 정보 기반 스테레오/다시점 영상 정합 장치로서, 상기 다시점 영상을 이용하여 각 시점의 카메라 정보를 추출하기 위한 카메라보정수단; 상기 깊이 정보를 기준시점에 대한 변이로 변환하기 위한 깊이정보변환수단; 및 기준 시점에 대한 변이 지도를 계산하기 위하여 상기 다시점 영상을 입력받아 기준 시점 영상과 정합할 대상 영상의 극상선(epipolar line)을 일치시키는 영상 보정(image rectification)을 수행하기 위한 영상보정수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 장치는 상기 깊이 정보 및 다시점 영상 정보를 이용하여 정합 창틀의 종류를 선택하기 위한 정합창틀선택수단; 상기 깊이정보변환수단에서 변환된 변이를 이용하여 변이 탐색 범위를 계산하기 위한 변이탐색영역계산수단; 상기 정합창틀선택수단에서 선택된 정합 창틀을 이용하여 선택된 탐색 범위 내에서 유사도가 가장 높은 변이를 탐색하기 위한 변이탐색수단; 여러 시점으로부터 얻어진 동일점의 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하기 위한 변이선택수단; 및 상기 다시점 영상의 기준 시점에 대하여 각 화소의 변이를 계산하여 변이지도를 생성하고 디지털 영상으로 기록하기 위한 변이지도생성/저장수단을 더 포함하는 것을 특징으로 한다.
한편, 본 발명의 방법은 다시점 비디오 카메라 및 깊이 정보 획득 장치로부터 획득한 다시점 영상 및 기준 시점에 대한 깊이 정보를 이용하여 변이 지도를 작성하여 3차원 영상 정보를 획득하기 위한 깊이 정보 기반 스테레오/다시점 영상 정합 방법으로서, 상기 다시점 영상 및 기준 시점의 깊이정보를 입력받는 입력 단계; 각 시점의 카메라 정보를 추출하는 카메라 보정 단계; 상기 깊이 정보를 기준시점에 대한 변이로 변환하는 깊이 정보 변환 단계; 기준 시점에 대한 변이 지도를 계산하기 위하여 기준 시점 영상과 정합할 대상 영상의 극상선(epipolar line)을 일치시키는 영상 보정(image rectification) 단계; 상기 깊이 정보 및 다시점 영상 정보를 이용하여 정합 창틀의 종류를 선택하는 정합 창틀 선택 단계; 상기 변환된 변이로부터 변이 탐색 범위를 계산하는 변이 탐색 범위 계산 단계; 상기 선택된 창틀을 이용하여 선택된 탐색 범위 내에서 유사도가 가장 높은 변이를 탐색하는 단 계; 여러 시점으로부터 얻어진 동일점의 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하는 단계; 및 각 화소의 변이를 계산하여 변이 지도를 생성하고 디지털 영상으로 기록하는 단계를 포함하는 것을 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 깊이 정보 기반 스테레오/다시점 영상 정합 장치의 일실시예 구성도로서, 다시점 비디오 카메라(101) 및 깊이 카메라(102)를 이용한 깊이 정보 기반 스테레오/다시점 영상 정합 장치의 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 깊이 정보 기반 스테레오/다시점 영상 정합 장치는 다시점 비디오 카메라(본 실시예에서는 3시점 카메라, 101)와 기준 시점에 대한 깊이 정보 획득 장치인 깊이 카메라(102)로부터 다시점 영상 및 기준 시점의 깊이 정보를 입력받아 저장하는 다시점비디오저장부(110)와 깊이 정보저장부(120), 각 시점의 카메라 정보를 추출하는 카메라 보정부(130), 깊이 정보를 기준시점에 대한 변이로 변환하는 깊이 정보 변환부(140), 기준 시점을 포함한 다시점 영상을 입력으로 하여 기준 시점에 대한 변이 지도를 계산하기 위하여 기준 시점 영상과 정합할 대상 영상의 극상선(epipolar line)을 일치시키는 영상 보정(image rectification)을 수행하는 다시점영상 보정부(150), 상기 깊이 정보 및 영상정보를 이용하여 적용할 정합 창틀의 종류를 선택하는 정합창틀선택부(160), 변환된 변이로부터 변이 탐색 범위를 계산하는 변이탐색영역 계산부(170), 선택된 창틀을 이용하여 선택된 탐색 범위 내에서 유사도가 가장 높은 변이를 탐색하는 변이 탐색부(180), 여러 시점으로부터 얻어진 동일점의 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하는 변이 선택부(190), 기준 시점에 대하여 각 화소의 변이를 계산하여 변이 지도를 생성하고 이를 디지털 영상으로 기록하는 변이지도 생성/저장부(200)를 포함한다. 또한, 상기 변이 지도를 입력받아 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델로 변환하는 3차원 정보 변환 수단을 더 포함할 수 있다(미도시).
도 2는 본 발명에 따른 깊이 정보 기반 스테레오/다시점 영상 정합 방법에 대한 일실시예 흐름도이다.
먼저, 다시점 비디오카메라와 기준 시점에 대한 깊이 정보 획득 장치인 깊이 카메라 등으로부터 다시점 영상 및 기준 시점의 깊이 정보를 획득하고(201), 획득된 다시점 영상과 깊이 정보를 저장한다(202).
이어서, 각 시점의 카메라 정보를 추출하고 기반행렬을 계산하는 카메라 보 정을 수행하고(203), 깊이 정보를 기준시점에 대한 변이로 변환하는 깊이 지도 변환을 수행한다(204).
이어서, 기준 시점에 대한 변이 지도를 계산하기 위하여 기준 시점 영상과 정합할 대상 영상의 극상선(epipolar line)을 일치시키는 영상 보정을 수행하고(205), 깊이 정보 기반 변이를 추출하여 깊이 정보 기반 스테레오 정합을 수행한다(206).
이어서, 변이지도를 생성하여 저장하며(207), 이 때 변이지도를 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델로 변환/생성하는 과정을 부가적으로 수행할 수 있다(208).
이하, 본 발명의 바람직한 실시예에 따른 상기 구성 요소의 동작 원리 및 상세 기능을 상호 결합 관계를 중심으로 관련 도면을 참조하여 상술한다.
도 1을 참조하여 전술한 바와 같이, 본 발명에 따른 깊이 정보 기반 스테레오/다시점 영상 정합 장치는 적어도 두 대 이상의 비디오카메라(다시점 카메라)로부터 동일시간에 취득된 다시점 영상과, 깊이 카메라 등에 의해 취득된 기준 시점에 대한 깊이 정보를 입력받아 다시점 비디오 저장부(110)와 깊이 정보 저장부(120)에 저장한다.
카메라 보정부(130)는 다시점 비디오 저장부(110)로부터 입력받은 다시점 영상을 이용하여 카메라 보정(calibration)을 통해 초점거리 등의 카메라 정보 및 각 시점 간의 상호 위치관계를 나타내는 기반 행렬(Fundamental matrix)을 계산한다. 이 때, 구해진 카메라 정보 및 기반 행렬 데이터는 데이터 저장장치 또는 컴퓨터 메모리상에 저장된다.
깊이 정보 변환부(140)는 깊이 정보 변환부(103)로부터 입력받은 깊이 정보를 카메라 보정부(130)로부터 출력된 카메라 정보(카메라 내외부 파라미터)를 이용하여 기준시점 영상에 대한 변이정보로 변환한다. 이 때, 변환은 아래의 [수학식 1]과 [수학식 2]를 이용한다.
disparity_1= (f*b)/depth
여기서, disparity_1은 변환된 변이값으로서 실제 거리 단위로 주어지며, f는 카메라의 초점거리, b는 기준 카메라와 대상 카메라 간격(베이스라인 길이), depth는 실제거리 단위로 주어지는 깊이 정보이다.
이 때, disparity_1의 스케일이 매우 작은 값이므로 카메라의 실제 CCD 셀 하나의 크기(cell size)를 이용하여 최종적으로 탐색영역 설정에 사용될 화소단위의 변이를 아래의 [수학식 2]를 이용하여 계산한다.
disparity_2 = disparity_1/cell_size
여기서, cell_size는 카메라 CCD의 실제 셀 크기이다.
이와 같이 계산된 변이는 스테레오 영상의 정합에 필요한 탐색영역을 설정하는데 사용된다.
도 3은 본 발명의 바람직한 실시예에 따라 다시점 영상 보정부로부터 계산된 3시점 보정 영상의 예시도로서, 3차원 공간상의 점 P와 보정된 다시점 영상 및 극상선 간의 위치 관계를 3시점 영상으로 나타낸 도면이다.
다시점 영상 보정부(150)는 카메라 보정부(130)에서 구해진 기반 행렬(fundamental matrix)을 이용하여, 기준 카메라에 의해 취득된 영상의 극상선(epipolar line)과 다른 시점의 카메라에 의해 취득된 영상의 극상선이 서로 일치하며, 또한 영상의 스캔라인(scan line)과 일치하도록 영상 보정을 수행한다. 이렇게 함으로써 변이추출 시 변이 탐색 범위를 줄일 수 있다.
도 3에 도시된 바와 같이, 각 시점의 영상은 동일한 초점 거리를 가지고 있음을 알 수 있다.
도 4는 본 발명에 따른 정합 창틀 선택 및 탐색 범위 설정 과정에 대한 일실시예 흐름도이다.
먼저, 정합창틀 선택부(105)는 깊이 정보 저장부(101) 및 다시점영상 보정부(104)로부터 기준시점 영상과 대상 영상에 대한 영상 정보 및 기준 시점 깊이 정보를 입력받는다(300).
이어서, 변이를 구하고자 하는 화소에 일정한 크기의 사각형 중심 창틀을 씌우고, 창틀내 모든 화소에 대한 컬러영상의 밝기 변화량(color gradient) 및 깊이 변화량(depth gradient)을 조사하여, 상기 두 변화량 중의 어느 한 값이 미리 정한 임계값 1(Th1)과 임계값 2(Th2)보다 큰 화소가 존재하는지 여부를 판단한다(301).
상기 판단 결과, 존재하는 경우에는 차폐(occlusion)가 발생할 가능성이 크다고 판단하여 기존의 단일 고정 크기의 창틀 대신 다중 적응크기 창틀을 사용한다(302).
다중 적응크기 창틀의 예로는 오쿠토미(Okutomi) 등이 사용한 다중 창틀이 있으며(참조 문헌 : M. Okutomi, Y. Katauama, and S. Oka,"A simple stereo algorithm to recover precise object boundaries and smooth surfaces," International Journal of Computer Vision, vol. 47, pp. 261-273, 2002), 이는 필요에 따라 다른 창틀 설정방법으로 대치가능하다.
한편, 상기 판단 결과, 존재하지 않는 경우에는 기존의 단일 고정 크기의 창틀을 사용하여(303) 이하, 변이 탐색을 수행하게 된다.
이어서, 변이탐색영역 계산부(160)는 입력된 깊이 정보의 존재 유무에 따라 변이 탐색 범위를 달리하기 위해 깊이 정보가 존재하는 여부를 판단한다(304).
상기 판단 결과, 존재하는 경우에는 깊이 정보 값이 존재하는 화소에 대하여 상술한 깊이 정보 변환부(140)로부터 구해진 변이값(dc)을 이용하여 아래의 [수학식 3]과 같은 변이 탐색 범위를 설정하고(305), 존재하지 않는 경우의 화소에 대해서는 미리 설정된 전체 변이 탐색 범위를 설정한다(306). 여기서, 상기 변이 탐색 범위 설정 과정 과정은 도 5를 참조하여 상세히 후술한다.
이어서, 전술한 바와 같이 결정된 정합 창틀과 변이 탐색 범위를 이용하여 최소 오차 또는 최대 유사도를 가지는 정합점을 찾고, 이에 해당하는 변이를 계산한다. 이 과정은 기준시점 영상을 포함한 다른 스테레오 영상 쌍에 대해서도 반복되며, 이들 중에서 오차가 최소이거나 유사도가 최대인 스테레오 영상 쌍의 변이를 선택하게 된다(307).
이렇게 선택된 변이는 차폐 영역 검출을 위하여 기준 영상과 대상 영상을 바꿔 정합을 수행함으로써 차폐 영역을 검출한다(308). 상기 검출된 차폐 영역의 변이는 보간 등을 통하여 주위 화소의 변이에 의해 채워지며, 구해진 최종 변이는 변이 지도 형태로 저장된다. 상기 변이 지도는 카메라 정보를 이용하여 3차원 점 구름이나 3차원 모델로 변환될 수 있다(미도시).
도 5는 본 발명의 바람직한 실시예에 따른 깊이 정보를 이용한 변이 탐색 범위 설정 과정에 대한 설명도로서, 기준 시점 영상(가운데 영상) 내 한 점 p(x,y)에 대한 좌측 영상 내 대응점을 찾기 위한 탐색 범위 설정 방법을 나타내고 있다.
깊이 정보 변환부(140)에서 구해진 변이값(dc)만큼 좌측 영상의 p(x,y) 위치로부터 극상선(epipolar line)의 라인 방향(x 방향)으로 이동한 점 p'(x,y)를 구하고, p'(x,y)를 중심으로 error_rate 만큼 좌우 여유를 두어 탐색 범위를 설정한다. 이를 수학식으로 표현하면 아래의 [수학식 3]과 같다.
dc-error_rate*dc<x<dc+error_rate*dc
여기서, dc는 정합하려는 화소의 x좌표이며, error_rate는 깊이 정보의 신뢰도에 따라 결정되는 변수이다. 예를 들어 도 5와 같이 깊이 카메라로부터 얻어진 깊이 정보의 신뢰도를 80%라고 하면 error_rate는 0.2의 값을 가진다. 또한, 영상보정 오차를 고려하여 유사한 방법으로 y방향 탐색영역을 추가로 설정할 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다. 또한, 이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 깊이 카메라 등에 의해 얻어진 기준시점에 대한 깊이 정보를 이용하여 스테레오 정합의 변이 탐색 범위 및 정합 창틀을 적응적으로 결정함으로써 변이 지도의 정확도를 향상시키면서도 변이 탐색 범위를 최소화할 수 있는 스테레오/다시점 영상 정합 장치 및 방법을 제공할 수 있는 효과가 있다.
또한, 본 발명은, 깊이 카메라 등에 의해 기준 시점에 대한 깊이 정보를 이용하여 적응적으로 변이 탐색영역을 설정하고, 정합 창틀의 종류를 선택함으로써, 3차원 깊이 또는 변이 정보의 정확도를 개선하는 효과가 있으며, 이로 인하여 종래의 스테레오 정합 기법이 가지는 깊이 불연속이나 차폐 영역에서 정확도가 저하되는 문제점을 해결할 수 있는 효과가 있다.
또한, 본 발명은 향상된 정확도를 갖는 변이정보를 제공함으로써, 3차원 모델링 또는 임의시점 영상 생성에 효율적으로 적용될 수 있으며, 특히 임의시점 영상 생성시에 영상의 깨짐을 감소시킬 수 있는 효과가 있다.

Claims (11)

  1. 다시점 비디오 카메라 및 깊이 정보 획득 장치로부터 획득한 다시점 영상 및 기준 시점에 대한 깊이 정보를 이용하여 변이 지도를 작성하여 3차원 영상 정보를 획득하기 위한 깊이 정보 기반 스테레오/다시점 영상 정합 장치로서,
    상기 다시점 영상을 이용하여 각 시점의 카메라 정보를 추출하기 위한 카메라보정수단;
    상기 깊이 정보를 기준시점에 대한 변이로 변환하기 위한 깊이정보변환수단; 및
    기준 시점에 대한 변이 지도를 계산하기 위하여 상기 다시점 영상을 입력받아 기준 시점 영상과 정합할 대상 영상의 극상선(epipolar line)을 일치시키는 영상 보정(image rectification)을 수행하기 위한 영상보정수단
    을 포함하는 깊이 정보 기반 스테레오/다시점 영상 정합 장치.
  2. 제 1 항에 있어서,
    상기 깊이 정보 및 다시점 영상 정보를 이용하여 정합 창틀의 종류를 선택하기 위한 정합창틀선택수단;
    상기 깊이정보변환수단에서 변환된 변이를 이용하여 변이 탐색 범위를 계산하기 위한 변이탐색영역계산수단;
    상기 정합창틀선택수단에서 선택된 정합 창틀을 이용하여 선택된 탐색 범위 내에서 유사도가 가장 높은 변이를 탐색하기 위한 변이탐색수단;
    여러 시점으로부터 얻어진 동일점의 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하기 위한 변이선택수단; 및
    상기 다시점 영상의 기준 시점에 대하여 각 화소의 변이를 계산하여 변이지도를 생성하고 디지털 영상으로 기록하기 위한 변이지도생성/저장수단
    을 더 포함하는 깊이 정보 기반 스테레오/다시점 영상 정합 장치.
  3. 제 2 항에 있어서,
    상기 변이 지도를 입력받아 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델로 변환하기 위한 3차원정보변환수단
    을 더 포함하는 깊이 정보 기반 스테레오/다시점 영상 정합 장치.
  4. 제 1 항에 있어서,
    상기 깊이정보변환수단은,
    상기 깊이 정보를 카메라 정보를 이용하여 아래의 수식 1을 이용하여 변이정보로 변환하는 것을 특징으로 하는 깊이 정보 기반 스테레오/다시점 영상 정합 장치.
    [수식 1]
    disparity_1= (f*b)/depth
    disparity_2 = disparity_1/cell_size
    (여기서, disparity_1은 변환된 변이값으로서 실제 거리 단위로 주어지며, f는 카메라의 초점거리, b는 기준 카메라와 대상 카메라 간격(베이스라인 길이), depth는 실제거리 단위로 주어지는 깊이 정보, cell_size는 카메라 CCD의 실제 셀 크기이고 disparity_2는 최종적으로 탐색영역 설정에 사용될 화소단위의 변이임.)
  5. 제 2 항에 있어서,
    상기 정합창틀선택수단은,
    중심 창틀 내 화소의 컬러 영상의 밝기 변화량 및 깊이 변화량을 조사하여 상기 변화량이 각각에 대한 소정의 임계값 이상인 화소가 존재하면 다중 적응 크기 창틀을 사용하고, 존재하지 않으면 단일 고정 크기 창틀을 사용하는 것을 특징으로 하는 깊이 정보 기반 스테레오/다시점 영상 정합 장치.
  6. 제 2 항에 있어서,
    변이탐색영역계산수단은,
    깊이정보가 존재하면 깊이정보에 기초한 변이 탐색 범위를 계산하고, 존재하 지 않으면 미리 설정된 전체 변이 탐색 범위 내에서 변이 탐색을 수행하는 것을 특징으로 하는 깊이 정보 기반 스테레오/다시점 영상 정합 장치.
  7. 제 6 항에 있어서,
    상기 깊이정보가 존재하는 경우에 변이 탐색 범위를 아래의 수식 2를 이용하여 계산하는 것을 특징으로 하는 깊이 정보 기반 스테레오/다시점 영상 정합 장치.
    [수식 2]
    dc-error_rate*dc<x<dc+error_rate*dc
    (여기서, dc는 정합하려는 화소의 x좌표이며, error_rate는 깊이 정보의 신뢰도에 따라 결정되는 변수임.)
  8. 다시점 비디오 카메라 및 깊이 정보 획득 장치로부터 획득한 다시점 영상 및 기준 시점에 대한 깊이 정보를 이용하여 변이 지도를 작성하여 3차원 영상 정보를 획득하기 위한 깊이 정보 기반 스테레오/다시점 영상 정합 방법으로서,
    상기 다시점 영상 및 기준 시점의 깊이정보를 입력받는 입력 단계;
    각 시점의 카메라 정보를 추출하는 카메라 보정 단계;
    상기 깊이 정보를 기준시점에 대한 변이로 변환하는 깊이 정보 변환 단계;
    기준 시점에 대한 변이 지도를 계산하기 위하여 기준 시점 영상과 정합할 대 상 영상의 극상선(epipolar line)을 일치시키는 영상 보정(image rectification) 단계;
    상기 깊이 정보 및 다시점 영상 정보를 이용하여 정합 창틀의 종류를 선택하는 정합 창틀 선택 단계;
    상기 변환된 변이로부터 변이 탐색 범위를 계산하는 변이 탐색 범위 계산 단계;
    상기 선택된 창틀을 이용하여 선택된 탐색 범위 내에서 유사도가 가장 높은 변이를 탐색하는 단계;
    여러 시점으로부터 얻어진 동일점의 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하는 단계; 및
    각 화소의 변이를 계산하여 변이 지도를 생성하고 디지털 영상으로 기록하는 단계
    를 포함하는 특징으로 하는 깊이 정보 기반 스테레오/다시점 영상 정합 방법.
  9. 제 8 항에 있어서,
    상기 깊이 정보 변환 단계는,
    상기 깊이 정보를 카메라 정보를 이용하여 아래의 수식 1을 이용하여 변이정보로 변환하는 것을 특징으로 하는 깊이 정보 기반 스테레오/다시점 영상 정합 방 법.
    [수식 1]
    disparity_1= (f*b)/depth
    disparity_2 = disparity_1/cell_size
    (여기서, disparity_1은 변환된 변이값으로서 실제 거리 단위로 주어지며, f는 카메라의 초점거리, b는 기준 카메라와 대상 카메라 간격(베이스라인 길이), depth는 실제거리 단위로 주어지는 깊이 정보, cell_size는 카메라 CCD의 실제 셀 크기이고 disparity_2는 최종적으로 탐색영역 설정에 사용될 화소단위의 변이임.)
  10. 제 8 항에 있어서,
    상기 정합 창틀 선택 단계는,
    중심 창틀 내 화소의 컬러 영상의 밝기 변화량 및 깊이 변화량을 조사하여 상기 변화량이 각각에 대한 소정의 임계값 이상인 화소가 존재하면 다중 적응 크기 창틀을 사용하고, 존재하지 않으면 단일 고정 크기 창틀을 사용하는 것을 특징으로 하는 깊이 정보 기반 스테레오/다시점 영상 정합 방법.
  11. 제 8 항에 있어서,
    상기 변이 탐색 범위 계산 단계는,
    상기 변이 탐색 범위를 아래의 수식 2를 이용하여 계산하는 것을 특징으로 하는 깊이 정보 기반 스테레오/다시점 영상 정합 방법.
    [수식 2]
    dc-error_rate*dc<x<dc+error_rate*dc
    (여기서, dc는 정합하려는 화소의 x좌표이며, error_rate는 깊이 정보의 신뢰도에 따라 결정되는 변수임.)
KR1020050028382A 2004-12-06 2005-04-06 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법 KR100776649B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20040101773 2004-12-06
KR1020040101773 2004-12-06

Publications (2)

Publication Number Publication Date
KR20060063558A true KR20060063558A (ko) 2006-06-12
KR100776649B1 KR100776649B1 (ko) 2007-11-19

Family

ID=37159534

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050028382A KR100776649B1 (ko) 2004-12-06 2005-04-06 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100776649B1 (ko)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100795482B1 (ko) * 2006-11-23 2008-01-16 광주과학기술원 다시점 비디오에서 영상 정렬을 이용하여 상이한 시점의화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법,디코더와 디코딩하는 방법 및 이를 이용한 저장매체
WO2008095051A1 (en) * 2007-01-30 2008-08-07 Microsoft Corporation Remote workspace sharing
KR100891549B1 (ko) * 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
KR100897542B1 (ko) * 2007-05-17 2009-05-15 연세대학교 산학협력단 임의 시점 영상 합성 시 영상 보정 방법 및 장치
WO2009069958A2 (en) * 2007-11-29 2009-06-04 Gwangju Institute Of Science And Technology Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image
KR100924432B1 (ko) * 2007-12-06 2009-10-29 한국전자통신연구원 다시점 영상의 인식 깊이감 조절 장치 및 방법
KR100926520B1 (ko) * 2006-12-05 2009-11-12 한국전자통신연구원 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법
KR100931311B1 (ko) * 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
KR101004758B1 (ko) * 2009-02-17 2011-01-04 포항공과대학교 산학협력단 플랜뷰를 이용한 멀티 퍼스펙티브 영상 생성방법
KR20110134228A (ko) * 2010-06-08 2011-12-14 삼성전자주식회사 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
WO2012086903A1 (ko) * 2010-12-23 2012-06-28 한국전자통신연구원 3ｄ 입체감 적응 장치 및 방법
KR101236475B1 (ko) * 2009-04-14 2013-02-22 한국전자통신연구원 얼굴 검출 장치 및 이를 이용한 거리 측정 방법
KR101289003B1 (ko) * 2011-12-19 2013-07-23 광주과학기술원 영상의 스테레오 정합 방법 및 장치
US8717414B2 (en) 2008-02-13 2014-05-06 Samsung Electronics Co., Ltd. Method and apparatus for matching color image and depth image
US8781256B2 (en) 2008-06-25 2014-07-15 Samsung Electronics Co., Ltd. Method to match color image and depth image using feature points
US8861874B2 (en) 2010-05-11 2014-10-14 Samsung Electronics Co., Ltd. Apparatus and method of encoding 3D image
US8989480B2 (en) 2009-11-19 2015-03-24 Samsung Electronics Co., Ltd. Method, computer-readable medium and apparatus estimating disparity of three view images
US9349073B2 (en) 2012-08-27 2016-05-24 Samsung Electronics Co., Ltd. Apparatus and method for image matching between multiview cameras
KR20180060736A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 스테레오 매칭 방법 및 장치
US10964040B2 (en) 2018-09-13 2021-03-30 Arcsoft Corporation Limited Depth data processing system capable of performing image registration on depth maps to optimize depth data
CN112765390A (zh) * 2019-10-21 2021-05-07 南京深视光点科技有限公司 具备双倍搜索区间的立体匹配方法
WO2023231700A1 (zh) * 2022-05-31 2023-12-07 京东方科技集团股份有限公司 一种显示装置的驱动方法、装置及显示设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100953076B1 (ko) 2007-12-13 2010-04-13 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
KR101066550B1 (ko) * 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
KR101086274B1 (ko) * 2008-12-05 2011-11-24 한국전자통신연구원 깊이정보 추출 장치 및 추출 방법
KR101158678B1 (ko) * 2009-06-15 2012-06-22 (주)알파캠 입체 영상 시스템 및 입체 영상 처리 방법
CN103379350B (zh) * 2012-04-28 2015-06-03 中国科学院深圳先进技术研究院 虚拟视点图像后处理方法
KR102298652B1 (ko) 2015-01-27 2021-09-06 삼성전자주식회사 시차 결정 방법 및 장치
US11900561B2 (en) 2020-11-25 2024-02-13 Electronics And Telecommunications Research Institute Deep learning-based image stitching method and apparatus

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09126738A (ja) * 1995-10-27 1997-05-16 Nec Corp ３次元形状計測装置及びその方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100795482B1 (ko) * 2006-11-23 2008-01-16 광주과학기술원 다시점 비디오에서 영상 정렬을 이용하여 상이한 시점의화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법,디코더와 디코딩하는 방법 및 이를 이용한 저장매체
KR100931311B1 (ko) * 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
KR100926520B1 (ko) * 2006-12-05 2009-11-12 한국전자통신연구원 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법
US8514264B2 (en) 2007-01-30 2013-08-20 Microsoft Corporation Remote workspace sharing
WO2008095051A1 (en) * 2007-01-30 2008-08-07 Microsoft Corporation Remote workspace sharing
US8125510B2 (en) 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing
KR100897542B1 (ko) * 2007-05-17 2009-05-15 연세대학교 산학협력단 임의 시점 영상 합성 시 영상 보정 방법 및 장치
KR100891549B1 (ko) * 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
WO2009069958A3 (en) * 2007-11-29 2009-08-20 Kwangju Inst Sci & Tech Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image
WO2009069958A2 (en) * 2007-11-29 2009-06-04 Gwangju Institute Of Science And Technology Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image
KR100924432B1 (ko) * 2007-12-06 2009-10-29 한국전자통신연구원 다시점 영상의 인식 깊이감 조절 장치 및 방법
US8717414B2 (en) 2008-02-13 2014-05-06 Samsung Electronics Co., Ltd. Method and apparatus for matching color image and depth image
US8781256B2 (en) 2008-06-25 2014-07-15 Samsung Electronics Co., Ltd. Method to match color image and depth image using feature points
KR101004758B1 (ko) * 2009-02-17 2011-01-04 포항공과대학교 산학협력단 플랜뷰를 이용한 멀티 퍼스펙티브 영상 생성방법
KR101236475B1 (ko) * 2009-04-14 2013-02-22 한국전자통신연구원 얼굴 검출 장치 및 이를 이용한 거리 측정 방법
US8989480B2 (en) 2009-11-19 2015-03-24 Samsung Electronics Co., Ltd. Method, computer-readable medium and apparatus estimating disparity of three view images
US8861874B2 (en) 2010-05-11 2014-10-14 Samsung Electronics Co., Ltd. Apparatus and method of encoding 3D image
KR20110134228A (ko) * 2010-06-08 2011-12-14 삼성전자주식회사 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
WO2012086903A1 (ko) * 2010-12-23 2012-06-28 한국전자통신연구원 3ｄ 입체감 적응 장치 및 방법
KR101289003B1 (ko) * 2011-12-19 2013-07-23 광주과학기술원 영상의 스테레오 정합 방법 및 장치
US9349073B2 (en) 2012-08-27 2016-05-24 Samsung Electronics Co., Ltd. Apparatus and method for image matching between multiview cameras
KR20180060736A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 스테레오 매칭 방법 및 장치
US10964040B2 (en) 2018-09-13 2021-03-30 Arcsoft Corporation Limited Depth data processing system capable of performing image registration on depth maps to optimize depth data
CN112765390A (zh) * 2019-10-21 2021-05-07 南京深视光点科技有限公司 具备双倍搜索区间的立体匹配方法
WO2023231700A1 (zh) * 2022-05-31 2023-12-07 京东方科技集团股份有限公司 一种显示装置的驱动方法、装置及显示设备

Also Published As

Publication number Publication date
KR100776649B1 (ko) 2007-11-19

Similar Documents

Publication Publication Date Title
KR100776649B1 (ko) 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
KR100513055B1 (ko) 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
CN101630406B (zh) 摄像机的标定方法及摄像机标定装置
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
KR100793076B1 (ko) 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
CN113034568B (zh) 一种机器视觉深度估计方法、装置、系统
CN112116639B (zh) 一种图像配准方法、装置及电子设备和存储介质
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
US9025862B2 (en) Range image pixel matching method
US9025009B2 (en) Method and systems for obtaining an improved stereo image of an object
CN109840922B (zh) 基于双目光场相机的深度获取方法和系统
KR20100119559A (ko) 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
KR20120058828A (ko) 3차원 좌표 추출 시스템 및 그 방법
Zhou et al. A two-step calibration method of lenslet-based light field cameras
WO2007052191A2 (en) Filling in depth results
Zeller et al. From the calibration of a light-field camera to direct plenoptic odometry
CN106170086B (zh) 绘制三维图像的方法及其装置、系统
Patel et al. Distance measurement system using binocular stereo vision approach
US20120050485A1 (en) Method and apparatus for generating a stereoscopic image
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
CN115719320A (zh) 基于遥感影像的倾斜校正稠密匹配方法
JP2015019346A (ja) 視差画像生成装置
JP2005250994A (ja) ステレオ画像処理装置
Um et al. Three-dimensional scene reconstruction using multiview images and depth camera
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131024

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141027

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee