KR101706216B1 - 고밀도 삼차원 영상 재구성 장치 및 방법 - Google Patents

고밀도 삼차원 영상 재구성 장치 및 방법 Download PDF

Info

Publication number
KR101706216B1
KR101706216B1 KR1020120034580A KR20120034580A KR101706216B1 KR 101706216 B1 KR101706216 B1 KR 101706216B1 KR 1020120034580 A KR1020120034580 A KR 1020120034580A KR 20120034580 A KR20120034580 A KR 20120034580A KR 101706216 B1 KR101706216 B1 KR 101706216B1
Authority
KR
South Korea
Prior art keywords
image
feature points
region
dimensional
initial
Prior art date
Application number
KR1020120034580A
Other languages
English (en)
Other versions
KR20130112311A (ko
Inventor
배순민
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020120034580A priority Critical patent/KR101706216B1/ko
Priority to US13/728,065 priority patent/US9338437B2/en
Priority to CN201380018460.0A priority patent/CN104205826B/zh
Priority to PCT/KR2013/002563 priority patent/WO2013151270A1/en
Publication of KR20130112311A publication Critical patent/KR20130112311A/ko
Application granted granted Critical
Publication of KR101706216B1 publication Critical patent/KR101706216B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명은 멀티 카메라 시스템 및 그 동작 방법에 관한 것으로, 보다 상세하게는 영상 정합을 통해 생성된 초기 삼차원 영상에 대해 평면 검출 및 평활화 처리를 수행하여 고밀도 삼차원 영상으로 재구성하는 장치 및 방법에 관한 것이다. 고밀도 삼차원 영상 재구성 방법은 제1 카메라로 촬영한 제1 영상 및 제2 카메라로 촬영한 제2 영상을 정합하여 초기 삼차원 영상을 생성하는 단계, 초기 삼차원 영상을 분할하는 단계, 분할된 제1 영역으로부터 평면을 검출하는 단계, 분할된 제2 영역을 필터링 단계 및 검출된 평면 및 필터링된 제2 영역을 합성하는 단계를 포함하는 것을 특징으로 한다.

Description

고밀도 삼차원 영상 재구성 장치 및 방법{Apparatus and method for reconstructing dense three dimension image}
본 발명은 멀티 카메라 시스템 및 그 동작 방법에 관한 것으로, 보다 상세하게는 영상 정합을 통해 생성된 초기 삼차원 영상에 대해 평면 검출 및 평활화 처리를 수행하여 고밀도 삼차원 영상으로 재구성하는 장치 및 방법에 관한 것이다.
일반적으로 삼차원 영상은 두 가지 관점에서 정의될 수 있다. 첫째, 삼차원 영상은 깊이 정보를 이용하여 영상의 일부가 화면으로부터 튀어나오는 느낌을 사용자가 느끼도록 구성된 영상이다. 여기서, 깊이 정보는 카메라와 이차원 영상 내의 객체간의 거리를 영상 형태로 표현한 정보를 의미한다. 따라서 상기 깊이 정보를 이용하여 이차원 영상을 삼차원 영상으로 표현할 수 있다. 둘째, 삼차원 영상은 기본적으로 사용자에게 다양한 시점을 제공하여 현실감을 느끼도록 구성된 영상이다.
이러한 입체 영상을 획득하는 방법은 양안식 카메라 시스템, 다시점 카메라 시스템이 있다. 양안식 카메라 시스템은 두 개의 카메라를 통해 촬영된 좌측 영상과 우측 영상을 이용하여 사용자에게 입체감을 제공하는 시스템이다. 다시점 카메라 시스템은 두 대 이상의 카메라를 통해 촬영된 영상들을 공간적인 합성 등을 통하여 다양한 시점을 사용자에게 제공하는 시스템이다.
본 발명이 해결하고자 하는 기술적인 과제는 멀티 카메라를 통해 촬영된 영상의 정합을 통해 생성된 초기 삼차원 영상에 대해 평면 검출 및 평활화 처리를 수행하여 고밀도 삼차원 영상으로 재구성하는 고밀도 삼차원 영상 재구성 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 고밀도 삼차원 영상 재구성 방법은 복수의 카메라를 이용하여 삼차원 영상을 획득하는 방법으로서, 제1 카메라로 촬영한 제1 영상 및 제2 카메라로 촬영한 제2 영상을 정합하여 초기 삼차원 영상을 생성하는 단계; 상기 초기 삼차원 영상에 포함된 특징점의 개수를 이용하여 상기 초기 삼차원 영상으로부터 제1 영역 및 제2 영역을 검색하는 단계; 상기 제1 영역으로부터 평면을 검출하는 단계; 상기 제2 영역을 필터링 단계; 및 상기 검출된 평면 및 필터링된 제2 영역을 합성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 초기 삼차원 영상을 생성하는 단계 후, 상기 제1 영상 또는 제2 영상 중 어느 한 영상을 분할하는 단계; 및 상기 분할 정보를 상기 초기 삼차원 영상에 적용하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분할하는 단계는, 그래프 컷 알고리즘을 이용하는 것을 특징으로 한다.
본 발명에 있어서, 상기 검색하는 단계는, 삼차원 특징점이 기설정된 개수 이상 포함된 적어도 하나 이상의 제1 영역을 검색하는 것을 특징으로 한다.
본 발명에 있어서, 상기 검색하는 단계는, 삼차원 특징점이 기설정된 개수 미만 포함된 적어도 하나 이상의 제2 영역을 검색하는 것을 특징으로 한다.
본 발명에 있어서, 상기 평면을 검출하는 단계는, 상기 제1 영역에 RANSAC 알고리즘 및 삼차원 평면 방정식을 이용하는 것을 특징으로 한다.
본 발명에 있어서, 상기 필터링 단계는, 상기 제2 영역에 대해 기설정된 값 이상의 단차를 보존하면서 거리를 평활화 하는 것을 특징으로 한다.
본 발명에 있어서, 상기 필터링 단계는, 상기 제2 영역을 바이래터럴 필터링하고 거리를 평활화하는 것을 특징으로 한다.
본 발명에 있어서, 상기 초기 삼차원 영상을 생성하는 단계는, 상기 제1 영상 및 상기 제2 영상으로부터 특징점을 추출하는 단계; 상기 제1 영상 및 상기 제2 영상의 특징점을 정합하는 단계; 상기 정합된 특징점의 삼차원 좌표를 산출하는 단계; 및 상기 특징점이 정합된 영상에 상기 삼차원 좌표를 적용하여 초기 삼차원 영상을 생성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 특징점을 추출하는 단계는, SHIF 또는 Harris 방법을 적용하여 상기 제1 영상 및 상기 제2 영상으로부터 코너를 검출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 특징점을 정합하는 단계는, 상기 제1 영상으로부터 임의의 제1 윈도우를 설정하는 단계; 상기 제1 윈도우를 에피폴라 제약 조건하에서의 상기 제2 영상에 회선하면서 휘도 차이가 가장 작은 제2 윈도우를 탐색하는 단계; 및 상기 제1 윈도우 및 제2 윈도우를 정합하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 삼차원 좌표를 산출하는 단계는, 상기 정합된 영상 내의 오브젝트에 대한 이차원 좌표를 산출하는 단계; 및 상기 제1 카메라 및 제2 카메라 사이의 거리(D)와, 상기 제1 및 제2 카메라에서 상기 정합된 영상 내의 오브젝트까지의 각도정보(θ1, θ2)를 이용하여 거리 정보를 산출하는 단계;를 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 고밀도 삼차원 영상 재구성 장치는 복수의 카메라를 이용하여 삼차원 영상을 획득하는 장치로서, 제1 카메라로 촬영한 제1 영상 및 제2 카메라로 촬영한 제2 영상을 정합하여 초기 삼차원 영상을 생성하는 제1 생성수단; 및 상기 초기 삼차원 영상을 제1 영역 및 제2 영역으로 분할하여, 상기 제1 영역으로부터 평면을 검출하고, 상기 제2 영역을 필터링한 후 합성하여 고밀도 삼차원 영상을 생성하는 제2 생성수단;을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 생성수단은, 상기 제1 영상 및 상기 제2 영상으로부터 특징점을 추출하는 추출부; 상기 제1 영상 및 상기 제2 영상의 특징점을 정합하는 정합부; 상기 정합된 특징점의 삼차원 좌표를 산출하는 산출부; 및 상기 특징점이 정합된 영상에 상기 삼차원 좌표를 적용하여 초기 삼차원 영상을 생성하는 생성부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 생성수단은, 상기 제1 영상 또는 제2 영상 중 어느 한 영상을 분할하고, 상기 분할 정보를 상기 초기 삼차원 영상에 적용하는 분할부; 상기 분할된 영상에 포함된 삼차원 특징점의 개수를 이용하여 상기 분할된 영상으로부터 제1 영역 및 제2 영역을 검색하는 검색부; 상기 제1 영역으로부터 평면을 검출하는 검출부; 및 상기 제2 영역을 필터링하는 필터링부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분할부는, 그래프 컷 알고리즘을 이용하여 상기 제1 영상 또는 제2 영상 중 어느 한 영상을 분할하는 것을 특징으로 한다.
본 발명에 있어서, 상기 검색부는, 상기 분할된 영상에 대해 삼차원 특징점이 기설정된 개수 이상 포함된 적어도 하나 이상의 제1 영역 및 삼차원 특징점이 기설정된 개수 미만 포함된 적어도 하나 이상의 제2 영역을 검색하는 것을 특징으로 한다.
본 발명에 있어서, 상기 평면 검출부는, 상기 제1 영역에 RANSAC 알고리즘 및 삼차원 평면 방정식을 이용하는 것을 특징으로 한다.
본 발명에 있어서, 상기 필터링부는, 상기 제2 영역에 대해 기설정된 값 이상의 단차를 보존하면서 거리를 평활화 하는 필터링을 수행하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 고밀도 삼차원 영상 재구성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체는 제1 카메라로 촬영한 제1 영상 및 제2 카메라로 촬영한 제2 영상을 정합하여 초기 삼차원 영상을 생성하는 단계; 상기 초기 삼차원 영상에 포함된 특징점의 개수를 이용하여 상기 초기 삼차원 영상으로부터 제1 영역 및 제2 영역을 검색하는 단계; 상기 제1 영역으로부터 평면을 검출하는 단계; 상기 제2 영역을 필터링 단계; 및 상기 검출된 평면 및 필터링된 제2 영역을 합성하는 단계;를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 멀티 카메라를 통해 촬영된 영상의 정합을 통해 생성된 초기 삼차원 영상에 대해 평면 검출 및 평활화 처리를 수행하여 고밀도 삼차원 영상으로 재구성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 고밀도 삼차원 영상 재구성 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 영상 정합부의 상세 블록도 이다.
도 3은 도 1 중 제1 및 제2 카메라가 촬영한 제1 영상 및 제2 영상을 보여주는 도면이다.
도 4는 도 1 중 특징점이 검출된 제1 및 제2 영상을 보여주는 도면이다.
도 5는 도 1 중 영상 정합을 위한 에피폴라 기하(epipolar geometry)를 설명하는 도면이다.
도 6은 도 1 중 에피폴라 제약 조건을 이용한 영상 정합을 설명하는 도면이다.
도 7은 도 1 중 영상 정합 결과를 보여주는 도면이다.
도 8은 도 1 중 정합된 영상의 거리 정보 산출을 설명하기 위한 도면이다.
도 9는 도 1 중 초기 삼차원 영상을 보여주는 도면이다.
도 10은 도 1 중 초기 삼차원 영상을 분할하기 위한 그래프 컷 알고리즘을 설명하기 위한 도면이다.
도 11은 도 1 에서 입력 영상 중 임의의 한 영상의 분할 결과를 보이는 도면이다.
도 12는 도 1 중 평면 검출을 설명하는 도면이다.
도 13은 도 1 중 초기 제1 및 제2 영상과, 재구성된 고밀도 삼차원 영상을 보이는 도면이다.
도 14는 본 발명의 일 실시 예에 따른 고밀도 삼차원 영상 재구성 방법의 동작을 보이는 흐름도 이다.
도 15는 도 14 중 영상 정합 방법을 동작을 보이는 흐름도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 고밀도 삼차원 영상 재구성 장치의 구성을 보이는 블록도 이다.
도 1을 참조하면, 고밀도 삼차원 영상 재구성 장치는 제1 카메라(100), 제2 카메라(200), 영상 처리부(300), 영상 정합부(400), 고밀도 삼차원 영상 재구성부(500) 및 출력부(600)를 포함한다.
제1 카메라(100) 및 제2 카메라(200)는, 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 좌측 카메라 및 우측 카메라를 의미하는 것으로, 입력되는 제1 및 제2 이미지(또는 동영상)는 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환하여 출력한다.
영상 처리부(300)는 제1 카메라(100) 및 제2 카메라(200)로부터 출력되는 제1 및 제2 영상 신호에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행한다.
또한, 영상 처리부(300)는 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함한다.
또한, 영상 처리부(300)에서는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
영상 정합부(400)는 영상 처리된 제1 영상 및 제2 영상을 정합하여 초기 삼차원 영상을 생성하는데, 영상 정합부(400)의 상세 구성도가 도 2에 도시되어 있다.
도 2를 참조하면, 영상 정합부(400)는 특징점 추출부(410), 특징점 정합부(420), 삼차원 좌표 산출부(430) 및 초기 삼차원 영상 생성부(440)를 포함한다.
특징점 추출부(410)는 SHIF 알고리즘 또는 HARRIS 알고리즘을 이용하여 제1 및 제2 영상으로부터 특징점으로서의 코너(corner, 모서리)를 추출한다.
영상의 특징점을 추출하는 대표적인 알고리즘으로서의 SIFT는 <D. G. Lowe, "Distinctive image features from scale-invariant key points" Int. J. Comput. Vision 60 (2), 91-110, 2004>에서 Lowe에 의해 제안되었다.
SIFT 알고리즘에 의해 추출된 특징점들은 영상의 스케일, 회전, 왜곡, 삼차원 관점 변화 등에 의해 영향을 받지 않는 좋은 특성을 가진다. SIFT 알고리즘은 먼저, 디지털 영상에 대하여 가우시안 필터를 이용하여 레벨을 변화시키며 단계적으로 블러링(blurring) 작업을 수행한다. 이때 영상의 스케일(scale)를 변화시키며 블러링 작업을 반복한다. 다음에, 동일한 스케일에서 단계적으로 블러링된 영상들 간의 가우시안 차(DOG, difference of Gaussian)를 계산한다. 다음에, 계산된 가우시안 차에 기초하여 소정의 기준에 따라 특징점을 선택한다. 다음에, 원래 영상에서 모든 픽셀들의 그라디언트(gradient)를 계산하여 그라디언트 맵을 생성한다. 다음에, 그라디언트 맵을 이용하여 선택된 특징점들의 디스크립터(descriptor)를 계산한다. 마지막으로, 최종적인 특징점 데이터를 생성한다. 여기서, 특징점 데이터는 특징점의 좌표 및 해당 특징점의 디스크립터를 포함한다.
영상의 특징점을 추출하는 대표적인 알고리즘으로서의 Harris 알고리즘은 Chris Harris 와 Mike Stephens에 의하여 <A Combined Corner and Edge Detector Proceedings of the Fourth Alvey Vision Conference, Manchester, pp 147-151,1988>으로 소개되었다. 이 알고리즘은 이미지 안에서 에지(Edge)나 플레이트(flat)가 아닌 코너를 찾는 알고리즘 이다
Harris 알고리즘은 기본적으로 영상 내에 상하 좌우로 움직이는 윈도우가 존재하며 이 윈도우 내의 화소값의 변화를 분석하여 코너점을 찾은 방식으로 구현된다. 영상 내 객체의 밝기값 변화가 없다면 윈도우를 상하 좌우 방향으로 움직여도 화소값의 변화량은 없을 것이다. 하지만 좌우로 이동하면서 상하방향으로 존재하는 영상의 경계선을 만났을 경우 당연히 좌우 방향으로 움직이는 윈도우 내의 화소값에는 큰 변화가 생기지만 상하 방향으로 움직이는 윈도우에 대해서는 화소값의 변화가 없을 것이다. 그럼 이 윈도우가 좌우방향뿐만 아니라, 상하 방향으로도 움직인다고 생각하면 상하 방향으로 움직이는 동안 분명히 화소값의 변화가 큰 지점을 지나가게 될 것이다. 즉, 이점이 최종적인 코너점이 되는 것이다. 코너점은 영상이 회전하여도 같은 위치로 찾아지는 장점이 있다.
도 3a에는 제1 카메라(100)가 촬영한 제1 영상이 도시되어 있고, 도 3b에는 제2 카메라(200)가 촬영한 제2 영상이 도시되어 있다. 도 4에는 도 3에 도시된 제1 및 제2 영상에 대하여 특징점 추출부(410)가 특징점으로서의 코너를 추출하여 표시한 예가 도시되어 있다.
특징점 정합부(420)는 제1 영상 및 제2 영상의 특징점을 정합한다. 특히, 특징점 정합부(420)는 에피폴라 기하(epipolar geometry) 및 영역 기반 정합 방법을 이용한다.
여기서, 도 5를 참조하여, 먼저, 에피폴라 기하를 설명한다. 제1 카메라(100) 및 제2 카메라(200)를 이용하여 영상을 획득하면 공간상의 한 점은 제1 카메라(100) 및 제2 카메라(200)에 투영되어 켤레 쌍(conjugate pair)라 불리는 한 쌍의 점들을 영상에 생성시킨다. 카메라 렌즈 중심들과 카메라로 투영되는 공간의 물체의 점으로 만들어지는 평면을 에피폴라 평면(epipolar plane)이라고 하며, 에피폴라 평면과 영상 평면의 교선을 에피폴라 라인(epipolar line)이라고 정의한다.
즉, 도 5에 도시된 바와 같이 삼차원 공간의 한 점 P가 좌우 렌즈 중심으로 정해지는 평면이 좌우의 촬상면과 만나는 직선으로 정의된다. 영상에 맺히는 두 개의 점들이 같은 Y좌표를 갖게 되므로, 제1 영상의 특정 좌표에 해당하는 제2 영상 상에서의 점은 에피폴라 라인 위에 놓이게 된다. 제1 영상에 나타나는 물체가 제2 영상에 나타날 수도 있고 그렇지 않을 수도 있지만, 만약에 제2 영상에도 나타난다면, 반드시 에피폴라 라인 위에 나타나게 된다.
특징점 정합부(420)는 제1 영상의 특징점에 대한 제2 영상에서 정합점을 찾을 때, 탐색 영역을 설정하여 이 영역 내에서 먼저 후보 특징을 찾고 이들 중 가장 유사도가 큰 것을 선택하여 정합 쌍으로 결정하는 방법을 사용한다. 탐색 영역이 크면 정합 후보의 수가 증가하기 때문에 수행시간이 길어지며 오정합의 확률이 높아지므로 가능한 한 탐색 영역을 좁히는 것이 좋다. 탐색 영역을 좁히는 방법 중의 하나가 에피폴라 제약 조건을 이용하는 것이다.
도 6에는 에피폴라 제약 조건에서의 영역 기반 정합 방법을 설명한다. 특징점 정합부(420)는 제1 영상(도 6a)에 기준 윈도우로서 제1 윈도우를 설정하고, 제1 윈도우를 제2 영상(도 6b)에 회선(convolution)하면서 휘도 차이가 가장 작은 제2 윈도우를 탐색하는 것이다. 제1 윈도우와 휘도 차이가 가장 작은 제2 윈도우를 유사도가 가장 크다고 판단하고 정합 쌍으로 결정한다. 이때 상기에서 개시한 바와 같이 에피폴라 제약 조건을 사용하면 영역 기반 매칭의 단점인 계산량을 효과적으로 줄일 수 있다는 장점이 있다.
영역 기반 정합 방법에는 SAD(sum of absolute difference), SSD(sum of squared difference), ZSAD(zero mean sum of absolute difference), ZSSD(zero mean sum of squared difference) 등이 있다.
도 7에는 특징점 정합부(420)의 정합 동작으로, 제1 및 제2 영상 정합 시에 결정한 정합 쌍을 표시한 예가 도시되어 있다.
삼차원 좌표 산출부(430)는 삼각측량 기법을 이용하여 정합된 특징점의 삼차원 좌표를 산출한다. 삼차원 좌표 산출부(430)는 각각 제1 영상 및 제2 영상으로부터 특징점의 이차원 좌표 즉, X좌표 및 Y좌표를 산출하고, 삼각측량 기법으로 제1 카메라(100) 및 제2 카메라(200)에서 특징점까지의 거리를 산출하여 산출된 거리를 깊이(depth)값 즉, Z좌표로 산출하여 최종 삼차원 좌표를 산출한다.
여기서 도 8을 참조하여 삼각측량 기법을 이용한 Z좌표 산출을 설명한다. 도 8에 도시된 바와 같이, 제1 카메라(100) 렌즈 및 제2 카메라(200) 렌즈 사이의 거리를 d라고 가정하고, 제1 카메라(100)에서 특징점까지의 각도 정보 θ1 및 제2 카메라(200)에서 특징점까지의 각도 정보 θ2를 알면, 하기 수학식 1을 이용하여 제1 카메라(100) 및 제2 카메라(200)에서 특징점까지의 거리(h)를 산출할 수 있다.
Figure 112012026757611-pat00001
이로써 특징점에 대한 삼차원 좌표(X, Y, Z) 정보를 획득할 수 있다.
초기 삼차원 영상 생성부(440)는 정합된 영상의 모든 특징점들에 삼차원 좌표를 적용하여 초기 삼차원 영상을 생성한다. 도 9에는 초기 삼차원 영상이 도시되어 있으며, 진하게 표시될수록 특징점이 제1 카메라(100) 및 제2 카메라(200)로부터의 거리가 먼 것으로 표현하였다.
다시 도 1로 돌아와, 영상 정합부(400)에서 초기 삼차원 영상이 생성되면, 고밀도 삼차원 영상 재구성부(500)는 초기 삼차원 영상을 분할하여, 분할된 영역으로부터 평면을 검출하거나, 필터링하여 고밀도 삼차원 영상을 생성한다.
이러한 고밀도 삼차원 영상 재구성부(500)는 분할부(510), 검색부(520), 평면 검출부(530) 및 필터링부(540)를 포함한다.
분할부(510)는 그래프 컷(graphcut) 알고리즘을 이용하여 제1 영상 또는 제2 영상 중 어느 한 영상을 분할한다. 초기 삼차원 영상은 공간 정보가 포함되어 있기 때문에 영상 분할이 이론적으로는 가능하지만, 실제적으로는 불가능하다. 따라서 제1 영상 또는 제2 영상 중 어느 한 영상을 분할하고, 즉, 2차원 영상을 분할하고, 분할정보를 초기 3차원 영상에 적용하여 이용하도록 한다. 도 10에는 그래프 컷 알고리즘을 설명하기 위한 도면이 도시되어 있다. 도 10에서 (a)는 임의의 영상이며 (b)는 (a)에 대한 그래프이다. 도 10을 참조하면, 그래프컷 알고리즘은 (a)와 같은 영상을 (b)에 도시된 그래프로 만들고, 각 그래프의 에지 가중치(edge weight)들을 픽셀값들의 상관관계로 정의하여 픽셀 밝기 차이가 두드러지는 부분을 자르는 방법이다. 도 11에는 그래프 컷 알고리즘을 적용하여 제1 영상 또는 제2 영상 중 어느 한 영상을 분할하고, 해당 분할 정보를 초기 삼차원 영상에 적용한 결과를 보여주고 있다.
검색부(520)는 분할된 영상에 포함된 특징점 개수를 이용하여 적어도 하나 이상의 제1 영역 및 적어도 하나 이상의 제2 영역을 검색한다. 검색부(520)는 분할된 영상에 포함된 특징점을 개수가 기설정된 개수 예를 들어, 세 개 이상 포함된 적어도 하나 이상의 제1 영역과, 특징점 개수가 기설정된 개수 예를 들어, 세 개 미만으로 포함된 적어도 하나 이상의 제2 영역을 검색한다.
평면 검출부(530)는 특징점을 세 개 이상 포함하고 있는 제1 영역으로부터 평면을 검출한다. 평면 검출부(530)는 RANSAC 알고리즘 및 평면 방정식을 이용하여 제1 영역으로부터 평면을 검출한다.
삼차원 영상으로부터 산출된 삼차원 좌표(X,Y,Z) 정보를 평면 방정식에 대입하여 평면을 검출해 낼 수 있다. 수학식 2에는 삼차원 평면 방정식이 도시되어 있다.
Figure 112012026757611-pat00002
도 12에는 삼차원 평면 방정식을 이용하여 제1 영역으로 검출된 평면의 예가 도시되어 있다.
삼차원 좌표(X,Y,Z) 정보 중 Z 정보는 노이즈가 존재하거나 정합이 정확이 이루어지지 않아서 값을 알 수 없는 경우가 발생한다. 이는 평면 방정식을 계산하는데, 오류를 증가시키기 때문에 계산 도중 제거해 주어야 한다. RANSAC(random sample consensus)은 픽셀 집합에서 평면 방정식을 계산할 수 있는 최소한의 개수의 픽셀을 무작위로 선택하고 먼저 평면 방정식을 푼 후 그 이외의 픽셀들을 평면 방정식에 대입하여 오차가 크지 않은 픽셀들을 인라이어(inlier)로 지정하고 인라이어의 개수가 전체의 특정 비율 이상이 되는 경우 인라이어들을 이용하여 평면 방정식을 다시 계산한다. 결과는 모든 픽셀 방정식에 대입하여 그 정확성 여부를 판단하는데 과정을 여러 번 반복하여 최소의 오차를 갖는 경우의 결과를 최종 결과로 결정한다.
필터링부(540)는 특징점을 세 개 미만 포함하고 있는 제2 영역을 에지 보존 평활화 처리 즉 필터링한다. 에지 보존 평활화 처리란 영상 중의 물체 경계 등 현저한 휘도 단차는 보존하면서 계조를 평활화하는 비선형 필터 처리이다. 이러한 에지 보존 처리 중에서 바이래터럴 필터를 이용할 수 있다.
출력부(600)는 특징점을 세 개 이상 포함하고 있는 제1 영역으로부터 검출된 평면과, 특징점을 세 개 미만 포함하고 있는 제2 영역을 에지 보존 평활화 처리한 결과를 합성하여 최종적으로 재구성된 고밀도 삼차원 영상을 출력한다. 도 13을 참조하면, (a) 및 (b)는 제1 카메라(100) 및 제2 카메라(200)로부터 출력되는 제1 및 제2 영상을 나타내고, (c)는 (a) 및 (b)로부터 최종적으로 재구성된 고밀도 삼차원 영상을 나타낸다.
이와 같이 멀티 카메라를 통해 촬영된 영상의 정합을 통해 생성된 초기 삼차원 영상에 대해 평면 검출 및 평활화 처리를 수행하여 고밀도 삼차원 영상으로 재구성할 수 있다.
도 14는 본 발명의 일 실시 예에 따른 고밀도 삼차원 영상 재구성 방법의 동작을 보이는 흐름도 이다.
도 14를 참조하면, 먼저, 제1 카메라(100) 및 제2 카메라(200)는 제1 영상 및 제2 영상을 촬영하는 단계(S10)를 수행한다. 제1 및 제2 영상 촬영이 완료되면, 영상 처리부(300)는 제1 및 제2 영상 처리를 수행한다.
제1 및 제2 영상이 촬영되면, 영상 정합부(400)는 영상 처리된 제1 영상 및 제2 영상을 정합하여 초기 삼차원 영상을 생성하는 단계(S20)를 수행한다.
도 15에는 영상 정합하여 초기 삼차원 영상을 생성하는 방법이 도시되어 있다. 도 15를 참조하면, 영상 정합부(400)는 SHIF 알고리즘 또는 HARRIS 알고리즘을 이용하여 제1 및 제2 영상으로부터 특징점으로서의 코너(corner, 모서리)를 추출하는 단계(S21)를 수행한다.
제1 및 제2 영상으로부터 특징점이 추출되면, 영상 정합부(400)는 에피폴라 기하 및 영역 기반 정합 방법을 이용하여 제1 및 제2 영상의 특징점을 정합하는 단계(S22)를 수행한다. 영상 정합부(400)는 제1 영상의 특징점에 대한 제2 영상에서 정합점을 찾을 때, 에피폴라 제약 조건을 이용하여 탐색 영역을 좁게 설정하고 이 영역 내에서 먼저 후보 특징을 찾고 이들 중 가장 유사도가 큰 것을 선택하여 정합 쌍으로 결정하는 방법을 사용한다. 즉, 제1 영상에 기준 윈도우로서 제1 윈도우를 설정하고, 제1 윈도우를 제2 영상에 회선(convolution)하면서 휘도 차이가 가장 작은 제2 윈도우를 탐색한다.
제1 및 제2 영상의 특징점 정합이 완료되면, 영상 정합부(400)는 삼각측량 기법을 이용하여 정합된 특징점의 삼차원 좌표를 산출하는 단계(S23)를 수행한다. 영상 정합부(400)는 제1 영상 및 제2 영상으로부터 특징점의 이차원 좌표 즉, X좌표 및 Y좌표를 산출하고, Z 좌표 산출 시에, 제1 카메라(100) 렌즈 및 제2 카메라(200) 렌즈 사이의 거리를 d라고 가정하고, 제1 카메라(100)에서 특징점까지의 각도 정보 θ1 및 제2 카메라(200)에서 특징점까지의 각도 정보 θ2를 수학식 1에 대입하여 산출해 낸다.
특징점에 대한 삼차원 좌표 산출이 완료되면, 영상 정합부(400)는 정합된 영상의 모든 특징점들에 삼차원 좌표를 적용하여 초기 삼차원 영상을 생성하는 단계(S24)를 수행한다.
다시 도 1로 돌아와, 영상 정합의 결과로 초기 삼차원 영상이 생성되면, 고밀도 삼차원 영상 재구성부(500)는 그래프 컷(graphcut) 알고리즘을 이용하여 초기 삼차원 영상을 분할하는 단계(S30)를 수행한다.
초기 삼차원 영상의 분할이 완료되면, 고밀도 삼차원 영상 재구성부(500)는 분할된 영상에 포함된 특징점 개수를 이용하여 적어도 하나 이상의 제1 영역 및 적어도 하나 이상의 제2 영역을 검색하는 단계(S4))를 수행한다. 고밀도 삼차원 영상 재구성부(500)는 분할된 영상에 포함된 특징점을 개수가 기설정된 개수 예를 들어, 세 개 이상 포함된 적어도 하나 이상의 제1 영역과, 특징점 개수가 기설정된 개수 예를 들어, 세 개 미만으로 포함된 적어도 하나 이상의 제2 영역을 검색한다.
제1 및 제2 영역 검색이 완료되면, 고밀도 삼차원 영상 재구성부(500)는 특징점을 세 개 이상 포함하고 있는 제1 영역에 RANSAC 알고리즘 및 평면 방정식을 적용하여 평면을 검출하는 단계(S50)를 수행한다.
평면 검출이 완료되면, 고밀도 삼차원 영상 재구성부(500)는 특징점을 세 개 미만 포함하고 있는 제2 영역을 에지 보존 평활화 처리 즉 필터링하는 단계(S60)를 수행하여, 시인성에 영향을 주는 물체 윤곽이 보존되면서 미세한 휘도 변동을 제거한다.
평면 검출 및 필터링이 완료되면, 출력부(600)는 특징점을 세 개 이상 포함하고 있는 제1 영역으로부터 검출된 평면과, 특징점을 세 개 미만 포함하고 있는 제2 영역을 에지 보존 평활화 처리한 결과를 합성하여 최종적으로 재구성된 고밀도 삼차원 영상을 생성하여 출력하는 단계(S70)를 수행한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
100: 제1 카메라
200: 제2 카메라
300: 영상 처리부
400: 영상 정합부
410: 특징점 추출부
420: 특징점 정합부
430: 삼차원 좌표 산출부
440: 초기 삼차원 영상 생성부
500: 고밀도 삼차원 영상 재구성부
510: 분할부
520: 검색부
530: 평면 검출부
540: 필터링부
600: 출력부

Claims (20)

  1. 복수의 카메라를 이용하여 삼차원 영상을 획득하는 방법으로서,
    제1 카메라로 촬영한 제1 영상 및 제2 카메라로 촬영한 제2 영상으로부터 하나 이상의 특징점을 추출하고, 상기 제1 영상 및 제2 영상의 상기 특징점을 정합하여 정합한 특징점의 삼차원 좌표를 산출하며, 상기 특징점을 정합한 영상에 상기 삼차원 좌표를 적용하여 초기 삼차원 영상을 생성하는 단계;
    상기 초기 삼차원 영상에 포함된 특징점의 개수를 이용하여 상기 초기 삼차원 영상으로부터 상기 특징점의 개수가 기설정된 개수 이상 포함된 제1 영역 및 상기 특징점의 개수가 기설정된 개수 미만인 제2 영역을 검색하는 단계;
    상기 제1 영역으로부터 평면을 검출하는 단계;
    상기 제2 영역을 필터링하는 단계; 및
    상기 제1 영역으로부터 검출한 평면 및 상기 제2 영역의 필터링 결과를 합성하는 단계;를 포함하는 것을 특징으로 하는 고밀도 삼차원 영상 재구성 방법.
  2. 청구항 2은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에 있어서,
    상기 초기 삼차원 영상을 생성하는 단계 후,
    상기 제1 영상 또는 제2 영상 중 어느 한 영상을 분할하는 단계; 및
    상기 분할 정보를 상기 초기 삼차원 영상에 적용하는 단계;를 더 포함하는 것을 특징으로 하는 고밀도 삼차원 영상 재 구성 방법.
  3. 청구항 3은(는) 설정등록료 납부시 포기되었습니다.
    제 2항에 있어서,
    상기 분할하는 단계는,
    그래프 컷 알고리즘을 이용하는 것을 특징으로 하는 고밀도 삼차원 영상 재구성 방법.
  4. 삭제
  5. 삭제
  6. 청구항 6은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에 있어서,
    상기 평면을 검출하는 단계는,
    상기 제1 영역에 RANSAC 알고리즘 및 삼차원 평면 방정식을 이용하는 것을 특징으로 하는 고밀도 삼차원 영상 재구성 방법.
  7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에 있어서,
    상기 필터링 단계는,
    상기 제2 영역에 대해 기설정된 값 이상의 단차를 보존하면서 거리를 평활화 하는 것을 특징으로 하는 고밀도 삼차원 영상 재구성 방법.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에 있어서,
    상기 필터링 단계는,
    상기 제2 영역을 바이래터럴 필터링하고 거리를 평활화하는 것을 특징으로 하는 고밀도 삼차원 영상 재구성 방법.
  9. 청구항 9은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에 있어서,
    상기 초기 삼차원 영상을 생성하는 단계는,
    상기 제1 영상 및 상기 제2 영상으로부터 특징점을 추출하는 단계;
    상기 제1 영상 및 상기 제2 영상의 특징점을 정합하는 단계;
    상기 정합된 특징점의 삼차원 좌표를 산출하는 단계; 및
    상기 특징점이 정합된 영상에 상기 삼차원 좌표를 적용하여 초기 삼차원 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 고밀도 삼차원 영상 재구성 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 복수의 카메라를 이용하여 삼차원 영상을 획득하는 장치로서,
    제1 카메라로 촬영한 제1 영상 및 제2 카메라로 촬영한 제2 영상으로부터 하나 이상의 특징점을 추출하고, 상기 제1 영상 및 제2 영상의 상기 특징점을 정합하여 정합한 특징점의 삼차원 좌표를 산출하고, 상기 특징점을 정합한 영상에 상기 삼차원 좌표를 적용하여 초기 삼차원 영상을 생성하는 제1 생성수단; 및
    상기 초기 삼차원 영상에 포함된 특징점의 개수를 이용하여 상기 초기 삼차원 영상으로부터 상기 특징점의 개수가 기설정된 개수 이상 포함된 제1 영역 및 상기 특징점의 개수가 기설정된 개수 미만인 제2 영역을 검색하고, 상기 제1 영역으로부터 평면을 검출하고, 상기 제2 영역을 필터링한 후, 상기 제1 영역으로부터 검출한 평면 및 상기 제2 영역의 필터링 결과를 합성하여 고밀도 삼차원 영상을 생성하는 제2 생성수단;을 포함하는 것을 특징으로 하는 고밀도 삼차원 영상 재구성 장치.
  14. 청구항 14은(는) 설정등록료 납부시 포기되었습니다.
    제 13항에 있어서,
    상기 제1 생성수단은,
    상기 제1 영상 및 상기 제2 영상으로부터 특징점을 추출하는 추출부;
    상기 제1 영상 및 상기 제2 영상의 특징점을 정합하는 정합부;
    상기 정합된 특징점의 삼차원 좌표를 산출하는 산출부; 및
    상기 특징점이 정합된 영상에 상기 삼차원 좌표를 적용하여 초기 삼차원 영상을 생성하는 생성부;를 포함하는 것을 특징으로 하는 고밀도 삼차원 영상 재구성 장치.
  15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.
    제 13항에 있어서,
    상기 제2 생성수단은,
    상기 제1 영상 또는 제2 영상 중 어느 한 영상을 분할하고, 상기 분할 정보를 상기 초기 삼차원 영상에 적용하는 분할부;
    상기 분할된 영상에 포함된 삼차원 특징점의 개수를 이용하여 상기 분할된 영상으로부터 제1 영역 및 제2 영역을 검색하는 검색부;
    상기 제1 영역으로부터 평면을 검출하는 검출부; 및
    상기 제2 영역을 필터링하는 필터링부;를 포함하는 것을 특징으로 하는 고밀도 삼차원 영상 재구성 장치.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 제1 카메라로 촬영한 제1 영상 및 제2 카메라로 촬영한 제2 영상으로부터 하나 이상의 특징점을 추출하고, 상기 제1 영상 및 제2 영상의 상기 특징점을 정합하여 정합한 특징점의 삼차원 좌표를 산출하며, 상기 특징점을 정합한 영상에 상기 삼차원 좌표를 적용하여 초기 삼차원 영상을 생성하는 단계;
    상기 초기 삼차원 영상에 포함된 특징점의 개수를 이용하여 상기 초기 삼차원 영상으로부터 상기 특징점의 개수가 기설정된 개수 이상 포함된 제1 영역 및 상기 특징점의 개수가 기설정된 개수 미만인 제2 영역을 검색하는 단계;
    상기 제1 영역으로부터 평면을 검출하는 단계;
    상기 제2 영역을 필터링하는 단계; 및
    상기 제1 영역으로부터 검출한 평면 및 상기 제2 영역의 필터링 결과를 합성하는 단계;를 포함하는 것을 특징으로 하는 포함하는 것을 특징으로 하는 고밀도 삼차원 영상 재구성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020120034580A 2012-04-03 2012-04-03 고밀도 삼차원 영상 재구성 장치 및 방법 KR101706216B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120034580A KR101706216B1 (ko) 2012-04-03 2012-04-03 고밀도 삼차원 영상 재구성 장치 및 방법
US13/728,065 US9338437B2 (en) 2012-04-03 2012-12-27 Apparatus and method for reconstructing high density three-dimensional image
CN201380018460.0A CN104205826B (zh) 2012-04-03 2013-03-28 用于重建高密度三维图像的设备和方法
PCT/KR2013/002563 WO2013151270A1 (en) 2012-04-03 2013-03-28 Apparatus and method for reconstructing high density three-dimensional image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120034580A KR101706216B1 (ko) 2012-04-03 2012-04-03 고밀도 삼차원 영상 재구성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130112311A KR20130112311A (ko) 2013-10-14
KR101706216B1 true KR101706216B1 (ko) 2017-02-13

Family

ID=49234446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120034580A KR101706216B1 (ko) 2012-04-03 2012-04-03 고밀도 삼차원 영상 재구성 장치 및 방법

Country Status (4)

Country Link
US (1) US9338437B2 (ko)
KR (1) KR101706216B1 (ko)
CN (1) CN104205826B (ko)
WO (1) WO2013151270A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534980B2 (en) 2017-06-01 2020-01-14 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object based on vocabulary tree

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135770B1 (ko) * 2014-02-10 2020-07-20 한국전자통신연구원 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
US10021366B2 (en) * 2014-05-02 2018-07-10 Eys3D Microelectronics, Co. Image process apparatus
JP6158779B2 (ja) * 2014-12-08 2017-07-05 株式会社Ｓｏｋｅｎ 画像処理装置
CN105139445B (zh) * 2015-08-03 2018-02-13 百度在线网络技术（北京）有限公司 场景重建方法及装置
US10201306B2 (en) * 2016-08-30 2019-02-12 Konica Minolta Laboratory U.S.A., Inc. Method and system for capturing images for wound assessment with self color compensation
CN110573901A (zh) * 2017-04-28 2019-12-13 深圳市大疆创新科技有限公司 激光传感器和视觉传感器的校准
CA3064938A1 (en) 2017-06-08 2018-12-13 Merck Sharp & Dohme Corp. Pyrazolopyrimidine pde9 inhibitors
GB2572755B (en) 2018-04-05 2020-06-10 Imagination Tech Ltd Matching local image feature descriptors
CN109102559B (zh) * 2018-08-16 2021-03-23 Oppo广东移动通信有限公司 三维模型处理方法和装置
KR102619271B1 (ko) * 2018-11-01 2023-12-28 한화비전 주식회사 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
CN109741245B (zh) * 2018-12-28 2023-03-17 杭州睿琪软件有限公司 平面信息的插入方法及装置
CN110223380B (zh) * 2019-06-11 2021-04-23 中国科学院自动化研究所 融合航拍与地面视角图像的场景建模方法、系统、装置
KR102095454B1 (ko) * 2019-10-04 2020-03-31 주식회사 에이에스디코리아 커넥티드 카를 위한 클라우드 서버 및 상황 재현 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012002157A1 (ja) * 2010-06-28 2012-01-05 富士フイルム株式会社 立体視用画像撮影装置およびその制御方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028672A (en) 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
US6856314B2 (en) 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
US7137319B2 (en) 2004-11-23 2006-11-21 William Hough Ratchet wrench
US8150960B2 (en) 2005-11-23 2012-04-03 Microsoft Corporation Event forwarding
US7869646B2 (en) * 2005-12-01 2011-01-11 Electronics And Telecommunications Research Institute Method for estimating three-dimensional position of human joint using sphere projecting technique
US7925049B2 (en) * 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system
EP2158573A1 (en) * 2007-06-20 2010-03-03 Thomson Licensing System and method for stereo matching of images
CN102047288B (zh) * 2008-05-28 2014-04-23 汤姆森特许公司 利用正向和反向深度预测进行图像的深度提取的系统和方法
CN101312539B (zh) 2008-07-03 2010-11-10 浙江大学 用于三维电视的分级图像深度提取方法
US8439683B2 (en) * 2009-01-07 2013-05-14 Sri International Food recognition using visual analysis and speech recognition
KR101259835B1 (ko) * 2009-06-15 2013-05-02 한국전자통신연구원 깊이 정보를 생성하기 위한 장치 및 방법
KR101619076B1 (ko) * 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
CA2772607A1 (en) * 2009-09-01 2011-03-10 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
TWI398158B (zh) * 2009-12-01 2013-06-01 Ind Tech Res Inst 產生立體影像之影像深度的方法
US8345930B2 (en) * 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
KR101135186B1 (ko) * 2010-03-03 2012-04-16 광주과학기술원 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101129713B1 (ko) * 2010-05-28 2012-03-28 광운대학교 산학협력단 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체
KR101385514B1 (ko) * 2010-06-08 2014-04-16 주식회사 에스칩스 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
JP5110138B2 (ja) * 2010-09-22 2012-12-26 カシオ計算機株式会社 Ａｒ処理装置、ａｒ処理方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012002157A1 (ja) * 2010-06-28 2012-01-05 富士フイルム株式会社 立体視用画像撮影装置およびその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534980B2 (en) 2017-06-01 2020-01-14 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object based on vocabulary tree

Also Published As

Publication number Publication date
WO2013151270A1 (en) 2013-10-10
US9338437B2 (en) 2016-05-10
US20130258064A1 (en) 2013-10-03
CN104205826A (zh) 2014-12-10
KR20130112311A (ko) 2013-10-14
CN104205826B (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
KR101706216B1 (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
CN111066065B (zh) 用于混合深度正则化的系统和方法
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
KR101862889B1 (ko) 입체 카메라를 위한 자동초점
CA2650557C (en) System and method for three-dimensional object reconstruction from two-dimensional images
JP5472328B2 (ja) ステレオカメラ
US8385630B2 (en) System and method of processing stereo images
KR101524548B1 (ko) 영상 정합 장치 및 방법
US20160050372A1 (en) Systems and methods for depth enhanced and content aware video stabilization
WO2015048694A2 (en) Systems and methods for depth-assisted perspective distortion correction
JPWO2012096163A1 (ja) 画像処理装置、画像処理方法、及びそのプログラム
US9519956B2 (en) Processing stereo images
US20170337665A1 (en) Method and device for the real-time adaptive filtering of noisy depth or disparity images
KR102551713B1 (ko) 전자 장치 및 그 이미지 처리 방법
WO2014180255A1 (zh) 一种数据处理方法、装置、计算机存储介质及用户终端
CN107360354B (zh) 拍照方法、装置、移动终端和计算机可读存储介质
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
JP6285686B2 (ja) 視差画像生成装置
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN113034345B (zh) 一种基于sfm重建的人脸识别方法及系统
Li Super-resolution for synthetic zooming
Tran et al. Variational disparity estimation framework for plenoptic images
Jonscher et al. Reconstruction of images taken by a pair of non-regular sampling sensors using correlation based matching
Han An architecture for high-throughput and improved-quality stereo vision processor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4