KR20140027653A - 다시점 카메라간 정합 장치 및 방법 - Google Patents

다시점 카메라간 정합 장치 및 방법 Download PDF

Info

Publication number
KR20140027653A
KR20140027653A KR1020120093438A KR20120093438A KR20140027653A KR 20140027653 A KR20140027653 A KR 20140027653A KR 1020120093438 A KR1020120093438 A KR 1020120093438A KR 20120093438 A KR20120093438 A KR 20120093438A KR 20140027653 A KR20140027653 A KR 20140027653A
Authority
KR
South Korea
Prior art keywords
matching
pattern model
point cloud
point
camera
Prior art date
Application number
KR1020120093438A
Other languages
English (en)
Other versions
KR101893788B1 (ko
Inventor
이승규
심현정
김도균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120093438A priority Critical patent/KR101893788B1/ko
Priority to US13/915,069 priority patent/US9349073B2/en
Publication of KR20140027653A publication Critical patent/KR20140027653A/ko
Application granted granted Critical
Publication of KR101893788B1 publication Critical patent/KR101893788B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

다시점 카메라간 정합 장치 및 방법에 관한 것으로서, 일실시예에 따른 다시점 카메라간 정합 장치는 패턴 모델(pattern model)을 저장하는 패턴 모델 저장부, 적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드(point cloud)와 상기 저장된 패턴 모델을 매칭시키는 매칭 처리부, 및 상기 매칭 결과에 따라 상기 적어도 하나 이상의 깊이 카메라 별 파라미터를 획득하는 파라미터 획득부를 포함할 수 있다.

Description

다시점 카메라간 정합 장치 및 방법{APPARATUS AND METHOD OF IMAGE MATCHING IN MULTI-VIEW CAMERA}
새로운 체스 보드 및 패턴 모델을 이용하여 카메라간 정합 방식 대신에 카메라-모델 간 정합 방식을 이용하여 정밀도를 향상시키고, 기존 코너 포인트간 매칭 방식 대신에 그래디언트 패턴 모델이 포함된 체스 보드 구조 전체를 매칭하여 정밀도를 향상시켜 다시점 카메라간 정합을 수행하는 기술적 사상에 관한 것이다.
다시점 영상(Multiview video)은 한 대 이상의 카메라를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원(3D) 영상처리의 한 분야이다. 이러한 다시점 영상은 사용자에게 시점의 자유를 증가시킬 수 있다는 특징을 지닌다.
컴퓨터 비전에서는 다시점에서 획득된 영상을 이용하여, 영상내의 물체의 깊이(depth)와 시차(disparity) 정보를 파악하기 위한 연구를 수행하고 있으며, 컴퓨터 그래픽스에서는 영상 기반 렌더링(Image based rendering) 이란 명칭으로 획득된 다시점 영상들을 바탕으로 사실적인 가상의 시점 영상을 생성하기 위한 노력을 진행하고 있다.
이러한 노력들로 인하여, 현재 다시점 영상 처리 기술은 옴니-디렉셔널(omni-directional) 카메라를 이용한 감시 시스템이나, 게임에서 이용되는 3차원 가상 시점, N 개의 카메라의 영상들로부터 입력된 영상을 선택할 수 있도록 하는 시점 스위칭 등으로 적용되고 있다. 또한 영화나 광고 영상의 경우에도 다양하게 응용되고 있는 상황이다.
다시점 영상 처리는 사용자들에게 자유로운 시점 및 넓은 화면을 통한 입체감 제공이라는 장점을 지니고 있지만, 영상 획득 시에 필수적으로 존재하는 중복 조건, 순간 처리 데이터 양의 증가, 그리고 고가의 장비가 요구되기 때문에 다양한 서비스 개발이 제한되어 왔다.
인터넷을 통한 데이터 전달 기술 및 속도의 증가는 다양한 멀티미디어 콘텐츠의 이용을 가능케 하는 큰 기폭제 역할을 하고 있다. 더구나 최근에는 사용자들의 요구가 단순 소비 형태의 콘텐츠 이용에서 대화형 콘텐츠, 실감 콘텐츠의 이용을 요구하는 수준에 이르고 있다.
이러한 환경에서 다시점 영상의 제공은 다양한 사용자들의 요구를 충족시킬 수 있는 좋은 대안이 될 수 있다.
일실시예에 따른 다시점 카메라간 정합 장치는 패턴 모델(pattern model)을 저장하는 패턴 모델 저장부, 적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드(point cloud)와 상기 저장된 패턴 모델을 매칭시키는 매칭 처리부, 및 상기 매칭 결과에 따라 상기 적어도 하나 이상의 깊이 카메라 별 파라미터를 획득하는 파라미터 획득부를 포함할 수 있다.
일실시예에 따른 상기 패턴 모델 저장부는, 코너 및 그래디언트로 표현되는 패턴 모델을 저장할 수 있다.
일실시예에 따른 상기 패턴 모델 저장부는, 체스 보드로써 구분되는 상기 코너와 적어도 하나 이상의 그래디언트 서클(gradation circle)을 상기 오브젝트로서 포함하는 패턴 모델을 저장할 수 있다.
일실시예에 따른 적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드는 적어도 하나 이상의 포인트 및 상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)를 포함할 수 있다.
일실시예에 따른 상기 매칭 처리부는, 상기 포인트 클라우드에 포함된 적어도 하나 이상의 포인트 중에서, 상기 패턴 모델에 대응되는 코너에 대응되는 코너 포인트를 결정하고, 상기 결정된 코너 포인트와 상기 패턴 모델에 대응되는 코너를 1차 매칭시킬 수 있다.
일실시예에 따른 상기 매칭 처리부는, 상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 상기 패턴 모델의 그래디언트를 이용하여, 상기 포인트 클라우드와 상기 패턴 모델을 2차 매칭시킬 수 있다.
일실시예에 따른 상기 매칭 처리부는, 상기 포인트 클라우드를 이동시켜, 상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 상기 패턴 모델의 그래디언트의 차이가 최소인 위치를 결정하여 상기 포인트 클라우드와 상기 패턴 모델을 2차 매칭시킬 수 있다.
일실시예에 따른 상기 매칭 처리부는, 상기 2차 매칭된 상기 포인트 클라우드에 대한 포인트 지역 표면 유클리디언(point local surface Euclidean)을 계산하고, 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 파라미터를 추가 변경할 수 있다.
일실시예에 따른 상기 파라미터 획득부는, 상기 매칭 결과에 따라 상기 적어도 하나 이상의 깊이 카메라 별 로테이션(rotation) 정보 및 트랜스레이션(translation) 정보 중에서 적어도 하나를 포함하는 파라미터를 획득할 수 있다.
일실시예에 따른 다시점 카메라간 정합 장치는 적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드(point cloud)에 포함된 특정 코너 코인트와, 패턴 모델에 대응되는 코너를 1차 매칭하는 1차 매칭 처리부, 및 상기 1차 매칭된 결과에서 상기 포인트 클라우드에 대한 깊이 값 인텐시티와 상기 패턴 모델의 그래디언트를 고려하여 2차 매칭하는 2차 매칭 처리부를 포함할 수 있다.
일실시예에 따른 다시점 카메라간 정합 장치는 상기 2차 매칭된 상기 포인트 클라우드에 대한 포인트 지역 표면 유클리디언(point local surface Euclidean)을 계산하고, 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 파라미터를 추가 변경하는 3차 매칭 처리부를 더 포함할 수 있다.
일실시예에 따른 상기 2차 매칭 처리부는, 상기 포인트 클라우드를 이동시켜, 상기 포인트 클라우드에 포함되는 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 상기 패턴 모델의 그래디언트의 차이가 최소인 위치를 결정하여 상기 포인트 클라우드와 상기 패턴 모델을 2차 매칭시킬 수 있다.
일실시예에 따른 다시점 카메라간 정합 방법은 패턴 모델(pattern model)을 저장하는 단계, 적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드(point cloud)와 상기 저장된 패턴 모델을 매칭시키는 단계, 및 상기 매칭 결과에 따라 상기 적어도 하나 이상의 깊이 카메라 별 파라미터를 획득하는 단계를 포함할 수 있다.
일실시예에 따른 상기 패턴 모델(pattern model)을 저장하는 단계는, 코너 및 그래디언트로 표현되는 패턴 모델을 저장하는 단계를 포함할 수 있다.
일실시예에 따른 상기 패턴 모델을 매칭시키는 단계는, 포인트 클라우드에 포함된 적어도 하나 이상의 포인트 중에서, 상기 패턴 모델에 대응되는 코너에 대응되는 코너 포인트를 결정하고, 상기 결정된 코너 포인트와 상기 패턴 모델에 대응되는 코너를 1차 매칭시키는 단계를 포함할 수 있다.
일실시예에 따른 상기 패턴 모델을 매칭시키는 단계는, 상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 상기 패턴 모델의 그래디언트를 이용하여, 상기 포인트 클라우드와 상기 패턴 모델을 2차 매칭시키는 단계를 포함할 수 있다.
일실시예에 따른 상기 패턴 모델을 2차 매칭시키는 단계는, 상기 포인트 클라우드를 이동시켜, 상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 상기 패턴 모델의 그래디언트의 차이가 최소인 위치를 결정하여 상기 포인트 클라우드와 상기 패턴 모델을 2차 매칭시키는 단계를 포함할 수 있다.
일실시예에 따른 상기 패턴 모델을 매칭시키는 단계는, 상기 2차 매칭된 상기 포인트 클라우드에 대한 포인트 지역 표면 유클리디언(point local surface Euclidean)을 계산하는 단계, 및 상기 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 파라미터를 추가 변경하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 다시점 카메라간 정합 장치를 설명하는 블록도이다.
도 2는 일실시예에 따른 패턴 모델과 깊이 카메라를 이용하여 패턴 모델을 촬영한 포인트 클라우드를 설명하는 도면이다.
도 3은 일실시예에 따른 대략적인 1차 매칭 및 1차 매칭에 비해 보다 정밀한 2차 매칭에 대해서 설명하는 도면이다.
도 4는 다시점 카메라 간의 정합을 설명하는 도면이다.
도 5는 일실시예에 따른 패턴 모델과 포인트 클라우드를 매칭하는 과정을 설명하는 도면이다.
도 6은 다른 일실시예에 따른 다시점 카메라간 정합 장치를 설명하는 블록도이다.
도 7은 일실시예에 따른 다시점 카메라간 정합 방법을 설명하는 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
실시예들을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 실시예들을 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 해당 기술이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 다시점 카메라간 정합 장치(100)를 설명하는 블록도이다.
일실시예에 따른 다시점 카메라간 정합 장치(100)는 기존 컬러 카메라를 위하여 개발된 카메라간 정합방식을 보완하여, 낮은 해상도에서도 서브픽셀의 정합이 가능한 새로운 체스 보드(chess board)를 제공할 수 있다.
일실시예에 따른 다시점 카메라간 정합 장치(100)는 새로운 체스 보드 및 패턴 모델(pattern model)을 이용하여 카메라간 정합 방식이 아닌, 카메라와 모델 간 정합 방식으로 정밀도를 향상시킬 수 있다.
일실시예에 따른 다시점 카메라간 정합 장치(100)는 기존 코너 포인트간 매칭 방식이 아닌, 그래디언트 형태의 패턴이 포함된 체스 보드 구조 전체를 매칭하는 방식을 통해, 다시점 카메라 간의 매칭에 따른 정밀도를 향상시킬 수 있다.
특히, 일실시예에 따른 다시점 카메라간 정합 장치(100)는, 고해상도의 환경하에 있는 다시점 카메라 매칭에도 이용될 수 있으나, 저해상도의 환경하에 있는 다시점 카메라 간의 매칭에 효율적으로 이용될 수 있다.
이를 위해, 일실시예에 따른 다시점 카메라간 정합 장치(100)는 패턴 모델 저장부(110), 매칭 처리부(120), 파라미터 획득부(130)를 포함할 수 있다.
일실시예에 따른 패턴 모델 저장부(110)는 캘리브레이션(calibration) 정보로서, 체스 보드 상에 표시되는 패턴 모델을 저장할 수 있다. 상기 패턴 모델은 체스 보드 상에 코너 및 그래디언트로 표현되는 오브젝트를 포함할 수 있다.
예를 들어, 패턴 모델은 체스 보드 상에 코너 및 그래디언트로 표현되는 원(gradient circle)을 포함할 수 있다.
본 명세서에서는 패턴 모델로서 원을 이용하여 설명하나, 패턴 모델은 다양한 도형, 무늬 등의 형태로 표현될 수 있다.
일실시예에 따른 매칭 처리부(120)는 적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드(point cloud)와 상기 저장된 패턴 모델을 매칭시킬 수 있다.
포인트 클라우드는 깊이 카메라를 이용하는 3차원 스캐닝을 통해 생성된 X, Y, Z / R, G, B 로 정의되는 점들의 집합으로 해석될 수 있다.
또한, 적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드는 적어도 하나 이상의 포인트 및 상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)를 포함할 수 있다.
무수히 많은 컬러와 좌표 데이터들이 모여서 공간적인 구성을 이루는 포인트 클라우드는 그 밀도가 높아지면 높아질수록 점점 더 구체적인 데이터가 되면서 하나의 3차원 모델로서의 의미를 갖는다.
포인트 클라우드는 깊이 카메라를 이용하여, 상기 체스 보드 상의 패턴 모델을 촬영하여 생성한 깊이 영상으로 해석될 수 있다. 포인트 클라우드에 포함되는 복수의 포인트들은 체스 보드 상의 패턴 모델에 대한 깊이 값으로 표현될 수 있다.
예를 들어, 포인트 클라우드에 포함되는 복수의 포인트들 각각은 상기 체스 보드 상의 패턴 모델에 대한 깊이 값을 인텐시티로 표현할 수 있다. 즉, 인텐시티가 높아, 짙은 색 또는 짙은 명암을 갖는 포인트는 패턴 모델에 있어 깊이 값이 큰 부분으로 해석될 수 있다.
일실시예에 따른 매칭 처리부(120)는 체스 보드 및 패턴 모델을 이용하여 카메라간 정합 방식이 아닌, 카메라와 패턴 모델 간 정합 방식으로 정밀도를 향상시킬 수 있다.
일실시예에 따른 매칭 처리부(120)는 깊이 카메라에서 획득한 포인트 클라우드와 함께 획득되는 각 포인트 별 인텐시티를 확인할 수 있다.
일실시예에 따른 매칭 처리부(120)는 확인되는 각 포인트 별 인텐시티를 이용하여 3차원의 포인트 클라우드 중 체스 보드의 코너에 해당하는 포인트 부분을 찾을 수 있다.
이에, 포인트 클라우드 중 체스 보드의 코너에 해당하는 포인트 부분과 체스 보드의 실제 코너를 매칭함으로써, 각 카메라별 로테이션(rotation) 정보와 트랜스레이션(translation) 정보를 포함하는 파라미터를 얻을 수 있다.
포인트 클라우드는 깊이 카메라로 촬영된 2차원 영상으로서 포인트 클라우드의 포인트 부분과 패턴 모델에 대응되는 코너가 정확히 일치하지 않는다.
다만, 포인트 클라우드의 포인트 부분과 패턴 모델에 대응되는 코너가 근접한 위치에 존재할 가능성이 매우 높다.
일실시예에 따른 매칭 처리부(120)는 위와 같이 정밀도가 비교적 낮은 1차 매칭을 수행할 수 있다.
다음으로, 일실시예에 따른 매칭 처리부(120)는 보다 정밀한 정합을 위하여, 패턴 모델의 밝기 값과 획득 패턴의 밝기 값 간의 차이가 최소가 되는 방향으로, 파라미터를 추가 획득 및 조정할 수 있다.
예를 들어, 일실시예에 따른 매칭 처리부(120)는 스케일(scale) 정보, 로테이션(rotation) 정보, 및 트랜스레이션(translation) 정보를 추가로 획득하거나, 기획득한 정보들을 조정할 수 있다.
즉, 일실시예에 따른 매칭 처리부(120)는 1차 매칭된 포인트 클라우드의 포인트 부분과 패턴 모델에 대해서 클라우드 포인트의 인텐시티와 패턴 모델의 그래디언트를 고려하여 2차로 정밀 매칭할 수 있다.
일실시예에 따른 매칭 처리부(120)는 1차 및 2차 매칭까지 완료된 클라우드 포인트 및 패턴 모델에 대해서 추가 고정밀 정합을 수행할 수 있다.
이를 위해서, 일실시예에 따른 매칭 처리부(120)는 기존 1,2차를 통해 매칭된 상기 포인트 클라우드에 대한 포인트 지역 표면 유클리디언(point local surface Euclidean)을 계산하고, 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 파라미터를 추가 변경할 수 있다.
예를 들어, 일실시예에 따른 매칭 처리부(120)는 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 스케일 정보, 로테이션 정보, 및 트랜스레이션 정보 등의 파라미터를 추가 변경할 수 있다.
일실시예에 따른 파라미터 획득부(130)는 상기 매칭 결과에 따라 상기 적어도 하나 이상의 깊이 카메라 별 로테이션(rotation) 정보 및 트랜스레이션(translation) 정보 중에서 적어도 하나를 포함하는 파라미터를 획득할 수 있다.
또한, 일실시예에 따른 파라미터 획득부(130)는 2차 매칭 및 추가 고정밀 정합 등을 통해서, 스케일 정보, 로테이션 정보, 및 트랜스레이션 정보 등의 파라미터를 추가 변경할 수 있다.
도 2는 일실시예에 따른 패턴 모델과 깊이 카메라를 이용하여 패턴 모델을 촬영한 포인트 클라우드를 설명하는 도면이다.
캘리브레이션 정보(210)는 적어도 하나 이상의 패턴 모델(211)과 체스 보드(212)를 포함할 수 있다.
구체적으로, 캘리브레이션 정보(210)에는 그래디언트로 표현되는 적어도 하나 이상의 패턴 모델(211)을 포함할 수 있고, 체스 보드(212)로 인해서 생성되는 코너(213)를 포함할 수 있다.
본 명세서에서는 적어도 하나 이상의 패턴 모델(211)을 원(gradient circle)으로 해석할 수 있으나, 다양한 형태의 도형이나 무늬가 이용될 수도 있다.
포인트 클라우드(220)는 체스 보드(212) 및 체스 보드(212)에 포함된 패턴 모델(211)을 깊이 카메라로 촬영한 깊이 영상으로 해석될 수도 있다.
포인트 클라우드(220)는 깊이 카메라를 통해 측정된 깊이 값을 표현할 수 있는데, 복수의 포인트들 각각의 색 또는 명암의 인텐시티를 이용하여 깊이 값을 표현할 수 있다.
포인트 클라우드(220)의 중심 영역(221) 내에는 체스 보드(212)에서 표현되는 코너(213)가 존재한다.
다만, 깊이 카메라로 촬영된 포인트 클라우드(220)를 통해서는 낮은 해상도로 인해 코너(213)와 정확하게 일치하는 중심 영역(221) 내의 포인트를 확인하기 어렵다.
따라서, 1차 매칭에서는 포인트 클라우드(220) 내에서 코너(213)의 위치에 가장 근접한 포인트를 결정하고, 우선 결정된 포인트를 코너(213)의 위치로 임시 이동시키는 과정이 필요하다.
가장 근접한 포인트는 코너(213)가 아니지만, 임시 이동 시킴으로써 제2 매칭 시 포인트 클라우드(220)의 이동을 최소화시킬 수 있다.
2차 매칭에서는 임시로 이동시켜 놓았던 결정된 포인트 대신에, 포인트 클라우드(220) 내에서의 코너(213)의 위치와 실제 코너(213)에 대응되도록 포인트 클라우드(220)를 이동 시킬 수 있다.
이로써, 1차 및 2차 매칭을 통해서 포인트 클라우드(220)와 패턴 모델 간의 정밀한 매칭이 가능하다.
포인트 클라우드(220)의 중심 영역(221)에 대해서는 도 3을 통해서 상세히 설명한다.
도 3은 일실시예에 따른 대략적인 1차 매칭 및 1차 매칭에 비해 보다 정밀한 2차 매칭에 대해서 설명하는 도면이다.
먼저, 도면부호 310을 통해서 1차 매칭을 설명한다.
1차 매칭에서는 포인트 클라우드의 중심 영역(221)에서 코너(213)의 위치에 가장 근접한 포인트(311)를 결정할 수 있다.
또한, 코너(213)의 위치에 가장 근접한 포인트(311)를 체스 보드에 의해서 생성되는 코너(213)의 위치로 임시 이동시켜 1차 매칭을 수행할 수 있다.
다음으로, 도면부호 320을 통해서 2차 매칭을 설명한다.
2차 매칭에서는 임시로 이동시켜 놓았던 결정된 포인트(321) 대신에, 포인트 클라우드 내에서 추출되는 코너의 예상 위치가 실제 코너(213)에 대응되도록 포인트 클라우드를 이동 시킬 수 있다.
이때, 코너의 예상 위치는 저장되어 있는 패턴 모델을 통해서 확인할 수 있다.
이로써, 1차 및 2차 매칭을 통해서 포인트 클라우드와 패턴 모델 간의 정밀한 매칭이 가능하다.
도 4는 다시점 카메라 간의 정합을 설명하는 도면이다.
도 4에서 보는 바와 같이, 깊이 카메라(410, 420)는 3차원 공간상의 포인트 들을 획득할 수 있다. 이때, 깊이 카메라(410, 420)는 각 포인트에 대한 깊이 값을 획득하여 포인트 클라우드를 생성할 수 있다.
여러 대의 깊이 카메라를 정합하기 위해서는, 깊이 카메라의 특정 3차원 포인트가 다른 깊이 카메라의 어떤 포인트에 해당하는지를 결정해야만 한다.
이를 위해, 다시점 카메라간 정합 장치는 캘리브레이션 정보(430)을 이용하여, 포인트 클라우드 내에 코너에 가장 인접한 포인트를 코너의 위치로 이동시키는 1차 매칭을 수행할 수 있다.
또한, 캘리브레이션 정보(430) 내에 포함되는 패턴 모델의 그래디언트와 상기 포인트 클라우드를 구성하는 복수의 포인트들 각각의 인텐시티를 이용하여 상기 포인트 클라우드와 상기 패턴 모델을 정밀하게 정합하는 2차 매칭을 수행할 수 있다.
깊이 카메라 영상간 포인트 대 포인트 매칭을 수행 할 경우, 하나의 3차원 포인트가 다른 카메라에서 획득한 3차원 포인트 중에서 하나에 직접 매칭되는 방식으로 제한될 수 있다.
이러한 방식에서는 카메라 해상도가 낮을수록 매칭 결과가 나빠질 수 있다.
일실시예에 따른 다시점 카메라간 정합 장치를 이용하면, 카메라의 해상도에 관계없이 한 카메라의 특정 포인트가 다른 카메라의 특정 포인트뿐 아니라 포인트들간의 어느 위치에서나, 즉 서브 픽셀(sub-pixel)에도 매칭될 수 있다.
도 5는 일실시예에 따른 패턴 모델과 포인트 클라우드를 매칭하는 과정을 설명하는 도면이다.
도면부호 510, 520, 530의 순서와 같이 캘리브레이션 정보로부터 획득된 깊이 영상인 포인트 클라우드와 캘리브레이션 정보에 포함되는 패턴 모델을 오버랩할 수 있다.
일실시예에 따른 다시점 카메라간 정합 장치는 캘리브레이션 정보의 코너와 포인트 클라우드에 포함되는 복수의 포인트들 중에서 상기 코너에 가장 가까운 포인트를 결정하여 도면부호 530과 같이 1차 매칭할 수 있다.
즉, 일실시예에 따른 다시점 카메라간 정합 장치는 포인트 클라우드에 포함된 적어도 하나 이상의 포인트 중에서, 패턴 모델에 대응되는 코너에 대응되는 코너 포인트를 결정하고, 결정된 코너 포인트와 패턴 모델에 대응되는 코너를 1차 매칭시킬 수 있다.
이후, 일실시예에 따른 다시점 카메라간 정합 장치는 캘리브레이션 정보의 패턴 모델에 대한 그래디언트와 상기 포인트 클라우드의 인텐시티를 고려하여 보다 정밀한 2차 매칭을 할 수 있다.
즉, 일실시예에 따른 다시점 카메라간 정합 장치는 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 패턴 모델의 그래디언트를 이용하여, 포인트 클라우드와 상기 패턴 모델을 2차 매칭시킬 수 있다.
이때, 일실시예에 따른 다시점 카메라간 정합 장치의 매칭 처리부는, 포인트 클라우드를 이동시켜 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 패턴 모델의 그래디언트의 차이가 최소인 위치를 결정하여 포인트 클라우드와 패턴 모델을 2차 매칭시킬 수 있다.
일실시예에 따른 다시점 카메라간 정합 장치는 1차 매칭 결과에 따라 각 카메라별로 로테이션 정보와 트랜스레이션 정보를 포함하는 파라미터를 얻을 수 있다.
일실시예에 따른 다시점 카메라간 정합 장치는 2차 매칭 결과에 따라 보다 정밀한 정합을 위하여, 2차 매칭 결과 모델의 밝기 값과 획득 패턴의 밝기 값간 차이가 최소가 되는 방향으로, 스케일 정보, 로테이션 정보, 및 트랜스레이션 정보를 포함하는 파라미터를 추가 획득하여 조정할 수 있다.
일실시예에 따른 다시점 카메라간 정합 장치는 2차 매칭된 상기 포인트 클라우드에 대한 포인트 지역 표면 유클리디언(point local surface Euclidean)을 계산하고, 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 파라미터를 추가 변경할 수도 있다. 이로써, 일실시예에 따른 다시점 카메라간 정합 장치는 고정밀 매칭을 수행할 수도 있다.
결국, 일실시예에 따른 다시점 카메라간 정합 장치를 이용하면 기존 컬러 카메라를 위하여 개발된 카메라간 정합방식을 보완하여, 낮은 해상도에서도 서브픽셀의 정합이 가능하다.
도 6은 일실시예에 따른 다시점 카메라간 정합 장치(600)를 설명하는 블록도이다.
일실시예에 따른 다시점 카메라간 정합 장치(600)는 1차 매칭 처리부(610), 2차 매칭 처리부(620), 및 3차 매칭 처리부(630)를 포함할 수 있다.
여러 대의 깊이 카메라를 정합하기 위해서, 깊이 카메라의 특정 3차원 포인트가 다른 깊이 카메라의 어떤 포인트에 해당하는지를 결정해야만 한다.
일실시예에 따른 다시점 카메라간 정합 장치(600)는 1차 매칭 처리부(610)를 이용하여 적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드(point cloud)에 포함된 특정 코너 코인트와, 패턴 모델에 대응되는 코너를 1차 매칭시킬 수 있다.
즉, 1차 매칭 처리부(610)는 캘리브레이션 정보을 이용하여, 포인트 클라우드 내에 코너에 가장 인접한 포인트를 코너의 위치로 이동시키는 1차 매칭을 수행할 수 있다.
포인트 클라우드는 깊이 카메라를 통해 측정된 깊이 값을 표현할 수 있고, 포인트 클라우드에 포함되는 복수의 포인트들은 각각의 색 또는 명암의 인텐시티를 이용하여 패턴 모델의 깊이 값을 표현할 수 있다.
또한, 포인트 클라우드의 중심 영역 내에는 체스 보드에서 표현되는 코너가 존재한다. 이러한 코너는 체스 보드의 격자무늬에 의해서 생성되는 것이며, 패턴 모델의 중심에 위치하기 때문에 패턴 모델에 대응되는 것으로 해석할 수 있다.
저해상도의 깊이 카메라로 촬영된 포인트 클라우드를 통해서는 코너와 정확하게 일치하는 중심 영역 내의 포인트를 확인하기 어렵다.
따라서, 1차 매칭 처리부(610)는 포인트 클라우드 내에서 코너의 위치에 가장 근접한 포인트를 결정하고, 우선 결정된 포인트를 코너의 위치로 임시 이동시키는 과정이 필요하다.
다시 말해, 체스 보드 내의 실제 코너에 가장 근접한 포인트는 실제 코너와 동일한 위치가 아닐 확률이 높지만, 가장 근접한 포인트를 실제 코너에 임시 이동 시킴으로써 제2 매칭 시 포인트 클라우드의 이동을 최소화시킬 수 있다.
1차 매칭 처리부(610)는 포인트 클라우드 중 체스 보드의 코너에 해당하는 포인트 부분과 체스 보드의 실제 코너를 매칭함으로써, 각 카메라별 로테이션(rotation) 정보와 트랜스레이션(translation) 정보를 포함하는 파라미터를 얻을 수 있다.
포인트 클라우드는 깊이 카메라로 촬영된 2차원 영상으로서 포인트 클라우드의 포인트 부분과 패턴 모델에 대응되는 코너가 정확히 일치하지 않지만, 포인트 클라우드의 포인트 부분과 패턴 모델에 대응되는 코너가 근접한 위치에 존재할 가능성이 매우 높다.
일실시예에 따른 2차 매칭 처리부(620)는 상기 1차 매칭된 결과에서 상기 포인트 클라우드에 대한 깊이 값 인텐시티와 상기 패턴 모델의 그래디언트를 고려하여 2차 매칭을 수행할 수 있다.
일실시예에 따른 2차 매칭 처리부(620)는 포인트 클라우드를 이동시켜, 포인트 클라우드에 포함되는 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 패턴 모델의 그래디언트의 차이가 최소인 위치를 결정하여 상기 포인트 클라우드와 상기 패턴 모델을 2차 매칭시킬 수 있다.
일실시예에 따른 2차 매칭 처리부(620)는 캘리브레이션 정보의 패턴 모델에 대한 그래디언트와 상기 포인트 클라우드의 인텐시티를 고려하여 보다 정밀한 2차 매칭을 할 수 있다.
즉, 일실시예에 따른 2차 매칭 처리부(620)는 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 패턴 모델의 그래디언트를 이용하여, 포인트 클라우드와 상기 패턴 모델을 2차 매칭시킬 수 있다.
이때, 일실시예에 따른 2차 매칭 처리부(620)는 포인트 클라우드를 이동시켜 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 패턴 모델의 그래디언트의 차이가 최소인 위치를 결정하여 포인트 클라우드와 패턴 모델을 2차 매칭시킬 수 있다.
일실시예에 따른 2차 매칭 처리부(620)는 보다 정밀한 정합을 위하여, 패턴 모델의 밝기 값과 획득 패턴의 밝기 값 간의 차이가 최소가 되는 방향으로, 파라미터를 추가 획득 및 조정할 수 있다.
깊이 카메라 영상간 포인트 대 포인트 매칭을 수행 할 경우, 하나의 3차원 포인트가 다른 카메라에서 획득한 3차원 포인트 중에서 하나에 직접 매칭되는 방식으로 제한될 수 있다.
이러한 방식에서는 카메라 해상도가 낮을수록 매칭 결과가 나빠질 수 있다.
일실시예에 따른 2차 매칭 처리부(620)를 이용하면, 카메라의 해상도에 관계없이 한 카메라의 특정 포인트가 다른 카메라의 특정 포인트뿐 아니라 포인트들간의 어느 위치에서나, 즉 서브 픽셀(sub-pixel)에도 매칭될 수 있다.
일실시예에 따른 2차 매칭 처리부(620)는 2차 매칭을 통해서 스케일(scale) 정보, 로테이션(rotation) 정보, 및 트랜스레이션(translation) 정보를 추가로 획득하거나, 기획득한 정보들을 조정할 수 있다.
일실시예에 따른 3차 매칭 처리부(630)는 상기 2차 매칭된 상기 포인트 클라우드에 대한 포인트 지역 표면 유클리디언(point local surface Euclidean)을 계산하고, 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 파라미터를 추가 변경할 수 있다.
일실시예에 따른 3차 매칭 처리부(630)는 1차 및 2차 매칭까지 완료된 클라우드 포인트 및 패턴 모델에 대해서 추가 고정밀 정합을 수행할 수 있다.
다시 말해, 일실시예에 따른 3차 매칭 처리부(630)는 2차 매칭 결과에 따라 보다 정밀한 정합을 위하여, 2차 매칭 결과 모델의 밝기 값과 획득 패턴의 밝기 값간 차이가 최소가 되는 방향으로, 스케일 정보, 로테이션 정보, 및 트랜스레이션 정보를 포함하는 파라미터를 추가 획득하여 조정할 수 있다.
일실시예에 따른 3차 매칭 처리부(630)는 기존 1,2차를 통해 매칭된 상기 포인트 클라우드에 대한 포인트 지역 표면 유클리디언(point local surface Euclidean)을 계산하고, 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 파라미터를 추가 변경할 수 있다.
예를 들어, 일실시예에 따른 3차 매칭 처리부(630)는 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 스케일 정보, 로테이션 정보, 및 트랜스레이션 정보 등의 파라미터를 추가 변경할 수 있다.
일실시예에 따른 3차 매칭 처리부(630)는 상기 매칭 결과에 따라 상기 적어도 하나 이상의 깊이 카메라 별 로테이션(rotation) 정보 및 트랜스레이션(translation) 정보 중에서 적어도 하나를 포함하는 파라미터를 획득할 수 있다.
일실시예에 따른 3차 매칭 처리부(630)는 2차 매칭 및 추가 고정밀 정합 등을 통해서, 스케일 정보, 로테이션 정보, 및 트랜스레이션 정보 등의 파라미터를 추가 변경할 수 있다.
도 7은 일실시예에 따른 다시점 카메라간 정합 방법을 설명하는 흐름도이다.
일실시예에 따른 다시점 카메라간 정합 방법은 패턴 모델(pattern model)을 저장할 수 있다.
즉, 일실시예에 따른 다시점 카메라간 정합 방법은 코너 및 그래디언트로 표현되는 패턴 모델을 저장할 수 있다.
일실시예에 따른 다시점 카메라간 정합 방법은 적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드(point cloud)와 상기 저장된 패턴 모델을 매칭시킬 수 있다.
이를 위해, 일실시예에 따른 다시점 카메라간 정합 방법은 획득한 포인트 클라우드(point cloud)와 저장된 패턴 모델에 대해 1차 매칭, 2차 매칭, 및 3차 매칭을 수행할 수 있다.
구체적으로, 일실시예에 따른 다시점 카메라간 정합 방법은 포인트 클라우드에 포함된 적어도 하나 이상의 포인트 중에서, 패턴 모델에 대응되는 코너에 대응되는 코너 포인트를 결정하고, 상기 결정된 코너 포인트와 상기 패턴 모델에 대응되는 코너를 1차 매칭시킬 수 있다.
일실시예에 따른 다시점 카메라간 정합 방법은 상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 상기 패턴 모델의 그래디언트를 이용하여, 상기 포인트 클라우드와 상기 패턴 모델을 2차 매칭시킬 수 있다.
즉, 일실시예에 따른 다시점 카메라간 정합 방법은 상기 포인트 클라우드를 이동시켜, 상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 상기 패턴 모델의 그래디언트의 차이가 최소인 위치를 결정하여 포인트 클라우드와 패턴 모델을 2차 매칭시킬 수 있다.
일실시예에 따른 다시점 카메라간 정합 방법은 2차 매칭된 포인트 클라우드에 대한 포인트 지역 표면 유클리디언(point local surface Euclidean)을 계산하고, 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 파라미터를 추가 변경함으로써, 포인트 클라우드와 패턴 모델을 3차 매칭시킬 수 있다.
일실시예에 따른 다시점 카메라간 정합 방법은 1, 2, 3차의 매칭 결과에 따라 적어도 하나 이상의 깊이 카메라 별 파라미터를 획득할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 다시점 카메라간 정합 장치
110: 패턴 모델 저장부
120: 매칭 처리부
130: 파라미터 획득부

Claims (19)

  1. 패턴 모델(pattern model)을 저장하는 패턴 모델 저장부;
    적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드(point cloud)와 상기 저장된 패턴 모델을 매칭시키는 매칭 처리부; 및
    상기 매칭 결과에 따라 상기 적어도 하나 이상의 깊이 카메라 별 파라미터를 획득하는 파라미터 획득부
    를 포함하는 다시점 카메라간 정합 장치.
  2. 제1항에 있어서,
    상기 패턴 모델 저장부는,
    코너 및 그래디언트로 표현되는 패턴 모델을 저장하는 다시점 카메라간 정합 장치.
  3. 제2항에 있어서,
    상기 패턴 모델 저장부는,
    체스 보드로써 구분되는 상기 코너와 적어도 하나 이상의 그래디언트 서클(gradation circle)을 상기 오브젝트로서 포함하는 패턴 모델을 저장하는 다시점 카메라간 정합 장치.
  4. 제1항에 있어서,
    적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드는 적어도 하나 이상의 포인트 및 상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)를 포함하는 다시점 카메라간 정합 장치.
  5. 제4항에 있어서,
    상기 매칭 처리부는,
    상기 포인트 클라우드에 포함된 적어도 하나 이상의 포인트 중에서, 상기 패턴 모델에 대응되는 코너에 대응되는 코너 포인트를 결정하고, 상기 결정된 코너 포인트와 상기 패턴 모델에 대응되는 코너를 1차 매칭시키는 다시점 카메라간 정합 장치.
  6. 제5항에 있어서,
    상기 매칭 처리부는,
    상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 상기 패턴 모델의 그래디언트를 이용하여, 상기 포인트 클라우드와 상기 패턴 모델을 2차 매칭시키는 다시점 카메라간 정합 장치.
  7. 제6항에 있어서,
    상기 매칭 처리부는,
    상기 포인트 클라우드를 이동시켜, 상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 상기 패턴 모델의 그래디언트의 차이가 최소인 위치를 결정하여 상기 포인트 클라우드와 상기 패턴 모델을 2차 매칭시키는 다시점 카메라간 정합 장치.
  8. 제6항에 있어서,
    상기 매칭 처리부는,
    상기 2차 매칭된 상기 포인트 클라우드에 대한 포인트 지역 표면 유클리디언(point local surface Euclidean)을 계산하고, 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 파라미터를 추가 변경하는 다시점 카메라간 정합 장치.
  9. 제1항에 있어서,
    상기 파라미터 획득부는,
    상기 매칭 결과에 따라 상기 적어도 하나 이상의 깊이 카메라 별 로테이션(rotation) 정보 및 트랜스레이션(translation) 정보 중에서 적어도 하나를 포함하는 파라미터를 획득하는 다시점 카메라간 정합 장치.
  10. 적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드(point cloud)에 포함된 특정 코너 코인트와, 패턴 모델에 대응되는 코너를 1차 매칭하는 1차 매칭 처리부; 및
    상기 1차 매칭된 결과에서 상기 포인트 클라우드에 대한 깊이 값 인텐시티와 상기 패턴 모델의 그래디언트를 고려하여 2차 매칭하는 2차 매칭 처리부
    를 포함하는 다시점 카메라간 정합 장치.
  11. 제10항에 있어서,
    상기 2차 매칭된 상기 포인트 클라우드에 대한 포인트 지역 표면 유클리디언(point local surface Euclidean)을 계산하고, 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 파라미터를 추가 변경하는 3차 매칭 처리부
    를 더 포함하는 다시점 카메라간 정합 장치.
  12. 제10항에 있어서,
    상기 2차 매칭 처리부는,
    상기 포인트 클라우드를 이동시켜, 상기 포인트 클라우드에 포함되는 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 상기 패턴 모델의 그래디언트의 차이가 최소인 위치를 결정하여 상기 포인트 클라우드와 상기 패턴 모델을 2차 매칭시키는 다시점 카메라간 정합 장치.
  13. 패턴 모델(pattern model)을 저장하는 단계;
    적어도 하나 이상의 깊이 카메라를 통해 획득한 포인트 클라우드(point cloud)와 상기 저장된 패턴 모델을 매칭시키는 단계; 및
    상기 매칭 결과에 따라 상기 적어도 하나 이상의 깊이 카메라 별 파라미터를 획득하는 단계
    를 포함하는 다시점 카메라간 정합 방법.
  14. 제13항에 있어서,
    상기 패턴 모델(pattern model)을 저장하는 단계는,
    코너 및 그래디언트로 표현되는 패턴 모델을 저장하는 단계
    를 포함하는 다시점 카메라간 정합 방법.
  15. 제13항에 있어서,
    상기 패턴 모델을 매칭시키는 단계는,
    포인트 클라우드에 포함된 적어도 하나 이상의 포인트 중에서, 상기 패턴 모델에 대응되는 코너에 대응되는 코너 포인트를 결정하고, 상기 결정된 코너 포인트와 상기 패턴 모델에 대응되는 코너를 1차 매칭시키는 단계
    를 포함하는 다시점 카메라간 정합 방법.
  16. 제15항에 있어서,
    상기 패턴 모델을 매칭시키는 단계는,
    상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 상기 패턴 모델의 그래디언트를 이용하여, 상기 포인트 클라우드와 상기 패턴 모델을 2차 매칭시키는 단계
    를 포함하는 다시점 카메라간 정합 방법.
  17. 제16항에 있어서,
    상기 패턴 모델을 2차 매칭시키는 단계는,
    상기 포인트 클라우드를 이동시켜, 상기 적어도 하나 이상의 포인트에 대한 깊이 값 인텐시티(intensity)와 상기 패턴 모델의 그래디언트의 차이가 최소인 위치를 결정하여 상기 포인트 클라우드와 상기 패턴 모델을 2차 매칭시키는 단계
    를 포함하는 다시점 카메라간 정합 방법.
  18. 제16항에 있어서,
    상기 패턴 모델을 매칭시키는 단계는,
    상기 2차 매칭된 상기 포인트 클라우드에 대한 포인트 지역 표면 유클리디언(point local surface Euclidean)을 계산하는 단계; 및
    상기 계산된 포인트 지역 표면 유클리디언을 최소화하는 방향으로 파라미터를 추가 변경하는 단계
    를 포함하는 다시점 카메라간 정합 방법.
  19. 제13항 내지 제18항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020120093438A 2012-08-27 2012-08-27 다시점 카메라간 정합 장치 및 방법 KR101893788B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120093438A KR101893788B1 (ko) 2012-08-27 2012-08-27 다시점 카메라간 정합 장치 및 방법
US13/915,069 US9349073B2 (en) 2012-08-27 2013-06-11 Apparatus and method for image matching between multiview cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120093438A KR101893788B1 (ko) 2012-08-27 2012-08-27 다시점 카메라간 정합 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140027653A true KR20140027653A (ko) 2014-03-07
KR101893788B1 KR101893788B1 (ko) 2018-08-31

Family

ID=50148033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120093438A KR101893788B1 (ko) 2012-08-27 2012-08-27 다시점 카메라간 정합 장치 및 방법

Country Status (2)

Country Link
US (1) US9349073B2 (ko)
KR (1) KR101893788B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150125243A (ko) 2014-04-30 2015-11-09 주식회사 이에스엠연구소 다시점 카메라가 획득한 영상을 정합하는 방법 및 다시점 카메라 제어 시스템
KR20160081775A (ko) * 2014-12-31 2016-07-08 삼성전자주식회사 3차원 이미지 생성 방법 및 장치
US10721462B2 (en) 2017-10-27 2020-07-21 Samsung Electronics Co., Ltd. Method and apparatus for calibrating parameter of three-dimensional (3D) display apparatus

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2615838B1 (en) * 2012-01-12 2019-08-21 SeeFront GmbH Calibration of an autostereoscopic display system
CN106485737A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于线特征的点云数据与光学影像的自动配准融合方法
CN106485690A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于点特征的点云数据与光学影像的自动配准融合方法
US11082566B2 (en) * 2017-06-20 2021-08-03 Omnivision Technologies, Inc. Multiple camera calibration chart
CN109961463B (zh) * 2017-12-14 2021-12-31 北京京东尚科信息技术有限公司 基于对偶四元数的视图配准方法、系统、设备和存储介质
KR102645539B1 (ko) 2019-01-18 2024-03-11 삼성전자주식회사 구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법
CN109990707B (zh) * 2019-04-02 2021-04-02 天津工业大学 一种基于角点约束的裁片眼刀检测方法
CN111814691B (zh) * 2020-07-10 2022-01-21 广东电网有限责任公司 一种输电杆塔图像的空间扩展显示方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157373A1 (en) * 2009-12-24 2011-06-30 Cognex Corporation System and method for runtime determination of camera miscalibration
US20120194644A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Mobile Camera Localization Using Depth Maps

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776649B1 (ko) 2004-12-06 2007-11-19 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
KR100953076B1 (ko) 2007-12-13 2010-04-13 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
KR101223206B1 (ko) 2010-11-18 2013-01-17 광주과학기술원 3차원 영상 생성 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157373A1 (en) * 2009-12-24 2011-06-30 Cognex Corporation System and method for runtime determination of camera miscalibration
US20120194644A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Mobile Camera Localization Using Depth Maps

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150125243A (ko) 2014-04-30 2015-11-09 주식회사 이에스엠연구소 다시점 카메라가 획득한 영상을 정합하는 방법 및 다시점 카메라 제어 시스템
KR20160081775A (ko) * 2014-12-31 2016-07-08 삼성전자주식회사 3차원 이미지 생성 방법 및 장치
US10721462B2 (en) 2017-10-27 2020-07-21 Samsung Electronics Co., Ltd. Method and apparatus for calibrating parameter of three-dimensional (3D) display apparatus
US11284059B2 (en) 2017-10-27 2022-03-22 Samsung Electronics Co., Ltd. Method and apparatus for calibrating parameter of three-dimensional (3D) display apparatus

Also Published As

Publication number Publication date
US20140056508A1 (en) 2014-02-27
KR101893788B1 (ko) 2018-08-31
US9349073B2 (en) 2016-05-24

Similar Documents

Publication Publication Date Title
KR101893788B1 (ko) 다시점 카메라간 정합 장치 및 방법
US11954813B2 (en) Three-dimensional scene constructing method, apparatus and system, and storage medium
KR20150050450A (ko) 장면의 깊이 맵을 생성하기 위한 방법 및 장치
KR101896339B1 (ko) 다수의 프로젝터들을 사용하는 광필드 디스플레이의 보정 방법 및 장치
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
KR102387891B1 (ko) 화상 처리장치, 화상 처리장치의 제어방법, 및 컴퓨터 판독가능한 기억매체
US8599199B2 (en) Stereoscopic image generation method of background terrain scenes, system using the same, and recording medium for the same
US20180197307A1 (en) Information processing apparatus and method of controlling the same
US11017587B2 (en) Image generation method and image generation device
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
CN109644280B (zh) 生成场景的分层深度数据的方法
TW201528207A (zh) 影像處理方法、電子裝置以及非暫態電腦可讀取媒體
TWI536316B (zh) 用於產生三維景象之裝置及由電腦執行之產生三維景象之方法
KR20150046810A (ko) 영상 처리 방법 및 장치
JP2016032298A (ja) 映像レンダリング装置及び方法
KR20100065037A (ko) 깊이정보 추출 장치 및 추출 방법.
KR101906936B1 (ko) 라이트 필드 홀로그램 생성 장치 및 방법
KR102091860B1 (ko) 영상 부호화 방법 및 장치
US8786681B1 (en) Stereoscopic conversion
KR101626057B1 (ko) 3뷰 영상의 디스패리티 추정 방법 및 장치
US9118902B1 (en) Stereoscopic conversion
Xie et al. Depth-tunable three-dimensional display with interactive light field control
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置
Lai et al. Exploring manipulation behavior on video see-through head-mounted display with view interpolation
KR102264962B1 (ko) 레이아웃 정보를 이용한 깊이 영상 후처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant