KR20210050365A - 영상 정합 장치 및 방법 - Google Patents

영상 정합 장치 및 방법 Download PDF

Info

Publication number
KR20210050365A
KR20210050365A KR1020190134872A KR20190134872A KR20210050365A KR 20210050365 A KR20210050365 A KR 20210050365A KR 1020190134872 A KR1020190134872 A KR 1020190134872A KR 20190134872 A KR20190134872 A KR 20190134872A KR 20210050365 A KR20210050365 A KR 20210050365A
Authority
KR
South Korea
Prior art keywords
image
virtual
interest
images
space
Prior art date
Application number
KR1020190134872A
Other languages
English (en)
Inventor
유연걸
신승호
조익환
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190134872A priority Critical patent/KR20210050365A/ko
Publication of KR20210050365A publication Critical patent/KR20210050365A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 실시예에 따른 영상 정합 방법은, 라이다에 의해 획득된 관심 공간의 포인트 클라우드를 이용하여 상기 관심 공간에 대한 3D 메쉬(3D Mesh)를 생성하는 단계; 카메라의 내부 파라미터(Intrinsic Parameter)를 이용하여 상기 생성된 3D 메쉬로부터 복수의 관심 위치 각각에서의 복수의 가상 영상을 생성하는 단계; 및 상기 카메라에 의해 획득된 상기 관심 공간에 대한 복수의 촬영 영상과 상기 복수의 가상 영상을 정합(Registration)하는 단계를 포함한다.

Description

영상 정합 장치 및 방법{APPARATUS AND METHOD FOR REGISTERING IMAGES}
본 발명은 관심 공간의 3D 모델링을 위해 카메라에 의한 촬영 영상과 라이다에 의한 가상 영상을 정합하는 영상 정합 장치 및 방법에 관한 것이다.
근래에 들어, 가상 현실 혹은 증강 현실과 같이 가상의 정보를 이용하여 구현된 다양한 컨텐츠가 제안되고 있다. 가상 현실(Virtual Reality, VR)은 컴퓨터 등을 사용하여 인공적인 기술로 만들어 낸 가상 공간으로서, 실제와 유사하지만 실제가 아닌 특징이 있다. 증강 현실(Augmented Reality, AR)은 가상 현실의 한 분야로서, 사용자가 보는 현실의 객체에 가상의 정보를 합성하여, 가상의 정보를 현실의 일부로서 인식하도록 할 수 있는 기법을 가리킨다.
이와 같은 가상 현실 혹은 증강 현실이 적용된 가상 공간(Virtual Space)을 구현하기 위해서는 컴퓨터 그래픽스 분야의 3D 모델링(3D Modeling)이 이용될 수 있다. 3D 모델링은 가상의 3차원 공간 속에 재현될 수 있는 수학적 모델을 만드는 과정을 의미한다.
만약, 실제 존재하는 공간을 가상 공간으로 재현하고자 하는 경우, 3D 모델링 시 해당 공간에 대한 정보를 이용할 수 있다. 예를 들어, 라이다에 의해 공간에 대한 포인트 클라우드를 획득하고, 이를 기초로 생성된 가상 영상과 카메라에 의해 획득된 촬영 영상을 함께 이용하면, 실제 공간과 유사한 가상의 3차원 공간을 생성할 수 있다.
이 때, 실제의 공간에 유사한 모델링 결과를 얻기 위해서는, 카메라에 의한 촬영 영상과 라이다에 의한 가상 영상 간의 정확한 정합이 선행될 필요가 있다.
한국공개특허공보, 제 10-2015-0129260호 (2015.11.19. 공개)
본 발명이 해결하고자 하는 과제는, 카메라의 내부 파라미터(Intrinsic Parameter)를 이용하여 복수의 관심 위치 각각에 대하여 생성된 복수의 가상 영상을 복수의 촬영 영상과 정합하는 영상 정합 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 영상 정합 장치에서 수행되는 영상 정합 방법은, 라이다에 의해 획득된 관심 공간의 포인트 클라우드를 이용하여 상기 관심 공간에 대한 3D 메쉬(3D Mesh)를 생성하는 단계; 카메라의 내부 파라미터(Intrinsic Parameter)를 이용하여 상기 생성된 3D 메쉬로부터 복수의 관심 위치 각각에서의 복수의 가상 영상을 생성하는 단계; 및 상기 카메라에 의해 획득된 상기 관심 공간에 대한 복수의 촬영 영상과 상기 복수의 가상 영상을 정합(Registration)하는 단계를 포함한다.
일 실시예에 따른 영상 정합 장치는, 라이다에 의해 획득된 관심 공간의 포인트 클라우드를 이용하여 상기 관심 공간에 대한 3D 메쉬(3D Mesh)를 생성하고, 카메라의 내부 파라미터(Intrinsic Parameter)를 이용하여 상기 생성된 3D 메쉬로부터 복수의 관심 위치 각각에서의 복수의 가상 영상을 생성하는 가상 영상 생성부; 및
상기 카메라에 의해 획득된 상기 공간에 대한 복수의 촬영 영상과 상기 복수의 가상 영상을 정합(Registration)하는 정합부를 포함한다.
일 실시예에 따른 영상 정합 장치 및 방법은, 사용자의 입력 등에 기초하여 복수의 초점 f를 결정함으로써 보다 다양한 위치에서의 복수의 가상 영상을 획득할 수 있다. 이를 통해, 라이다와 카메라 간의 정합 정확도를 높일 수 있다.
또한, 다른 실시예에 따른 영상 정합 장치 및 방법은 카메라의 내부 파라미터를 기초로 생성된 가상 영상을 카메라에 의해 획득된 촬영 영상과 정합하므로, 영상 정합의 정확도를 높일 수 있다. 또한, 특정 위치에서 복수의 방향에 대한 가상 영상을 생성하고, 생성된 가상 영상과 촬영 영상의 정합 결과를 3D 모델링의 수행 시 제공하므로, 최종 생성되는 3D 모델의 실감도가 높아질 수 있다.
도 1 은 본 발명의 일 실시예에 따른 3D 모델링 장치의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 정합 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 촬영 영상을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 포인트 클라우드가 위치하는 3차원 관심 공간을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 정합 장치에서 대상체를 가상 영상에 표시하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 정합 장치에서 가상 영상을 생성할 방향을 결정하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 정합 장치에서 포인트 클라우드가 위치하는 3차원 관심 공간 상에 생성된 LSP를 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 정합 장치가 생성한 복수의 가상 영상을 예시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 복수의 초점 각각에 대한 복수의 가상 영상 생성 방법의 흐름도이다.
도 10은 본 발명의 다른 실시예에 따른 영상 정합 장치에서 포인트 클라우드가 위치하는 3차원 관심 공간 상에 생성된 복수의 LSP를 예시한 도면이다.
도 11은 본 발명의 다른 실시예에 따른 영상 정합 장치가 생성한 복수의 가상 영상을 예시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 정합부에서 촬영 영상과 가상 영상을 정합하는 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 영상 처리부가 생성한 3D 메쉬를 예시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 영상 처리부가 생성한 3D 모델을 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 3D 모델링 장치의 기능 블록도이다.
본 발명의 일 실시예에 따른 3D 모델링 장치(100)는 관심을 가상의 3차원 공간으로 재현하기 위해 3D 모델링을 수행함으로써, 관심 공간에 대한 3D 모델을 획득할 수 있다. 이렇게 획득된 3D 모델은 가상 현실(Virtual Reality) 또는 증강 현실(Augmented Reality, AR) 컨텐츠 제공 시 이용될 수 있다.
이 때, 실제 공간과 3D 모델 간의 유사도가 높을수록 사용자의 몰입도가 높아질 수 있다. 따라서, 3D 모델링 시에는 실제 공간에 대한 정확한 정보를 이용할 필요가 있다.
공간의 3D 모델링 방법으로서 카메라(120)에 의해 획득된 영상을 이용하는 방법이 있다. 구체적으로, 카메라(120)에 의해 공간에 대한 복수의 영상을 획득하고, 획득된 복수의 영상의 특징점을 추출하여 3D 모델링을 수행할 수 있다. 카메라(120)에 의해 획득된 영상을 이용하는 방법은 공간의 재질과 색감을 상세히 재현해 낼 수 있다. 반면, 카메라(120)에 의해 획득된 영상은 특징점을 기반으로 3D 모델링을 수행하는 바, 단일 색상 영역에 대한 모델링 시 성능이 저하될 수 있다.
공간의 3D 모델링을 위한 다른 방법 중 하나는 라이다(112)(LiDAR)에 의해 획득된 포인트 클라우드를 이용하는 것이다. 구체적으로, 라이다(112)에 의해 공간에 대한 포인트 클라우드를 획득하고, 이에 기초하여 3D 모델링을 수행할 수 있다. 이 경우, 공간의 전체적인 형태를 구현하는데 우수한 성능을 나타낼 수 있다. 그러나, 깊이 정보에 기초한 포인트 클라우드의 특성 상, 공간의 재질이나 색감을 재현하는데 부적합할 수 있다. 또한, 공간을 3D 모델링 할 때에는 동적 물체를 제거할 필요가 있으나, 라이다(112)에 의한 포인트 클라우드는 동적 물체에 대한 정보를 포함하여 문제될 수 있다.
카메라(120) 및 라이다(112) 각각이 가진 문제점을 해결하기 위해, 카메라(120)에 의해 획득된 카메라 영상과 라이다(112)에 의해 획득된 포인트 클라우드를 함께 이용하여 공간을 3D 모델링 할 수도 있다. 이 방법은 재질뿐만 아니라 형태를 구현할 때에도 우수한 성능을 보일 수 있다.
카메라(120) 영상과 포인트 클라우드를 함께 이용하는 방법 중 하나로, 사용자가 카메라(120) 영상의 특징점에 포인트 클라우드를 직접 대응시키는 것이 있다. 이 경우, 두 영상의 정합은 사용자가 육안으로 판단한 대응점에 기초하므로, 일정 수준 이상의 정확도를 담보하지 못할 수 있다.
이를 개선하기 위해, 컬러 정보를 포함하는 포인트 클라우드를 기초로 가상 영상을 생성한 후, 가상 영상을 카메라(120) 영상과 정합함으로써 3D 모델링을 수행할 수 있다. 이 때, 가상 영상은 미리 정해진 가상의 촬영 조건에 따라 일률적으로 생성될 수 있다.
카메라(120) 영상은 카메라(120) 내부 파라미터에 의해 결정되는 조건에 따라 획득되는 바, 카메라(120) 영상과 가상 영상 간 촬영 조건의 차이로 특징점 매칭에 기초한 정합이 실패할 수 있다. 정합의 정확도는 최종적으로 생성되는 3D 모델의 품질에 직접적으로 연관되는 바, 카메라(120) 영상과 정합이 성공적으로 이루어질 수 있는 촬영 조건에 따라 가상 영상을 생성할 필요가 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3D 모델링 장치(100)는 카메라(120) 내부 파라미터를 기초로 포인트 클라우드로부터 가상 영상을 생성할 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 3D 모델링 장치(100)는 관심 공간에 대한 컬러 정보를 포함하는 포인트 클라우드를 획득하는 3D 스캐너(110); 관심 공간에 대한 촬영 영상을 획득하는 카메라(120); 포인트 클라우드 기반 가상 영상과 카메라(120)에 의해 획득된 촬영 영상을 정합하는 영상 정합 장치(130); 및 정합 결과를 이용하여 관심 공간에 대한 3D 모델을 생성하는 영상 처리부(140)를 포함할 수 있다. 여기서 관심 공간이란 3D모델을 획득하고자 하는 실제 공간을 의미할 수 있다.
3D 스캐너(110)는 관심 공간에 대한 포인트 클라우드를 획득할 수 있다. 이를 위해, 3D 스캐너(110)는 관심 공간에 레이저를 조사하고, 반사되는 레이저를 수신함으로써 포인트 클라우드를 획득할 수 있다.
이를 위해, 3D 스캐너(110)는 펄스 레이저를 조사하고, 반사되는 레이저를 수신하는 라이다(112)를 포함할 수 있다. 구체적으로, 라이다(112)는 관심 공간에 펄스 레이저를 조사하고, 조사된 펄스 레이저가 반사되어 돌아오기까지 소요되는 시간 및 강도를 측정할 수 있다. 이렇게 측정된 결과에는 관심 공간에 대한 거리, 방향, 속도, 온도, 물질 분포, 농도 특성 등의 정보가 포함될 수 있다. 라이다(112)는 최종적으로 측정 결과를 포인트 클라우드에 저장할 수 있다. 여기서, 포인트 클라우드란 좌표계 상에서의 데이터의 집합을 의미하므로, 라이다(112)가 획득하는 포인트 클라우드는 3차원 좌표계에 대한 관심 공간의 정보를 포함할 수 있다.
라이다(112)는 관심 공간의 전 영역에 대한 포인트 클라우드를 획득하기 위해, 관심 공간 전 영역에 대하여 레이저를 조사하도록 마련될 수 있다. 레이저는 직진성을 가지므로, 일 실시예에 따른 라이다(112)는 전 방향으로 레이저 조사가 가능하도록 패닝(Panning) 및/또는 틸팅(Tilting) 가능하게 마련될 수 있다. 이와는 달리, 서로 다른 방향을 향하는 복수의 라이다(112) 각각은 관심 공간의 서로 다른 위치로 레이저를 조사함으로써 관심 공간에 대한 포인트 클라우드를 획득할 수도 있다.
일 실시예에 따른 라이다(112)는 특정 위치에 고정 설치되어 관심 공간에 대한 포인트 클라우드를 획득할 수 있다. 이와는 달리, 다른 실시예에 따른 라이다(112)는 사용자에 의해 휴대되거나, 자체 동력원으로부터 동력을 제공받음으로써 이동 가능하도록 마련될 수 있다. 그 결과, 다른 실시예에 따른 라이다(112)는 복수의 위치에서 관심 공간에 대한 포인트 클라우드를 획득할 수 있다. 나아가, 이와 같은 라이다(112)가 복수인 경우, 라이다(112)의 일부는 특정 위치에 고정 설치되고, 나머지는 이동 가능하도록 마련될 수도 있다.
또한, 포인트 클라우드에 컬러 정보를 부가하기 위해, 3D 스캐너(110)는 스캔 카메라(111)를 더 포함할 수 있다. 스캔 카메라(111)는 스캔 영상을 획득하여 라이다(112)에 제공할 수 있고, 라이다(112)는 획득된 포인트 클라우드 상에 제공받은 스캔 영상을 매칭함으로써 포인트 클라우드에 컬러 정보를 부가할 수 있다.
카메라(120)는 관심 공간에 대한 복수의 촬영 영상 Ir을 획득할 수 있다. 카메라(120)는 화각에 따른 제약이 존재하므로, 하나의 촬영 영상 Ir은 관심 공간 전체의 정보를 포함하기 어려울 수 있다. 따라서, 하나의 단일 카메라(120)는 위치를 달리하여 관심 공간을 복수 회 촬영함으로써 복수의 촬영 영상 Ir을 획득할 수 있다. 이와는 달리, 서로 다른 방향을 향하는 복수의 카메라(120) 각각은 관심 공간의 서로 다른 위치를 촬영함으로써 복수의 촬영 영상 Ir을 획득할 수도 있다.
카메라(120)는 고유의 내부 특성을 나타내는 내부 파라미터(Intrinsic Parameter)에 따라 3차원의 관심 공간을 2차원의 촬영 영상 Ir으로 변환하여 생성할 수 있다. 여기서, 내부 파라미터는 카메라(120)의 초점 거리(Focal Length), 이미지 센서 포맷(Image Sensor Format), 스큐(Skew), 주점(Principal Point), 렌즈 왜곡 파라미터(Lens Distortion Parameter), 해상도(Resolution) 등을 포함할 수 있다.
영상 정합 장치(130)는 컬러 정보를 포함하는 포인트 클라우드 기반의 가상 영상과 촬영 영상 Ir을 정합할 수 있다. 도 1을 참조하면, 영상 정합 장치(130)는 컬러 정보를 포함하는 포인트 클라우드로부터 가상 영상을 생성하는 가상 영상 생성부(131); 및 생성된 가상 영상 및 카메라(120)에 의해 획득된 촬영 영상 Ir을 정합하는 정합부(132)를 포함할 수 있다.
이하에서는 도 2를 참조하여, 영상 정합 장치(130)에 의해 수행되는 영상 정합 방법을 설명한다.
도 2는 본 발명의 일 실시예에 따른 영상 정합 방법의 흐름도이다.
먼저, 영상 정합 장치(130)는 카메라(120)에 의해 관심 공간에 대한 복수의 촬영 영상 Ir을 획득할 수 있다(S100). 도 3을 통해 카메라(120)에 의해 획득되는 촬영 영상 Ir을 설명한다.
도 3은 본 발명의 일 실시예에 따른 촬영 영상을 예시한 도면이다.
상술한 바와 같이, 하나의 단일 카메라(120)는 서로 다른 위치에서 복수의 촬영 영상 Ir을 획득할 수 있고, 이와는 달리 서로 다른 방향을 향하는 복수의 카메라(120) 각각은 서로 다른 위치에 대한 복수의 촬영 영상 Ir을 획득할 수도 있다.
이렇게 획득된 복수의 촬영 영상 Ir 각각은 적어도 하나의 다른 촬영 영상 Ir과 적어도 일부가 중첩될 수 있다. 도 3에서는 관심 공간의 동일한 영역을 포함하는 서로 다른 복수의 촬영 영상 Ir이 예시된다.
이를 기초로 복수의 촬영 영상 Ir을 상호 매칭하면, 관심 공간 전체에 대한 이미지 정보를 획득할 수 있다. 아울러, 동일 영역에 대하여 서로 다른 방향으로 촬영한 각각의 촬영 영상 Ir은 관심 공간에 대한 깊이 정보를 포함하므로, 3D 모델링 장치(100)는 추후 이를 이용하여 3D 모델링을 수행할 수 있다.
다시 도 2를 참조하면, 영상 정합 장치(130)는 라이다(112)에 의해 관심 공간의 포인트 클라우드를 획득할 수 있다(S110). 이하에서는 도 4 를 통해 라이다(112)에 의해 획득되는 포인트 클라우드를 설명한다.
도 4는 본 발명의 일 실시예에 포인트 클라우드가 위치하는 3차원 관심 공간을 예시한 도면이다.
상술한 바와 같이, 3D 스캐너(110)는 하나의 단일 라이다(112)를 이용하여 서로 다른 위치에 대한 포인트 클라우드를 획득할 수 있고, 이와는 달리 서로 다른 방향을 향하는 복수의 라이다(112) 각각을 이용하여 서로 다른 위치에 대한 포인트 클라우드를 획득할 수도 있다.
이 때, 일 실시예에 따른 라이다(112)는 특정 위치에 고정 설치되어 관심 공간에 대한 포인트 클라우드를 획득할 수 있다. 이와는 달리, 다른 실시예에 따른 라이다(112)는 사용자에 의해 휴대되거나, 자체 동력원으로부터 동력을 제공받음으로써 이동 가능하도록 마련될 수 있다. 그 결과, 다른 실시예에 따른 라이다(112)는 복수의 위치에서 관심 공간에 대한 포인트 클라우드를 획득할 수 있다. 나아가, 이와 같은 라이다(112)가 복수인 경우, 라이다(112)의 일부는 특정 위치에 고정 설치되고, 나머지는 이동 가능하도록 마련될 수도 있다.
이렇게 획득된 포인트 클라우드는, 도 4와 같이, 3차원 관심 공간 Mp 상에 위치할 수 있다.
또한, 3D 스캐너(110)는 스캔 카메라(111)를 이용하여 스캔 영상을 획득하고, 라이다(112)에 의해 획득된 포인트 클라우드 상에 스캔 영상을 매칭함으로써 포인트 클라우드에 컬러 정보를 부가할 수 있다. 이렇게 부가된 컬러 정보는 추후 촬영 영상 Ir과의 정합 시 이용될 수 있다.
다시 도 2를 참조하면, 영상 정합 장치(130)는 카메라(120)의 내부 파라미터를 이용하여 포인트 클라우드로부터 복수의 가상 영상을 생성할 수 있다. 이하에서는, 도 5 내지 8을 참조하여 가상 영상을 생성하는 방법을 설명한다.
도 5는 본 발명의 일 실시예에 따른 영상 정합 장치에서 대상체를 가상 영상에 표시하는 방법을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 영상 정합 장치에서 가상 영상을 생성할 방향을 결정하는 방법을 설명하기 위한 도면이고, 도 7은 본 발명의 일 실시예에 따른 영상 정합 장치에서 포인트 클라우드가 위치하는 3차원 관심 공간 상에 생성된 LSP를 예시한 도면이며, 도 8은 본 발명의 일 실시예에 따른 영상 정합 장치가 생성한 가상 영상을 예시한 도면이다.
영상 정합 장치(130)의 가상 영상 생성부(131)는 포인트 클라우드로부터 가상 영상을 생성할 수 있다. 도 5를 참조하면, 가상 영상 생성부(131)는 3차원 관심 공간 Mp 상에서 초점 f로부터 연장되는 방향에 위치하는 포인트 클라우드의 3차원 좌표를 가상 영상 Iv내의 2차원 좌표로 변환할 수 있다. 구체적으로, 가상 영상 Iv가 W1×W2의 크기를 갖도록 설정되고, 초점 f로부터 초점 거리 fl만큼 이격된 거리에 가상 영상 Iv가 배치될 때, 가상 영상 생성부(131)는 초점 f로부터 포인트 클라우드의 점 r(x,y,z)로 연장되는 직선이 가상 영상 Iv를 지나는 픽셀 p(u,v)를 포인트 클라우드의 점 r(x,y,z)의 가상 영상 내 픽셀 좌표로 결정할 수 있다.
만약, 초점 f가 중심에 위치하는 정육면체의 각 면에 대응하는 6 개의 가상 영상 Iv을 생성하고자 하는 경우, 즉, 초점 f에 대한 정육면체의 Laser Scan Picture(LSP)를 생성하고자 하는 경우, 가상 영상 Iv의 세로 폭 W1과 가로 폭 W1은 W로 같고, 초점 거리 fl은 W/2로 결정될 필요가 있다. 이 경우, 가상 영상 내 픽셀 p의 좌표(u,v)는 초점 거리 fl 또는 W/2와 z값의 비율에 따라 결정될 수 있다.
즉, 가상 영상 내 픽셀 p의 좌표(u,v)는 가상 영상 Iv의 크기 W1×W2와 초점 거리 fl에 의해 결정될 수 있다. 이렇게 생성된 가상 영상 Iv는 추후 촬영 영상 Ir 과 정합을 수행할 수 있는데, 정합에 이용되는 촬영 영상 Ir의 크기 및/또는 촬영 영상 Ir에 대한 초점 거리 등의 값이 상이하다면, 정합의 정확도가 낮아질 수 있다.
따라서, 본 발명의 일 실시예에 따른 가상 영상 생성부(131)는 촬영 영상 Ir을 획득하는 카메라(120)의 내부 파라미터를 이용하여 가상 영상 Iv을 생성함으로써, 가상 영상 Iv 및 촬영 영상 Ir 간 정합의 정확도를 높일 수 있다.
구체적으로, 가상 영상 생성부(131)는 수학식 1에 따라 가상 영상 내 픽셀 p의 좌표(u,v)를 획득할 수 있다.
Figure pat00001
여기서, zc는 스케일 팩터(Scale Factor)를 의미하고, [R T]는 카메라(120)의 외부 파라미터로서, R은 회전 행렬을 의미하고, T는 이동 행렬을 의미할 수 있다. 또한, K는 카메라(120) 내부 파라미터를 의미할 수 있으며, 수학식 2에 따라 정의될 수 있다.
Figure pat00002
여기서, αx는 초점 거리 fl에 x축에 대한 스케일 팩터 mx를 곱한 값을 의미하고, αy는 초점 거리 fl에 y축에 대한 스케일 팩터 my를 곱한 값을 의미하고, γ은 x축 및 y축 사이의 스큐 상수(Skew Coefficient)를 의미하고, u0 및 v0는 주점(Principal Point)를 의미할 수 있다.
이 때, 가상 영상 생성부(131)는 상술한 초점 거리 fl, 스큐 상수 γ, 주점의 좌표 (u0 및 v0) 등을 촬영 영상 Ir을 획득한 카메라(120)의 내부 파라미터 값으로 결정할 수 있고, 스케일 팩터 mx, my 역시 카메라(120) 내부 파라미터 중 이미지 센서 포멧 값에 따라 결정할 수 있다.
이 밖에도 가상 영상 생성부(131)는 카메라(120) 내부 파라미터 중 하나인 해상도 값을 이용함으로써, 촬영 영상 Ir과 가상 영상 Iv의 해상도를 일치시킬 수 있다. 뿐만 아니라, 상술한 수학식 2에는 선형적 내부 파라미터만을 언급하고 있으나, 가상 영상 생성부(131)는 렌즈 왜곡 파라미터(Lens Distortion Parameter)와 같은 비선형적 내부 파라미터도 가상 영상 Iv 생성 시 동일하게 적용할 수 있다.
상술한 카메라(120)의 내부 파라미터는 외부 장치 또는 사용자에 의해 3D 모델링 장치(100)에 직접 입력되거나, 3D 모델링 장치(100)가 연산을 통해 획득할 수 있다. 연산을 통해 카메라(120)의 내부 파라미터를 획득하는 경우, 3D 모델링 장치(100)는 카메라에 의해 체스 보드(Chess Board)와 같은 격자 패턴에 대한 테스트 영상을 획득하고, 이를 기초로 카메라 캘리브레이션을 수행함으로써, 카메라(120)의 내부 파라미터를 획득할 수 있다. 이 밖에도, 3D 모델링 장치(100)는 공지된 다양한 방법에 따라 카메라(120)의 내부 파라미터를 획득할 수 있다.
가상 영상 생성부(131)는 초점 f로부터 결정되는 복수의 방향에 대한 복수의 가상 영상 Iv을 생성할 수 있다. 구체적으로, 가상 영상 생성부(131)는 초점 f를 교점으로 하는 상호 수직인 3개의 축을 따르는 6개의 방향에 대한 6개의 가상 영상 Iv을 생성할 수 있다. 만약, 3개의 축이 초점 f를 원점으로 하는 x축, y축, z축으로 결정되는 경우, 가상 영상 생성부(131)는 x축 방향에 수직인 제 1 가상 영상, -x축 방향에 수직인 제 2 가상 영상, y축 방향에 수직인 제 3 가상 영상, -y축 방향에 수직인 제 4 가상 영상, z축 방향에 수직인 제 5 가상 영상, 및 -z축 방향에 수직인 제 6 가상 영상을 획득할 수 있다.
이와 같이 초점 f를 중심으로 생성되는 가상 영상 Iv을 평면으로 하는 다면체를 LSP라 하며, 상술한 예에서는 가상 영상 생성부(131)가 초점 f에 대한 정육면체의 LSP를 생성하였다고 볼 수 있다.
나아가, 가상 영상 생성부(131)는 초점 f로부터 7개 이상의 방향에 대한 가상 영상 Iv을 생성할 수 있다. 이를 위해, 가상 영상 생성부(131)는 초점 f를 교점으로 하는 상호 수직인 3개의 축 중 적어도 하나를 기준으로 회전된 복수의 방향에 대하여 복수의 가상 영상 Iv을 생성할 수 있다.
도 6을 참조하면, 3차원 관심 공간 Mp상의 초점 f를 교점으로 하는 상호 수직 관계의 x축, y축, 및 z축이 결정되면, 가상 영상 생성부(131)는 적어도 한 축을 기준으로 회전된 복수의 방향에 대한 복수의 가상 영상 Iv을 생성할 수 있다. 예를 들어, 가상 영상 생성부(131)는 z축을 기준으로 회전, 즉 Pan 회전 함에 따른 복수의 방향에 대한 복수의 가상 영상 Iv을 획득할 수 있다. 또한, 가상 영상 생성부(131)는 y축을 기준으로 회전, 즉 Roll 회전 함에 따른 복수의 방향에 대한 복수의 가상 영상 Iv을 획득할 수 있다. 나아가, 가상 영상 생성부(131)는 x축을 기준으로 회전, 즉 Tilt 회전 함에 따른 복수의 방향에 대한 복수의 가상 영상 Iv을 획득할 수도 있다.
도 7에서는 3차원 관심 공간 Mp 상의 초점 f를 기준으로 pan 회전에 따른 서로 다른 5개의 방향과 z축, -z축 방향 각각에 대한 7개의 가상 영상 Iv으로 구현되는 오각기둥 형상의 LSP(L)를 예시한다. 이와 같이 특정 초점 f에 대하여 7개 이상의 가상 영상 Iv을 생성함으로써, 3D 모델링 시 관심 공간에 대한 보다 많은 정보를 제공할 수 있다.
도 8에서는 상술한 방법에 따라 초점 f를 기준으로 생성된 복수의 가상 영상 Iv를 예시한다. 도 8을 참조하면, 복수의 가상 영상 Iv 은 초점 f로부터 다양한 방향에 대한 시각적 정보를 포함함을 확인할 수 있다.
또한, 가상 영상 생성부(131)는 포인트 클라우드를 획득한 라이다(112)의 위치를 기초로 초점 f를 결정할 수 있다. 구체적으로, 가상 영상 생성부(131)는 3D 스캐너(110) 상의 라이다(112)의 회전 축에 대한 중심점을 초점 f로 결정하고, 이에 대한 복수의 가상 영상 Iv를 생성할 수 있다.
뿐만 아니라, 가상 영상 생성부(131)는 3차원 관심 공간 상의 임의의 위치를 초점 f로 결정할 수도 있다. 예를 들어, 가상 영상 생성부(131)는 사용자로부터 입력된 3차원 관심 공간 상의 관심 위치를 초점 f로 결정하고, 이에 대한 복수의 가상 영상 Iv를 생성할 수 있다. 이 때, 관심 위치는 사용자의 입력에 따라 관심 공간 내 서로 다른 좌표로서 결정될 수 있다.
특히, 가상 영상 생성부(131)는 사용자로부터 입력된 복수의 관심 위치를 초점 f로 하여, 각각의 초점 f에 대한 복수의 가상 영상 I v 를 생성할 수 있다.
이하에서는 도 9 내지 11을 참조하여 복수의 초점 각각에 대한 복수의 가상 영상을 생성하는 방법을 설명한다.
도 9는 본 발명의 일 실시예에 따른 복수의 초점 각각에 대한 복수의 가상 영상 생성 방법의 흐름도이고, 도 10은 본 발명의 다른 실시예에 따른 영상 정합 장치에서 포인트 클라우드가 위치하는 3차원 관심 공간 상에 생성된 복수의 LSP를 예시한 도면이고, 도 11은 본 발명의 다른 실시예에 따른 영상 정합 장치가 생성한 복수의 가상 영상을 예시한 도면이다.
먼저, 가상 영상 생성부(131)는 포인트 클라우드를 이용하여 관심 공간에 대한 3D 메쉬(3D Mesh)를 생성할 수 있다(S121). 이하에서는, 후술할 영상 처리부(140)에 의해 생성되는 3D 메쉬와 구분하기 위해, 가상 영상 생성부(131)에 의해 생성되는 3D 메쉬를 제 1 3D 메쉬라 한다.
가상 영상 생성부(131)는 포인트 클라우드를 본(Bone)과 정점(Vertex)로 하여, 복수의 정점이 본에 의해 리깅되는 제 1 3D 메쉬를 생성할 수 있다. 이렇게 생성되는 제 1 3D 메쉬는 적어도 세 개의 정점이 이루는 복수의 폴리곤(Polygon)으로 구성될 수 있다. 그 결과, 제 1 3D 메쉬는 무수히 많은 정점과 이들이 이루는 폴리곤을 포함함을 확인할 수 있다.
만약, 포인트 클라우드가 복수의 라이다(112)에 의해 획득된 경우, 가상 영상 생성부(131)는 제 1 3D 메쉬를 생성하기에 앞서, 서로 다른 라이다(112)에 의해 획득된 포인트 클라우드 간의 정렬을 선행할 수 있다. 구체적으로, 가상 영상 생성부(131)는 서로 다른 라이다(112)에 의해 획득된 포인트 클라우드 중 동일한 공간 정보를 포함하는 포인트 클라우드를 상호 매칭함으로써, 서로 다른 라이다(112) 간의 위치 관계를 획득할 수 있다.
일 실시예에 따른 가상 영상 생성부(131)는 어느 하나의 라이다로부터 획득된 포인트 클라우드 중 어느 하나를 기준으로 이에 대응되는 다른 하나의 라이다로부터 획득된 포인트 클라우드를 정합하기 위한 이동 정보 및 회전 정보를 획득할 수 있다. 여기서, 이동 정보란 정합을 위한 이동 행렬(Translation Matrix)을 포함하고, 회전 정보는 회전 행렬(Rotation Matrix)를 포함할 수 있다.
제 1 3D 메쉬가 생성되면, 가상 영상 생성부(131)는 카메라의 내부 파라미터를 이용하여 제 1 3D 메쉬로부터 복수의 관심 위치 각각에서의 복수의 가상 영상을 생성할 수 있다(S122). 여기서, 카메라의 내부 파라미터를 이용하여 가상 영상을 생성하는 방법은 도 5 내지 8을 통해 설명한 바와 같으므로, 이하에서는 제 1 3D 메쉬로부터 가상 영상을 생성하는 방법을 중점적으로 설명한다.
상술한 바와 같이, 가상 영상 생성부(131)는 사용자로부터 입력된 복수의 관심 위치 각각을 가상 영상 생성을 위한 초점 f로 결정할 수 있다. 그 다음, 가상 영상 생성부(131)는 결정된 각각의 초점 f로부터 제 1 3D 메쉬에 대한 거리를 기초로 복수의 가상 영상을 생성할 수 있다.
일 실시예에 따른 가상 영상 생성부(131)는 오클루전 테스트(Occlusion Test)를 수행함으로써 각각의 초점 f에서의 가상 영상을 생성할 수 있다. 여기서, 오클루전 테스트란 미리 정해진 위치에 인접한 물체(Occlusion)에 가려진 후방 물체를 배제하는 방법을 의미할 수 있다. 즉, 가상 영상 생성부(131)는 각각의 초점 f에서 미리 정해진 방향에 대하여 가상의 광선을 조사하였을 때, 해당 광선과 우선하여 만나는 제 1 3D 메쉬 정보만을 선택하여 가상 영상을 생성할 수 있다.
도 10을 참조하면, 가상 영상 생성부(131)는 사용자에 의해 입력된 복수의 관심 위치 각각을 초점 f 1 내지 f 6 으로 결정하고, 각각의 초점 f 1 내지 f 6 에서의 LSP L 1 내지 L 6 을 생성할 수 있다. 또한, 도 11을 참조하면, 이렇게 생성된 LSP L 1 내지 L 6 각각은 복수의 가상 영상 Iv 1 내지 Iv 6 을 포함할 수 있다.
이처럼, 본 발명의 일 실시예에 따른 가상 영상 생성부(131)는 포인트 클라우드를 획득한 라이다(112)의 위치뿐만 아니라 사용자의 입력 등에 기초하여 복수의 초점 f를 결정할 수 있으므로, 보다 다양한 위치에서의 복수의 가상 영상 Iv을 획득할 수 있다. 이를 통해, 라이다와 카메라 간의 정합 정확도를 높일 수 있다.
다시 도 2를 참조하면, 영상 정합 장치(130)는 복수의 촬영 영상 Ir과 복수의 가상 영상 Iv을 정합할 수 있다(S130). 이하에서는 도 12를 참조하여 복수의 촬영 영상 Ir과 복수의 가상 영상 Iv을 정합하는 방법을 설명한다.
도 12는 본 발명의 일 실시예에 따른 정합부에서 촬영 영상과 가상 영상을 정합하는 방법을 설명하기 위한 도면이다.
복수의 촬영 영상 Ir 및 복수의 가상 영상 Iv의 정합을 위해, 영상 정합 장치(130)의 정합부(132)는 복수의 촬영 영상 Ir 및 복수의 가상 영상 Iv 각각으로부터 특징점을 추출할 수 있다. 구체적으로, 정합부(132)는 복수의 촬영 영상 Ir 및 복수의 가상 영상 Iv 각각에서 코너(Corner), 엣지(Edge), 경사(Gradient) 등을 기초로 특징점을 추출할 수 있다.
그 다음, 정합부(132)는 복수의 촬영 영상 Ir로부터 추출된 특징점 fr과 복수의 가상 영상 Iv으로부터 추출된 특징점 fv를 매칭하여, 복수의 촬영 영상 Ir과 복수의 가상 영상 Iv를 정합할 수 있다. 일 실시예에 따른 정합부(132)는 각각의 특징점의 컬러 정보를 기초로 특징점 fr과 특징점 fv를 매칭할 수 있다. 도 9를 참조하면, 촬영 영상 Ir로부터 추출된 복수의 특징점 fr과 가상 영상 Iv으로부터 추출된 복수의 특징점 fv이 상호 매칭됨을 확인할 수 있다.
나아가, 정합부(132)는 정합된 촬영 영상 Ir과 가상 영상 Iv 간의 위치 관계를 획득할 수 있다. 구체적으로, 정합부(132)는 촬영 영상 Ir과 가상 영상 Iv 중 어느 하나를 기준으로 다른 하나를 정합하기 위한 이동 정보 및 회전 정보를 획득할 수 있다. 여기서, 이동 정보는 정합을 위한 이동 행렬(Translation Matrix)을 포함하고, 회전 정보는 회전 행렬(Rotation Matrix)를 포함할 수 있다.
다시 도 1을 참조하면, 영상 처리부(140)는 정합 결과를 기초로 관심 공간에 대한 3D 모델링을 수행할 수 있다. 이하에서는 도 13 및 14를 참조하여 3D 모델링 방법을 설명한다.
도 13은 본 발명의 일 실시예에 따른 영상 처리부가 생성한 3D 메쉬를 예시한 도면이고, 도 14는 본 발명의 일 실시예에 따른 영상 처리부가 생성한 3D 모델을 예시한 도면이다.
도 13을 참조하면, 영상 처리부(140)는 특징점을 기초로 3D 메쉬(3D Mesh, Ms)를 생성할 수 있다. 이하에서는, 상술한 가상 영상 생성부(131)에 의해 생성되는 제 1 3D 메쉬와 구분하기 위해, 가상 영상 생성부(131)에 의해 생성되는 3D 메쉬를 제 2 3D 메쉬라 한다.
구체적으로, 영상 처리부(140)는 추출된 특징점을 본(Bone)과 정점(Vertex)로 하여, 복수의 정점이 본에 의해 리깅되는 제 2 3D 메쉬 MS를 생성할 수 있다.
이렇게 생성되는 제 2 3D 메쉬 MS는 적어도 세 개의 정점이 이루는 복수의 폴리곤(Polygon)으로 구성될 수 있다. 도 13을 참조하면, 제 2 3D 메쉬 MS는 무수히 많은 정점과 이들이 이루는 폴리곤을 포함함을 확인할 수 있다.
이렇게 제 2 3D 메쉬 MS를 생성한 후, 영상 처리부(140)는 제 2 3D 메쉬 MS에 텍스쳐링(Texturing)을 수행하여 3D 모델 MO를 생성할 수 있다. 구체적으로, 영상 처리부(140)는 제 2 3D 메쉬 MS에 대하여 각각의 폴리곤을 형성하는 각각의 정점의 컬러 정보를 기초로 해당 폴리곤에 컬러를 적용함으로써 텍스쳐링을 수행할 수 있다. 도 14를 참조하면, 제 2 3D 메쉬 MS를 텍스쳐링 하여 얻어진 3D 모델 MO는 실제 관심 공간과 유사한 형태의 가상 관심 공간을 형성함을 확인할 수 있다.
도 1에서는 영상 정합 장치(130)가 3D 모델링 장치(100)의 일 구성으로 마련되는 경우를 예시하였으나, 영상 정합 장치(130)가 3D 스캐너(110), 카메라(120), 및 영상 처리부(140) 중 적어도 하나를 더 포함하도록 마련될 수 있다. 특히, 영상 정합 장치(130)가 3D 스캐너(110), 카메라(120), 및 영상 처리부(140) 모두를 포함하는 경우, 영상 정합 장치(130)는 3D 모델링 장치(100)로서 구현된다고 볼 수 있다.
상술한 영상 정합 장치(130) 및 영상 처리부(140)는 마이크로프로세서(Microprocessor)를 포함하는 연산 장치로 구현될 수 있고, 예를 들어 중앙 처리 장치(Central Processing Unit, CPU) 및 그래픽 처리 장치(Graphic Processing Unit, GPU) 중 적어도 하나로 구현될 수 있다. 이와는 달리, 영상 정합 장치(130) 및 영상 처리부(140)가 하나의 SOC(System On Chip)으로 구현되는 것도 가능할 수 있다.
상술한 실시예에 따른 영상 정합 장치 및 방법은, 사용자의 입력 등에 기초하여 복수의 초점 f를 결정함으로써 보다 다양한 위치에서의 복수의 가상 영상을 획득할 수 있다. 이를 통해, 라이다와 카메라 간의 정합 정확도를 높일 수 있다.
또한, 상술한 실시예에 따른 영상 정합 장치 및 방법은 카메라의 내부 파라미터를 기초로 생성된 가상 영상을 카메라에 의해 획득된 촬영 영상과 정합하므로, 영상 정합의 정확도를 높일 수 있다. 또한, 특정 위치에서 복수의 방향에 대한 가상 영상을 생성하고, 생성된 가상 영상과 촬영 영상의 정합 결과를 3D 모델링의 수행 시 제공하므로, 최종 생성되는 3D 모델의 실감도가 높아질 수 있다.
한편, 상술한 실시예에 따른 영상 정합 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램 또는 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 영상 정합 장치 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.
100: 3D 모델링 장치
110: 3D 스캐너
111: 스캔 카메라
112: 라이다
120: 카메라
130: 영상 정합 장치
131: 가상 영상 생성부
132: 정합부
140: 영상 처리부

Claims (10)

  1. 영상 정합 장치에서 수행되는 영상 정합 방법에 있어서,
    라이다에 의해 획득된 관심 공간의 포인트 클라우드를 이용하여 상기 관심 공간에 대한 3D 메쉬(3D Mesh)를 생성하는 단계;
    카메라의 내부 파라미터(Intrinsic Parameter)를 이용하여 상기 생성된 3D 메쉬로부터 복수의 관심 위치 각각에서의 복수의 가상 영상을 생성하는 단계; 및
    상기 카메라에 의해 획득된 상기 관심 공간에 대한 복수의 촬영 영상과 상기 복수의 가상 영상을 정합(Registration)하는 단계를 포함하는
    영상 정합 방법.
  2. 제 1 항에 있어서,
    상기 복수의 관심 위치는,
    사용자의 입력에 따라 상기 관심 공간 내 서로 다른 좌표로서 결정되는
    영상 정합 방법.
  3. 제 1 항에 있어서,
    상기 복수의 가상 영상을 생성하는 단계는,
    상기 복수의 관심 위치 각각을 초점으로 결정하는 단계;
    상기 3D 메쉬에 대하여 상기 결정된 초점으로부터의 거리를 기초로 상기 복수의 가상 영상을 생성하는 단계를 포함하는
    영상 정합 방법.
  4. 제 3 항에 있어서,
    상기 복수의 가상 영상을 생성하는 단계는,
    상기 결정된 초점을 교점으로 하는 상호 수직인 3개의 축 중 적어도 하나를 기준으로 회전된 복수의 방향에 대하여 상기 복수의 가상 영상을 생성하는
    영상 정합 방법.
  5. 제 1 항에 있어서,
    상기 카메라의 내부 파라미터는,
    상기 카메라의 초점 거리(Focal Length), 이미지 센서 포맷(Image Sensor Format), 스큐(Skew), 주점(Principal Point), 렌즈 왜곡 파라미터(Lens Distortion Parameter), 해상도(Resolution) 중 적어도 하나를 포함하는
    영상 정합 방법.
  6. 제 1 항에 있어서,
    상기 복수의 촬영 영상과 상기 복수의 가상 영상을 정합하는 단계는,
    상기 복수의 촬영 영상 및 상기 복수의 가상 영상 각각으로부터 특징점을 추출하는 단계; 및
    상기 복수의 촬영 영상으로부터 추출된 특징점과 상기 복수의 가상 영상으로부터 추출된 특징점을 매칭하여, 상기 복수의 촬영 영상과 상기 복수의 가상 영상을 정합하는 단계를 포함하는
    영상 정합 방법.
  7. 제 1 항에 있어서,
    상기 정합된 촬영 영상과 상기 정합된 가상 영상 간의 위치 관계를 획득하는 단계를 더 포함하고,
    상기 촬영 영상과 상기 가상 영상 간의 위치 관계는,
    상기 촬영 영상 및 상기 가상 영상 중 어느 하나를 기준으로 다른 하나를 정합하기 위한 이동 정보 및 회전 정보를 포함하는
    영상 정합 방법.
  8. 라이다에 의해 획득된 관심 공간의 포인트 클라우드를 이용하여 상기 관심 공간에 대한 3D 메쉬(3D Mesh)를 생성하고, 카메라의 내부 파라미터(Intrinsic Parameter)를 이용하여 상기 생성된 3D 메쉬로부터 복수의 관심 위치 각각에서의 복수의 가상 영상을 생성하는 가상 영상 생성부; 및
    상기 카메라에 의해 획득된 상기 공간에 대한 복수의 촬영 영상과 상기 복수의 가상 영상을 정합(Registration)하는 정합부를 포함하는
    영상 정합 장치.
  9. 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램
  10. 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.
KR1020190134872A 2019-10-28 2019-10-28 영상 정합 장치 및 방법 KR20210050365A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190134872A KR20210050365A (ko) 2019-10-28 2019-10-28 영상 정합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190134872A KR20210050365A (ko) 2019-10-28 2019-10-28 영상 정합 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210050365A true KR20210050365A (ko) 2021-05-07

Family

ID=75916774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190134872A KR20210050365A (ko) 2019-10-28 2019-10-28 영상 정합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210050365A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078912A (zh) * 2023-07-10 2023-11-17 中国地质大学（武汉） 一种基于深度学习的激光点云与图像对齐方法和装置
CN117152330A (zh) * 2023-07-10 2023-12-01 中国地质大学（武汉） 一种基于深度学习的点云3d模型贴图方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150129260A (ko) 2014-05-09 2015-11-19 주식회사 아이너지 오브젝트 가상현실 콘텐츠 서비스 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150129260A (ko) 2014-05-09 2015-11-19 주식회사 아이너지 오브젝트 가상현실 콘텐츠 서비스 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078912A (zh) * 2023-07-10 2023-11-17 中国地质大学（武汉） 一种基于深度学习的激光点云与图像对齐方法和装置
CN117152330A (zh) * 2023-07-10 2023-12-01 中国地质大学（武汉） 一种基于深度学习的点云3d模型贴图方法和装置
CN117152330B (zh) * 2023-07-10 2024-05-28 中国地质大学（武汉） 一种基于深度学习的点云3d模型贴图方法和装置

Similar Documents

Publication Publication Date Title
KR102109814B1 (ko) 영상 정합 장치 및 방법
KR102160196B1 (ko) 3d 모델링 장치 및 방법
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
CN103562934B (zh) 脸部位置检测
US11490062B2 (en) Information processing apparatus, information processing method, and storage medium
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP7479729B2 (ja) 三次元表現方法及び表現装置
JP3855053B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR20210050365A (ko) 영상 정합 장치 및 방법
CN113945167B (zh) 一种工件数据获取方法和装置
JP2004280776A (ja) 画像内のオブジェクトの形状を決定する方法
JP2004220312A (ja) 多視点カメラシステム
KR101817756B1 (ko) 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법
KR20210050366A (ko) 촬영 위치 결정 장치 및 방법
CN107534730B (zh) 图像处理装置及图像处理方法
JPH05135155A (ja) 連続シルエツト画像による３次元モデル構成装置
JP2013231607A (ja) 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム
CN107534729B (zh) 图像处理装置和图像处理方法
Sosa et al. 3D surface reconstruction of entomological specimens from uniform multi-view image datasets
Maimone et al. A taxonomy for stereo computer vision experiments
JP3637416B2 (ja) ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム
JP6984870B2 (ja) ３次元形状測定装置、３次元形状測定方法、及び３次元形状測定プログラム
JP2023077658A (ja) 画像処理装置、画像処理方法、及びプログラム
Frisky et al. Acquisition Evaluation on Outdoor Scanning for Archaeological Artifact Digitalization.