KR102533985B1 - 포인트 클라우드 복원 시스템 및 방법 - Google Patents

포인트 클라우드 복원 시스템 및 방법 Download PDF

Info

Publication number
KR102533985B1
KR102533985B1 KR1020210065287A KR20210065287A KR102533985B1 KR 102533985 B1 KR102533985 B1 KR 102533985B1 KR 1020210065287 A KR1020210065287 A KR 1020210065287A KR 20210065287 A KR20210065287 A KR 20210065287A KR 102533985 B1 KR102533985 B1 KR 102533985B1
Authority
KR
South Korea
Prior art keywords
point cloud
data
cloud data
unit
restoration
Prior art date
Application number
KR1020210065287A
Other languages
English (en)
Other versions
KR20220157586A (ko
Inventor
오병태
정태현
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020210065287A priority Critical patent/KR102533985B1/ko
Publication of KR20220157586A publication Critical patent/KR20220157586A/ko
Application granted granted Critical
Publication of KR102533985B1 publication Critical patent/KR102533985B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 포인트 클라우드 복원 시스템 및 방법에 관한 것이다. 개시된 포인트 클라우드 복원 시스템 및 방법은, 3차원 데이터인 포인트 클라우드 데이터를 2차원으로 투영 후 데이터가 누락된 부분을 채우는 포인트 클라우드 복원 시스템에 있어서, 포인트 클라우드 데이터를 투영하여 2차원 이미지를 생성하는 2차원 이미지 생성부, 상기 2차원 이미지 생성부에서 획득한 2차원 이미지의 데이터가 누락된 부분에 보간법을 적용하여 보간된 데이터를 획득하는 보간부, 상기 보간된 데이터를 다시 포인트 클라우드 데이터로 복원하는 포인트 클라우드 데이터 복원부, 및 상기 복원부에서 정확하지 못하게 예측된 값들을 보완하기 위하여, 상기 포인트 클라우드 데이터 복원부에서 얻어진 포인트들을 정제하는 데이터 정제부를 포함하는 것을 특징으로 하는 포인트 클라우드 복원 시스템 및 방법을 제공한다.
본 발명에 의하면, 영상 데이터셋을 구축하기 위해 대량의 포인트 클라우드 데이터가 필요할 경우, 각각의 물체들을 일일히 여러 각도에서 촬영하여 포인트 클라우드 데이터를 직접 얻어 처리하는 과정이 없이 한번의 촬영을 통해 좋은 품질의 포인트 클라우드 데이터를 얻을 수 있는 포인트 클라우드 복원 시스템 및 방법을 제공할 수 있다는 이점이 있다.

Description

포인트 클라우드 복원 시스템 및 방법{SYSTEM AND METHOD FOR RESTORATION OF POINT CLOUD}
본 발명은 포인트 클라우드 복원 시스템 및 방법에 관한 것으로, 더욱 상세하게는 3차원 데이터인 포인트 클라우드 데이터를 2차원으로 투영 후 데이터가 누락된 부분을 채우는 방식으로 보다 효율적으로 클라우드 데이터를 획득할 수 있는 포인트 클라우드 복원 시스템 및 방법에 관한 것이다.
본 연구는 연구지원사업명 경기도지역협력연구센터(GRRC)의 "3차원 공간 데이터 처리 및 응용기술연구" (연구기간 : 2020.7.1. ~ 2021.6.30) 과제의 연구비에 의해 지원되었다 (연구관리전문기관 : 경기도, 주관기관 : 한국항공대학교 산학협력단, 과제고유번호 GRRC항공2020-B02).
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 멀티미디어 기술의 발전으로 영상을 표현하는 기존의 이미지 데이터와 다른 형태의 데이터를 이용해 시각화 혹은 처리하는 방식이 활발하게 연구되고 있다. 그 중에서도 특히 라이다(LiDAR, LIght Detection And Ranging), 티오에프(TOF: Time Of Flight)등의 거리측정센서로 얻을 수 있는 포인트 클라우드 (point cloud) 혹은 깊이맵 (depth map)과 같은 3차원 공간정보를 가진 데이터에 대한 처리기술은 자율주행, 3차원 영상, VR(Virtual Reality)등 각종 산업군에서 반드시 필요한 기술이다.
포인트 클라우드 데이터는 물체의 표면을 스캔하여 데이터를 점의 형태로 표현한 데이터이다. 포인트 클라우드 데이터에 대한 영상처리는 기존의 연구가 많이 진행된 2D 이미지와 데이터 구조가 다르기 때문에 어려움이 있다.
또한 포인트 클라우드 데이터를 얻기 위해 다양한 측정장비를 통해 물체의 표면을 스캔하면, 측정장비에서 보이지 않는 영역이나 가려지는 영역의 데이터는 누락이 되게 된다.
따라서 완전한 형태의 데이터를 얻기 위해선 여러 각도에서 촬영 후 정합하는 과정이 필요하다. 데이터셋을 구축하기위해 대량의 포인트 클라우드 데이터가 필요할 경우, 각각의 물체들을 일일히 여러 각도에서 촬영하는 것은 굉장히 비용이 많이 소모되는 일이다.
현재 포인트 클라우드 데이터를 직접 처리하여 빈 부분을 채우는 알고리즘이 존재하고 연구되고 있지만, 아직까지 제약조건이 많다.
이에, 본 발명에서는, 종래 기술에 비하여 포인트 클라우드 데이터를 얻는 과정에서 물체의 형상을 유지하면서 누락된 부분을 채울 수 있는 포인트 클라우드 복원 시스템 및 방법을 제안하고자 한다.
한국공개특허공보 10-2020-0007734호, 2019년 7월 12일 공개(명칭 : 3D 포인트 클라우드 데이터의 부호화/복호화 방법 및 장치) 한국공개특허공보 10-2019-0117287호, 2020년 1월 22일 공개(명칭: 3D 포인트 클라우드 데이터의 부호화/복호화 방법 및 장치) 한국공개특허공보 제10-2018-0067914호, 2018년 6월 21일 공개(명칭: 이미지 프로세싱을 이용한 3차원 모델 복원 장치 및 방법)
(비특허 문헌 1) Jianning Wang, "Filling Holes on Locally Smooth Surfaces Reconstructed from Point Clouds", aCenter for Visual Computing and Computer Science Department - Stony Brook University Stony Brook, NY, 11794-4400, USA
본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 영상 데이터셋을 구축하기 위해 대량의 포인트 클라우드 데이터가 필요할 경우, 각각의 물체들을 일일히 여러 각도에서 촬영하여 포인트 클라우드 데이터를 직접 얻어 처리하는 과정이 없어, 비용과 노력을 줄일 수 있는 포인트 클라우드 복원 시스템 및 방법을 제공하는데 주된 목적이 있다.
또한, 본 발명의 다른 목적은 누락된 측면 데이터를 물체의 형상을 따라 보간하는 방식으로 한번의 촬영을 통해 좋은 품질의 포인트 클라우드 데이터를 얻을 수 있는 포인트 클라우드 복원 시스템 및 방법을 제공하는데 있다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 양상은, 3차원 데이터인 포인트 클라우드 데이터를 2차원으로 투영 후 데이터가 누락된 부분을 채우는 포인트 클라우드 복원 시스템에 있어서, 포인트 클라우드 데이터를 투영하여 2차원 이미지를 생성하는 2차원 이미지 생성부; 상기 2차원 이미지 생성부에서 획득한 2차원 이미지의 데이터가 누락된 부분에 보간법을 적용하여 보간된 데이터를 획득하는 보간부; 상기 보간된 데이터를 다시 포인트 클라우드 데이터로 복원하는 포인트 클라우드 데이터 복원부; 및 상기 복원부에서 정확하지 못하게 예측된 값들을 보완하기 위하여, 상기 포인트 클라우드 데이터 복원부에서 얻어진 포인트들을 정제하는 데이터 정제부를 포함하는 것을 특징으로 하는 포인트 클라우드 복원 시스템을 제공한다.
본 발명의 다른 일 양상은, 3차원 데이터인 포인트 클라우드 데이터를 2차원으로 투영 후 데이터가 누락된 부분을 채우는 포인트 클라우드 복원 방법에 있어서, 포인트 클라우드 데이터를 투영하여 2차원 이미지를 생성하는 단계; 상기 생성된 2차원 이미지의 데이터가 누락된 부분에 보간법을 적용하여 보간된 데이터를 획득하는 단계; 상기 보간된 데이터를 다시 포인트 클라우드 데이터로 복원하는 단계; 및 상기 포인트 클라우드 데이터 복원 단계에서 정확하지 못하게 예측된 값들을 보완하기 위하여, 상기 복원된 포인트들을 정제하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 복원 방법을 제공한다.
본 발명의 다른 일 양상은, 포인트 클라우드 복원 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.
본 발명의 포인트 클라우드 복원 시스템 및 방법에 의하면, 영상 데이터셋을 구축하기 위해 대량의 포인트 클라우드 데이터가 필요할 경우, 각각의 물체들을 일일히 여러 각도에서 촬영하여 포인트 클라우드 데이터를 직접 얻어 처리하는 과정이 없어, 비용과 노력을 줄일 수 있는 포인트 클라우드 복원 시스템 및 방법을 제공할 수 있다는 효과가 있다.
또한, 누락된 측면 데이터를 물체의 형상을 따라 보간하는 방식으로 한번의 촬영을 통해 좋은 품질의 포인트 클라우드 데이터를 얻을 수 있는 포인트 클라우드 복원 시스템 및 방법을 제공할 수 있다는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 종래기술에 의한 포인트 클라우드 데이터 처리의 문제점을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 포인트 클라우드 복원 시스템을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥 네트워크를 이용하여 보간된 포인트 클라우드 데이터를 정제하는 것을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 포인트 클라우드 복원 방법을 예시한 도면이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 도면의 각 구성부들은 포인트 클라우드 복원 시스템 및 방법에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 대해 살펴보기로 한다.
도 1은 종래기술에 의한 포인트 클라우드 데이터 처리의 문제점을 예시한 도면이다.
포인트 클라우드 데이터는 거리측정 카메라로 물체의 표면을 스캔하여 데이터를 얻을 수 있다. 그러나 한쪽 방향에서만 촬영을 할 경우 물체의 완전한 형태를 얻을 수 없고, 도 1과 같이 촬영하는 방향을 기준으로 측면의 데이터는 누락이 될 수밖에 없다.
따라서 완전한 형태의 데이터를 얻기 위해선 여러 각도에서 촬영 후 정합하는 과정이 필요하다. 데이터셋을 구축하기위해 대량의 포인트 클라우드 데이터가 필요할 경우, 각각의 물체들을 일일히 여러 각도에서 촬영하는 것은 굉장히 비용이 많이 소모되는 일이다
이하 본 발명에서는 포인트 클라우드 데이터를 직접 처리 하는 것이 아니라, 여러 각도로 사영하여 2차원(2D, 2 Dimensional) 이미지로 샘플링 후에 기존의 영상처리에서 많이 활용되는 보간법(Interpolation)을 사용하여 빈 부분을 채우는 방법을 제안하고자 한다.
도 2는 본 발명의 일 실시예에 따른 포인트 클라우드 복원 시스템을 예시한 도면이다.
본 발명은 3차원 데이터인 포인트 클라우드 데이터를 3차원 도메인에서 바로처리하는 것이 아니라, 2차원으로 투영 후 데이터가 누락된 부분을 채운다.
투영각도 선택부(201)는 포인트 클라우드 데이터를 2차원으로 투영할 각도를 선택하도록 하여, 여러 각도에서 투영(Projection)한 2차원 이미지를 생성할 수 있도록 한다. 왜냐하면, 한 개의 정해진 평면이 아닌 여러 각도에서 투영시킨 평면에 적용하면, 원본 대비하여 훨씬 많은 양의 예측된 포인트 클라우드 샘플을 획득하고 이를 이용할 수 있게 되기 때문이다.
2차원 이미지 생성부(203)는 포인트 클라우드 데이터를 투영하여 2D 이미지를 생성한다. 2D 이미지는 관측된 포인트 클라우드 데이터의 후방에 가상의 평면을 설정하고, 각 점들을 평면에 사영시켜 해당되는 픽셀에 매핑하여 구할 수 있다. 이 때 각 포인트들과 평면과의 거리를 측정하여 최종적으로 깊이맵(depth map) 형태의 이미지를 생성한다.
보간부(205)는 2차원 이미지 생성부(203)에서 획득한 깊이맵에 보간법을 적용한다. 가상의 평면에 사영된 포인트 클라우드 데이터의 이미지는 3차원 데이터의 특성 혹은 측정장비의 한계로 인하여 값이 있어야 할 곳에 데이터가 누락된 부분이 많이 생성된다. 보간부(205)는 데이터가 누락된 부분에 보간법을 적용하여 보간된 데이터를 획득한다.
이때 물체의 내부의 영역은 보간할 필요가 없기 때문에, 물체내부 판별부(207)에서는 물체의 내부영역을 판단하고, 보간부(205)는 물체의 내부를 제외하고 필요한 부분에만 누락된 데이터를 보간한다.
포인트 클라우드 데이터 복원부(209)는 보간된 데이터를 다시 포인트 클라우드 데이터로 역사영하여 복원한다. 픽셀의 위치와 픽셀의 값을 그대로 사용하여 다시 포인트 클라우드 데이터 형태로 복원하면, 누락된 측면데이터가 물체의 형상을 따라 보간된 상태로 복원된다.
상기 복원된 값들은 얻어진 위치 및 각도에 따라 보다 정확하게 혹은 정확하지 못하게 예측된 값이다.
정확하지 못하게 예측된 값들을 보완하기 위하여, 포인트 클라우드 데이터 복원부(209)는 투영각도 선택부(201)에서 선택된 여러 각도에서 사영시킨 평면에 적용하여 원본 대비하여 훨씬 많은 양의 예측된 포인트 클라우드 샘플을 획득하고, 이들 데이터들을 모두 모아서 최종적으로 하나의 정돈된 포인트 클라우드 데이터를 얻을 수 있다.
데이터 정제부(211)는 포인트 클라우드 데이터 복원부(209)에서 얻어진 다수의 포인트들을 정제한다.
포인트 클라우드 데이터 복원부(209)에서 보간을 통해 얻어진 데이터들은 서로 중복이 많고 보간 혹은 측정과정에서 많은 오차를 가지고 있게 된다. 따라서, 데이터 정제부(211)는 이러한 데이터들을 상호 비교/분석하여 불필요한 점들을 제거하거나 보정하는 작업이 필요할 수 있다. 이 과정에서 각 포인트들이 어느 각도에서 사영된 평면에서 얻어진 데이터인지 혹은 보간된 데이터인지를 나타내는 정보를 인덱스(indedx)에 기록하여 해당정보를 바탕으로 포인트들을 정제할 수 있다.
포인트 클라우드의 정제방법의 한가지 예로서, 도 3과 같이 딥 네트워크를 이용하여 여러 각도로 예측하고 사영하여 보간된 다수의 포인트 클라우드 데이터들을 모두 모아서, 원본과 최대한 비슷하게 정제해 주는 방법을 생각할 수 있다.
도 3은 본 발명의 일 실시예에 따른 딥 네트워크를 이용하여 보간된 포인트 클라우드 데이터를 정제하는 것을 예시한 도면이다.
본 발명의 일실시예에 따르면, 포인트 클라우드 데이터를 2차원으로 투영한 관측데이터(301)들과, 관측데이터(301)를 보간 등을 통한 예측데이터(303)들을 분리하여 처리해 주는 딥 네트워크 기반의 정제 네트워크(305)을 적용하여 정제효율을 높일 수 있다.
예컨대, 정제 네트워크(305)는 네트워크 내부에서 각 포인트의 주변 포인트들을 찾는 과정에서 관측데이터(301)와 예측데이터(303)의 비율, 혹은 사영 각도별 뷰의 비율을 사전에 정해진 값으로 맞추어 처리하는 방식을 적용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 포인트 클라우드 복원 방법을 예시한 도면이다.
본 발명은 3차원 데이터인 포인트 클라우드 데이터를 2차원으로 투영 후 데이터가 누락된 부분을 채운다.
우선, 3차원 포인트 클라우드 데이터를 2차원으로 투영할 각도를 선택한다(S401). 이는 3차원 포인트 클라우드 데이터를 여러 각도에서 투영(Projection)하여, 원본 대비하여 훨씬 많은 양의 예측된 포인트 클라우드 샘플을 획득하기 위함이다.
투영할 각도가 선택되면, 포인트 클라우드 데이터를 투영하여 2D 이미지를 생성한다(S403). 2D 이미지는 관측된 포인트 클라우드 데이터의 후방에 가상의 평면을 설정하고, 각 점들을 평면에 사영시켜 해당되는 픽셀에 매핑하여 구할 수 있다. 이 때 각 포인트들과 평면과의 거리를 측정하여 최종적으로 깊이맵(depth map) 형태의 이미지를 생성한다.
가상의 평면에 사영된 포인트 클라우드 데이터의 이미지는 3차원 데이터의 특성 혹은 측정장비의 한계로 인하여 값이 있어야 할 곳에 데이터가 누락된 부분이 많이 생성된다. 따라서, 상기 생성된 깊이맵 형태의 2차원 이미지에 데이터가 누락된 부분에 보간법을 적용하여 보간된 데이터를 획득한다(S405).
이때 물체의 내부의 영역은 보간할 필요가 없기 때문에, 물체의 내부영역을 판단하고, 물체의 내부를 제외하고 필요한 부분에만 누락된 데이터를 보간한다(S407).
보간된 데이터는 픽셀의 위치와 픽셀의 값을 그대로 사용하여 다시 포인트 클라우드 데이터 형태로 복원되고, 이 과정에서 누락된 측면데이터가 물체의 형상을 따라 보간된 상태로 복원된다(S409).
상기 복원된 값들은 얻어진 위치 및 각도에 따라 보다 정확하게 혹은 정확하지 못하게 예측된 값이다.
보간을 통해 얻어진 포인트 클라우드 데이터들은 서로 중복이 많고 보간 혹은 측정과정에서 많은 오차를 가지고 있게 된다. 따라서, 이러한 데이터들을 상호 비교/분석하여 불필요한 점들을 제거하거나 보정하는 작업이 필요할 수 있다.
물체를 선택된 여러 각도에서 사영시킨 평면에 적용하여 원본 대비하여 훨씬 많은 양의 예측된 포인트 클라우드 샘플을 획득하고, 이들 데이터들을 모두 모아서 정제하여 최종적으로 하나의 보다 정돈된 포인트 클라우드 데이터를 얻을 수 있다(S411).
이 과정에서 각 포인트들이 어느 각도에서 사영된 평면에서 얻어진 데이터인지 혹은 보간된 데이터인지를 나타내는 데이터도 고려할 수 있다.
도 4에서는 단계 S401 내지 단계 S411을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 단계 S401 내지 단계 S411 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다. 예컨대, 2차원 이미지 생성(S403)과 물체내부 판별(S407) 단계는 순차적이 아니라 병행하여 수행될 수 있다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 포인트 클라우드 복원 시스템 및 방법에 따르면, 영상 데이터셋을 구축하기 위해 대량의 포인트 클라우드 데이터가 필요할 경우, 각각의 물체들을 일일히 여러 각도에서 촬영하여 포인트 클라우드 데이터를 직접 얻어 처리하는 과정이 없이 한번의 촬영을 통해 좋은 품질의 포인트 클라우드 데이터를 얻을 수 있는 포인트 클라우드 복원 시스템 및 방법을 제공할 수 있는 솔루션으로 활용 가능하다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
201: 투영각도 선택부 203: 2차원 이미지 생성부
205: 보간부 207: 물체내부 판별부
209: 포인트 클라우드 데이터 복원부 211: 데이터 정제부
301: 관측데이터 303: 예측데이터
305: 정제 네트워크

Claims (16)

  1. 3차원 데이터인 포인트 클라우드 데이터를 2차원으로 투영 후 데이터가 누락된 부분을 채우는 포인트 클라우드 복원 시스템에 있어서,
    포인트 클라우드 데이터를 투영하여 2차원 이미지를 생성하는 2차원 이미지 생성부;
    상기 2차원 이미지 생성부에서 획득한 2차원 이미지의 데이터가 누락된 부분에 보간법을 적용하여 보간된 데이터를 획득하는 보간부;
    상기 보간된 데이터를 다시 포인트 클라우드 데이터로 복원하는 포인트 클라우드 데이터 복원부;
    상기 복원부에서 정확하지 못하게 예측된 값들을 보완하기 위하여, 상기 포인트 클라우드 데이터 복원부에서 얻어진 포인트들을 정제하는 데이터 정제부; 및
    상기 포인트 클라우드 데이터 복원부에서 여러 각도에서 투영시킨 평면에 적용하여 원본 대비하여 많은 양의 예측된 포인트 클라우드 샘플을 획득하기 위하여, 상기 포인트 클라우드 데이터를 2차원으로 투영할 각도를 선택하도록 하여, 여러 각도에서 투영(Projection)한 2차원 이미지를 생성할 수 있도록 하는 투영각도 선택부를 포함하고,
    상기 포인트 클라우드 데이터 복원부는, 상기 투영각도 선택부에서 선택된 여러 각도에서 투영시킨 평면에 적용하여 원본 대비하여 많은 양의 예측된 포인트 클라우드 샘플을 획득하고, 상기 예측된 포인트 클라우드 샘플들을 모아서 하나의 정돈된 포인트 클라우드 데이터를 얻고,
    상기 데이터 정제부는, 상기 포인트 클라우드 데이터 복원부에서 복원된 포인트 클라우드 데이터를, 각 포인트들이 어느 각도에서 투영된 평면에서 얻어진 데이터인지 혹은 보간된 데이터인지를 나타내는 정보를 포함하여, 상호 비교/분석하여 불필요한 점들을 제거하거나 보정하고, 이 과정에서 각 포인트들이 어느 각도에서 투영된 평면에서 얻어진 데이터인지 혹은 보간된 데이터인지를 나타내는 정보를 인덱스(indedx)에 기록하여 해당정보를 바탕으로 포인트들을 정제하는 것을 특징으로 하는 포인트 클라우드 복원 시스템.
  2. 제1항에 있어서,
    상기 보간부에서 물체의 내부를 제외하고 필요한 부분에만 누락된 데이터를 보간하기 위하여,
    상기 물체의 내부영역을 판단하여 이에 대한 정보를 상기 보간부에 전달하는 물체내부 판별부를 더 포함하는 것을 특징으로 하는 포인트 클라우드 복원 시스템.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 2차원 이미지 생성부에서 생성되는 2차원 이미지는,
    상기 포인트 클라우드 데이터의 후방에 가상의 평면을 설정하고, 각 점들을 평면에 사영시켜 해당되는 픽셀에 매핑하여 구하는 것을 특징으로 하는 포인트 클라우드 복원 시스템.
  6. 제5항에 있어서,
    상기 2차원 이미지 생성부에서 생성되는 2차원 이미지는,
    상기 포인트 클라우드 데이터의 각 포인트들과 상기 가상의 평면과의 거리를 측정하여 최종적으로 깊이맵(depth map) 형태의 이미지를 생성하는 것을 특징으로 하는 포인트 클라우드 복원 시스템.
  7. 제1항에 있어서,
    상기 포인트 클라우드 데이터 복원부는,
    상기 보간부에서 보간된 데이터의 픽셀의 위치와 픽셀의 값을 그대로 사용하여 다시 포인트 클라우드 데이터 형태로 복원하는 것을 특징으로 하는 포인트 클라우드 복원 시스템.
  8. 삭제
  9. 3차원 데이터인 포인트 클라우드 데이터를 2차원으로 투영 후 데이터가 누락된 부분을 채우는 포인트 클라우드 복원 방법에 있어서,
    포인트 클라우드 데이터를 투영하여 2차원 이미지를 생성하는 단계;
    상기 생성된 2차원 이미지의 데이터가 누락된 부분에 보간법을 적용하여 보간된 데이터를 획득하는 단계;
    상기 보간된 데이터를 다시 포인트 클라우드 데이터로 복원하는 단계;
    상기 포인트 클라우드 데이터 복원 단계에서 정확하지 못하게 예측된 값들을 보완하기 위하여, 상기 복원된 포인트들을 정제하는 단계; 및
    상기 포인트 클라우드 데이터 복원 단계에서 여러 각도에서 투영시킨 평면에 적용하여 원본 대비하여 많은 양의 예측된 포인트 클라우드 샘플을 획득하기 위하여, 상기 포인트 클라우드 데이터를 2차원으로 투영할 각도를 선택하도록 하여, 여러 각도에서 투영(Projection)한 2차원 이미지를 생성할 수 있도록 하는 투영각도 선택 단계를 포함하고,
    상기 보간된 데이터를 다시 포인트 클라우드 데이터로 복원하는 단계는, 상기 투영각도 선택 단계에서 선택된 여러 각도에서 투영시킨 평면에 적용하여 원본 대비하여 많은 양의 예측된 포인트 클라우드 샘플을 획득하고, 상기 예측된 포인트 클라우드 샘플들을 모아서 하나의 정돈된 포인트 클라우드 데이터를 얻고,
    상기 복원된 포인트들을 정제하는 단계는, 상기 포인트 클라우드 데이터로 복원하는 단계에서 복원된 포인트 클라우드 데이터를, 각 포인트들이 어느 각도에서 투영된 평면에서 얻어진 데이터인지 혹은 보간된 데이터인지를 나타내는 정보를 포함하여, 상호 비교/분석하여 불필요한 점들을 제거하거나 보정하고, 이 과정에서 각 포인트들이 어느 각도에서 투영된 평면에서 얻어진 데이터인지 혹은 보간된 데이터인지를 나타내는 정보를 인덱스(indedx)에 기록하여 해당정보를 바탕으로 포인트들을 정제하는 것를 특징으로 하는 포인트 클라우드 복원 방법.
  10. 제9항에 있어서,
    상기 보간된 데이터를 획득하는 단계 이전에,
    물체의 내부를 제외하고 필요한 부분에만 누락된 데이터를 보간하기 위하여, 상기 물체의 내부영역을 판단하여 이에 대한 정보를 획득하는 물체내부 판별단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드 복원 방법.
  11. 삭제
  12. 제9항에 있어서,
    상기 2차원 이미지 생성 단계에서 생성되는 2차원 이미지는,
    상기 포인트 클라우드 데이터의 후방에 가상의 평면을 설정하고, 각 점들을 평면에 사영시켜 해당되는 픽셀에 매핑하여 구하는 것을 특징으로 하는 포인트 클라우드 복원 방법.
  13. 제12항에 있어서,
    상기 2차원 이미지 생성 단계에서 생성되는 2차원 이미지는,
    상기 포인트 클라우드 데이터의 각 포인트들과 상기 가상의 평면과의 거리를 측정하여 최종적으로 깊이맵(depth map) 형태의 이미지를 생성하는 것을 특징으로 하는 포인트 클라우드 복원 방법.
  14. 제9항에 있어서,
    상기 포인트 클라우드 데이터 복원 단계는,
    상기 보간 단계에서 보간된 데이터의 픽셀의 위치와 픽셀의 값을 그대로 사용하여 다시 포인트 클라우드 데이터 형태로 복원하는 것을 특징으로 하는 포인트 클라우드 복원 방법.
  15. 삭제
  16. 제9항 내지 제10항, 제12항 내지 제14항 중 어느 한 항에 기재된 포인트 클라우드 복원 방법을 실행하는 프로그 램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020210065287A 2021-05-21 2021-05-21 포인트 클라우드 복원 시스템 및 방법 KR102533985B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210065287A KR102533985B1 (ko) 2021-05-21 2021-05-21 포인트 클라우드 복원 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210065287A KR102533985B1 (ko) 2021-05-21 2021-05-21 포인트 클라우드 복원 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220157586A KR20220157586A (ko) 2022-11-29
KR102533985B1 true KR102533985B1 (ko) 2023-05-17

Family

ID=84234900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210065287A KR102533985B1 (ko) 2021-05-21 2021-05-21 포인트 클라우드 복원 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102533985B1 (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3030847B1 (fr) * 2014-12-19 2017-12-22 Thales Sa Procede de discrimination et d'identification par imagerie 3d d'objets d'une scene
KR102633159B1 (ko) 2016-12-13 2024-02-05 한국전자통신연구원 이미지 프로세싱을 이용한 3차원 모델 복원 장치 및 방법
US10783668B2 (en) * 2017-12-22 2020-09-22 Samsung Electronics Co., Ltd. Handling duplicate points in point cloud compression
TWI815842B (zh) * 2018-01-16 2023-09-21 日商索尼股份有限公司 影像處理裝置及方法
KR20190117287A (ko) 2018-04-06 2019-10-16 삼성전자주식회사 중복 포인트 처리 방법 및 장치
WO2020014011A1 (en) * 2018-07-11 2020-01-16 Interdigital Vc Holdings, Inc. A method and device for encoding/decoding the geometry of a point cloud.
KR102549617B1 (ko) 2018-07-13 2023-06-29 한국전자통신연구원 3d 포인트 클라우드 데이터의 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
KR20220157586A (ko) 2022-11-29

Similar Documents

Publication Publication Date Title
KR101893047B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
US20200234397A1 (en) Automatic view mapping for single-image and multi-view captures
US9117278B2 (en) System and method for geometric modeling using multiple data acquisition means
JP6446997B2 (ja) スケール及び深度空間に変換することによるライトフィールドの処理
JP2021535466A (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
US20170011267A1 (en) Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings
JP7285834B2 (ja) 三次元再構成方法および三次元再構成装置
US10891779B2 (en) Efficient volumetric reconstruction with depth sensors
JP2008191072A (ja) ３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体
CN103606151A (zh) 基于影像点云的大范围虚拟地理场景自动构建方法
US20230394833A1 (en) Method, system and computer readable media for object detection coverage estimation
JP2016122444A (ja) 焦点スタックから適応スライス画像を生成する方法および装置
JP5832211B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111179210B (zh) 一种人脸的纹理贴图生成方法、系统及电子设备
Maki et al. 3d model generation of cattle using multiple depth-maps for ict agriculture
KR102533985B1 (ko) 포인트 클라우드 복원 시스템 및 방법
CN117880479A (zh) 用于从数字全息图估计深度图的计算单元和方法，视频序列的编码方法，计算机程序
JP7416573B2 (ja) 立体画像生成装置及びそのプログラム
CN114998150B (zh) 超声图像的三维重建方法及装置
Dziubich et al. Depth images filtering in distributed streaming
KR101857977B1 (ko) 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법
JP5906033B2 (ja) 画像処理装置および画像処理方法、プログラム
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
JP7389565B2 (ja) 符号化装置、復号装置、及びプログラム
Park et al. Voxel-based volume modelling of individual trees using terrestrial laser scanners

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant