KR20230101575A - 3차원 데이터의 획득 가이드를 제공하는 방법 및 장치 - Google Patents

3차원 데이터의 획득 가이드를 제공하는 방법 및 장치 Download PDF

Info

Publication number
KR20230101575A
KR20230101575A KR1020210191784A KR20210191784A KR20230101575A KR 20230101575 A KR20230101575 A KR 20230101575A KR 1020210191784 A KR1020210191784 A KR 1020210191784A KR 20210191784 A KR20210191784 A KR 20210191784A KR 20230101575 A KR20230101575 A KR 20230101575A
Authority
KR
South Korea
Prior art keywords
sensor
data
image data
camera
point map
Prior art date
Application number
KR1020210191784A
Other languages
English (en)
Inventor
최중용
김현주
지형근
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210191784A priority Critical patent/KR20230101575A/ko
Publication of KR20230101575A publication Critical patent/KR20230101575A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

카메라 및 적어도 하나의 센서로부터 이미지 데이터 및 센서 데이터를 수집하는 다중 센서 동기화 모듈, 이미지 데이터 및 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성하는 자유시점 추적 모듈, 그리고 포인트 맵 및 시점 정보를 디스플레이하여 상기 타깃의 촬영자에게 가이드를 제공하는 가이드 디스플레이 모듈을 포함하는, 타깃의 3차원 데이터를 획득하기 위한 가이드 장치가 제공된다.

Description

3차원 데이터의 획득 가이드를 제공하는 방법 및 장치{Method and apparatus for PROVIDING VISUAL GUIDE FOR ACQUIRING 3D DATA}
본 기재는 3차원 데이터의 획득 가이드를 제공하는 장치 및 방법에 관한 것이다.
3D 스캐너의 경우, 고정밀, 중정밀, 광대역 스캔이 가능한 다양한 장비들이 존재하는데 문화유산을 디지털화 할 때 촬영할 문화유산의 규모나 필요 해상도 등 특성에 맞게 장비를 선택하여 스캐닝 작업을 수행한다.
문화유산 디지털화 시 널리 사용되는 장비 혹은 방식들 모두 취득 가이드 기술이 적용된 기기들이 거의 없다. 가이드 기술은 사진 측량이나 3D 스캐너를 통해 유물을 스캐닝 할 때 어느 부위를 스캐닝 했는지 표현해줄 수 있는 기술을 의미하며, 스캐닝 되지 않은 음영구역을 방지하기 위한 것이다.
문화유산 디지털화 작업 시 대부분의 중요 유물은 발굴, 보존처리 등 특정기간에만 정해진 인원에 한하여 접근이 가능한데, 스캐닝이나 촬영 중 음영구역이 발생하여도 재촬영이 어려울 경우가 대부분이다.
한 실시예는, 타깃의 3차원 데이터를 획득하기 위한 가이드 장치를 제공한다.
다른 실시예는, 타깃의 3차원 데이터를 획득하기 위한 가이드 방법을 제공한다.
한 실시예에 따르면, 타깃의 3차원 데이터를 획득하기 위한 가이드 장치가 제공된다. 상기 가이드 장치는, 카메라 및 적어도 하나의 센서로부터 이미지 데이터 및 센서 데이터를 수집하는 다중 센서 동기화 모듈, 이미지 데이터 및 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성하는 자유시점 추적 모듈, 그리고 포인트 맵 및 시점 정보를 디스플레이하여 타깃의 촬영자에게 가이드를 제공하는 가이드 디스플레이 모듈을 포함한다.
상기 가이드 장치는, 카메라 및 적어도 하나의 센서의 위치 관계에 대한 캘리브레이션을 수행하여 캘리브레이션 매트릭스 및 카메라 렌즈 파라미터를 결정하고, 캘리브레이션 매트릭스 및 카메라 렌즈 파라미터를 자유시점 추적 모듈에 전달하는 다중 센서 캘리브레이션 모듈을 더 포함할 수 있다.
상기 가이드 장치에서 자유시점 추적 모듈은 카메라 및 적어도 하나의 센서 간의 캘리브레이션을 위한 캘리브레이션 매트릭스 및 카메라 렌즈 파라미터를 바탕으로 이미지 데이터 및 센서 데이터로부터 시점 정보를 추출하고 포인트 맵을 생성할 수 있다.
상기 가이드 장치에서 적어도 하나의 센서는 깊이 센서 또는 라이다(light detection and ranging, LiDAR) 센서를 포함할 수 있다.
상기 가이드 장치에서 다중 센서 동기화 모듈은, 이미지 데이터 및 센서 데이터의 획득 시점 및 획득 각도를 하나의 시점을 기준으로 동기화할 수 있다.
상기 가이드 장치에서 자유시점 추적 모듈은, 동기화된 이미지 데이터 및 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성할 수 있다.
상기 가이드 장치에서 다중 센서 동기화 모듈은, 카메라로부터 이미지 데이터를 수집하기 위해, 카메라로 촬영 명령, 중지 명령, 또는 전송 명령을 전달할 수 있다.
상기 가이드 장치에서 자유시점 추적 모듈은 동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM) 기술을 사용하여 이미지 데이터 및 센서 데이터로부터 시점 정보를 추출하고 포인트 맵을 생성할 수 있다.
다른 실시예에 따르면, 타깃의 3차원 데이터를 획득하기 위한 가이드를 제공하는 방법이 제공된다. 상기 방법은, 카메라 및 적어도 하나의 센서로부터 이미지 데이터 및 센서 데이터를 수집하는 단계, 이미지 데이터 및 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성하는 단계, 그리고 포인트 맵 및 시점 정보를 디스플레이하여 타깃의 촬영자에게 가이드를 제공하는 단계를 포함한다.
상기 방법에서 이미지 데이터 및 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성하는 단계는, 카메라 및 적어도 하나의 센서의 위치 관계에 대한 캘리브레이션을 수행하여 캘리브레이션 매트릭스 및 카메라 렌즈 파라미터를 결정하고, 캘리브레이션 매트릭스 및 카메라 렌즈 파라미터를 바탕으로 이미지 데이터 및 센서 데이터로부터 시점 정보를 추출하고 포인트 맵을 생성하는 단계를 포함할 수 있다.
상기 방법에서 적어도 하나의 센서는 깊이 센서 또는 라이다(light detection and ranging, LiDAR) 센서를 포함할 수 있다.
상기 방법은 이미지 데이터 및 센서 데이터의 획득 시점 및 획득 각도를 하나의 시점을 기준으로 동기화하는 단계를 더 포함할 수 있다.
상기 방법에서 이미지 데이터 및 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성하는 단계는, 동기화된 이미지 데이터 및 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성하는 단계를 포함할 수 있다.
상기 방법은 카메라로부터 이미지 데이터를 수집하기 전에, 카메라로 촬영 명령, 중지 명령, 또는 전송 명령을 전달하는 단계를 더 포함할 수 있다.
상기 방법에서 이미지 데이터 및 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성하는 단계는, 동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM) 기술을 사용하여 이미지 데이터 및 센서 데이터로부터 시점 정보를 추출하고 포인트 맵을 생성하는 단계를 포함할 수 있다.
촬영 타깃(문화재 등)의 3차원 데이터로부터 데이터베이스가 구축될 때, 취급에 주의를 요하고 접근성이 떨어지는 타깃의 디지털화 작업이 효율적으로 신속하게 수행될 수 있다.
도 1은 한 실시예에 따른 3차원 데이터를 획득하기 위한 가이드 장치를 나타낸 블록도이다.
도 2는 한 실시예에 따른 3차원 데이터를 획득하기 위한 가이드 방법을 나타낸 흐름도이다.
도 3은 한 실시예에 따른 시각 SLAM 기술을 유형을 나타낸 도면이다.
도 4는 한 실시예에 따른 가이드 디스플레이 모듈의 스크린을 나타낸 도면이다.
도 5는 다른 실시예에 따른 3차원 데이터를 획득하기 위한 가이드 장치를 나타낸 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 기재의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 기재는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 기재를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.
본 명세서에서 "및/또는"은 언급된 구성 요소들의 각각 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서, 제1, 제2 등과 같이 서수를 포함하는 용어들은 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 도면을 참고하여 설명한 흐름도에서, 동작 순서는 변경될 수 있고, 여러 동작들이 병합되거나, 어느 동작이 분할될 수 있고, 특정 동작은 수행되지 않을 수 있다.
도 1은 한 실시예에 따른 3차원 데이터를 획득하기 위한 가이드 장치를 나타낸 블록도이고, 도 2는 한 실시예에 따른 3차원 데이터를 획득하기 위한 가이드 방법을 나타낸 흐름도이다.
한 실시예에 따른 3차원 데이터를 획득하기 위한 가이드 장치(100)는 다중 센서 동기화 모듈(110), 다중 센서 캘리브레이션 모듈(120), 자유시점 추적 모듈(130), 및 가이드 디스플레이 모듈(140)을 포함할 수 있다.
다중 센서 동기화 모듈(110)은 카메라, 깊이(Depth) 센서, 라이다(light detection and ranging, LiDAR) 센서 등 다양한 장치로부터 하나의 타깃에 관한 이미지 데이터(RGB 데이터 등) 및 센서 데이터(깊이 데이터 및 라이다 데이터 등)를 수집하고, 수집된 이미지 데이터 및 센서 데이터를 동기화할 수 있다. 다중 센서 동기화 모듈(110)은 또한 카메라로부터 관성 측정 장치(Inertial Measurement Unit, IMU) 데이터(예를 들어, 카메라의 GPS 정보, 가속도 정보, 회전/이동 정보)를 수집할 수 있다.
다중 센서 동기화 모듈(110)은 카메라 및 센서로부터 이미지 데이터 및 센서 데이터를 수신하기 위해 제어 메시지를 통해 카메라 및 센서를 제어할 수 있다. 다중 센서 동기화 모듈(110)은 카메라 및 센서의 물리적 위치가 다르고, 수집된 이미지 데이터 및 센서 데이터의 획득 시점, 획득 각도 등을 하나의 시점(view point)을 기준으로 동기화할 수 있다. 이미지 데이터 및 센서 데이터가 동기화되지 않으면, 이미지 스티칭, 3차원 모델링, 텍스처 블렌딩 등에서 오차가 발생할 수 있다.
다중 센서 동기화 모듈(110)에 의해 수집된 데이터는 다중 센서 동기화 모듈(110) 내에 포함되거나 또는 다중 센서 동기화 모듈(110)에 연결된 다양한 저장 장치 내에 저장될 수 있다.
다중 센서 캘리브레이션 모듈(120)은 타깃의 이미지 데이터 및 센서 데이터 획득한 카메라, 깊이 센서, 및 라이다 센서 간의 3차원 위치 관계에 대한 캘리브레이션을 수행할 수 있다. 카메라, 깊이 센서, 및 라이다 센서가 캘리브레이션용 보드 상의 규격화된 타깃을 동시에 촬영하여 이미지 데이터 및 센서 데이터를 획득하면, 다중 센서 캘리브레이션 모듈(120)은 규격화된 타깃의 이미지 데이터 및 센서 데이터를 바탕으로 카메라, 깊이 센서, 및 라이다 센서 사이의 관계를 계산하고 캘리브레이션 매트릭스 및 카메라 렌즈 파라미터를 결정할 수 있다.
자유시점 추적 모듈(130)은 규격화된 타깃의 이미지 데이터 및 센서 데이터에 기반하여 캘리브레이션 매트릭스 및 카메라 렌즈 파라미터를 사용하여 촬영 시점의 시점 정보를 추출하고 포인트 맵을 생성할 수 있다.
가이드 디스플레이 모듈(140)은 이미지 데이터 및 센서 데이터에 기반하여 생성된 포인트맵과 이미지 데이터 및 센서 데이터에 기반하여 추출된 시점 정보를 스크린 상에 디스플레이함으로써 타깃의 촬영자에게 가이드를 제공할 수 있다. 타깃의 3차원 이미지의 획득 작업을 수행하는 작업자는 가이드 디스플레이 모듈(140)에 의해 디스플레이된 포인트맵 및 시점 정보를 바탕으로 타깃에서 3차원 데이터가 기획득된 부분 및 3차원 데이터가 획득되어야 할 부분(획득 음영 부분)을 확인할 수 있다.
한 실시예에 따른 가이드 장치(100)에서 가이드 디스플레이 모듈(140)은 다중 센서 동기화 모듈(110), 다중 센서 캘리브레이션 모듈(120), 및 자유시점 추적 모듈(130)과 물리적으로 떨어져 위치한 별도의 장치일 수 있다. 예를 들어, 고해상도 카메라, 깊이 센서, 라이다 센서 등으로부터 촬영 타깃의 이미지 데이터 및 센서 데이터가 가이드 장치(100)의 다중 센서 동기화 모듈(110)로 전달되고, 타깃의 이미지 데이터 및 센서 데이터에 기반하여 자유시점 추적 모듈(130)에 의해 생성된 포인트 맵 및 시점 정보는 다중 센서 동기화 모듈(110) 및 자유시점 추적 모듈(130)과 개별적으로 연결된 가이드 디스플레이 모듈(140) 상에 디스플레이될 수 있다.
고해상도 카메라, Depth 센서, LiDAR 센서 등의 데이터 획득 장치는 촬영시 흔들림을 방지할 수 있는 안정화 장치(짐벌 등)에 의해 지지될 수 있다.
도 2를 참조하면, 타깃의 3차원 데이터를 획득하기 위한 가이드 장치(100)의 다중 센서 동기화 모듈(110)은 카메라 및 적어도 하나의 센서로부터 이미지 데이터 및 센서 데이터를 획득하고(S110), 획득된 이미지 데이터 및 센서 데이터를 동기화할 수 있다(S120).
한 실시예에 따른 다중 센서 동기화 모듈(110)은 고해상도 카메라, 깊이 센서, 라이다 센서로부터 이미지 데이터 및 센서 데이터를 획득하고, 획득된 이미지 데이터 및 센서 데이터를 동기화하여 저장할 수 있다. 다중 센서 동기화 모듈(110)은 각 카메라 및 센서로 촬영 명령, 중지 명령, 전송 명령 등을 전달하고, 타깃의 촬영에 필요한 파라미터를 설정할 수 있다. 다중 센서 동기화 모듈(110)은 카메라 및 센서의 제어를 위해 카메라 제어 모듈, 깊이 센서 제어 모듈, 라이다 센서 제어 모듈 등을 포함할 수 있다.
예를 들어, 고해상도 카메라를 제어하기 위해 다중 센서 동기화 모듈(110)은 해당 카메라 제조사로부터 제공되는 소프트웨어 개발 키트(Software Development Kit, SDK)를 통해 함수 호출을 수행할 수 있다. 또한 카메라의 제어 파라미터로서 촬영 시작/중지 명령, 조리개, 해상도, 초점거리 등이 설정될 수 있다. 깊이 센서 및 라이다 센서도 해당 센서의 제조사에 의해 제공되는 SDK를 통해 제어될 수 있고, 각 센서 별로 제어될 수 있는 범위가 다를 수 있다.
다중 센서 동기화 모듈(110)은 카메라 및 센서들로부터 수집되는 이미지 데이터, 깊이 센서 데이터, 라이다 센서 데이터 등을 동기화한 후 저장할 수 있다.
도 2를 참조하면, 다중 센서 캘리브레이션 모듈(120)은 규격화된 타깃의 촬영 결과로부터 카메라, 깊이 센서, 및 라이다 센서의 물리적 위치 및 시점 차이에 관한 캘리브레이션을 수행할 수 있다(S130).
한 실시예에 따른 자유시점 추적 모듈(130)이 다중 센서 동기화 모듈(110)로부터 이미지 데이터 및 센서 데이터를 수신하고 수신된 이미지 데이터 및 센서 데이터를 바탕으로 3D 모델의 생성에 필요한 포인트 맵(Point Map)을 생성하고 시점 정보를 추출할 때, 이미지 데이터 및 센서 데이터를 생성한 카메라, 깊이 센서, 및 라이다 센서의 캘리브레이션 정보도 자유시점 추적 모듈(130)에 전달될 필요가 있다.
카메라, 깊이 센서, 및 라이다 센서 등의 캘리브레이션 정보는 카메라와 각 센서 간의 물리적 위치 및 시점 차이를 계산하고 계산된 차이를 보정하기 위한 것이다. 한 실시예에 따른 캘리브레이션 정보는 캘리브레이션 매트릭스, 카메라 파라미터, 및 렌즈 파라미터를 포함할 수 있다. 다중 센서 캘리브레이션 모듈(120)이 카메라, 깊이 센서, 및 라이다 센서의 캘리브레이션을 수행하지 않거나 또는 캘리브레이션에 오차가 크면, 이미지 데이터 및 센서 데이터를 사용하여 생성되는 3D 모델에서 잘못된 위치에 텍스처가 입혀지는 문제가 발생할 수 있다. 즉, 획득된 이미지 데이터 및 센서 데이터를 통해 3차원 모델을 생성할 때 오차가 발생하지 않도록 하기 위해, 각 카메라와 센서들의 물리적 위치 차이와 렌즈로 인한 왜곡 정도가 보정될 필요가 있다. 다중 센서의 캘리브레이션은 카메라 포즈 추정 값 및 특징점 추출 값의 오차를 줄일 수 있기 때문에 중요할 수 있다.
도 2를 참조하면, 자유시점 추적 모듈(130)은 위치추정 및 지도작성 알고리즘을 사용하여 다중 센서 동기화 모듈(110)로부터 수신된 이미지 데이터 및 센서 데이터로부터 타깃의 포인트 맵을 생성하고 타깃의 촬영 시점에 관한 정보(시점 정보)를 추출할 수 있다(S140).
한 실시예에 따른 자유시점 추적 모듈(130)에 동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM) 기술이 적용될 수 있다. 자유시점 추적 모듈(130)은 카메라로부터 수집된 이미지 데이터 및 IMU 데이터를 바탕으로 SLAM을 사용하여 3차원 공간 상에 맵(키포인트 및 키프레임을 포함함)을 생성하고, 생성된 맵 내에서 카메라의 3차원 위치를 실시간으로 추적할 수 있다. 또는 자유시점 추적 모듈(130)은 움직임 기반 구조(Structure from Motion, SfM) 기술도 사용할 수 있고, 로봇 컨트롤, 자동화 주행, 원격 탐사 등 다양한 분야에서 활용되는 다른 관련 기술을 사용할 수도 있다. 한 실시예에 따른 자유시점 추적 모듈(130)은 시각(Visual) SLAM 기술 중에서 특징(Feature) 기반 SLAM을 사용할 수 있고, 촬영 타깃이 문화재일 때 ORB(Oriented FAST and rotated BRIEF)-SLAM 기술이 사용될 수 있지만, 특정 알고리즘으로 한정되는 것은 아니다.
도 3은 한 실시예에 따른 시각 SLAM 기술을 유형을 나타낸 도면이다. 도 3을 참조하면, ORB-SLAM에서, 간접(Indirect) 방식으로 저밀도(Sparse)의 포인트맵이 생성될 수 있다.
시각 SLAM 기술은 카메라 영상에서 특징을 추출하고 추출된 특징에 기반하여 SLAM을 수행하는 특징 기반 간접 SLAM 기술 및 특징 추출없이 영상을 직접 활용하는 직접(Direct) SLAM 기술을 포함한다. 특징 기반 간접 SLAM은, 주기적으로 수신되는 영상의 특징점들을 추출하고 추출된 특징점으로부터 변화를 감지할 수 있다. 대표적으로 ORB-SLAM이 있으며, 추출되는 포인트 맵의 밀도는 상대적으로 낮지만 처리 속도가 상대적으로 빠르다. 반면 직접 SLAM의 경우, 특징 추출없이 전체 이미지가 직접 비교되기 때문에, 특징 기반 SLAM 방식에 비해 처리 속도가 늦다. 하지만 직접 SLAM은 전체 이미지를 활용하는 만큼, 일반적으로 보다 고밀도의 포인트 맵을 추출할 수 있다.
한 실시예에 따른 자유시점 3차원 데이터를 획득하기 위한 가이드 장치(100)가 문화재의 3차원 데이터에 가이드를 표시할 때, 자유시점 추적 모듈(130)은 문화재의 촬영 현장에서 실시간으로 포인트 맵을 생성하고 시점 정보를 추출하기 위해 ORB-SLAM 기술을 사용할 수 있다. 즉, 자유시점 추적 모듈(130)은 ORB-SLAM 기술을 사용하여 이미지 데이터 및 센서 데이터로부터 시점 정보를 추출하고 포인트 맵을 생성할 수 있다.
이후 가이드 디스플레이 모듈(140)은 시점 정보 및 포인트 맵을 디스플레이함으로써 3차원 데이터의 획득을 위한 가이드를 제공할 수 있다(S150). 즉, 문화재 등의 타깃을 촬영하는 사람은 디스플레이된 포인트 맵 및 시점 정보를 통해 3차원 데이터를 획득하기 위해 촬영이 필요한 획득 음영 부분을 확인할 수 있다.
도 4는 한 실시예에 따른 가이드 디스플레이 모듈의 스크린을 나타낸 도면이다.
한 실시예에 따른 가이드 디스플레이 모듈(140)은 복수의 디스플레이 부분을 포함할 수 있고, 복수의 디스플레이 부분은 자유시점 추적 모듈(130)에 의해 생성된 포인트 맵 및 시점 정보가 표시되는 부분을 포함하고, 복수의 디스플레이 부분 중 나머지는 카메라 및 센서 등의 데이터 획득 장치에 각각 대응할 수 있다. 도 4를 참조하면, 왼쪽 상단에는 라이다 센서로부터의 센서 데이터가 표시되고, 오른쪽 상단에는 카메라로부터의 이미지 데이터가 표시되며, 왼쪽 하단에는 깊이 센서로부터의 센서 데이터가 표시될 수 있다. 도 4의 오른쪽 하단에는 포인트 맵 및 시점 정보가 표시될 수 있다. 타깃의 촬영자는 카메라 및 센서에 대응하는 디스플레이 부분을 통해 전반적인 촬영 상황을 확인할 수 있고, 포인트 맵 및 시점 정보의 디스플레이 부분을 통해 획득 음영 부분을 확인할 수 있다.
위에서 설명한 바와 대로, 한 실시예에 따른 자유시점 3차원 데이터를 획득하기 위한 가이드 장치(100)는, 촬영 타깃(문화재 등)의 3차원 데이터로부터 데이터베이스가 구축될 때, 촬영 음영 구역 또는 스캐닝 음영 구역이 발생하는 것을 방지할 수 있는 시각 가이드를 제공함으로써, 취급에 주의를 요하고 접근성이 떨어지는 타깃의 디지털화 작업이 효율적으로 신속하게 수행될 수 있도록 할 수 있다.
도 5는 다른 실시예에 따른 3차원 데이터를 획득하기 위한 가이드 장치를 나타낸 블록도이다.
한 실시예에 따른 가이드 장치는, 컴퓨터 시스템, 예를 들어 컴퓨터 판독 가능 매체로 구현될 수 있다. 도 5를 참조하면, 컴퓨터 시스템(200)은, 버스(270)를 통해 통신하는 프로세서(210), 메모리(230), 입력 인터페이스 장치(250), 출력 인터페이스 장치(260), 및 저장 장치(240) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(200)은 또한 네트워크에 결합된 통신 장치(220)를 포함할 수 있다. 프로세서(210)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(230) 또는 저장 장치(240)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(230) 및 저장 장치(240)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.
통신 장치(220)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. 구체적으로, 본 발명의 실시예에 따른 방법(예, 네트워크 관리 방법, 데이터 전송 방법, 전송 스케줄 생성 방법 등)은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 본 발명의 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (15)

  1. 타깃의 3차원 데이터를 획득하기 위한 가이드 장치로서,
    카메라 및 적어도 하나의 센서로부터 이미지 데이터 및 센서 데이터를 수집하는 다중 센서 동기화 모듈,
    상기 이미지 데이터 및 상기 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성하는 자유시점 추적 모듈, 그리고
    상기 포인트 맵 및 상기 시점 정보를 디스플레이하여 상기 타깃의 촬영자에게 가이드를 제공하는 가이드 디스플레이 모듈
    을 포함하는 가이드 장치.
  2. 제1항에서,
    상기 가이드 장치는,
    상기 카메라 및 상기 적어도 하나의 센서의 위치 관계에 대한 캘리브레이션을 수행하여 캘리브레이션 매트릭스 및 카메라 렌즈 파라미터를 결정하고, 상기 캘리브레이션 매트릭스 및 상기 카메라 렌즈 파라미터를 상기 자유시점 추적 모듈에 전달하는 다중 센서 캘리브레이션 모듈
    을 더 포함하는 가이드 장치.
  3. 제2항에서,
    상기 자유시점 추적 모듈은 상기 카메라 및 상기 적어도 하나의 센서 간의 상기 캘리브레이션을 위한 상기 캘리브레이션 매트릭스 및 상기 카메라 렌즈 파라미터를 바탕으로 상기 이미지 데이터 및 상기 센서 데이터로부터 상기 시점 정보를 추출하고 상기 포인트 맵을 생성하는, 가이드 장치.
  4. 제1항에서,
    상기 적어도 하나의 센서는 깊이 센서 또는 라이다(light detection and ranging, LiDAR) 센서를 포함하는, 가이드 장치.
  5. 제1항에서,
    상기 다중 센서 동기화 모듈은,
    상기 이미지 데이터 및 상기 센서 데이터의 획득 시점 및 획득 각도를 하나의 시점을 기준으로 동기화하는, 가이드 장치.
  6. 제5항에서,
    상기 자유시점 추적 모듈은, 동기화된 이미지 데이터 및 센서 데이터를 바탕으로 상기 시점 정보를 추출하고 상기 포인트 맵을 생성하는, 가이드 장치.
  7. 제1항에서,
    상기 다중 센서 동기화 모듈은, 상기 카메라로부터 상기 이미지 데이터를 수집하기 위해, 상기 카메라로 촬영 명령, 중지 명령, 또는 전송 명령을 전달하는, 가이드 장치.
  8. 제1항에서,
    상기 자유시점 추적 모듈은 동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM) 기술을 사용하여 상기 이미지 데이터 및 상기 센서 데이터로부터 상기 시점 정보를 추출하고 상기 포인트 맵을 생성하는, 가이드 장치.
  9. 타깃의 3차원 데이터를 획득하기 위한 가이드를 제공하는 방법으로서,
    카메라 및 적어도 하나의 센서로부터 이미지 데이터 및 센서 데이터를 수집하는 단계,
    상기 이미지 데이터 및 상기 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성하는 단계, 그리고
    상기 포인트 맵 및 상기 시점 정보를 디스플레이하여 상기 타깃의 촬영자에게 상기 가이드를 제공하는 단계
    를 포함하는 방법.
  10. 제9항에서,
    상기 이미지 데이터 및 상기 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성하는 단계는,
    상기 카메라 및 상기 적어도 하나의 센서의 위치 관계에 대한 캘리브레이션을 수행하여 캘리브레이션 매트릭스 및 카메라 렌즈 파라미터를 결정하고, 상기 캘리브레이션 매트릭스 및 상기 카메라 렌즈 파라미터를 바탕으로 상기 이미지 데이터 및 상기 센서 데이터로부터 상기 시점 정보를 추출하고 상기 포인트 맵을 생성하는 단계
    를 포함하는, 방법.
  11. 제9항에서,
    상기 적어도 하나의 센서는 깊이 센서 또는 라이다(light detection and ranging, LiDAR) 센서를 포함하는, 방법.
  12. 제9항에서,
    상기 이미지 데이터 및 상기 센서 데이터의 획득 시점 및 획득 각도를 하나의 시점을 기준으로 동기화하는 단계
    를 더 포함하는 방법.
  13. 제12항에서,
    상기 이미지 데이터 및 상기 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성하는 단계는,
    동기화된 이미지 데이터 및 센서 데이터를 바탕으로 상기 시점 정보를 추출하고 상기 포인트 맵을 생성하는 단계
    를 포함하는, 방법.
  14. 제9항에서,
    상기 카메라로부터 상기 이미지 데이터를 수집하기 전에, 상기 카메라로 촬영 명령, 중지 명령, 또는 전송 명령을 전달하는 단계
    를 더 포함하는, 방법.
  15. 제9항에서,
    상기 이미지 데이터 및 상기 센서 데이터를 바탕으로 시점 정보를 추출하고 포인트 맵을 생성하는 단계는,
    동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM) 기술을 사용하여 상기 이미지 데이터 및 상기 센서 데이터로부터 상기 시점 정보를 추출하고 상기 포인트 맵을 생성하는 단계
    를 포함하는, 방법.
KR1020210191784A 2021-12-29 2021-12-29 3차원 데이터의 획득 가이드를 제공하는 방법 및 장치 KR20230101575A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210191784A KR20230101575A (ko) 2021-12-29 2021-12-29 3차원 데이터의 획득 가이드를 제공하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210191784A KR20230101575A (ko) 2021-12-29 2021-12-29 3차원 데이터의 획득 가이드를 제공하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230101575A true KR20230101575A (ko) 2023-07-06

Family

ID=87185650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210191784A KR20230101575A (ko) 2021-12-29 2021-12-29 3차원 데이터의 획득 가이드를 제공하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230101575A (ko)

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CA2786439C (en) Depth camera compatibility
CA2786436C (en) Depth camera compatibility
US7554575B2 (en) Fast imaging system calibration
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
Rumpler et al. Evaluations on multi-scale camera networks for precise and geo-accurate reconstructions from aerial and terrestrial images with user guidance
JP6180647B2 (ja) クラウドポイントを利用した屋内地図構築装置および方法
KR20130138247A (ko) 신속 3ｄ 모델링
JP2019175383A (ja) 入力装置および入力装置の入力方法、ならびに、出力装置および出力装置の出力方法
US20220309761A1 (en) Target detection method, device, terminal device, and medium
JP2020042772A (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
JP5311465B2 (ja) ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム
JP2019095876A (ja) ３次元点群表示装置、３次元点群表示システム、３次元点群表示方法および３次元点群表示プログラム、記録媒体
KR101574636B1 (ko) 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템
Zingoni et al. Real-time 3D reconstruction from images taken from an UAV
WO2022025283A1 (ja) 測定処理装置、方法及びプログラム
JP2009058255A (ja) レーザ離隔計測システム
JP6409769B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
Biasion et al. A new approach to the Terrestrial Laser Scanner workflow: The RTC360 solution
JP2003006618A (ja) ３次元モデルの生成方法および装置並びにコンピュータプログラム
KR20230101575A (ko) 3차원 데이터의 획득 가이드를 제공하는 방법 및 장치
CN116228974A (zh) 三维模型构建方法、装置、计算机设备以及存储介质
JP2016218626A (ja) 画像管理装置、画像管理方法およびプログラム
KR102458559B1 (ko) 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법
CN111581322B (zh) 视频中兴趣区域在地图窗口内显示的方法和装置及设备

Legal Events

Date Code Title Description
A201 Request for examination