KR102195965B1 - 3차원 재구성 방법, 이를 위한 장치 및 시스템 - Google Patents

3차원 재구성 방법, 이를 위한 장치 및 시스템 Download PDF

Info

Publication number
KR102195965B1
KR102195965B1 KR1020180161576A KR20180161576A KR102195965B1 KR 102195965 B1 KR102195965 B1 KR 102195965B1 KR 1020180161576 A KR1020180161576 A KR 1020180161576A KR 20180161576 A KR20180161576 A KR 20180161576A KR 102195965 B1 KR102195965 B1 KR 102195965B1
Authority
KR
South Korea
Prior art keywords
voxel value
voxel
frame
value
current frame
Prior art date
Application number
KR1020180161576A
Other languages
English (en)
Other versions
KR20200073435A (ko
Inventor
신동인
황정훈
김승훈
김동엽
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020180161576A priority Critical patent/KR102195965B1/ko
Publication of KR20200073435A publication Critical patent/KR20200073435A/ko
Application granted granted Critical
Publication of KR102195965B1 publication Critical patent/KR102195965B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 이동하여 가려지는 객체가 존재하더라도 에러 없이 중첩되는 복수의 객체를 3차원 재구성하기 위한 3차원 재구성 방법, 이를 위한 장치 및 시스템에 관한 것이다.

Description

3차원 재구성 방법, 이를 위한 장치 및 시스템{3D reconstruction method, apparatus and system therefor}
본 발명은 3차원 재구성 장치에 관한 것으로, 더욱 상세하게는 이동하여 가려지는 객체가 존재하더라도 에러 없이 중첩되는 복수의 객체를 3차원 재구성하기 위한 3차원 재구성 방법, 이를 위한 장치 및 시스템에 관한 것이다.
최근에, 저가의 RGB-D 센서 또는 카메라가 일반화 되었다. 따라서 이러한 센서를 사용하는 SFM(structure from motion) 또는 monocular SLAM(simultaneous localization and mapping) 기법으로 단안 카메라를 사용하여 실시간으로 카메라의 움직임을 추적(monocular camera tracking)하는 방법들이 활발하게 연구되고 있다.
최근에 사용자가 Kinect 카메라를 들고 움직이면서 실시간으로 실내 환경을 3D로 복원할 수 있는 KinectFusion이라는 알고리즘이 발표되었다. 이 방법의 제한 조건 중 하나는 시스템을 구동하기 전에 정해진 영역에 대해서 만 복원이 가능하다는 것이다. 일반적으로 중간 크기의 방 규모에 대해서 복원이 가능하다. KinectFusion 방법은 복원 영역을 TSDF(Truncated Signed Distance Function)로 알려진 볼륨(volume) 형식의 데이터로 표현하였고, 이 볼륨 데이터는 가까운 표면(surface)까지의 거리를 저장하고 있다.
이러한 볼륨 데이터를 통해 레이 캐스팅(Ray casting) 기법을 이용하여 Ray가 진행되는 방향으로 양수에서 음수로 변화되는 첫 번째 복셀의 위치를 이용하여 좌표 값을 추출하게 된다.
한편 상술한 바와 같이, TSDF 볼륨에서 단순히 데이터를 누적 업데이트하는 방식을 사용하면, 복수의 객체가 이동하면서 중첩되어 가려짐 영역이 발생하는 경우 3차원 재구성에 에러가 발생되는 문제점이 있었다.
즉 종래의 3차원 재구성 기술은 센서로 이용되어, 표면을 검출하는 목적으로 이용되었기 때문에, 객체의 이동과 중첩되는 영역에 대해서는 고려하고 있지 않는 문제점이 있었다.
이로 인해 로봇 머니퓰레이터에 의해 가려짐 영역이 발생될 수 있는 로봇 제어 영역에는 사용이 힘든 문제점이 있었다.
따라서 본 발명의 목적은 이동하여 가려지는 객체가 존재하더라도 에러 없이 중첩되는 복수의 객체를 3차원 재구성하기 위한 3차원 재구성 방법, 이를 위한 장치 및 시스템을 제공하는 데 있다.
본 발명에 따른 3차원 재구성 장치는 센서를 통해 측정된 거리 정보를 통해 프레임 단위로 적어도 하나의 대상물에 대한 복셀 값을 업데이트 하되, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 객체가 이동하여 존재하지 않는 영역에 대하여 복셀 값을 리셋하는 업데이트 모듈, 상기 업데이트 모듈에 의해 누적 업데이트 된 복셀 값을 이용하여 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하여 3차원 데이터를 생성하는 3차원 생성 모듈을 포함하는 것을 특징으로 한다.
본 발명에 따른 3차원 재구성 장치에 있어서, 상기 업데이트 모듈은 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 복셀 값이 동일한 경우, 이전 복셀 값과 현재 프레임의 복셀 값의 평균을 업데이트 하는 것을 특징으로 한다.
본 발명에 따른 3차원 재구성 장치에 있어서, 상기 업데이트 모듈은 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 새로운 복셀 값이 생성될 경우 현재 프레임의 복셀 값을 통해 업데이트 하는 것을 특징으로 한다.
본 발명에 따른 3차원 재구성 장치에 있어서, 상기 3차원 생성 모듈은 레이 캐스팅(Raycasting)을 통해 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하여 3차원 데이터를 생성하는 것을 특징으로 한다.
본 발명에 따른 3차원 재구성 장치에 있어서, 상기 3차원 생성 모듈은 상기 업데이트 모듈에 의해 업데이트 된 모든 복셀 값에 대하여 표면 포인트를 추출하여 3차원 데이터를 생성하는 것을 특징으로 한다.
본 발명에 따른 3차원 재구성 시스템은 거리 정보를 측정하는 센서, 상기 센서를 통해 측정된 거리 정보를 통해 프레임 단위로 적어도 하나의 대상물에 대한 복셀 값을 업데이트 하되, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 객체가 이동하여 존재하지 않는 영역에 대하여 복셀 값을 리셋하는 업데이트 모듈, 상기 업데이트 모듈에 의해 누적 업데이트 된 복셀 값을 이용하여 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하여 3차원 데이터를 생성하는 3차원 생성 모듈을 구비하는 3차원 재구성 장치를 포함하는 것을 특징으로 한다.
본 발명에 따른 3차원 재구성 시스템에 있어서, 상기 센서의 포즈를 변경시키는 포즈 변경부를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 3차원 재구성 시스템에 있어서, 상기 3차원 재구성 장치는 상기 포즈 변경부에 의해 변경되는 상기 센서의 포즈를 추정하는 포즈 추정모듈을 더 포함하는 것을 특징으로 한다.
본 발명에 따른 3차원 재구성 시스템에 있어서, 상기 3차원 생성 모듈은 레이 캐스팅(Raycasting)을 통해 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하되, 가상의 복수의 지점으로부터 표면 포인트를 추출하는 것을 특징으로 한다.
본 발명에 따른 3차원 재구성 방법은 3차원 재구성 장치가 센서를 통해 측정된 거리 정보를 통해 프레임 단위로 적어도 하나의 대상물에 대한 복셀 값을 업데이트 하되, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 객체가 이동하여 존재하지 않는 영역에 대하여 복셀 값을 리셋하는 단계, 3차원 재구성 장치가 누적 업데이트 된 복셀 값을 이용하여 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하여 3차원 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 3차원 재구성 장치는 센서를 통해 측정된 거리 정보를 통해 프레임 단위로 적어도 하나의 대상물에 대한 복셀 값을 업데이트 하되, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 객체가 이동하여 존재하지 않는 영역에 대하여 복셀 값을 리셋함으로써, 레이 캐스팅 시 이동하여 가려지는 객체가 존재하더라도 에러 없이 중첩되는 복수의 객체를 3차원 재구성할 수 있다.
도 1은 본 발명의 실시예에 따른 3차원 재구성 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 3차원 재구성 장치의 구성을 나타낸 블록도이다.
도 3 내지 5는 본 발명의 실시예에 따른 3차원 재구성 장치의 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 3차원 재구성 방법을 나타낸 순서도이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 실시예에 따른 3차원 재구성 시스템의 구성을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 3차원 재구성 시스템(400)은 센서(100) 및 3차원 재구성 장치(200)를 포함하고, 포즈 변경부(300)를 더 포함할 수 있다.
센서(100)는 물리적 환경에 대한 깊이 지도(Depth map)를 생성하도록 구성된다. 예를 들어, 센서(100)는 광 조사기(light illuminator)와 이미지 센서(image sensor)를 포함할 수 있다. 광 조사기는 격자 무늬(Grid pattern)와 같이 주지된 무늬로 이루어진 광을 투사할 수 있고, 이미지 센서는 광원의 파장과 컬러를 감지할 수 있다.
이러한 센서(100)는 피킹 로봇 제어에 적용될 경우 로봇 머니퓰레이터에 장착되거나, 일측에 배치되어 로봇 머니퓰레이터와 피킹 공간을 모두 촬영하는 형태가 될 수 있다.
3차원 재구성 장치(200)는 센서(100)로부터 측정된 깊이 데이터를 이용하여, TSDF(Truncated Signed Distance Function) 볼륨 데이터를 생성하고, 볼륨 데이터의 복셀 값을 지속적으로 업데이트 할 수 있다. 예를 들어 3차원 재구성 장치(200)는 매 초마다 또는 1/2초에 따른 프레임 단위로, 볼륨 데이터를 지속적으로 업데이트 할 수 있다. 여기서 볼륨 데이터는 센서(100)의 x, y, 및 z축 상의 위치에 기초하여 생성될 수 있다. TSDF 볼륨 데이터는 복셀 값으로 채워진 그리드(Grid)가 될 수 있다. 복셀 값은 격자의 위치와 목적물인 객체의 표면간에 거리를 나타낸다. 여기서 복셀 값은 그리드 포인트(Grid point)와 객체 표면의 사이딩(Siding) 및 거리를 부호화 한다. 이때 복셀 값이 양수인 경우, 그리드는 목적물인 객체의 외부에 위치한다고 볼 수 있고, 음수인 경우 그리드는 목적물인 객체의 내부에 위치한다고 볼 수 있다. 즉 복셀 값이 0과 가까울수록 객체의 표면에 위치한 지점으로 해석될 수 있다.
또한 3차원 재구성 장치(200)는 볼륨 데이터에서 영역 별로 복셀 값에 대한 업데이트 여부를 판단할 수 있다. 즉 3차원 재구성 장치(200)는 센서(100)를 통해 측정된 거리 정보를 통해 프레임 단위로 적어도 하나의 대상물에 대한 복셀 값을 업데이트 하되, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 객체가 이동하여 존재하지 않는 영역에 대하여 복셀 값을 리셋할 수 있다. 예를 들어 3차원 재구성 장치(200)는 객체가 이동하여 존재하지 않는 영역에 대하여 복셀 값을 '1'로 리셋할 수 있다.
또한 3차원 재구성 장치(200)는 누적 업데이트 된 복셀 값을 이용하여 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하여 3차원 데이터를 생성할 수 있다.
3차원 재구성 장치(200)에 대한 더욱 상세한 설명은 후술하도록 한다.
한편 포즈 변경부(300)는 센서(100)의 포즈를 변경하기 위한 구성으로, 피킹 로봇 제어에 적용될 경우, 로봇 머니퓰레이터가 될 수 있고, 센서(100)를 이동시키기 위한 별도의 장치가 될 수 있다.
이하 본 발명의 실시예에 따른 3차원 재구성 장치(200)에 대하여 도면을 참조하여 더욱 상세히 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 3차원 재구성 장치의 구성을 나타낸 블록도이고, 도 3 내지 5는 본 발명의 실시예에 따른 3차원 재구성 장치의 동작을 설명하기 위한 도면이다.
도 2 내지 도 5를 참조하면, 본 발명의 실시예에 따른 3차원 재구성 장치(200)는 통신부(210), 표시부(220), 입력부(230), 저장부(240) 및 제어부(250)를 포함하여 구성될 수 있다.
통신부(210)는 센서(100)로부터 측정된 깊이 정보를 전달받기 위한 구성으로, 유선 방식을 통해 센서(100)와 연결되거나, 무선 방식을 통해 센서(100)와 연결될 수 있다.
표시부(220)는 통신부(210)를 통해 센서(100)로부터 전달받은 깊이 정보를 화면 상에 표시하거나, 볼륨 데이터를 화면 상에 표시하거나, 재구성된 3차원 영상을 화면상에 표시할 수 있다. 표시부(220)는 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD, Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, Organic LED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다.
입력부(230)는 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 3차원 재구성 장치(200)의 각종 기능 설정 및 기능 제어와 관련하여 입력되는 신호를 제어부(250)로 전달한다. 또한, 입력부(230)는 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성될 수 있다. 이때, 입력부(230)는 표시부(220)와 함께 하나의 터치패널(또는 터치스크린(touch screen))의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다. 또한, 입력부(230)는 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다.
저장부(240)는 데이터를 저장하기 위한 구성으로, 3차원 재구성 장치(200)의 기능 동작에 필요한 응용 프로그램을 저장한다. 또한 저장부(240)는 센서(100)로부터 전달받은 깊이 데이터, 깊이 데이터를 이용하여 생성된 볼륨 데이터, 볼륨 데이터에 의해 생성된 3차원 영상 데이터 등을 저장할 수 있다.
제어부(250)는 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다. 이러한 제어부(250)는 포즈 추정 모듈(251), 업데이트 모듈(252) 및 3차원 생성 모듈(253)을 포함할 수 있다.
포즈 추정 모듈(251)은 포즈 변경부(300)에 의해 변경되는 센서(100)의 포즈를 추정할 수 있다. 예를 들어 포즈 추정 모듈(251)은 계산된 버텍스 맵과 노말 맵을 기반으로 ICP(Iterative Closest Point) 얼라인먼트(alignment) 방법을 이용하여 센서(100)의 위치를 추정할 수 있다.
업데이트 모듈(252)은 센서(100)를 통해 측정된 거리 정보를 통해 프레임 단위로 적어도 하나의 대상물에 대한 복셀 값을 업데이트 하되, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 객체가 이동하여 존재하지 않는 영역에 대하여 복셀 값을 리셋할 수 있다.
또한 업데이트 모듈(252)은 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 복셀 값이 동일한 경우, 이전 복셀 값과 현재 프레임의 복셀 값의 평균을 업데이트 할 수 있다.
또한 업데이트 모듈(252)은 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 새로운 복셀 값이 생성될 경우 현재 프레임의 복셀 값을 통해 업데이트 할 수 있다.
즉 업데이트 모듈(252)은 도 3에 도시된 바와 같이, Frame #0(이전 프레임) 에서는 객체가 존재하는 영역 a, c 와 객체가 존재하지 않는 영역 b으로 구분된다. 여기서 a, c는 깊이 정보가 존재하며, b 영역은 깊이 정보가 존재하지 않기 때문에 복셀 값은 1을 갖는다.
여기서 Frame #1(현재 프레임)에서 새로운 깊이 데이터를 업데이트 하게 되는데. 업데이트 모듈(252)은 각 영역에 대한 Frame #0의 복셀 값과 비교하여 업데이트를 수행할지, 리셋을 수행하여 복셀 값을 제거할지를 판단할 수 있다.
Frame #1의 a영역의 경우 이전과 동일하게 현재 복셀 값이 존재한다. 이때 업데이트 모듈(252)은 a영역에 대한 복셀 값을 Frame #0의 복셀 값과 평균을 취하여 업데이트 할 수 있다.
또한 b영역의 경우, Frame #0에서는 객체가 존재하지 않으나, 객체의 이동으로 새로운 깊이 정보가 측정될 수 있다. 이 경우, 업데이트 모듈(252)은 현재 측정되는 깊이 정보를 적용하여 복셀 값을 업데이트 할 수 있다.
또한 c영역의 경우, 객체의 이동으로 Frame #0에서 측정된 깊이 정보가 측정되지 않는다. 이 경우, 업데이트 모듈(252)은 c영역의 복셀 데이터를 '1'로 리셋할 수 있다.
이때 Frame #0에서 가려지는 영역의 복셀 값이 이미 업데이트 되어 있기 때문에, Frame #1에서 객체가 이동하여 가려지는 영역이 발생하더라도 복셀 값은 저장하고 있다.
3차원 생성 모듈(253)은 레이 캐스팅(Ray casting) 알고리즘을 이용하여 업데이트된 볼륨 데이터로부터 현재 공간에 존재하는 객체의 표면 포인트를 예측할 수 있다. 즉 3차원 생성 모듈(253)은 업데이트 모듈(252)에 의해 누적 업데이트 된 복셀 값을 이용하여 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하여 3차원 데이터를 생성할 수 있다.
여기서 3차원 생성 모듈(253)은 도 4에 도시된 바와 같이, 첫번째 표면 값(a)만 추출하는 것이 아니라 멀티 레이 캐스팅으로 멀티 표면을 추출할 수 있다. 즉 첫번 째 표면 값(a), 후면의 표면 값(b) 그리고 앞선 객체에 의해 가려짐 영역이 발생된 뒤에 있는 객체의 표면 값(c)을 모두 추출할 수 있다.
다시 설명하면, 표면 값(a)에서 처음으로 복셀 값이 0에 가까운 값을 통해 거리를 측정한다. 이때 복셀 값이 +1에서 점점 값이 줄어들어, 0에 가까운 표면 값(a)을 갖고 다시 -1의 값을 가진다. 그리고 표면 값(b)에 가까워 질수록 복셀 값은 -1에서 점점 값이 증가하여 0에 가까운 값을 갖는 표면 값(b)이 추출되고 이를 통해 거리를 측정한다. 그리고 표면 값(c)에 가까워 질수록 +1에서 점점 값이 줄어들어, 0에 가까운 값을 갖는 표면 값(c)가 추출되고 이를 통해 거리를 측정한다.
이러한 방법을 통해 3차원 생성 모듈(253)은 중첩되는 객체 표면을 모두 추출하여 가려짐 영역이 발생하는 영역에서도 3차원 데이터를 모두 추출할 수 있다.
여기서 3차원 생성 모듈(253)의 멀티 레이 캐스팅은 전술된 업데이트 모듈(252)의 동작이 이루어지는 전제하에 가능하다. 즉 이동하여 사라진 객체의 영역에 대하여 복셀 값에 대한 리셋이 이루어지지 않는 경우, 존재하지 않는 복셀 값이 업데이트 되어 있기 때문에, 멀티 레이 캐스팅을 적용하기 어렵다.
또한 3차원 생성 모듈(253)은 멀티 레이 캐스팅을 통해 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하되, 가상의 복수의 지점으로부터 표면 포인트를 추출할 수 있다.
즉 3차원 생성 모듈(253)은 도 5에 도시된 바와 같이, 포즈 변경부(300)를 제어하여 센서(100)의 위치를 변경하면서 다 각도에서 볼륨 데이터를 업데이트 한다. 그리고 3차원 생성 모듈(253)은 멀티 레이 캐스팅 시 가상의 복수의 지점으로부터 표면 포인트를 추출함으로써 정확한 3차원 영상을 생성할 수 있다.
이하 본 발명의 실시예에 따른 3차원 재구성 방법에 대항 설명하도록 한다.
도 6은 본 발명의 실시예에 따른 3차원 재구성 방법을 나타낸 순서도이다.
먼저 S10 단계에서 3차원 재구성 장치는 센서의 포즈를 추정한다. 즉 센서가 이동하면서 다양한 각도로 깊이 정보를 획득하게 되는데, 3차원 재구성 장치는 이러한 센서의 포즈를 추정하여 해당 볼륨 데이터를 저장하도록 한다.
다음으로 S20 단계에서 3차원 재구성 장치는 TSDF 볼륨 데이터의 복셀 값 업데이트를 판단한다.
다음으로 S30 단계에서 3차원 재구성 장치는 볼륨 데이터의 복셀 값을 업데이트 또는 리셋할 수 있다. 즉 3차원 재구성 장치는 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 객체가 이동하여 존재하지 않는 영역에 대하여 복셀 값을 리셋하거나, 복셀 값이 동일한 경우, 이전 복셀 값과 현재 프레임의 복셀 값의 평균을 업데이트 하거나, 새로운 복셀 값이 생성될 경우 현재 프레임의 복셀 값을 통해 업데이트 할 수 있다.
다음으로 S40 단계에서 3차원 재구성 장치는 멀티 레이 캐스팅을 수행한다. 즉 3차원 재구성 장치는 누적 업데이트 된 복셀 값을 이용하여 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하여 3차원 데이터를 생성할 수 있다. 여기서 3차원 생성 장치는 첫번째 표면 값만 추출하는 것이 아니라 멀티 레이 캐스팅으로 멀티 표면을 추출할 수 있다.
다음으로 S50 단계에서 멀티 레이 캐스팅을 통한 데이터를 이용하여 3차원 데이터를 생성한다.
한편, 본 도면에 개시된 실시예는 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.
100 : 센서 200 : 3차원 재구성 장치
210 : 통신부 220 : 표시부
230 : 입력부 240 : 저장부
250 : 제어부 251 : 포즈 추정 모듈
252 : 업데이트 모듈 253 : 3차원 생성 모듈
300 : 3차원 생성 장치 400 : 3차원 생성 시스템

Claims (10)

  1. 센서를 통해 측정된 거리 정보를 통해 프레임 단위로 적어도 하나의 대상물에 대한 복셀 값을 업데이트 하되, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 객체가 이동하여 존재하지 않는 영역에 대하여 복셀 값을 리셋하고, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 복셀 값이 동일한 경우, 이전 복셀 값과 현재 프레임의 복셀 값의 평균을 업데이트 하고, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 새로운 복셀 값이 생성될 경우 현재 프레임의 복셀 값을 통해 업데이트 하는 업데이트 모듈;
    상기 업데이트 모듈에 의해 누적 업데이트 된 복셀 값을 이용하여 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하여 3차원 데이터를 생성하는 3차원 생성 모듈;
    를 포함하는 것을 특징으로 하는 3차원 재구성 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 3차원 생성 모듈은,
    레이 캐스팅(Raycasting)을 통해 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하여 3차원 데이터를 생성하는 것을 특징으로 하는 3차원 재구성 장치.
  5. 제4항에 있어서,
    상기 3차원 생성 모듈은,
    상기 업데이트 모듈에 의해 업데이트 된 모든 복셀 값에 대하여 표면 포인트를 추출하여 3차원 데이터를 생성하는 것을 특징으로 하는 3차원 재구성 장치.
  6. 거리 정보를 측정하는 센서;
    상기 센서를 통해 측정된 거리 정보를 통해 프레임 단위로 적어도 하나의 대상물에 대한 복셀 값을 업데이트 하되, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 객체가 이동하여 존재하지 않는 영역에 대하여 복셀 값을 리셋하고, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 복셀 값이 동일한 경우, 이전 복셀 값과 현재 프레임의 복셀 값의 평균을 업데이트 하고, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 새로운 복셀 값이 생성될 경우 현재 프레임의 복셀 값을 통해 업데이트 하는 업데이트 모듈, 상기 업데이트 모듈에 의해 누적 업데이트 된 복셀 값을 이용하여 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하여 3차원 데이터를 생성하는 3차원 생성 모듈을 구비하는 3차원 재구성 장치;
    를 포함하는 것을 특징으로 하는 3차원 재구성 시스템.
  7. 제6항에 있어서,
    상기 센서의 포즈를 변경시키는 포즈 변경부;
    를 더 포함하는 것을 특징으로 하는 3차원 재구성 시스템.
  8. 제7항에 있어서,
    상기 3차원 재구성 장치는,
    상기 포즈 변경부에 의해 변경되는 상기 센서의 포즈를 추정하는 포즈 추정모듈;
    를 더 포함하는 것을 특징으로 하는 3차원 재구성 시스템.
  9. 제8항에 있어서,
    상기 3차원 생성 모듈은,
    레이 캐스팅(Raycasting)을 통해 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하되, 가상의 복수의 지점으로부터 표면 포인트를 추출하는 것을 특징으로 하는 3차원 재구성 시스템.
  10. 3차원 재구성 장치가 센서를 통해 측정된 거리 정보를 통해 프레임 단위로 적어도 하나의 대상물에 대한 복셀 값을 업데이트 하되, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 객체가 이동하여 존재하지 않는 영역에 대하여 복셀 값을 리셋하고, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 복셀 값이 동일한 경우, 이전 복셀 값과 현재 프레임의 복셀 값의 평균을 업데이트 하고, 이전 프레임의 복셀 값과 현재 프레임의 복셀 값을 비교하여 새로운 복셀 값이 생성될 경우 현재 프레임의 복셀 값을 통해 업데이트 하는 단계;
    3차원 재구성 장치가 누적 업데이트 된 복셀 값을 이용하여 3차원 공간에 존재하는 대상물의 표면 포인트를 추출하여 3차원 데이터를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 3차원 재구성 방법.
KR1020180161576A 2018-12-14 2018-12-14 3차원 재구성 방법, 이를 위한 장치 및 시스템 KR102195965B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180161576A KR102195965B1 (ko) 2018-12-14 2018-12-14 3차원 재구성 방법, 이를 위한 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180161576A KR102195965B1 (ko) 2018-12-14 2018-12-14 3차원 재구성 방법, 이를 위한 장치 및 시스템

Publications (2)

Publication Number Publication Date
KR20200073435A KR20200073435A (ko) 2020-06-24
KR102195965B1 true KR102195965B1 (ko) 2020-12-28

Family

ID=71407713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180161576A KR102195965B1 (ko) 2018-12-14 2018-12-14 3차원 재구성 방법, 이를 위한 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR102195965B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102537144B1 (ko) * 2023-02-01 2023-05-30 주식회사 이노야드 레이 캐스팅을 활용한 두상 교정 헬멧 설계 방법, 장치 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101854355B1 (ko) * 2017-10-11 2018-06-08 엘아이지넥스원 주식회사 다중센서를 선택적으로 이용하는 영상보정 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9514571B2 (en) * 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101854355B1 (ko) * 2017-10-11 2018-06-08 엘아이지넥스원 주식회사 다중센서를 선택적으로 이용하는 영상보정 장치

Also Published As

Publication number Publication date
KR20200073435A (ko) 2020-06-24

Similar Documents

Publication Publication Date Title
CN110047104B (zh) 对象检测和跟踪方法、头戴式显示装置和存储介质
CN109146965B (zh) 信息处理装置、计算机可读介质和头戴式显示装置
US10896497B2 (en) Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method
JP6381711B2 (ja) 仮想現実システムの較正
US11215711B2 (en) Using photometric stereo for 3D environment modeling
US9757862B2 (en) Tactile sensor
US20140168261A1 (en) Direct interaction system mixed reality environments
CN110060207B (zh) 提供平面布置图的方法、系统
CN110362193B (zh) 用手或眼睛跟踪辅助的目标跟踪方法及系统
US20230289988A1 (en) Robotic control based on 3d bounding shape, for an object, generated using edge-depth values for the object
TWI467494B (zh) 使用深度圖進行移動式攝影機定位
JP6240320B2 (ja) ４つのｌｅｄのパターンによるポーズの決定
JP2018511098A (ja) 複合現実システム
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
CN108283018A (zh) 基于影像和非图像传感器数据的电子设备姿态识别
KR20120014925A (ko) 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
CN103365411A (zh) 信息输入设备、信息输入方法和计算机程序
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
EP3014581A2 (en) Space carving based on human physical data
US20230316677A1 (en) Methods, devices, apparatuses, and storage media for virtualization of input devices
US10509513B2 (en) Systems and methods for user input device tracking in a spatial operating environment
CN106959762B (zh) 虚拟现实系统及方法
KR102195965B1 (ko) 3차원 재구성 방법, 이를 위한 장치 및 시스템
US20220321851A1 (en) Portable projection mapping device and projection mapping system
US20240020851A1 (en) Virtual production based on display assembly pose and pose error correction

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant