KR20230105902A - 뷰어 장치 그의 3차원 데이터 출력 방법 - Google Patents

Abstract

뷰어 장치에서 문화유산 객체에 대한 3차원 데이터를 출력하는 방법이 제공된다. 뷰어 장치는 카메라를 통해 상기 문화유산 객체를 촬영한 카메라를 통해 RGB 이미지와 깊이 정보를 획득하고, 상기 RGB 이미지와 깊이 정보를 토대로 상기 문화유산 객체에 대한 3차원 메쉬 모델을 생성하며, 상기 3차원 메쉬 모델의 전, 후, 좌, 우 4면의 영상 데이터를 각각 홀로그램 영상으로 출력한다.

Description

뷰어 장치 그의 3차원 데이터 출력 방법{VIEWER APPARATUS AND METHOD FOR OUTPUTTING THREE-DIMENSIONAL DATA THEREOF}

본 개시는 뷰어 장치 그의 3차원 데이터 출력 방법에 관한 것으로, 보다 상세하게는 객체의 3차원 데이터를 홀로그램 기반의 입체 이미지로 출력하는 뷰어 장치 및 그의 3차원 데이터 출력 방법에 관한 것이다.

문화유산을 관리/전시하는 국내외 대부분의 박물관에서는 IT 기술이 발달함에 따라, 보유중인 유물을 당대 최고의 기술로 외형과 모양, 문양 등을 3차원 데이터 및 텍스트 데이터 등 다양한 방식으로 기록하고, 이를 저장하고 있다. 이러한 저장 방식은 실제 유물이 얼마나 왜곡 없이 디지털화 되는지가 매우 중요해졌다.

최근 들어, 메타버스라는 개념의 가상공간이 확대되어가고 있는 시점에서, 문화유산의 디지털화에 대한 필요성이 대두되고 있으며, 일반 관람객도 가상세계에서의 콘텐츠에 대한 접근방식에 거부감이 점차 줄어들고 있는 상황이다.

네트워크 통신의 발달로 인해, 기존 데이터보다 훨씬 많은 양의 데이터를 실시간으로 전송하는데 있어 과거보다 훨씬 적은 시간에 더욱 많은 데이터를 전달할 수 있는 환경이 구축되었다. 이로 인해 홀로그램 영상은 기존 영상에 비해 앞뒤좌우 영상 동시 전송에 따라 최소 4배 많은 데이터를 소모하더라도 전송에 문제가 없는 인프라가 구축되어 있다.

이러한 환경 속에서 문화유산의 디지털화는 선택이 아닌 필수가 되었으며, 어떻게 하면 실제의 문화유산의 모양대로 디지털화를 할 수 있고, 이를 검증할 수 있는지에 대한 문제가 대두되었다. 그 중 공예품 형태의 유물을 디지털화 하는데 있어, 입체적인 형상의 유물을 3차원으로 스캔한 후, 2차원 모니터에서 해당 유물을 검수하게 되면 일일이 화면을 돌려가며 제대로 스캔이 되었는지를 확인해야 하고, 한 번에 한 사람씩 작업을 할 수 있어 검수하는데 시간이 오래 걸린다는 문제점이 있다. 또한 3차원의 데이터를 2차원의 모니터로 표현하게 되면, 공간감이 제대로 표현되지 않기 때문에 입체적인 확인이 불가능하다는 단점이 있다.

따라서, 촬영된 이미지를 실시간으로 홀로그램으로 볼 수 있는 기술의 필요성이 대두되고 있다.

본 개시가 해결하려는 과제는 객체에 대한 3차원 데이터를 획득하여 2차원 모니터에서 확인하는 과정에서 공간감을 제공할 수 있는 뷰어 장치 그의 3차원 데이터 출력 방법을 제공하는 것이다.

한 실시 예에 따르면, 뷰어 장치에서 문화유산 객체에 대한 3차원 데이터를 출력하는 방법이 제공된다. 3차원 데이터 출력 방법은 카메라를 통해 상기 문화유산 객체를 촬영한 카메라를 통해 RGB 이미지와 깊이 정보를 획득하는 단계, 상기 RGB 이미지와 깊이 정보를 토대로 상기 문화유산 객체에 대한 3차원 메쉬 모델을 생성하는 단계, 그리고 상기 3차원 메쉬 모델의 전, 후, 좌, 우 4면의 영상 데이터를 각각 홀로그램 영상으로 출력하는 단계를 포함한다.

실시 예에 의하면, 문화유산의 디지털화 과정에서, 획득하게 되는 디지털 데이터를 3차원의 홀로그램 영상으로 표현할 수 있다. 이로 인해, 카메라로 촬영된 문화유산을 홀로그램 장치를 이용해 사방에서 볼 수 있게 됨으로써, 문화유산의 디지털화 과정에서 발생할 수 있는 문제를 손쉽게 찾아낼 수 있고, 에러 검증을 보다 빠르게 수행할 수 있다.

도 1은 한 실시 예에 따른 3차원 데이터의 뷰어 장치를 나타낸 도면이다.
도 2는 객체의 촬영 범위에 대한 일 예를 나타낸 도면이다.
도 3은 폴리콘 메쉬 모델이 생성되는 과정을 나타낸 도면이다.
도 4는 실시 예에 따른 뷰어 장치에서 3차원 데이터를 출력 방법을 나타낸 흐름도이다.
도 5는 홀로그램 디스플레이부의 디스플레이 장치에서 디스플레이하는 영상을 나타낸 도면이다.
도 6은 다른 실시 예에 따른 뷰어 장치를 나타낸 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

이제 실시 예에 따른 뷰어 장치 그의 3차원 데이터 출력 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.

도 1은 한 실시 예에 따른 3차원 데이터의 뷰어 장치를 나타낸 도면이다.

도 1을 참고하면, 3차원 획득 데이터의 뷰어 장치는 영상 획득부(110), 3차원 객체 생성부(120) 및 홀로그램 디스플레이부(130)를 포함한다.

영상 획득부(110)는 객체(10)의 촬영을 위한 RGB-D 카메라를 포함할 수 있다. 영상 획득부(110)는 RGB-D 카메라를 통해 객체를 촬영하고, RGB-D 카메라를 통해 촬영된 RGB 이미지와 깊이 정보를 획득한다. 객체는 예를 들면, 전통 문화유산을 포함할 수 있다.

도 2는 객체의 촬영 범위에 대한 일 예를 나타낸 도면이다.

도 2에 도시한 바와 같이, RGB-D 카메라는 객체 즉, 문화유산을 중심으로 상중하 내지는 상/상중/중/중하/하 등으로 높이를 균등하게 나누어 360도 회전하면서 객체를 촬영한다. 기본적으로 3차원 형태의 문화유산은 피사체 중심으로 구의 형태를 그리며 촬영하는 방식으로 진행된다. 문화유산의 형태에 따라 표현되지 않는 시각이 없도록 카메라의 촬영 위치가 상세하게 설정된다. RGB-D 카메라에 의해 촬영된 이미지를 이용하여 3차원 객체 모델을 생성하기 위해 사진측량 기법(photogrammetry)이 사용되며, 이 경우, RGB-D 카메라는 촬영된 사진들이 서로 1/3 정도 겹치도록 객체를 촬영한다. 예를 들면, RGB-D 카메라는 세로방향 30%, 가로방향 10% 이상 촬영된 사진들이 겹치도록 객체를 촬영할 수 있다.

다시, 도 1을 보면, 3차원 객체 생성부(120)는 RGB-D 카메라로부터 획득된 RGB 이미지와 깊이 정보를 기반으로, 3차원 좌표를 표현하고, 3차원 좌표를 하나의 좌표계로 정합하여 포인트 클라우드(point cloud) 데이터를 생성한다. 이때, 이미지간 중첩 설정된 영역으로부터 발생되는 불필요한 포인트 클라우드를 삭제하거나 포인트 샘플링 기법을 이용하여 평활화(smoothing)할 수 있다.

3차원 객체 생성부(120)는 포인트 클라우드 데이터로부터 폴리곤 메쉬를 생성하여 최적의 원형을 갖춘 메쉬 객체를 생성한다. 3차원 객체 생성부(120)는 메쉬 객체의 표면에 텍스처를 맵핑하여 폴리곤 메쉬 모델을 생성한다.

홀로그램 디스플레이부(130)는 전, 후, 좌, 우의 4면이 스크린으로 구성된 공간을 형성한다. 홀로그램 디스플레이부(130)는 해당 공간 내 홀로그램을 보여줄 수 있는 디스플레이 장치(132)를 포함한다. 디스플레이 장치(132)는 완벽한 검은색을 표현해야 하기 때문에, 유기 발광 다이오드(Organic Light Emitting Diode, OLED) 디스플레이가 사용될 수 있다.

디스플레이 장치(132)는 홀로그램 디스플레이부(130)의 상단에 매립될 수 있다. 디스플레이 장치(132)는 무게와 홀로그램 디스플레이부(130)의 크기를 감안하여 30인치 이내의 크기로 제한될 수 있다.

홀로그램 디스플레이부(130)는 디스플레이 장치(132)의 하단에 고반사 필름이 부착된 삼각뿔 혹은 사다리꼴 모양으로 만든 뿔 형태의 유리(혹은 투명 아크릴)(134)를 더 포함할 수 있다. 뿔 형태의 유리는 45도 정도의 기울기로 형성되어 있다.

디스플레이 장치(132)는 폴리곤 메쉬 모델 즉, 3차원 객체를 디스플레이한다. 디스플레이 장치(132)는 3차원 객체 생성부(120)로부터 폴리곤 메쉬 모델의 전, 후, 좌, 우 4면의 영상 데이터를 수신하여 폴리곤 메쉬 모델의 전, 후, 좌, 우 4면의 영상을 디스플레이하고, 디스플레이된 영상은 뿔 형태의 유리(134)에 반사되어 공간 상에 홀로그램으로 표현된다.

이와 같이, 스캔된 문화유산 객체의 검수를 위해, 검수자는 폴리곤 메쉬 모델을 회전하거나 확대/축소할 수 있다. 즉, 3차원 객체 생성부(120)는 검수자의 제어에 따라 폴리곤 메쉬 모델을 회전시키거나 확대/축소할 수 있다. 또한 폴리곤 메쉬 모델의 회전 또는 확대 및 축소에 따라 홀로그램 디스플레이부(130)를 통해 대응되는 영상이 홀로그램으로 표현된다.

도 3은 폴리콘 메쉬 모델이 생성되는 과정을 나타낸 도면이다.

도 3을 참고하면, 3차원 객체 생성부(120)는 RGB-D 카메라로부터 획득된 RGB 이미지와 깊이 정보를 기반으로, 카메라의 위치에 따른 3차원 좌표를 표현하여 카메라의 위치에 따른 포인트 클라우드 데이터를 생성한다.

3차원 객체 생성부(120)는 카메라의 위치에 따른 포인트 클라우드 데이터를 이용하여, 객체의 각 부분에 대한 포인트 클라우드 데이터를 정렬하고, 객체의 각 부분에 대한 포인트 클라우드 데이터를 통합(merge)하고 형태 상의 오류가 있거나 고르지 않은 부분을 다듬어 주는 리메쉬(remesh) 과정을 수행한 후, 3차원 메쉬를 생성한다.

3차원 객체 생성부(120)는 3차원 메쉬에 텍스처를 맵핑하여 폴리곤 메쉬 모델을 생성한다.

도 4는 실시 예에 따른 뷰어 장치에서 3차원 데이터를 출력 방법을 나타낸 흐름도이고, 도 5는 홀로그램 디스플레이부의 디스플레이 장치에서 디스플레이하는 영상을 나타낸 도면이다.

도 4를 참고하면, 영상 획득부(110)는 RGB-D 카메라를 통해 문화유산의 RGB 이미지 및 깊이 정보를 획득한다(S410).

3차원 객체 생성부(120)는 RGB-D 카메라를 통해 획득된 RGB 이미지 및 깊이 정보를 이용하여 카메라의 위치에 따른 문화유산의 포인트 클라우드 데이터를 생성하고(S420), 카메라의 위치에 따른 문화유산의 포인트 클라우드 데이터를 이용하여, 객체의 특정 부분에 대한 포인트 클라우드 데이터를 정렬하고 통합하여 3차원 메쉬 모델을 생성한다(S430).

3차원 객체 생성부(120)는 3차원 메쉬 모델의 전, 후, 좌, 우 4면의 영상 데이터를 홀로그램 디스플레이부(130)로 출력한다(S440).

홀로그램 디스플레이부(130)는 3차원 객체 생성부(120)로부터 3차원 메쉬 모델의 전, 후, 좌, 우 4면의 영상 데이터를 수신하여 폴리곤 메쉬 모델의 전, 후, 좌, 우 4면의 영상을 출력하여, 공간 상에 홀로그램으로 표현한다(S450).

즉, 도 5에 도시한 바와 같이, 3차원 메쉬 모델의 전, 후, 좌, 우 4면의 영상 데이터가 디스플레이 장치를 통해 출력되고, 출력된 3차원 메쉬 모델의 전, 후, 좌, 우 4면의 영상(501, 502, 503, 504)은 뿔 형태의 유리(134)에 반사되어 공간 상에 홀로그램으로 표현된다.

이와 같이, 홀로그램을 통해 3차원 메쉬 모델의 전, 후, 좌, 우 4면의 영상이 표현되므로, 사용자는 입체 이미지를 보는 것과 같은 효과를 느낄 수 있으며, 홀로그램 기반 입체 이미지를 통해 문화유산의 디지털화된 결과물을 확인할 수 있어, 에러 검증을 보다 빠르게 할 수 있다.

도 6은 다른 실시 예에 따른 뷰어 장치를 나타낸 도면이다.

도 6을 참고하면, 뷰어 장치(600)는 앞에서 설명한 3차원 데이터 출력 방법 이 구현된 컴퓨팅 장치를 나타낼 수 있다.

뷰어 장치(600)는 프로세서(610), 메모리(620), 입력 인터페이스 장치(630), 출력 인터페이스 장치(640) 및 저장 장치(650) 중 적어도 하나를 포함할 수 있다. 각각의 구성 요소들은 공통 버스(bus)(660)에 의해 연결되어 서로 통신을 수행할 수 있다. 또한, 각각의 구성 요소들은 공통 버스(660)가 아니라, 프로세서(610)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다.

프로세서(610)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(620) 또는 저장 장치(650)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(610)는 메모리(620) 및 저장 장치(650) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 이러한 프로세서(610)는 도 1에서 설명한 영상 획득부(110), 3차원 객체 생성부(120) 및 홀로그램 디스플레이부(130)의 적어도 일부 기능을 구현하기 위한 프로그램 명령을 메모리(620)에 저장하여, 도 1 내지 도 4를 토대로 설명한 동작이 수행되도록 제어할 수 있다.

메모리(620) 및 저장 장치(650)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(620)는 ROM(read-only memory)(621) 및 RAM(random access memory)(622)를 포함할 수 있다. 메모리(620)는 프로세서(610)의 내부 또는 외부에 위치할 수 있고, 메모리(620)는 이미 알려진 다양한 수단을 통해 프로세서(610)와 연결될 수 있다.

입력 인터페이스 장치(630)는 데이터를 프로세서(610)로 제공하도록 구성된다. 예를 들면, 입력 인터페이스 장치(630)는 RGB-D 카메라로부터 수신되는 RGB 이미지 및 깊이 정보를 프로세서(610)로 제공할 수 있다.

출력 인터페이스 장치(640)는 프로세서(610)로부터의 데이터를 출력하도록 구성된다. 예를 들면, 출력 인터페이스 장치(640)는 프로세서(610)로부터 출력되는 3차원 메쉬 모델의 전, 후, 좌, 우 4면의 영상 데이터를 디스플레이 장치로 제공할 수 있다.

실시 예에 따른 3차원 데이터 출력 방법 중 적어도 일부는 컴퓨팅 장치에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.

또한 실시 예에 따른 3차원 데이터 출력 방법 중 적어도 일부는 컴퓨팅 장치와 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.

이상에서 본 개시의 실시 예에 대하여 상세하게 설명하였지만 본 개시의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리 범위에 속하는 것이다.

Claims (1)

1. 뷰어 장치에서 문화유산 객체에 대한 3차원 데이터를 출력하는 방법에서,
   카메라를 통해 상기 문화유산 객체를 촬영한 카메라를 통해 RGB 이미지와 깊이 정보를 획득하는 단계,
   상기 RGB 이미지와 깊이 정보를 토대로 상기 문화유산 객체에 대한 3차원 메쉬 모델을 생성하는 단계, 그리고
   상기 3차원 메쉬 모델의 전, 후, 좌, 우 4면의 영상 데이터를 각각 홀로그램 영상으로 출력하는 단계
   를 포함하는 3차원 데이터 출력 방법.

Images