KR101192312B1 - 홀로그램 기반 가상 모델링 작업 시스템 - Google Patents

Abstract

본 발명은 홀로그램 기반 가상 모델링 작업 시스템에 관한 것으로서, 더욱 상세하게는 3D 깊이 카메라와 홀로그램 디스플레이를 이용한 홀로그램 기반 가상 모델링 작업 시스템에 관한 것이다.
이를 위해 본 발명의 홀로그램 기반 가상 모델링 작업 시스템은 홀로그램 디스플레이와 3D 깊이 카메라를 포함하고 있는 워크 스페이스, 상기 3D 깊이 카메라의 깊이 값을 이용하여 사용자의 손이나 펜의 동작을 인식하여 궤적을 계산하는 동작 인식 모듈, 상기 궤적을 반영하여 홀로그램 영상 데이터를 처리하는 인터렉션 컴퓨팅 모듈, 상기 인터렉션 컴퓨팅 모듈이 처리한 홀로그램 영상 데이터를 이용하여 홀로그램 영상을 재구성하는 홀로그램 영상 구성 모듈을 포함한다.

Description

홀로그램 기반 가상 모델링 작업 시스템{System for virtual modeling work based hologram}

본 발명은 홀로그램 기반 가상 모델링 작업 시스템에 관한 것으로서, 더욱 상세하게는 3D 깊이 카메라와 홀로그램 디스플레이를 이용한 홀로그램 기반 가상 모델링 작업 시스템에 관한 것이다.

3D 입체 영상은 인간이 두 눈으로 봄으로써 입체를 지각한다는 사실에 기초를 두고 있다. 3D 입체 영상은 2대의 카메라 또는 쌍둥이 렌즈가 부착된 카메라로 촬영하는데, 하나는 왼쪽 눈을, 다른 하나는 오른쪽 눈을 나타낸다. 이 두 렌즈는 사람의 두 눈의 간격 만큼인 약 6.3㎝가 떨어져 있다. 여기서 얻어지는 영상은 2대의 동시투사기에 의해 스크린에 투사된다. 유저는 반드시 다른 색조를 띠었거나 편광된 안경을 끼어야만 왼쪽 눈과 오른쪽 눈의 영상들을 그 영상들이 나타내는 대로 볼 수 있다. 유저는 영상들을 현실적으로는 따로따로 보지만 실제로는 이 2개의 약간 다른 영상들이 관객의 정신에 의해 융합되기 때문에 입체 형태로 지각하게 된다.

이와 같이 3D 영상은 복수 개의 카메라와 편광 안경을 이용하여 생성하거나, 편광 안경을 이용하지 않고 생성할 수 있다.

도 1은 종래 가상 모델링 작업을 수행하는 화면을 도시하고 있다. 도 1에 도시되어 있는 바와 같이 종래 갓아 모델링 작업은 2D 컴퓨터 모니터 상에서 마우스, 키보드를 이용하여 이루어졌다. 이러한 작업은 실제 결과물이 될 모델의 입체적인 전체 모습을 한 눈에 보기 어렵다는 단점을 가지고 있다. 또한, CAD, 3D maya와 같은 복잡하고 어려운 툴 사용법을 알아야만 작업을 진행할 수 있었다.

본 발명이 해결하려는 과제는 홀로그램 디스플레이 기술을 활용할 수 있는 응용 시스템을 제안함에 있다.

본 발명이 해결하려는 다른 과제는 복잡한 작업 툴 없이 간단한 방식으로 3D 모델링 작업을 수행할 수 있는 방안을 제안함에 있다.

본 발명이 해결하려는 또 다른 과제는 마우스나 키보드 없이 3D 모델링 작업을 수행할 수 있는 방안을 제안함에 있다.

이를 위해 본 발명의 홀로그램 기반 가상 모델링 작업 시스템은 홀로그램 디스플레이와 3D 깊이 카메라를 포함하고 있는 워크 스페이스, 상기 3D 깊이 카메라의 깊이 값을 이용하여 사용자의 손이나 펜의 동작을 인식하여 궤적을 계산하는 동작 인식 모듈, 상기 궤적을 반영하여 홀로그램 영상 데이터를 처리하는 인터렉션 컴퓨팅 모듈, 상기 인터렉션 컴퓨팅 모듈이 처리한 홀로그램 영상 데이터를 이용하여 홀로그램 영상을 재구성하는 홀로그램 영상 구성 모듈을 포함한다.

이를 위해 본 발명의 홀로그램 기반 가상 모델링 작업 시스템은 홀로그램 디스플레이와 3D 깊이 카메라를 포함하고 있는 워크 스페이스, 상기 3D 깊이 카메라의 깊이 값을 이용하여 사용자의 손이나 펜의 동작을 인식하여 궤적을 계산하는 동작 인식 모듈, 상기 궤적을 반영하여 홀로그램 영상 데이터를 처리하는 인터렉션 컴퓨팅 모듈, 상기 인터렉션 컴퓨팅 모듈이 처리한 홀로그램 영상 데이터를 이용하여 홀로그램 영상을 재구성하는 홀로그램 영상 구성 모듈을 포함하며,

상기 홀로그램 디스플레이는 상기 홀로그램 영상 구성 모듈에서 재구성한 홀로그램 영상을 디스플레이함을 특징으로 한다.

본 발명은 홀로그램 디스플레이 기술을 활용하여 3D 모델링 작업을 수행할 수 있는 방안을 제안한다. 이에 따라 본 발명의 3D 모델링 작업 시스템은 복잡한 작업 툴 없이 간단한 방식으로 3D 모델링 작업을 수행할 수 있으며, 마우스나 키보드 없이 홀로그램 디스플레이와 3D 깊이 카메라를 이용하여 3D 모델링 작업을 수행할 수 있는 장점이 있다.

도 1은 종래 가상 모델링 작업을 수행하는 화면을 도시하고 있으며,
도 2는 본 발명의 일실시 예에 따른 워크 스페이스를 도시하고 있으며,
도 3은 본 발명의 일실시 예에 따른 3D 입체 도형에 모델링 작업을 수행하는 예를 나타내고 있으며,
도 4는 본 발명의 일실시 예에 따른 홀로그램 기반 가상 모델링 작업 시스템을 도시하고 있다.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

본 발명에서 제안하는 홀로그램 기반 가상 (모델링) 작업 시스템은 홀로그램 디스플레이가 장착된 워크 스페이스 상에서 마우스나 키보드 같은 별도의 입력장치 없이 특수한 프로그램의 사용법을 숙지할 필요 없이 쉽게 모델링 작업을 할 수 있는 시스템이다.

홀로그램 기반 가상 (모델링) 작업 시스템은 홀로그램 디스플레이와 3D 깊이(depth) 카메라를 이용하여 구성한다. 워크 스페이스의 홀로그램 디스플레이에서는 사용자가 모델링 하고자하는 객체를 홀로그램으로 출력하고, 사용자는 펜이나 손으로 객체를 조각하거나 그림을 그리듯이 작업하여 건축물, 도형, 공예품, 캐릭터 등을 만들 수 있다. 3D depth 카메라를 이용하여 사용자의 손이나 펜의 궤적을 인식하여 워크 스페이스의 홀로그램 모델링 이미지에 펜이나 손의 동작이 반영 되어 그림이 그려지거나, 조각이 깎여 나간다.

그림을 그리듯이 모델링 작업을 처리할 수 있고, 실제 3D 공간에서 작업을 진행할 수 있기 때문에 직관적이다. 또한 실제 결과물과 동일한 입체영상을 보며 작업할 수 있는 이점이 있다.

모델링작업을 시작하기 위해 시스템에서 우선 적으로 기본 도형을 워크 스페이스에 배치하는 일을 해야 한다. 홀로그램 디스플레이의 한쪽에 기본 도형들과 팔레트가 표시 되고, 사용자는 손이나 펜으로 기본 도형을 드래그하여 작업하고자하는 위치(워크 스페이스)로 옮겨놓을 수 있다. 그 후에, 객체의 크기를 조절할 수 있고, 팔레트를 이용하여 색을 지정할 수 도 있다.

도 2는 본 발명의 일실시 예에 따른 워크 스페이스를 도시하고 있다. 이하 도 2를 이용하여 본 발명의 일실시 예에 따른 워크 스페이스에 대해 알아보기로 한다.

도 2에 의하면, 워크 스페이스는 기본 도형 선택 도구 항목과 도형색 지정 팔레트 도구 항목을 포함한다. 물론 상술한 항목 이외에 다른 항목이 워크 스페이스를 구성할 수 있다. 기본 도형 선택 도구 항목은 다양한 형상의 3차원 입체 도구를 선택할 수 있는 항목이다. 도 2에 의하면, 기본 도형 도구 항목은 원기둥, 육각면체, 구, 삼각뿔 등을 도시하고 이에 한정되는 것은 아니다.

사용자는 손이나 펜으로 표시된 기본 도형 중 하나를 선택한 후 드래그하여 작업하고자 하는 위치(워크 스페이스)로 옮겨 놓을 수 있다. 도 2에 의하면, 손으로 기본 도형을 선택하면, 워크 스페이스에 해당 도형이 표시된다. 이후 사용자는 도형색 지정 팔레트 도구 항목에 표시된 복수의 색상 중 어느 하나를 선택하여 워크 스페이스 상에 위치하고 있는 도형의 색상으로 지정할 수 있다.

도형을 배치한 다음 펜을 이용하여 도형을 조각하듯이 또는 도형에 그림을 그리듯이 모델링 작업을 수행할 수 있다. 도 3은 본 발명의 일실시 예에 따른 3D 입체 도형에 모델링 작업을 수행하는 예를 나타내고 있다.

도 3에 의하면 본 발명에 따른 모델링 작업을 수행하기 위해 홀로그램 디스플레이와 3D 깊이 카메라를 포함한다.

일반적으로 홀로그램은 홀로그래피에 의해 생성된 3차원 사진을 의미하며, 필름이나 감광 건판 등 기록 매체에 레이저 광 등 빛의 간섭 패턴을 기록한 것이다. 홀로그래피 방식은 피사체로부터의 빛과 간섭성이 있는 참조광을 겹쳐서 얻어지는 간섭신호를 기록하고 이를 재생하는 원리를 이용하는 것으로, 입체감 있는 영상을 구현하는 이상적인 디스플레이 방식이다. 홀로그램은 어떤 대상 물체의 3차원 입체상을 재생한다.

도 3에 도시되어 있는 바와 같이 홀로그램 디스플레이는 기본 도형 선택 도구 항목에서 사용자가 선택한 원기둥을 홀로그램 객체 이미지 형태로 표시하고 있다.

3D 깊이 카메라(302)는 전면부를 구성하고 적외선 펄스 출력부와 적외선 펄스 수신부를 포함한다. 적외선 펄스 출력부는 3D 깊이 카메라(302)의 전면부로부터 적외선 펄스를 출력하며, 적외선 펄스 입력부는 적외선 펄스 출력부에서 출력된 적외선 펄스 중 사물에 반사되어 되돌아오는 적외선 펄스를 수신한다. 3D 깊이 카메라(302)는 적외선 펄스 출력된 적외선 펄스가 사물에 의해 반사되어 되돌아오는 시간을 측정한다. 측정된 시간을 이용하여 사3D 깊이 카메라는 사물까지의 거리를 산출한다.

이에 대해 부가하여 설명하면 3차원 영상을 생성하기 위해서는 다시점 영상과 함께 장면에 대한 깊이 정보가 필요하다. 깊이 정보를 획득하는 방법은 수동형 방식과 능동형 방식의 두 가지로 나눌 수 있다. 수동형 방식은 촬영된 영상을 이용하여 장면의 깊이 정보를 예측하는 것으로써 스테레오 매칭이나 2차원 영상의 3차원 변환과 같은 방법이 이에 해당된다. 능동형 방식은 거리 센서를 이용하는 하드웨어 기반의 방식으로써 TOF(Time of Flight) 센서를 사용하는 깊이 카메라와 3차원 스캐너 등의 장비를 이용한다. TOF 센서를 이용하는 깊이 카메라는 실시간으로 장면의 실제 깊이 정보를 얻을 수 있다는 장점을 있다.

이하 3차원 카메라의 동작에 대해 알아보기로 한다. 3차원 카메라는 카메라로부터 가까운 곳에 위치하고 있는 사물은 백색으로 표시하며, 카메라로부터 먼 곳에 위치하고 있는 사물은 흑색으로 표시한다. 따라서 3차원 영상에서 백색으로 표시된 영상은 카메라로부터 가까운 곳에 위치하고 있는 영상이며, 흑색으로 표시된 영상은 카메라로부터 먼 곳에 위치하고 있는 영상임을 인지할 수 있게 된다.

3차원 카메라는 카메라의 전면부를 구성하고 적외선 펄스 출력부와 적외선 펄스 수신부를 포함한다. 적외선 펄스 출력부는 적외선 펄스를 카메라 전면부로 출력하며, 적외선 펄스 입력부는 적외선 펄스 출력부에서 출력된 적외선 펄스 중 사물에 반사되어 되돌아오는 적외선 펄스를 수신한다. 3차원 카메라는 적외선 펄스 출력된 적외선 펄스가 사물에 의해 반사되어 되돌아오는 시간을 측정한다. 측정된 시간을 이용하여 3차원 카메라는 사물까지의 거리를 산출한다.

3D 깊이 카메라는 펜의 움직임을 감시한다. 감시한 펜의 움직임에 따라 홀로그램 객체 이미지에 대한 작업을 수행한다. 도 3에 의하면, 펜의 궤적에 따라 홀로그램 객체 이미지의 일부가 깎이는 것을 확인할 수 있다.

도 4는 본 발명의 일실시 예에 따른 홀로그램 기반 가상 모델링 작업 시스템을 도시하고 있다. 이하 도 4를 이용하여 본 발명의 일실시 예에 따른 홀로그램 기반 가상 모델링 작업 시스템에 대해 상세하게 알아보기로 한다.

도 4에 의하면 홀로그램 기반 가상 모델링 작업 시스템은 홀로그램 디스플레이(402)와 3D 깊이 카메라(404)를 포함하고 있는 워크 스페이스(400), 홀로그램 영상 구성 모듈(410), 동작 인식 모듈(430), 인터렉션 컴퓨팅 모듈(420)을 포함한다. 물론 상술한 구성 이외에 다른 구성이 포함될 수 있음은 자명하다.

워크 스페이스(400)를 구성하고 있는 홀로그램 디스플레이(402)와 3D 깊이 카메라(404)는 상술한 바와 같다. 즉, 워크 스페이스(400)는 홀로그램 디스플레이(402)와 3D 깊이 카메라(404)가 구비된 사용자 작업 공간을 구성한다.

홀로그램 영상 구성 모듈(410)은 인터렉션 컴퓨팅 모듈(420)이 처리한 데이터를 전달받아 홀로그램 영상을 재구성하는 작업을 수행한다.

동작 인식 모듈(430)은 3D 깊이 카메라(404)를 이용하여 촬영한 사용자의 손동작이나, 펜의 움직임을 촬영하고, 깊이 값의 변화량을 이용하여 움직임의 궤적을 계산한다. 동작 인식 모듈(430)은 계산한 동작의 궤적을 3차원 데이터화하여 인터렉션 컴퓨팅 모듈(420)로 전달한다.

인터렉션 컴퓨팅 모듈(420)은 동작 인식 모듈(430)로부터 전달 받은 궤적 데이터를 이용하여 출력할 홀로그램 영상의 데이터를 처리한다. 인터렉션 컴퓨팅 모듈(420)은 3차원 데이터베이스를 저장하여 두고, 동작 인식 모듈로부터 들어오는 정보를 계속 처리하여 업데이트한다. 인터렉션 컴퓨팅 모듈(420)은 처리한 데이터베이스의 내용은 홀로그램 영상 구성 모듈(410)로 전달한다. 이 외에도 인터렉션 컴퓨팅 모듈(420)은 색변화, 객체 크기 변화 및 작업 취소, 저장 등에 대한 처리를 수행한다.

본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

400:워크 스페이스 402: 홀로그램 디스플레이
404: 3D 깊이 카메라 410: 홀로그램 영상 구성 모듈
420: 인터렉션 컴퓨팅 모듈 430: 동작 인식 모듈

Claims (7)

1. 홀로그램 디스플레이와 3D 깊이 카메라를 포함하고 있는 워크 스페이스;
   상기 3D 깊이 카메라의 깊이 값을 이용하여 사용자의 손이나 펜의 동작을 인식하여 궤적을 계산하는 동작 인식 모듈;
   상기 궤적을 반영하여 홀로그램 영상 데이터를 처리하는 인터렉션 컴퓨팅 모듈;
   상기 인터렉션 컴퓨팅 모듈이 처리한 홀로그램 영상 데이터를 이용하여 홀로그램 영상을 재구성하는 홀로그램 영상 구성 모듈을 포함함을 특징으로 하는 홀로그램 기반 가상 모델링 작업 시스템.
   
2. 제 1항에 있어서, 상기 3D 깊이 카메라는,
   출력한 적외선 펄스가 사물에 의해 반사되어 돌아오는 시간을 이용하여 상기 사용자 또는 펜의 동작을 인식함을 특징으로 하는 홀로그램 기반 가상 모델링 작업 시스템.
   
3. 제 2항에 있어서, 상기 홀로그램 디스플레이는,
   디스플레이된 복수 개의 입체 도형들 중 적어도 하나의 입체 도형을 선택할 수 있는 기본 도형 선택 도구 항목과 선택된 입체 도형에 색상을 지정할 수 있는 도형색 지정 팔레트 도구 항목을 포함함을 특징으로 하는 홀로그램 기반 가상 모델링 작업 시스템.
   
4. 제 3항에 있어서, 상기 홀로그램 디스플레이는,
   상기 홀로그램 영상 구성 모듈에서 재구성한 홀로그램 영상을 디스플레이함을 특징으로 하는 홀로그램 기반 가상 모델링 작업 시스템.
   
5. 제 4항에 있어서, 상기 인터렉션 컴퓨팅 모듈은,
   처리한 상기 홀로그램 영상 데이터를 저장하는 3차원 데이터베이스를 포함함을 특징으로 하는 홀로그램 기반 가상 모델링 작업 시스템.
   
6. 홀로그램 디스플레이와 3D 깊이 카메라를 포함하고 있는 워크 스페이스;
   상기 3D 깊이 카메라의 깊이 값을 이용하여 사용자의 손이나 펜의 동작을 인식하여 궤적을 계산하는 동작 인식 모듈;
   상기 궤적을 반영하여 홀로그램 영상 데이터를 처리하는 인터렉션 컴퓨팅 모듈;
   상기 인터렉션 컴퓨팅 모듈이 처리한 홀로그램 영상 데이터를 이용하여 홀로그램 영상을 재구성하는 홀로그램 영상 구성 모듈을 포함하며,
   상기 홀로그램 디스플레이는,
   상기 홀로그램 영상 구성 모듈에서 재구성한 홀로그램 영상을 디스플레이함을 특징으로 하는 홀로그램 기반 가상 모델링 작업 시스템.
   
7. 제 6항에 있어서, 상기 홀로그램 디스플레이는,
   디스플레이된 복수 개의 입체 도형들 중 적어도 하나의 입체 도형을 선택할 수 있는 기본 도형 선택 도구 항목과 선택된 입체 도형에 색상을 지정할 수 있는 도형색 지정 팔레트 도구 항목을 포함함을 특징으로 하는 홀로그램 기반 가상 모델링 작업 시스템.

Images