KR101742018B1 - 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법 - Google Patents

홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법 Download PDF

Info

Publication number
KR101742018B1
KR101742018B1 KR1020160025314A KR20160025314A KR101742018B1 KR 101742018 B1 KR101742018 B1 KR 101742018B1 KR 1020160025314 A KR1020160025314 A KR 1020160025314A KR 20160025314 A KR20160025314 A KR 20160025314A KR 101742018 B1 KR101742018 B1 KR 101742018B1
Authority
KR
South Korea
Prior art keywords
image
projector
projection
camera
setting
Prior art date
Application number
KR1020160025314A
Other languages
English (en)
Inventor
이용이
이관행
손문구
이종훈
아메드 빌랄
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020160025314A priority Critical patent/KR101742018B1/ko
Priority to US15/363,582 priority patent/US10197809B2/en
Application granted granted Critical
Publication of KR101742018B1 publication Critical patent/KR101742018B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/108Beam splitting or combining systems for sampling a portion of a beam or combining a small beam in a larger one, e.g. wherein the area ratio or power ratio of the divided beams significantly differs from unity, without spectral selectivity
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/32Holograms used as optical elements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • H04N13/0007
    • H04N13/02
    • H04N13/0203
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)

Abstract

본 발명은 홀로그램을 이용한 전시 시스템 및 이를 이용한 홀로그램 전시 방법에 관한 것으로서, 상기 홀로그램을 이용한 전시 시스템은 투사대상물에 대응되게 입체적으로 형성된 투사체와, 상기 투사대상물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 상기 투사체에 투사하는 다수의 프로젝터가 마련된 영상 투사부와, 상기 투사체에 인접되게 설치되며, 상기 투사체에 의해 반사된 영상을 반사시켜 홀로그램 형태의 입체 영상을 증강시키는 반사판을 구비한다.
본 발명에 따른 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시 방법은 투사대상물에 대응되게 입체적으로 형성된 투사체에 복수의 프로젝터를 이용하여 3차원 영상에 대응되는 단위영상들을 투사하므로 투사체에 의해 반사되고, 반사판에 의해 증강되는 영상이 실제 투사대상물에 대응되게 3차원적 정보를 가지게 되어 관람자의 시점 변화에 따라 적합한 영상을 관람자에게 제공할 수 있다는 장점이 있다.

Description

홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법{Display system based on hologram and hologram display method using same}
본 발명은 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법에 관한 것으로서, 더욱 상세하게는 전시물에 대한 3차원 영상을 홀로그램 형태로 디스플레이하는 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법에 관한 것이다.
정보화 사회가 가속화됨에 따라 정보의 처리 및 전달 뿐만 아니라 정보의 표현이 중요한 이슈로 떠오르고 있다.
그 중에서도 정보의 시각적 표현 기술에 대한 요구가 증대되고 있는데, 특히 3차원 전시 방법 및 장치에 대한 요구가 날로 증대되고 있다. 체험을 중요시하는 시대의 흐름에 맞추어 일방적인 전시형태에서 벗어나 전시물과 관람객이 상호소통할 수 있는 전시시스템이 요구되고 있으며, 현재 협소한 공간과 부족한 전시물로 인한 문제를 해결하기 위해 새로운 형태의 전시 공간이 필요하다.
증강현실(augmented reality), 홀로그램(hologram), 프로젝션 매핑(projection mapping) 등의 기술이 전시 효과를 극대화하기 위해 적용되고 있는 실정이나 전시품 원본이 가진 고유의 재질감을 전달하는데 한계가 있으며 주변환경과 조화를 이루지 못하여 관람객의 흥미와 몰입도가 저하되는 문제점이 있다.
이에, 제한된 공간에서 다양한 전시물을 관람할 수 있도록 가상의 3차원 형상을 가시화할 수 있는 전시시스템인 슈도 홀로그램(Pseudo hologram)이 각광받고 있다.
슈도 홀로그램 시스템은 고해상도 프로젝터를 통해 연출 또는 전시하고자하는 영상을 바닥면에 위치한 반사판으로 투사하고, 투사된 영상이 무대와 45도의 각도로 기울어진 포일로 반사된다. 반사된 영상은 포일을 투과하여 무대 상부에 떠있는 것과 같은 효과를 가지면서 최종 영상으로 보이게 된다.
그러나, 이러한 종래의 홀로그램 시스템은 온전한 3차원 형상을 만드는 홀로그램이 아닌 3차원처럼 보이게 하는 의사방식으로서, 고해상도 프로젝터에서 투사되는 이미지가 2차원의 반사판으로 투사되어 반사되는 형식이기 때문에, 반사된 최종 영상은 3차원 정보를 갖고 있지 않다. 따라서, 사용자의 시점이 좌우방향으로 바뀌는 경우에는 상기 최종 영상이 시점에 따른 변화를 반영하지 못하게 되고 3차원 형상 정보가 반영되지 못한 홀로그램을 감상하는 사용자는 전시품에 대한 이질감을 느끼게 되며 해당 전시품 또는 전시 영상에 대한 상품성을 저하시키는 요인이 될 수 있다.
등록특허공보 제10-1464325호: 복합 홀로그램 전시기구
본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 투사대상물에 대응되게 입체적으로 형성된 투사체에 복수의 프로젝터를 이용하여 3차원 영상에 대응되는 단위영상들을 투사하는 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 홀로그램 전시 시스템은 투사대상물에 대응되게 입체적으로 형성된 투사체와, 상기 투사물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 상기 투사체에 투사하는 다수의 프로젝터가 마련된 영상 투사부와, 상기 투사체에 인접되게 설치되며, 상기 투사체에 의해 반사된 영상을 반사시켜 홀로그램 형태의 입체 영상을 증강시키는 반사판을 구비한다.
한편, 본 발명에 따른 홀로그램을 이용한 전시 시스템은 상기 프로젝터로부터 상기 투사체에 투사된 상기 단위 영상들에 왜곡이 발생되는 것을 방지하도록 상기 영상 투사부를 제어하는 왜곡 방지유닛을 더 구비하는 것이 바람직하다.
상기 왜곡 방지유닛은 상기 프로젝터들에 인접되게 설치되어 각 상기 프로젝터로부터 상기 투사체에 투사되는 상기 단위 영상을 촬영하는 다수의 카메라와, 상기 카메라들로부터 촬영된 영상정보를 토대로 상기 투사체로 투사된 상기 단위 영상들에 왜곡이 발생되는 것이 방지되도록 상기 프로젝터 및 카메라를 제어하는 제어부를 구비할 수도 있다.
상기 왜곡 방지유닛은 상기 카메라들이 각 상기 프로젝터의 시점에서 상기 투사체에 투사된 상기 단위 영상을 바라보는 영상을 촬영할 수 있도록 가이드하는 영상 가이드부를 더 구비하는 것이 바람직하다.
또한, 상기 영상 가이드부는 상기 프로젝터들에 각각 설치되는 것으로서, 상기 프로젝터로부터 상기 투사체로 출사되는 상기 단위 영상의 출력광은 통과되되, 상기 출력광에 대해 상기 투사체에 의해 반사되는 반사광 중 상기 출력광의 광축과 나란하게 상기 프로젝터 측으로 입사되는 반사광을 상기 카메라 측으로 반사하는 다수의 빔스플리터를 구비한다.
한편, 본 발명에 따른 홀로그램 전시 방법은 투사대상물에 대응되는 3차원 영상을 촬영하는 영상 촬영단계와, 상기 투사대상물에 대응되게 입체적으로 투사체를 제조하는 투사체 제조단계와, 상기 투사체에 상기 투사물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 투사할 수 있도록 다수의 프로젝터를 설치하는 프로젝터 설치단계와, 상기 프로젝터들로부터 상기 투사체로 투사된 상기 단위영상들을 각각 촬영할 수 있도록 카메라를 설치하는 카메라 설치단계와, 상기 프로젝터들로부터 출사된 상기 단위영상들에 왜곡이 발생되는 것을 방지하기 위해 상기 프로젝터 및 카메라를 세팅하는 세팅단계와, 상기 투사체에 의해 반사된 영상을 반사시켜 홀로그램 형태로 증강시킬 수 있도록 상기 투사체에 인접되게 반사판을 설치하는 반사판 설치단계와, 상기 세팅단계 및 반사판 설치단계가 완료되면 상기 프로젝터들을 통해 상기 단위영상을 상기 투사체에 투사하는 전시단계를 포함한다.
상기 세팅단계는 상기 프로젝트 및 카메라를 캘리브레이션하는 캘리브레이션 단계와, 상기 프로젝트와 카메라 간의 이미지에 대한 픽셀 대응관계를 산출하는 대응관계 산출단계와, 상기 캘리브레이션 단계를 통해 획득한 상기 프로젝트 및 카메라의 캘리브레이션 정보와 상기 대응관계 산출단계를 통해 획득한 상기 프로젝트와 카메라 간의 이미지에 대한 픽셀 대응관계 정보를 토대로 각 상기 프로젝터의 시점에서의 상기 투사면의 3차원 형상 정보를 추정하는 3차원 형상 추정단계와, 상기 3차원 형상 추정단계를 통해 획득한 상기 3차원 형상 정보를 토대로 상기 3차원 영상의 자세를 추정하는 자세 추정단계를 포함하는 것이 바람직하다.
상기 캘리브레이션 단계는 상기 프로젝터를 통해 소정의 무늬를 갖는 설정판에 소정의 패턴을 갖는 세팅 이미지를 투사하고, 상기 설정판에 투사된 상기 세팅 이미지를 상기 카메라로 촬영하는 설정촬영단계와, 상기 세팅 이미지와, 상기 설정판에 투사된 상기 세팅 이미지를 촬영한 영상정보를 토대로 상기 프로젝터 및 카메라를 캘리브레이션하기 위한 캘리브레이션 정보를 획득하는 정보획득단계와, 상기 캘리브레이션 정보에 따라 상기 프로젝터 및 카메라를 캘리브레이션하는 설정 완료 단계를 포함한다.
상기 설정판은 상기 프로젝터로부터 상기 세팅 이미지가 투사되는 투사면에 체크무늬가 형성될 수도 있다.
상기 설정촬영단계에서, 상기 설정판을 순차적으로 다양한 자세로 세팅위치를 변경시키고, 각 세팅위치에 따라 상호 상이한 패턴을 갖는 다수의 상기 설정 이미지를 상기 설정판에 투사한다.
상기 대응관계 산출단계는 상기 프로젝트를 통해 상기 투사체로 샘플 이미지를 투사하며, 상기 카메라를 통해 상기 샘플 이미지가 투사된 상기 투사체의 영상을 촬영하는 샘플 촬영단계와, 상기 샘플 이미지와 상기 카메라를 통해 촬영된 영상을 비교하여 상기 프로젝터와 투사체 및 상기 투사체와 카메라와의 이미지에 대한 픽셀 대응관계 정보를 산출하는 정보 산출단계를 포함하는 것이 바람직하다.
상기 샘플 이미지는 상기 투사체의 길이방향 또는 폭방향 중 어느 한 방향으로 연장된 다수의 흑색의 단위패턴이 상기 투사체의 길이방향 또는 폭방향 중 다른 한 방향을 따라 상호 이격되게 형성된다.
상기 대응관계 산출단계는 상기 정보 산출단계 이후에, 상기 정보 산출단계를 통해 획득된 상기 투사체와 카메라와의 이미지에 대한 픽셀 대응관계 정보를 이용하여 상기 카메라에서 촬영된 영상을 토대로 상기 프로젝터의 시점에서 상기 투사체를 바라보는 영상을 가상으로 복원하는 영상복원단계를 더 포함할 수도 있다.
상기 카메라 설치단계는 상기 프로젝터들에 인접되게 각각 상기 카메라를 설치하는 제1설치단계와, 상기 제1설치단계가 완료되면 상기 카메라들이 각 상기 프로젝터의 시점에서 상기 투사체에 투사된 상기 단위 영상을 바라보는 영상을 촬영할 수 있도록 가이드하는 영상 가이드부를 상기 프로젝터 및 카메라에 설치하는 제2설치단계를 포함하는 것이 바람직하다.
상기 영상 가이드부는 상기 프로젝터들에 각각 설치되는 것으로서, 상기 프로젝터로부터 상기 투사체로 출사되는 영상의 출력광은 통과되되, 상기 출력광에 대해 상기 투사체에 의해 반사되는 반사광 중 상기 출력광의 광축과 나란하게 상기 프로젝터 측으로 입사되는 반사광을 상기 카메라 측으로 반사하는 다수의 빔스플리터를 구비한다.
상기 전시단계는 상기 3차원 영상 중 상기 투사체에 대한 각 상기 프로젝터의 투사영역에 대응되는 영역에 해당하는 부분 영상을 상기 단위영상으로 설정하는 단위영상 설정단계와, 상기 단위영상 설정단계 완료 후에, 각 상기 단위영상을 상기 프로젝터를 이용하여 상기 투사체에 투사하는 투사단계를 포함한다.
본 발명에 따른 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시 방법은 투사대상물에 대응되게 입체적으로 형성된 투사체에 복수의 프로젝터를 이용하여 3차원 영상에 대응되는 단위영상들을 투사하므로 투사체에 의해 반사되고, 반사판에 의해 증강되는 영상이 실제 투사대상물에 대응되게 3차원적 정보를 가지게 되어 관람자의 시점 변화에 따라 적합한 영상을 관람자에게 제공할 수 있다는 장점이 있다.
도 1은 본 발명에 따른 홀로그램을 이용한 전시 시스템에 대한 사시도이고,
도 2는 도 1의 홀로그램을 이용한 전시 시스템에 대한 측면도이고,
도 3은 도 1의 홀로그램을 이용한 전시 시스템에 대한 개념도이고,
도 4는 본 발명에 따른 홀로그램 전시 방법에 대한 순서도이고,
도 5는 본 발명에 따른 홀로그램 전시 방법의 세팅단계에 대한 순서도이고,
도 6는 본 발명에 따른 홀로그램 전시 방법의 설정촬영단계에 대한 개념도이고,
도 7 및 도 8은 설정촬영단계에서 사용되는 설정판 및 설정 이미지가 투사된 설정판의 실제 사진이고,
도 9는 본 발명에 따른 홀로그램 전시방법의 샘플촬영단계에 사용된 상기 샘플 이미지이고,
도 10는 상기 샘플촬영단계에서 샘플 이미지가 투사된 투사체에 대한 실제 사진이고,
도 11은 해독화 오차를 고려하지 않고 카메라들을 통해 촬영된 영상을 토대로 프로젝터 시점에서 바로보는 장면을 가상으로 모델링한 도면이고,
도 12는 본 발명에 따른 홀로그램 전시 방법에 따라 실제 프로젝터 시점을 복원하는 과정에 대한 사진이고,
도 13은 본 발명에 따른 홀로그램 전시방법의 자세추정단계에서 작업한 상태를 나타낸 사진이고,
도 14는 본 발명에 따른 홀로그램 전시 방법과 종래의 홀로그램 기법을 이용하여 전시된 전시물에 대한 다양한 시점에서의 사진이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 홀로그램을 이용한 전시 시스템 및 이를 이용한 홀로그램 전시방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 및 도 2에는 본 발명에 따른 홀로그램을 이용한 전시 시스템(10)이 도시되어 있다.
도면을 참조하면, 상기 홀로그램을 이용한 전시 시스템(10)은 투사대상물에 대응되게 입체적으로 형성된 투사체(20)와, 상기 투사대상물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 상기 투사체(20)에 투사하는 다수의 프로젝터(41)가 마련된 영상 투사부(40)와, 상기 투사체(20)에 인접되게 설치되며, 상기 투사체(20)에 의해 반사된 영상을 반사시켜 홀로그램 형태의 입체 영상을 증강시키는 반사판(30)과, 상기 프로젝터(41)로부터 상기 투사체(20)에 투사된 상기 단위 영상들에 왜곡이 발생되는 것을 방지하도록 상기 영상 투사부(40)를 제어하는 왜곡 방지유닛(50)을 구비한다.
투사체(20)는 전시하고자 하는 투사대상물에 대응되는 형상으로 입체적으로 형성된다. 상기 투사체(20)는 전시테이블(21)의 상면에 고정된다. 상기 투사체(20)는 프로젝터(41)로부터 영상을 용이하게 반사시킬 수 있도록 상기 영상이 투사되는 투사면이 백색으로 형성된다.
이때, 투사체(20)의 재질에 따라 부분적으로 반짝이는 반사 특성(glossy reflectance)가 발생되는 것을 방지하기 위해 투사체(20)의 투사면을 디퓨즈 스프레이로 코팅하는 것이 바람직하다.
반사판(30)은 상기 투사체(20) 상측의 테이블(21)에 설치된다. 상기 반사판(30)은 전후방향으로 연장되되, 전단부가 후단부보다 상측에 위치하도록 경사지게 설치되되, 투사체(20)가 설치된 테이블(21)의 상면에 대해 45°로 경사지게 설치되는 것이 바람직하다.
상기 반사판(30)은 상기 투사체(20)에 의해 반사된 영상을 반사시켜 홀로그램 형태의 입체 영상을 증강시킬 수 있도록 소정의 반사율과 투과율을 갖는 열처리된 특수유리, 폴리카보네이트 등의 재질로 형성되는 것이 바람직하다.
영상 투사부(40)는 테이블(21)의 전방에 좌우방향으로 상호 이격되게 설치된 복수의 거치대(42)와, 상기 거치대(42)에 각각 설치되어 투사체(20)로 단위영상을 투사하는 복수의 프로젝터(41)를 구비한다.
상기 프로젝터(41)는 1280X800의 해상도에 1000안시의 밝기를 갖는 DLP 방식의 프로젝터(41)가 사용되는 것이 바람직하나, 상기 프로젝터(41)는 이에 한정하는 것이 아니라 투사체(20)에 영상을 선명하게 투사할 수 있는 장치이면 무엇이든 가능하다. 한편, 도시된 예에서는 프로젝터(41)가 2개가 설치된 구조가 도시되어 있으나, 상기 프로젝터(41)는 이에 한정하는 것이 아니라 투사대상물의 크기에 따라 3개 이상이 설치될 수도 있다.
왜곡 방지유닛(50)은 도 3을 참조하면, 상기 프로젝터(41)들에 인접되게 설치되어 각 상기 프로젝터(41)로부터 상기 투사체(20)에 투사되는 상기 단위 영상을 촬영하는 다수의 카메라(51)와, 상기 왜곡 방지유닛(50)은 상기 카메라(51)들이 각 상기 프로젝터(41)의 시점에서 상기 투사체(20)에 투사된 상기 단위 영상을 바라보는 영상을 촬영할 수 있도록 가이드하는 영상 가이드부와, 상기 카메라(51)들로부터 촬영된 영상정보를 토대로 상기 투사체(20)로 투사된 상기 단위 영상들에 왜곡이 발생되는 것이 방지되도록 상기 프로젝터(41)를 제어하는 제어부(53)를 구비한다.
카메라(51)는 상기 프로젝터(41)들에 인접되게 거치대(42)들에 각각 설치된다. 상기 카메라(51)는 4928X3280의 픽셀 해상도를 갖는 모델을 사용하면 바람직하나 이에 한정하는 것이 아니라 투사체(20)에 투사된 영상을 선명하게 촬영할 수 있는 촬영장비이면 무엇이든 가능하다.
이때, 단위영상은 상기 3차원 영상 중 상기 투사체(20)에 대한 각 상기 프로젝터(41)의 투사영역에 대응되는 영역에 해당하는 부분 영상이며, 2차원 이미지가 적용된다.
영상 가이드부는 상기 프로젝터(41)들에 각각 설치되는 것으로서, 상기 프로젝터(41)로부터 상기 투사체(20)로 출사되는 상기 단위 영상의 출력광은 통과되되, 상기 출력광에 대해 상기 투사체(20)에 의해 반사되는 반사광 중 상기 출력광의 광축과 나란하게 상기 프로젝터(41) 측으로 입사되는 반사광을 상기 카메라(51) 측으로 반사하는 다수의 빔스플리터(52)를 구비한다.
이때, 카메라(51)는 각 프로젝터(41)로부터 출력되는 출력광의 광축과 나란하게 입사되는 반사광을 제공받아 상기 반사광에 대한 영상을 촬영하므로 상기 카메라(51)는 각 프로젝터(41)의 시점에서 투사체(20)를 바라보는 영상이 촬영된다. 이처럼, 카메라(51)가 프로젝터(41)의 시점에서 투사체(20)를 바라보는 영상을 촬영하므로 후술되는 홀로그램 전시방법의 대응관계 정의단계(S152)를 통해 픽셀 대응관계 정보 획득시 오차를 최소화시킬 수 있다.
제어부(53)는 상기 카메라(51)들로부터 촬영된 영상정보를 토대로 상기 투사체(20)로 투사된 상기 단위 영상들에 왜곡이 발생되는 것이 방지되도록 상기 프로젝터(41) 및 카메라(51)를 제어한다.
한편, 도 3을 참조하면, 프로젝터(41)들에서 투사체(20)로 투사되는 단위연상들은 상호 중첩되는 부분이 발생하는데, 상기 제어부(53)는 단위영상들이 상호 중첩되는 부분에서 왜곡이 발생되는 것을 방지할 수 있도록 각 프로젝터(41)로부터 투사되는 단위영상을 조절할 수도 있다.
또한, 제어부(53)는 프로젝터(41)를 통해 출사되는 단위영상 또는 샘플영상과 카메라(51)를 통해 촬영되는 영상을 비교 분석하여 프로젝터(41) 및 카메라(51)의 초점, 방향 등을 조절한다. 그리고, 제어부(53)의 중앙처리부(미도시)는 프로젝터(41) 및 카메라(51)를 캘리브레이션하고, 프로젝터(41)와 카메라(51) 간의 이미지 픽셀 대응관계를 산출한다.
한편, 도면에 도시되진 않았지만, 본 발명에 따른 홀로그램을 이용한 전시 시스템(10)은 투사대상물에 대응되는 3차원 영상으로 각 프로젝터(41)의 시점에 적합한 다수의 단위 영상을 편집하는 편집유닛을 더 구비할 수도 있다. 이때, 상기 단위영상들은 프로젝터(41)에 의해 투사체(20)에 투사시 3차원 영상의 일부분이 아니라 전체를 이루도록 편집되는 것이 바람직하다.
한편, 도 4를 참조하여 상술된 바와 같이 구성된 본 발명에 따른 홀로그램을 이용한 전시 시스템(10)을 이용한 홀로그램 전시 방법을 상세히 설명하면 다음과 같다. 상기 홀로그램 전시 방법은 영상 촬영단계(S110), 투사체 제조단계(S120), 프로젝터 설치단계(S130), 카메라 설치단계(S140), 세팅단계(S150), 반사판 설치단계(S160) 및 전시단계(S170)를 포함한다.
영상 촬영단계(S110)는 투사대상물에 대응되는 3차원 영상을 촬영하는 단계이다. 작업자는 TOF(Time of Flight) 카메라(51)와 같은 3차원 영상을 촬영하는데 적합한 카메라(51)를 사용하여 투사대상물을 촬영하여 3차원 영상을 획득한다.
투사체 제조단계(S120)는 상기 투사대상물에 대응되게 입체적으로 투사체(20)를 제조하는 단계이다. 작업자는 투사대상물에 대응되는 형상으로 목업(mockup)을 제조하여 투사체(20)로 사용한다. 이때, 3D 프린터나 캐스팅(casting) 방식을 통해 투사체(20)를 제작할 수 있다.
프로젝터 설치단계(S130)는 상기 투사체(20)에 상기 투사물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 투사할 수 있도록 다수의 프로젝터(41)를 설치하는 단계이다. 이때, 작업자는 테이블(21)의 전방부에 복수의 거치대(42)를 좌우방향으로 상호 이격되게 설치하고, 각 거치대(42)의 상부에 프로젝터(41)를 설치한다. 이때, 상기 프로젝터(41)는 테이블(21)의 상면에 설치된 투사체(20)가 설치되는 테이블(21) 상면을 향하도록 설치하는 것이 바람직하다.
카메라 설치단계(S140)는 프로젝터(41)들로부터 투사체(20)로 투사된 단위영상들을 각각 촬열할 수 있도록 카메라(51)를 설치하는 단계로서, 제1설치단계 및 제2설치단계를 포함한다.
제1설치단계는 상기 프로젝터(41)들에 인접되게 각각 상기 카메라(51)를 설치하는 단계이다. 작업자는 거치대(42)의 상단부에 프로젝터(41)에 인접되게 각각 카메라(51)를 설치한다.
제2설치단계는 제1설치단계가 완료되면 카메라(51)들이 각 프로젝터(41)의 시점에서 투사체(20)에 투사된 단위영상을 바라로보는 영상을 촬영할 수 있도록 가이드하는 영상 가이드부를 프로젝터(41) 및 카메라(51)에 설치하는 단계이다. 작업자는 상술된 영상 가이드부의 빔스플리터(52)를 각각의 프로젝터(41) 및 카메라(51)에 설치한다.
세팅단계(S150)는 프로젝터(41)들로부터 출사된 단위영상들에 왜곡이 발생되는 것을 방지하기 위해 프로젝터(41) 및 카메라(51)를 세팅하는 단계로서, 도 5를 참조하면, 캘리브레이션 단계(S151), 대응관계 정의단계(S152), 3차원 형상 추정단계(S153) 및 자세 추정단계(S154)를 포함한다.
캘리브레이션 단계(S151)는 프로젝트 및 카메라(51)를 캘리브레이션하는 단계이다. 상기 캘리브레이션 단계(S151)는 설정촬영단계, 정보획득단계 및 설정 완료단계를 포함한다.
설정촬영단계는 프로젝터(41)를 통해 소정의 무늬를 갖는 설정판에 소정의 패턴을 갖는 세팅 이미지를 투사하고, 상기 설정판에 투사된 상기 세팅 이미지를 상기 카메라(51)로 촬영하는 단계이다.
상기 설정판은 프로젝터(41)로부터 세팅 이미지가 투사되는 투사면인 상면에 흑백으로 이루어진 체크무늬가 형성된 것이 바람직하다. 이때, 작업자는 상기 설정판을 순차적으로 다양한 자세로 세팅위치를 변경시키고, 각 세팅위치에 따라 상호 상이한 패턴을 갖는 다수의 상기 설정 이미지를 상기 설정판에 투사한다. 도 6에는 상기 설정촬영단계에 대한 개념도가 도시되어 있다. 도면에 도시된 바와 같이 체크무늬를 갖는 설정판을 회전시키거나 기울려서 위치시키고, 각 세팅위치에 따른 설정판의 투사면을 카메라(51)로 촬영한다.
이때, 세팅 이미지는 소정길이 연장된 흑색의 패턴들이 길이방향에 대해 직교하는 방향을 따라 상호 이격되게 배열된다. 세팅 이미지들은 흑색 패턴들의 기울기가 상호 상이하게 형성된 것이 바람직하다. 도 7 및 도 8은 설정촬영단계에서 사용되는 설정판 및 설정 이미지가 투사된 설정판의 실제 사진이다.
정보획득단계는 세팅 이미지와, 설정판에 투사된 세팅 이미지를 촬영한 영상정보를 토대로 프로젝터(41) 및 카메라(51)를 캘리브레이션하기 위한 캘리브레이션 정보를 획득하는 단계이다. 세팅 이미지와, 설정판에 투사된 세팅 이미지를 촬영한 영상정보를 부호화하면 프로젝터(41)와 카메라(51) 간의 대응관계를 산출할 수 있다. 또한, 세팅 이미지의 체크무늬와 카메라(51)를 통해 설정판을 촬영한 영상정보에서의 체크무늬에 나타난 모서리 특징점(feature point)들을 기반으로 캘리브레이션 정보를 획득할 수 있다. 여기서 상기 캘리브레이션 정보는 프로젝터(41)와 카메라(51)의 초점거리, 주점, 렌즈 왜곡 등의 내부 파라미터 및 프로젝터(41)와 카메라(51)의 상대적인 거리 및 방향 등의 외부 파라미터가 포함된다.
설정 완료 단계는 캘리브레이션 정보에 따라 프로젝터(41) 및 카메라(51)를 캘리브레이션하는 단계이다. 제어부(53)는 획득된 캘리브레이션 정보에 따라 프로젝터(41) 및 카메라(51)의 설정을 조정한다. 이때, 작업자는 수동으로 프로젝터(41) 및 카메라(51)의 설정을 보다 정밀하게 조정할 수도 있다.
대응관계 정의단계(S152)는 프로젝트와 카메라(51) 간의 이미지에 대한 픽셀 대응관계를 산출하는 단계로서, 샘플 촬영단계, 정보 산출단계 및 영상복원단계를 포함한다.
샘플 촬영단계는 프로젝트를 통해 투사체(20)로 샘플 이미지를 투사하며, 카메라(51)를 통해 상기 샘플 이미지가 투사된 투사체(20)의 영상을 촬영하는 단계이다. 이때, 작업자는 테이블(21)의 상면에서 설정판 대신에 투사체(20)를 설치하여 작업한다.
도 9에는 상기 샘플 이미지에 대한 실시 예가 도시되어 있다. 도면을 참조하면, 상기 샘플 이미지는 상기 투사체(20)의 길이방향 또는 폭방향 중 어느 한 방향으로 연장된 다수의 흑색의 단위패턴이 상기 투사체(20)의 길이방향 또는 폭방향 중 다른 한 방향을 따라 상호 이격되게 배열된 구조광 패턴이 마련되어 있다. 도 10은 샘플 이미지가 투사된 투사체(20)에 대한 실제 사진이다.
정보 산출단계는 샘플 이미지와 카메라(51)를 통해 촬영된 영상을 비교하여 프로젝터(41)와 투사체(20) 및 투사체(20)와 카메라(51)와의 이미지에 대한 픽셀 대응관계 정보를 산출하는 단계이다. 이때, 구조광 기반의 픽셀 분류법을 이용하여 상기 픽셀 대응관계 정보를 산출한다. 상기 구조광 기반의 픽셀 분류법은 2007년, Yi Xu, Daniel G. Aliaga에 의해 발표된 Robust Pixel Classification for 3D Modeling with Structured Light, Proceedings of the Graphics Interface 논문에 개시된 것으로서 상세한 설명은 생략한다.
이때, 구조광 기반의 픽셀 분류법을 통해 프로젝터(41)와 카메라(51)의 대응관계를 정의하는 과정에서 투사체(20)의 특성에 의해 발생하는 그림자(shadow), 내부반사(inter-reflection), 정반사(specular) 등에 의해 해독화 오차(decoding error)가 발생할 수 있다. 이러한 해독화 오차는 잘못 정의된 대응관계나 정의되지 않은 대응관계를 발생시키게 되어 영상복원단계를 진행시 방해요인이 된다. 도 11에는 해독화 오차를 고려하지 않고 카메라(51)들을 통해 촬영된 영상을 토대로 프로젝터(41) 시점에서 바로보는 장면을 가상으로 모델링한 것인데, 상기 해독화 오차에 의해 검은색 노이즈가 발생된 것을 볼 수 있다.
상기 해독화 오차에 의해 발생된 노이즈 문제를 해결하기 위해 먼저, 카메라(51)를 통해 획득된 영상을 색상 정보를 기반한 적응형 패치(adaptive patch)들로 분류한다. 이때, CIELAB 색상 공간 상에서의 유클리디언 거리와 픽셀 강도(Intensity)에 대한 이미지 구배(gradient)를 계산하여 이들을 기반으로 상기 영상에서 분할(segmentation)을 수행하는 SLIC(Simple Linear Iterative Clustering) 알고리즘을 사용하였다.
다음, 각각의 패치들 간으로 대응관계를 정의할 수 있다. 이때, 패치 간의 대응관계를 정의하게 위해 Piecewise 이차 다항식을 이용할 수 있다.
영상복원단계는 상기 정보 산출단계 이후에, 상기 정보 산출단계를 통해 획득된 상기 투사체(20)와 카메라(51)와의 이미지에 대한 픽셀 대응관계 정보를 이용하여 상기 카메라(51)에서 촬영된 영상을 토대로 상기 프로젝터(41)의 시점에서 상기 투사체(20)를 바라보는 영상 즉,프로젝터(41) 뷰(projector view)를 가상으로 복원하는 단계이다.
상기 정보 산출단계를 통해 획득된 상기 투사체(20)와 카메라(51)와의 이미지에 대한 픽셀 대응관계가 정의되면 카메라(51)에서 획득한 영상을 가상의 프로젝터(41) 공간에 맵핑시켜 프로젝터(41)가 보고 있는 시점을 가상으로 나타내는 프로젝터(41) 뷰를 복원할 수 있다. 도 12은 실제 프로젝터(41) 시점을 복원하는 과정에 대한 사진이다.
3차원 형상 추정단계(S153)는 상기 캘리브레이션 단계(S151)를 통해 획득한 상기 프로젝트 및 카메라(51)의 캘리브레이션 정보와 상기 대응관계 산출단계(S152)를 통해 획득한 상기 프로젝트와 카메라(51) 간의 이미지에 대한 픽셀 대응관계 정보를 토대로 각 상기 프로젝터(41)의 시점에서의 상기 투사면의 3차원 형상 정보(3D point cloud)를 추정하는 단계이다. 상기 3차원 형상 정보에는 깊이 지도나 점군형태가 포함된다.
자세 추정단계(S154)는 상기 3차원 형상 추정단계(S153)를 통해 획득한 상기 3차원 형상 정보를 토대로 상기 3차원 영상의 자세를 추정하는 단계이다. 측정된 3차원 형상 정보를 이용하여 프로젝터(41)의 위치에 적합하게 3차원 영상의 자세를 추정하여 주므로 3차원 영상을 투사체(20)에 왜곡없이 투사할 수 있다.
도 13은 하회탈 모델에 대한 3차원 가상 모델과 측정 데이터 간의 정합을 통해 3차원 가상 모델의 자세를 추정하는 방법의 실시 예를 나타낸 도면이다. 도 13에서 붉은 색은 미리 측정된 3차원 가상모델이며, 파란색 점군은 프로젝터(41) 및 카메라(51)를 통해 측정한 프로젝터(41) 시점에서의 투사체(20)에 대한 3차원 형상 정보이다. 도면을 참조하면 초기위치가 맞추어진 가상 모델과 측정 데이터는 ICP 기반의 점군 정합방법으로 정렬된다. 자세가 추정된 가상의 3차원 모델의 외관 텍스처와 색상을 사용자의 기호에 따라 렌더링하고 이를 프로젝터(41)를 이용해 투영하면, 투사체(20)에 대한 3차원 영상을 왜곡 없이 입히는 3 프로젝션 맵핑이 가능해 진다.
반사판 설치단계(S160)는 상기 투사체(20)에 의해 반사된 영상을 반사시켜 홀로그램 형태로 증강시킬 수 있도록 상기 투사체(20)에 인접되게 반사판(30)을 설치하는 단계이다. 상기 반사판(30)은 투사체(20) 상측의 테이블(21)에 설치한다. 이때, 상기 반사판(30)은 전후방향으로 연장되되, 전단부가 후단부보다 상측에 위치하도록 경사지게 설치되되, 투사체(20)가 설치된 테이블(21)의 상면에 대해 45°로 경사지게 설치되는 것이 바람직하다.
전시단계(S170)는 상기 세팅단계(S150) 및 반사판 설치단계(S160)가 완료되면 상기 프로젝터(41)들을 통해 상기 단위영상을 상기 투사체(20)에 투사하는 것으로서, 단위영상 설정단계 및 투사단계를 포함한다.
단위영상 설정단계는 상기 3차원 영상 중 상기 투사체(20)에 대한 각 상기 프로젝터(41)의 투사영역에 대응되는 영역에 해당하는 부분 영상을 상기 단위영상으로 설정하는 단계이다. 이때, 작업자는 각 프로젝터(41) 시점에서 바라보는 2차원 영상으로 단위영상들을 편집하는 것이 바람직하다.
투사단계는 상기 단위영상 설정단계 완료 후에, 각 상기 단위영상을 상기 프로젝터(41)를 이용하여 상기 투사체(20)에 투사하는 단계이다. 이때, 프로젝터(41)들에서 투사체(20)로 투사되는 단위연상들은 상호 중첩되는 부분이 발생하는데, 상기 제어부(53)는 단위영상들이 상호 중첩되는 부분에서 왜곡이 발생되는 것을 방지할 수 있도록 각 프로젝터(41)로부터 투사되는 단위영상을 조절할 수도 있다.
프로젝터(41)들에서 2차원의 단위영상들은 투사체(20)에 투사하고, 투사체(20)는 상기 단위영상들을 45도의 각도로 반사시킨다. 그리고, 반사판(30)은 투사체(20)에 대해 45도의 각도로 기울어진 상태로 배치되며, 투사체(20)에 의해 반사된 영상을 반사시켜 홀로그램 형태의 입체영상을 테이블(21) 상부에 증강시킨다.
상술된 바와 같이 구성된 본 발명에 따른 홀로그램을 이용한 전시 시스템(10) 및 이를 이용한 홀로그램 전시 방법은 투사대상물에 대응되게 입체적으로 형성된 투사체(20)에 복수의 프로젝터(41)를 이용하여 3차원 영상에 대응되는 단위영상들을 투사하므로 투사체(20)에 의해 반사되고, 반사판(30)에 의해 증강되는 영상이 실제 투사대상물에 대응되게 3차원적 정보를 가지게 되어 관람자의 시점 변화에 따라 적합한 영상을 관람자에게 제공할 수 있다. 도 14에는 종래의 홀로그램 기법과 본 발명에 따른 홀로그램을 이용한 전시 시스템(10)을 이용하여 전시된 전시물에 대한 다양한 시점에서의 사진이 개시되어 있다. 도면을 참조하면, 본 발명에 따른 홀로그램을 이용한 전시 시스템(10)이 종래의 방법에 비해 관람자의 시점 변화에 따라 적합한 영상을 제공할 수 있음을 알 수 있다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
10: 홀로그램을 이용한 전시 시스템
20: 투사체
21: 테이블
30: 반사판
40: 영상 투사부
41: 프로젝터
42: 거치대
50: 왜곡 방지유닛
51: 카메라
52: 빔스플리터
53: 제어부
S110: 영상 촬영단계
S120: 투사체 제조단계
S130: 프로젝터 설치단계
S140: 카메라 설치단계
S150: 세팅단계
S151: 캘리브레이션 단계
S152: 대응관계 정의단계
S153: 3차원 형상 정보 추정단계
S154: 자세 추정단계
S160: 반사판 설치단계
S170: 전시단계

Claims (16)

  1. 투사대상물에 대응되게 입체적으로 형성된 투사체와;
    상기 투사대상물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 상기 투사체에 투사하는 다수의 프로젝터가 마련된 영상 투사부;
    상기 투사체에 인접되게 설치되며, 상기 투사체에 의해 반사된 영상을 반사시켜 홀로그램 형태의 입체 영상을 증강시키는 반사판; 및
    상기 프로젝터로부터 상기 투사체에 투사된 상기 단위 영상들에 왜곡이 발생되는 것을 방지하도록 상기 영상 투사부를 제어하는 왜곡 방지유닛;을 구비하고,
    상기 왜곡 방지유닛은
    상기 프로젝터들에 인접되게 설치되어 각 상기 프로젝터로부터 상기 투사체에 투사되는 상기 단위 영상을 촬영하는 다수의 카메라와,
    상기 카메라들로부터 촬영된 영상정보를 토대로 상기 투사체로 투사된 상기 단위 영상들에 왜곡이 발생되는 것이 방지되도록 상기 프로젝터 및 카메라를 제어하는 것으로서, 상기 프로젝터 및 카메라를 세팅시 상기 프로젝터 및 카메라를 상호 캘리브레이션하고, 상기 프로젝터와 카메라 간의 이미지 픽셀 대응관계를 산출하는 제어부를 구비하는 것을 특징으로 하는 홀로그램을 이용한 전시 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 왜곡 방지유닛은 상기 카메라들이 각 상기 프로젝터의 시점에서 상기 투사체에 투사된 상기 단위 영상을 바라보는 영상을 촬영할 수 있도록 가이드하는 영상 가이드부를 더 구비하는 것을 특징으로 하는 홀로그램을 이용한 전시 시스템.
  5. 제4항에 있어서,
    상기 영상 가이드부는 상기 프로젝터들에 각각 설치되는 것으로서, 상기 프로젝터로부터 상기 투사체로 출사되는 상기 단위 영상의 출력광은 통과되되, 상기 출력광에 대해 상기 투사체에 의해 반사되는 반사광 중 상기 출력광의 광축과 나란하게 상기 프로젝터 측으로 입사되는 반사광을 상기 카메라 측으로 반사하는 다수의 빔스플리터를 구비하는 것을 특징으로 하는 홀로그램을 이용한 전시 시스템.
  6. 투사대상물에 대응되는 3차원 영상을 촬영하는 영상 촬영단계와;
    상기 투사대상물에 대응되게 입체적으로 투사체를 제조하는 투사체 제조단계와;
    상기 투사체에 상기 투사대상물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 투사할 수 있도록 다수의 프로젝터를 설치하는 프로젝터 설치단계와;
    상기 프로젝터들로부터 상기 투사체로 투사된 상기 단위영상들을 각각 촬영할 수 있도록 카메라를 설치하는 카메라 설치단계와;
    상기 프로젝터들로부터 출사된 상기 단위영상들에 왜곡이 발생되는 것을 방지하기 위해 상기 프로젝터 및 카메라를 세팅하는 세팅단계와;
    상기 투사체에 의해 반사된 영상을 반사시켜 홀로그램 형태로 증강시킬 수 있도록 상기 투사체에 인접되게 반사판을 설치하는 반사판 설치단계와;
    상기 세팅단계 및 반사판 설치단계가 완료되면 상기 프로젝터들을 통해 상기 단위영상을 상기 투사체에 투사하는 전시단계;를 포함하고,
    상기 세팅단계는
    상기 프로젝터 및 카메라를 캘리브레이션하는 캘리브레이션 단계와,
    상기 프로젝터와 카메라 간의 이미지에 대한 픽셀 대응관계를 산출하는 대응관계 산출단계와,
    상기 캘리브레이션 단계를 통해 획득한 상기 프로젝터 및 카메라의 캘리브레이션 정보와 상기 대응관계 산출단계를 통해 획득한 상기 프로젝터와 카메라 간의 이미지에 대한 픽셀 대응관계 정보를 토대로 각 상기 프로젝터의 시점에서의 투사면의 3차원 형상 정보를 추정하는 3차원 형상 추정단계와,
    상기 3차원 형상 추정단계를 통해 획득한 상기 3차원 형상 정보를 토대로 상기 3차원 영상의 자세를 추정하는 자세 추정단계를 포함하는 것을 특징으로 하는 홀로그램 전시방법.
  7. 삭제
  8. 제6에 있어서,
    상기 캘리브레이션 단계는
    상기 프로젝터를 통해 소정의 무늬를 갖는 설정판에 소정의 패턴을 갖는 세팅 이미지를 투사하고, 상기 설정판에 투사된 상기 세팅 이미지를 상기 카메라로 촬영하는 설정촬영단계와,
    상기 세팅 이미지와, 상기 설정판에 투사된 상기 세팅 이미지를 촬영한 영상정보를 토대로 상기 프로젝터 및 카메라를 캘리브레이션하기 위한 캘리브레이션 정보를 획득하는 정보획득단계와,
    상기 캘리브레이션 정보에 따라 상기 프로젝터 및 카메라를 캘리브레이션하는 설정 완료 단계를 포함하는 것을 특징으로 하는 홀로그램 전시방법.
  9. 제8항에 있어서,
    상기 설정판은 상기 프로젝터로부터 상기 세팅 이미지가 투사되는 투사면에 체크무늬가 형성된 것을 특징으로 하는 홀로그램 전시방법.
  10. 제8항에 있어서,
    상기 설정촬영단계에서, 상기 설정판을 순차적으로 다양한 자세로 세팅위치를 변경시키고, 각 세팅위치에 따라 상호 상이한 패턴을 갖는 다수의 설정 이미지를 상기 설정판에 투사하는 것을 특징으로 하는 홀로그램 전시방법.
  11. 제6항에 있어서,
    상기 대응관계 산출단계는
    상기 프로젝터를 통해 상기 투사체로 샘플 이미지를 투사하며, 상기 카메라를 통해 상기 샘플 이미지가 투사된 상기 투사체의 영상을 촬영하는 샘플 촬영단계와,
    상기 샘플 이미지와 상기 카메라를 통해 촬영된 영상을 비교하여 상기 프로젝터와 투사체 및 상기 투사체와 카메라와의 이미지에 대한 픽셀 대응관계 정보를 산출하는 정보 산출단계를 포함하는 것을 특징으로 하는 홀로그램 전시방법.
  12. 제11항에 있어서,
    상기 샘플 이미지는 상기 투사체의 길이방향 또는 폭방향 중 어느 한 방향으로 연장된 다수의 흑색의 단위패턴이 상기 투사체의 길이방향 또는 폭방향 중 다른 한 방향을 따라 상호 이격되게 형성된 것을 특징으로 하는 홀로그램 전시방법.
  13. 제11항 또는 제12항에 있어서,
    상기 대응관계 산출단계는
    상기 정보 산출단계 이후에, 상기 정보 산출단계를 통해 획득된 상기 투사체와 카메라와의 이미지에 대한 픽셀 대응관계 정보를 이용하여 상기 카메라에서 촬영된 영상을 토대로 상기 프로젝터의 시점에서 상기 투사체를 바라보는 영상을 가상으로 복원하는 영상복원단계를 더 포함하는 것을 특징으로 하는 홀로그램 전시방법.
  14. 제6항에 있어서,
    상기 카메라 설치단계는
    상기 프로젝터들에 인접되게 각각 상기 카메라를 설치하는 제1설치단계와,
    상기 제1설치단계가 완료되면 상기 카메라들이 각 상기 프로젝터의 시점에서 상기 투사체에 투사된 상기 단위 영상을 바라보는 영상을 촬영할 수 있도록 가이드하는 영상 가이드부를 상기 프로젝터 및 카메라에 설치하는 제2설치단계를 포함하는 것을 특징으로 하는 홀로그램 전시방법.
  15. 제14항에 있어서,
    상기 영상 가이드부는 상기 프로젝터들에 각각 설치되는 것으로서, 상기 프로젝터로부터 상기 투사체로 출사되는 영상의 출력광은 통과되되, 상기 출력광에 대해 상기 투사체에 의해 반사되는 반사광 중 상기 출력광의 광축과 나란하게 상기 프로젝터 측으로 입사되는 반사광을 상기 카메라 측으로 반사하는 다수의 빔스플리터를 구비하는 것을 특징으로 하는 홀로그램 전시방법.
  16. 제6항에 있어서,
    상기 전시단계는
    상기 3차원 영상 중 상기 투사체에 대한 각 상기 프로젝터의 투사영역에 대응되는 영역에 해당하는 부분 영상을 상기 단위영상으로 설정하는 단위영상 설정단계와,
    상기 단위영상 설정단계 완료 후에, 각 상기 단위영상을 상기 프로젝터를 이용하여 상기 투사체에 투사하는 투사단계를 포함하는 것을 특징으로 하는 홀로그램 전시방법.

KR1020160025314A 2016-03-02 2016-03-02 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법 KR101742018B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160025314A KR101742018B1 (ko) 2016-03-02 2016-03-02 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법
US15/363,582 US10197809B2 (en) 2016-03-02 2016-11-29 Display system based on hologram and hologram display method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160025314A KR101742018B1 (ko) 2016-03-02 2016-03-02 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법

Publications (1)

Publication Number Publication Date
KR101742018B1 true KR101742018B1 (ko) 2017-05-31

Family

ID=59052424

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160025314A KR101742018B1 (ko) 2016-03-02 2016-03-02 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법

Country Status (2)

Country Link
US (1) US10197809B2 (ko)
KR (1) KR101742018B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110495900A (zh) * 2019-08-19 2019-11-26 武汉联影医疗科技有限公司 影像显示方法、装置、设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861626A (zh) * 2017-12-06 2018-03-30 北京光年无限科技有限公司 一种虚拟形象被唤醒的方法及系统
CN110096144B (zh) * 2019-04-08 2022-11-15 汕头大学 一种基于三维重建的交互全息投影方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100859702B1 (ko) 2006-12-18 2008-09-23 도시바삼성스토리지테크놀러지코리아 주식회사 이형 큐빅 빔스플리터를 이용한 광픽업 장치
KR101366329B1 (ko) 2007-05-07 2014-02-20 엘지전자 주식회사 프로젝터 및 프로젝터의 영상 보정 방법
PL2590040T3 (pl) * 2011-11-04 2014-08-29 Nivora Ip B V Sposób i urządzenie do wspomagania w ręcznym manipulowaniu obrabianym przedmiotem podczas obróbki maszynowej
TWI465827B (zh) * 2013-01-15 2014-12-21 Delta Electronics Inc 投影系統
US20160291542A1 (en) * 2013-11-22 2016-10-06 Wasatch Photonics, Inc. System and method for holography-based fabrication
KR101601212B1 (ko) 2014-03-28 2016-03-08 광주과학기술원 슈도 홀로그램 기반의 3차원 전시 시스템
US9736440B2 (en) * 2015-05-26 2017-08-15 Chunghwa Picture Tubes, Ltd. Holographic projection device capable of forming a holographic image without misalignment
US10677924B2 (en) * 2015-06-23 2020-06-09 Mezmeriz, Inc. Portable panoramic laser mapping and/or projection system
US20170161950A1 (en) * 2015-12-08 2017-06-08 GM Global Technology Operations LLC Augmented reality system and image processing of obscured objects

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110495900A (zh) * 2019-08-19 2019-11-26 武汉联影医疗科技有限公司 影像显示方法、装置、设备和存储介质
CN110495900B (zh) * 2019-08-19 2023-05-26 武汉联影医疗科技有限公司 影像显示方法、装置、设备和存储介质

Also Published As

Publication number Publication date
US10197809B2 (en) 2019-02-05
US20170255023A1 (en) 2017-09-07

Similar Documents

Publication Publication Date Title
US11115633B2 (en) Method and system for projector calibration
US9357206B2 (en) Systems and methods for alignment, calibration and rendering for an angular slice true-3D display
Grundhöfer et al. Recent advances in projection mapping algorithms, hardware and applications
US10701324B2 (en) Gestural control of visual projectors
Bimber et al. Enabling view-dependent stereoscopic projection in real environments
Wenger et al. Performance relighting and reflectance transformation with time-multiplexed illumination
Zhang et al. Projection defocus analysis for scene capture and image display
US8867827B2 (en) Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US8042954B2 (en) Mosaicing of view projections
US9369683B2 (en) System and method for calibrating a display system using manual and semi-manual techniques
US20080095468A1 (en) Method And Device For Representing A Digital Image On A Surface Which Is Non-Trivial In Terms Of Its Geometry And Photometry
CN107018392B (zh) 投影仪优化方法和系统
CN108475327A (zh) 三维采集与渲染
US20030043152A1 (en) Simulating motion of static objects in scenes
KR100681320B1 (ko) 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법
JP2009524849A (ja) シーン画像および奥行き形状を取り込んで補償画像を生成するためのシステム、方法、および媒体
CA2464569A1 (en) Single or multi-projector for arbitrary surfaces without calibration nor reconstruction
Johnson et al. Real-time projector tracking on complex geometry using ordinary imagery
KR101742018B1 (ko) 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법
CN112970044A (zh) 根据广角图像的视差估计
Law et al. Projector placement planning for high quality visualizations on real-world colored objects
JP5391564B2 (ja) 立体投影装置
Lee Wand: 360∘ video projection mapping using a 360∘ camera
Raskar Projector-based three dimensional graphics
Colombo et al. Shape reconstruction and texture sampling by active rectification and virtual view synthesis

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant