KR101742018B1 - 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법 - Google Patents
홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법 Download PDFInfo
- Publication number
- KR101742018B1 KR101742018B1 KR1020160025314A KR20160025314A KR101742018B1 KR 101742018 B1 KR101742018 B1 KR 101742018B1 KR 1020160025314 A KR1020160025314 A KR 1020160025314A KR 20160025314 A KR20160025314 A KR 20160025314A KR 101742018 B1 KR101742018 B1 KR 101742018B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- projector
- projection
- camera
- setting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000009434 installation Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000002265 prevention Effects 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 claims 2
- 230000014509 gene expression Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000011888 foil Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000238097 Callinectes sapidus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
- G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/108—Beam splitting or combining systems for sampling a portion of a beam or combining a small beam in a larger one, e.g. wherein the area ratio or power ratio of the divided beams significantly differs from unity, without spectral selectivity
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/32—Holograms used as optical elements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H04N13/0007—
-
- H04N13/02—
-
- H04N13/0203—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
Abstract
본 발명은 홀로그램을 이용한 전시 시스템 및 이를 이용한 홀로그램 전시 방법에 관한 것으로서, 상기 홀로그램을 이용한 전시 시스템은 투사대상물에 대응되게 입체적으로 형성된 투사체와, 상기 투사대상물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 상기 투사체에 투사하는 다수의 프로젝터가 마련된 영상 투사부와, 상기 투사체에 인접되게 설치되며, 상기 투사체에 의해 반사된 영상을 반사시켜 홀로그램 형태의 입체 영상을 증강시키는 반사판을 구비한다.
본 발명에 따른 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시 방법은 투사대상물에 대응되게 입체적으로 형성된 투사체에 복수의 프로젝터를 이용하여 3차원 영상에 대응되는 단위영상들을 투사하므로 투사체에 의해 반사되고, 반사판에 의해 증강되는 영상이 실제 투사대상물에 대응되게 3차원적 정보를 가지게 되어 관람자의 시점 변화에 따라 적합한 영상을 관람자에게 제공할 수 있다는 장점이 있다.
본 발명에 따른 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시 방법은 투사대상물에 대응되게 입체적으로 형성된 투사체에 복수의 프로젝터를 이용하여 3차원 영상에 대응되는 단위영상들을 투사하므로 투사체에 의해 반사되고, 반사판에 의해 증강되는 영상이 실제 투사대상물에 대응되게 3차원적 정보를 가지게 되어 관람자의 시점 변화에 따라 적합한 영상을 관람자에게 제공할 수 있다는 장점이 있다.
Description
본 발명은 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법에 관한 것으로서, 더욱 상세하게는 전시물에 대한 3차원 영상을 홀로그램 형태로 디스플레이하는 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법에 관한 것이다.
정보화 사회가 가속화됨에 따라 정보의 처리 및 전달 뿐만 아니라 정보의 표현이 중요한 이슈로 떠오르고 있다.
그 중에서도 정보의 시각적 표현 기술에 대한 요구가 증대되고 있는데, 특히 3차원 전시 방법 및 장치에 대한 요구가 날로 증대되고 있다. 체험을 중요시하는 시대의 흐름에 맞추어 일방적인 전시형태에서 벗어나 전시물과 관람객이 상호소통할 수 있는 전시시스템이 요구되고 있으며, 현재 협소한 공간과 부족한 전시물로 인한 문제를 해결하기 위해 새로운 형태의 전시 공간이 필요하다.
증강현실(augmented reality), 홀로그램(hologram), 프로젝션 매핑(projection mapping) 등의 기술이 전시 효과를 극대화하기 위해 적용되고 있는 실정이나 전시품 원본이 가진 고유의 재질감을 전달하는데 한계가 있으며 주변환경과 조화를 이루지 못하여 관람객의 흥미와 몰입도가 저하되는 문제점이 있다.
이에, 제한된 공간에서 다양한 전시물을 관람할 수 있도록 가상의 3차원 형상을 가시화할 수 있는 전시시스템인 슈도 홀로그램(Pseudo hologram)이 각광받고 있다.
슈도 홀로그램 시스템은 고해상도 프로젝터를 통해 연출 또는 전시하고자하는 영상을 바닥면에 위치한 반사판으로 투사하고, 투사된 영상이 무대와 45도의 각도로 기울어진 포일로 반사된다. 반사된 영상은 포일을 투과하여 무대 상부에 떠있는 것과 같은 효과를 가지면서 최종 영상으로 보이게 된다.
그러나, 이러한 종래의 홀로그램 시스템은 온전한 3차원 형상을 만드는 홀로그램이 아닌 3차원처럼 보이게 하는 의사방식으로서, 고해상도 프로젝터에서 투사되는 이미지가 2차원의 반사판으로 투사되어 반사되는 형식이기 때문에, 반사된 최종 영상은 3차원 정보를 갖고 있지 않다. 따라서, 사용자의 시점이 좌우방향으로 바뀌는 경우에는 상기 최종 영상이 시점에 따른 변화를 반영하지 못하게 되고 3차원 형상 정보가 반영되지 못한 홀로그램을 감상하는 사용자는 전시품에 대한 이질감을 느끼게 되며 해당 전시품 또는 전시 영상에 대한 상품성을 저하시키는 요인이 될 수 있다.
본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 투사대상물에 대응되게 입체적으로 형성된 투사체에 복수의 프로젝터를 이용하여 3차원 영상에 대응되는 단위영상들을 투사하는 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 홀로그램 전시 시스템은 투사대상물에 대응되게 입체적으로 형성된 투사체와, 상기 투사물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 상기 투사체에 투사하는 다수의 프로젝터가 마련된 영상 투사부와, 상기 투사체에 인접되게 설치되며, 상기 투사체에 의해 반사된 영상을 반사시켜 홀로그램 형태의 입체 영상을 증강시키는 반사판을 구비한다.
한편, 본 발명에 따른 홀로그램을 이용한 전시 시스템은 상기 프로젝터로부터 상기 투사체에 투사된 상기 단위 영상들에 왜곡이 발생되는 것을 방지하도록 상기 영상 투사부를 제어하는 왜곡 방지유닛을 더 구비하는 것이 바람직하다.
상기 왜곡 방지유닛은 상기 프로젝터들에 인접되게 설치되어 각 상기 프로젝터로부터 상기 투사체에 투사되는 상기 단위 영상을 촬영하는 다수의 카메라와, 상기 카메라들로부터 촬영된 영상정보를 토대로 상기 투사체로 투사된 상기 단위 영상들에 왜곡이 발생되는 것이 방지되도록 상기 프로젝터 및 카메라를 제어하는 제어부를 구비할 수도 있다.
상기 왜곡 방지유닛은 상기 카메라들이 각 상기 프로젝터의 시점에서 상기 투사체에 투사된 상기 단위 영상을 바라보는 영상을 촬영할 수 있도록 가이드하는 영상 가이드부를 더 구비하는 것이 바람직하다.
또한, 상기 영상 가이드부는 상기 프로젝터들에 각각 설치되는 것으로서, 상기 프로젝터로부터 상기 투사체로 출사되는 상기 단위 영상의 출력광은 통과되되, 상기 출력광에 대해 상기 투사체에 의해 반사되는 반사광 중 상기 출력광의 광축과 나란하게 상기 프로젝터 측으로 입사되는 반사광을 상기 카메라 측으로 반사하는 다수의 빔스플리터를 구비한다.
한편, 본 발명에 따른 홀로그램 전시 방법은 투사대상물에 대응되는 3차원 영상을 촬영하는 영상 촬영단계와, 상기 투사대상물에 대응되게 입체적으로 투사체를 제조하는 투사체 제조단계와, 상기 투사체에 상기 투사물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 투사할 수 있도록 다수의 프로젝터를 설치하는 프로젝터 설치단계와, 상기 프로젝터들로부터 상기 투사체로 투사된 상기 단위영상들을 각각 촬영할 수 있도록 카메라를 설치하는 카메라 설치단계와, 상기 프로젝터들로부터 출사된 상기 단위영상들에 왜곡이 발생되는 것을 방지하기 위해 상기 프로젝터 및 카메라를 세팅하는 세팅단계와, 상기 투사체에 의해 반사된 영상을 반사시켜 홀로그램 형태로 증강시킬 수 있도록 상기 투사체에 인접되게 반사판을 설치하는 반사판 설치단계와, 상기 세팅단계 및 반사판 설치단계가 완료되면 상기 프로젝터들을 통해 상기 단위영상을 상기 투사체에 투사하는 전시단계를 포함한다.
상기 세팅단계는 상기 프로젝트 및 카메라를 캘리브레이션하는 캘리브레이션 단계와, 상기 프로젝트와 카메라 간의 이미지에 대한 픽셀 대응관계를 산출하는 대응관계 산출단계와, 상기 캘리브레이션 단계를 통해 획득한 상기 프로젝트 및 카메라의 캘리브레이션 정보와 상기 대응관계 산출단계를 통해 획득한 상기 프로젝트와 카메라 간의 이미지에 대한 픽셀 대응관계 정보를 토대로 각 상기 프로젝터의 시점에서의 상기 투사면의 3차원 형상 정보를 추정하는 3차원 형상 추정단계와, 상기 3차원 형상 추정단계를 통해 획득한 상기 3차원 형상 정보를 토대로 상기 3차원 영상의 자세를 추정하는 자세 추정단계를 포함하는 것이 바람직하다.
상기 캘리브레이션 단계는 상기 프로젝터를 통해 소정의 무늬를 갖는 설정판에 소정의 패턴을 갖는 세팅 이미지를 투사하고, 상기 설정판에 투사된 상기 세팅 이미지를 상기 카메라로 촬영하는 설정촬영단계와, 상기 세팅 이미지와, 상기 설정판에 투사된 상기 세팅 이미지를 촬영한 영상정보를 토대로 상기 프로젝터 및 카메라를 캘리브레이션하기 위한 캘리브레이션 정보를 획득하는 정보획득단계와, 상기 캘리브레이션 정보에 따라 상기 프로젝터 및 카메라를 캘리브레이션하는 설정 완료 단계를 포함한다.
상기 설정판은 상기 프로젝터로부터 상기 세팅 이미지가 투사되는 투사면에 체크무늬가 형성될 수도 있다.
상기 설정촬영단계에서, 상기 설정판을 순차적으로 다양한 자세로 세팅위치를 변경시키고, 각 세팅위치에 따라 상호 상이한 패턴을 갖는 다수의 상기 설정 이미지를 상기 설정판에 투사한다.
상기 대응관계 산출단계는 상기 프로젝트를 통해 상기 투사체로 샘플 이미지를 투사하며, 상기 카메라를 통해 상기 샘플 이미지가 투사된 상기 투사체의 영상을 촬영하는 샘플 촬영단계와, 상기 샘플 이미지와 상기 카메라를 통해 촬영된 영상을 비교하여 상기 프로젝터와 투사체 및 상기 투사체와 카메라와의 이미지에 대한 픽셀 대응관계 정보를 산출하는 정보 산출단계를 포함하는 것이 바람직하다.
상기 샘플 이미지는 상기 투사체의 길이방향 또는 폭방향 중 어느 한 방향으로 연장된 다수의 흑색의 단위패턴이 상기 투사체의 길이방향 또는 폭방향 중 다른 한 방향을 따라 상호 이격되게 형성된다.
상기 대응관계 산출단계는 상기 정보 산출단계 이후에, 상기 정보 산출단계를 통해 획득된 상기 투사체와 카메라와의 이미지에 대한 픽셀 대응관계 정보를 이용하여 상기 카메라에서 촬영된 영상을 토대로 상기 프로젝터의 시점에서 상기 투사체를 바라보는 영상을 가상으로 복원하는 영상복원단계를 더 포함할 수도 있다.
상기 카메라 설치단계는 상기 프로젝터들에 인접되게 각각 상기 카메라를 설치하는 제1설치단계와, 상기 제1설치단계가 완료되면 상기 카메라들이 각 상기 프로젝터의 시점에서 상기 투사체에 투사된 상기 단위 영상을 바라보는 영상을 촬영할 수 있도록 가이드하는 영상 가이드부를 상기 프로젝터 및 카메라에 설치하는 제2설치단계를 포함하는 것이 바람직하다.
상기 영상 가이드부는 상기 프로젝터들에 각각 설치되는 것으로서, 상기 프로젝터로부터 상기 투사체로 출사되는 영상의 출력광은 통과되되, 상기 출력광에 대해 상기 투사체에 의해 반사되는 반사광 중 상기 출력광의 광축과 나란하게 상기 프로젝터 측으로 입사되는 반사광을 상기 카메라 측으로 반사하는 다수의 빔스플리터를 구비한다.
상기 전시단계는 상기 3차원 영상 중 상기 투사체에 대한 각 상기 프로젝터의 투사영역에 대응되는 영역에 해당하는 부분 영상을 상기 단위영상으로 설정하는 단위영상 설정단계와, 상기 단위영상 설정단계 완료 후에, 각 상기 단위영상을 상기 프로젝터를 이용하여 상기 투사체에 투사하는 투사단계를 포함한다.
본 발명에 따른 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시 방법은 투사대상물에 대응되게 입체적으로 형성된 투사체에 복수의 프로젝터를 이용하여 3차원 영상에 대응되는 단위영상들을 투사하므로 투사체에 의해 반사되고, 반사판에 의해 증강되는 영상이 실제 투사대상물에 대응되게 3차원적 정보를 가지게 되어 관람자의 시점 변화에 따라 적합한 영상을 관람자에게 제공할 수 있다는 장점이 있다.
도 1은 본 발명에 따른 홀로그램을 이용한 전시 시스템에 대한 사시도이고,
도 2는 도 1의 홀로그램을 이용한 전시 시스템에 대한 측면도이고,
도 3은 도 1의 홀로그램을 이용한 전시 시스템에 대한 개념도이고,
도 4는 본 발명에 따른 홀로그램 전시 방법에 대한 순서도이고,
도 5는 본 발명에 따른 홀로그램 전시 방법의 세팅단계에 대한 순서도이고,
도 6는 본 발명에 따른 홀로그램 전시 방법의 설정촬영단계에 대한 개념도이고,
도 7 및 도 8은 설정촬영단계에서 사용되는 설정판 및 설정 이미지가 투사된 설정판의 실제 사진이고,
도 9는 본 발명에 따른 홀로그램 전시방법의 샘플촬영단계에 사용된 상기 샘플 이미지이고,
도 10는 상기 샘플촬영단계에서 샘플 이미지가 투사된 투사체에 대한 실제 사진이고,
도 11은 해독화 오차를 고려하지 않고 카메라들을 통해 촬영된 영상을 토대로 프로젝터 시점에서 바로보는 장면을 가상으로 모델링한 도면이고,
도 12는 본 발명에 따른 홀로그램 전시 방법에 따라 실제 프로젝터 시점을 복원하는 과정에 대한 사진이고,
도 13은 본 발명에 따른 홀로그램 전시방법의 자세추정단계에서 작업한 상태를 나타낸 사진이고,
도 14는 본 발명에 따른 홀로그램 전시 방법과 종래의 홀로그램 기법을 이용하여 전시된 전시물에 대한 다양한 시점에서의 사진이다.
도 2는 도 1의 홀로그램을 이용한 전시 시스템에 대한 측면도이고,
도 3은 도 1의 홀로그램을 이용한 전시 시스템에 대한 개념도이고,
도 4는 본 발명에 따른 홀로그램 전시 방법에 대한 순서도이고,
도 5는 본 발명에 따른 홀로그램 전시 방법의 세팅단계에 대한 순서도이고,
도 6는 본 발명에 따른 홀로그램 전시 방법의 설정촬영단계에 대한 개념도이고,
도 7 및 도 8은 설정촬영단계에서 사용되는 설정판 및 설정 이미지가 투사된 설정판의 실제 사진이고,
도 9는 본 발명에 따른 홀로그램 전시방법의 샘플촬영단계에 사용된 상기 샘플 이미지이고,
도 10는 상기 샘플촬영단계에서 샘플 이미지가 투사된 투사체에 대한 실제 사진이고,
도 11은 해독화 오차를 고려하지 않고 카메라들을 통해 촬영된 영상을 토대로 프로젝터 시점에서 바로보는 장면을 가상으로 모델링한 도면이고,
도 12는 본 발명에 따른 홀로그램 전시 방법에 따라 실제 프로젝터 시점을 복원하는 과정에 대한 사진이고,
도 13은 본 발명에 따른 홀로그램 전시방법의 자세추정단계에서 작업한 상태를 나타낸 사진이고,
도 14는 본 발명에 따른 홀로그램 전시 방법과 종래의 홀로그램 기법을 이용하여 전시된 전시물에 대한 다양한 시점에서의 사진이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 홀로그램을 이용한 전시 시스템 및 이를 이용한 홀로그램 전시방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 및 도 2에는 본 발명에 따른 홀로그램을 이용한 전시 시스템(10)이 도시되어 있다.
도면을 참조하면, 상기 홀로그램을 이용한 전시 시스템(10)은 투사대상물에 대응되게 입체적으로 형성된 투사체(20)와, 상기 투사대상물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 상기 투사체(20)에 투사하는 다수의 프로젝터(41)가 마련된 영상 투사부(40)와, 상기 투사체(20)에 인접되게 설치되며, 상기 투사체(20)에 의해 반사된 영상을 반사시켜 홀로그램 형태의 입체 영상을 증강시키는 반사판(30)과, 상기 프로젝터(41)로부터 상기 투사체(20)에 투사된 상기 단위 영상들에 왜곡이 발생되는 것을 방지하도록 상기 영상 투사부(40)를 제어하는 왜곡 방지유닛(50)을 구비한다.
투사체(20)는 전시하고자 하는 투사대상물에 대응되는 형상으로 입체적으로 형성된다. 상기 투사체(20)는 전시테이블(21)의 상면에 고정된다. 상기 투사체(20)는 프로젝터(41)로부터 영상을 용이하게 반사시킬 수 있도록 상기 영상이 투사되는 투사면이 백색으로 형성된다.
이때, 투사체(20)의 재질에 따라 부분적으로 반짝이는 반사 특성(glossy reflectance)가 발생되는 것을 방지하기 위해 투사체(20)의 투사면을 디퓨즈 스프레이로 코팅하는 것이 바람직하다.
반사판(30)은 상기 투사체(20) 상측의 테이블(21)에 설치된다. 상기 반사판(30)은 전후방향으로 연장되되, 전단부가 후단부보다 상측에 위치하도록 경사지게 설치되되, 투사체(20)가 설치된 테이블(21)의 상면에 대해 45°로 경사지게 설치되는 것이 바람직하다.
상기 반사판(30)은 상기 투사체(20)에 의해 반사된 영상을 반사시켜 홀로그램 형태의 입체 영상을 증강시킬 수 있도록 소정의 반사율과 투과율을 갖는 열처리된 특수유리, 폴리카보네이트 등의 재질로 형성되는 것이 바람직하다.
영상 투사부(40)는 테이블(21)의 전방에 좌우방향으로 상호 이격되게 설치된 복수의 거치대(42)와, 상기 거치대(42)에 각각 설치되어 투사체(20)로 단위영상을 투사하는 복수의 프로젝터(41)를 구비한다.
상기 프로젝터(41)는 1280X800의 해상도에 1000안시의 밝기를 갖는 DLP 방식의 프로젝터(41)가 사용되는 것이 바람직하나, 상기 프로젝터(41)는 이에 한정하는 것이 아니라 투사체(20)에 영상을 선명하게 투사할 수 있는 장치이면 무엇이든 가능하다. 한편, 도시된 예에서는 프로젝터(41)가 2개가 설치된 구조가 도시되어 있으나, 상기 프로젝터(41)는 이에 한정하는 것이 아니라 투사대상물의 크기에 따라 3개 이상이 설치될 수도 있다.
왜곡 방지유닛(50)은 도 3을 참조하면, 상기 프로젝터(41)들에 인접되게 설치되어 각 상기 프로젝터(41)로부터 상기 투사체(20)에 투사되는 상기 단위 영상을 촬영하는 다수의 카메라(51)와, 상기 왜곡 방지유닛(50)은 상기 카메라(51)들이 각 상기 프로젝터(41)의 시점에서 상기 투사체(20)에 투사된 상기 단위 영상을 바라보는 영상을 촬영할 수 있도록 가이드하는 영상 가이드부와, 상기 카메라(51)들로부터 촬영된 영상정보를 토대로 상기 투사체(20)로 투사된 상기 단위 영상들에 왜곡이 발생되는 것이 방지되도록 상기 프로젝터(41)를 제어하는 제어부(53)를 구비한다.
카메라(51)는 상기 프로젝터(41)들에 인접되게 거치대(42)들에 각각 설치된다. 상기 카메라(51)는 4928X3280의 픽셀 해상도를 갖는 모델을 사용하면 바람직하나 이에 한정하는 것이 아니라 투사체(20)에 투사된 영상을 선명하게 촬영할 수 있는 촬영장비이면 무엇이든 가능하다.
이때, 단위영상은 상기 3차원 영상 중 상기 투사체(20)에 대한 각 상기 프로젝터(41)의 투사영역에 대응되는 영역에 해당하는 부분 영상이며, 2차원 이미지가 적용된다.
영상 가이드부는 상기 프로젝터(41)들에 각각 설치되는 것으로서, 상기 프로젝터(41)로부터 상기 투사체(20)로 출사되는 상기 단위 영상의 출력광은 통과되되, 상기 출력광에 대해 상기 투사체(20)에 의해 반사되는 반사광 중 상기 출력광의 광축과 나란하게 상기 프로젝터(41) 측으로 입사되는 반사광을 상기 카메라(51) 측으로 반사하는 다수의 빔스플리터(52)를 구비한다.
이때, 카메라(51)는 각 프로젝터(41)로부터 출력되는 출력광의 광축과 나란하게 입사되는 반사광을 제공받아 상기 반사광에 대한 영상을 촬영하므로 상기 카메라(51)는 각 프로젝터(41)의 시점에서 투사체(20)를 바라보는 영상이 촬영된다. 이처럼, 카메라(51)가 프로젝터(41)의 시점에서 투사체(20)를 바라보는 영상을 촬영하므로 후술되는 홀로그램 전시방법의 대응관계 정의단계(S152)를 통해 픽셀 대응관계 정보 획득시 오차를 최소화시킬 수 있다.
제어부(53)는 상기 카메라(51)들로부터 촬영된 영상정보를 토대로 상기 투사체(20)로 투사된 상기 단위 영상들에 왜곡이 발생되는 것이 방지되도록 상기 프로젝터(41) 및 카메라(51)를 제어한다.
한편, 도 3을 참조하면, 프로젝터(41)들에서 투사체(20)로 투사되는 단위연상들은 상호 중첩되는 부분이 발생하는데, 상기 제어부(53)는 단위영상들이 상호 중첩되는 부분에서 왜곡이 발생되는 것을 방지할 수 있도록 각 프로젝터(41)로부터 투사되는 단위영상을 조절할 수도 있다.
또한, 제어부(53)는 프로젝터(41)를 통해 출사되는 단위영상 또는 샘플영상과 카메라(51)를 통해 촬영되는 영상을 비교 분석하여 프로젝터(41) 및 카메라(51)의 초점, 방향 등을 조절한다. 그리고, 제어부(53)의 중앙처리부(미도시)는 프로젝터(41) 및 카메라(51)를 캘리브레이션하고, 프로젝터(41)와 카메라(51) 간의 이미지 픽셀 대응관계를 산출한다.
한편, 도면에 도시되진 않았지만, 본 발명에 따른 홀로그램을 이용한 전시 시스템(10)은 투사대상물에 대응되는 3차원 영상으로 각 프로젝터(41)의 시점에 적합한 다수의 단위 영상을 편집하는 편집유닛을 더 구비할 수도 있다. 이때, 상기 단위영상들은 프로젝터(41)에 의해 투사체(20)에 투사시 3차원 영상의 일부분이 아니라 전체를 이루도록 편집되는 것이 바람직하다.
한편, 도 4를 참조하여 상술된 바와 같이 구성된 본 발명에 따른 홀로그램을 이용한 전시 시스템(10)을 이용한 홀로그램 전시 방법을 상세히 설명하면 다음과 같다. 상기 홀로그램 전시 방법은 영상 촬영단계(S110), 투사체 제조단계(S120), 프로젝터 설치단계(S130), 카메라 설치단계(S140), 세팅단계(S150), 반사판 설치단계(S160) 및 전시단계(S170)를 포함한다.
영상 촬영단계(S110)는 투사대상물에 대응되는 3차원 영상을 촬영하는 단계이다. 작업자는 TOF(Time of Flight) 카메라(51)와 같은 3차원 영상을 촬영하는데 적합한 카메라(51)를 사용하여 투사대상물을 촬영하여 3차원 영상을 획득한다.
투사체 제조단계(S120)는 상기 투사대상물에 대응되게 입체적으로 투사체(20)를 제조하는 단계이다. 작업자는 투사대상물에 대응되는 형상으로 목업(mockup)을 제조하여 투사체(20)로 사용한다. 이때, 3D 프린터나 캐스팅(casting) 방식을 통해 투사체(20)를 제작할 수 있다.
프로젝터 설치단계(S130)는 상기 투사체(20)에 상기 투사물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 투사할 수 있도록 다수의 프로젝터(41)를 설치하는 단계이다. 이때, 작업자는 테이블(21)의 전방부에 복수의 거치대(42)를 좌우방향으로 상호 이격되게 설치하고, 각 거치대(42)의 상부에 프로젝터(41)를 설치한다. 이때, 상기 프로젝터(41)는 테이블(21)의 상면에 설치된 투사체(20)가 설치되는 테이블(21) 상면을 향하도록 설치하는 것이 바람직하다.
카메라 설치단계(S140)는 프로젝터(41)들로부터 투사체(20)로 투사된 단위영상들을 각각 촬열할 수 있도록 카메라(51)를 설치하는 단계로서, 제1설치단계 및 제2설치단계를 포함한다.
제1설치단계는 상기 프로젝터(41)들에 인접되게 각각 상기 카메라(51)를 설치하는 단계이다. 작업자는 거치대(42)의 상단부에 프로젝터(41)에 인접되게 각각 카메라(51)를 설치한다.
제2설치단계는 제1설치단계가 완료되면 카메라(51)들이 각 프로젝터(41)의 시점에서 투사체(20)에 투사된 단위영상을 바라로보는 영상을 촬영할 수 있도록 가이드하는 영상 가이드부를 프로젝터(41) 및 카메라(51)에 설치하는 단계이다. 작업자는 상술된 영상 가이드부의 빔스플리터(52)를 각각의 프로젝터(41) 및 카메라(51)에 설치한다.
세팅단계(S150)는 프로젝터(41)들로부터 출사된 단위영상들에 왜곡이 발생되는 것을 방지하기 위해 프로젝터(41) 및 카메라(51)를 세팅하는 단계로서, 도 5를 참조하면, 캘리브레이션 단계(S151), 대응관계 정의단계(S152), 3차원 형상 추정단계(S153) 및 자세 추정단계(S154)를 포함한다.
캘리브레이션 단계(S151)는 프로젝트 및 카메라(51)를 캘리브레이션하는 단계이다. 상기 캘리브레이션 단계(S151)는 설정촬영단계, 정보획득단계 및 설정 완료단계를 포함한다.
설정촬영단계는 프로젝터(41)를 통해 소정의 무늬를 갖는 설정판에 소정의 패턴을 갖는 세팅 이미지를 투사하고, 상기 설정판에 투사된 상기 세팅 이미지를 상기 카메라(51)로 촬영하는 단계이다.
상기 설정판은 프로젝터(41)로부터 세팅 이미지가 투사되는 투사면인 상면에 흑백으로 이루어진 체크무늬가 형성된 것이 바람직하다. 이때, 작업자는 상기 설정판을 순차적으로 다양한 자세로 세팅위치를 변경시키고, 각 세팅위치에 따라 상호 상이한 패턴을 갖는 다수의 상기 설정 이미지를 상기 설정판에 투사한다. 도 6에는 상기 설정촬영단계에 대한 개념도가 도시되어 있다. 도면에 도시된 바와 같이 체크무늬를 갖는 설정판을 회전시키거나 기울려서 위치시키고, 각 세팅위치에 따른 설정판의 투사면을 카메라(51)로 촬영한다.
이때, 세팅 이미지는 소정길이 연장된 흑색의 패턴들이 길이방향에 대해 직교하는 방향을 따라 상호 이격되게 배열된다. 세팅 이미지들은 흑색 패턴들의 기울기가 상호 상이하게 형성된 것이 바람직하다. 도 7 및 도 8은 설정촬영단계에서 사용되는 설정판 및 설정 이미지가 투사된 설정판의 실제 사진이다.
정보획득단계는 세팅 이미지와, 설정판에 투사된 세팅 이미지를 촬영한 영상정보를 토대로 프로젝터(41) 및 카메라(51)를 캘리브레이션하기 위한 캘리브레이션 정보를 획득하는 단계이다. 세팅 이미지와, 설정판에 투사된 세팅 이미지를 촬영한 영상정보를 부호화하면 프로젝터(41)와 카메라(51) 간의 대응관계를 산출할 수 있다. 또한, 세팅 이미지의 체크무늬와 카메라(51)를 통해 설정판을 촬영한 영상정보에서의 체크무늬에 나타난 모서리 특징점(feature point)들을 기반으로 캘리브레이션 정보를 획득할 수 있다. 여기서 상기 캘리브레이션 정보는 프로젝터(41)와 카메라(51)의 초점거리, 주점, 렌즈 왜곡 등의 내부 파라미터 및 프로젝터(41)와 카메라(51)의 상대적인 거리 및 방향 등의 외부 파라미터가 포함된다.
설정 완료 단계는 캘리브레이션 정보에 따라 프로젝터(41) 및 카메라(51)를 캘리브레이션하는 단계이다. 제어부(53)는 획득된 캘리브레이션 정보에 따라 프로젝터(41) 및 카메라(51)의 설정을 조정한다. 이때, 작업자는 수동으로 프로젝터(41) 및 카메라(51)의 설정을 보다 정밀하게 조정할 수도 있다.
대응관계 정의단계(S152)는 프로젝트와 카메라(51) 간의 이미지에 대한 픽셀 대응관계를 산출하는 단계로서, 샘플 촬영단계, 정보 산출단계 및 영상복원단계를 포함한다.
샘플 촬영단계는 프로젝트를 통해 투사체(20)로 샘플 이미지를 투사하며, 카메라(51)를 통해 상기 샘플 이미지가 투사된 투사체(20)의 영상을 촬영하는 단계이다. 이때, 작업자는 테이블(21)의 상면에서 설정판 대신에 투사체(20)를 설치하여 작업한다.
도 9에는 상기 샘플 이미지에 대한 실시 예가 도시되어 있다. 도면을 참조하면, 상기 샘플 이미지는 상기 투사체(20)의 길이방향 또는 폭방향 중 어느 한 방향으로 연장된 다수의 흑색의 단위패턴이 상기 투사체(20)의 길이방향 또는 폭방향 중 다른 한 방향을 따라 상호 이격되게 배열된 구조광 패턴이 마련되어 있다. 도 10은 샘플 이미지가 투사된 투사체(20)에 대한 실제 사진이다.
정보 산출단계는 샘플 이미지와 카메라(51)를 통해 촬영된 영상을 비교하여 프로젝터(41)와 투사체(20) 및 투사체(20)와 카메라(51)와의 이미지에 대한 픽셀 대응관계 정보를 산출하는 단계이다. 이때, 구조광 기반의 픽셀 분류법을 이용하여 상기 픽셀 대응관계 정보를 산출한다. 상기 구조광 기반의 픽셀 분류법은 2007년, Yi Xu, Daniel G. Aliaga에 의해 발표된 Robust Pixel Classification for 3D Modeling with Structured Light, Proceedings of the Graphics Interface 논문에 개시된 것으로서 상세한 설명은 생략한다.
이때, 구조광 기반의 픽셀 분류법을 통해 프로젝터(41)와 카메라(51)의 대응관계를 정의하는 과정에서 투사체(20)의 특성에 의해 발생하는 그림자(shadow), 내부반사(inter-reflection), 정반사(specular) 등에 의해 해독화 오차(decoding error)가 발생할 수 있다. 이러한 해독화 오차는 잘못 정의된 대응관계나 정의되지 않은 대응관계를 발생시키게 되어 영상복원단계를 진행시 방해요인이 된다. 도 11에는 해독화 오차를 고려하지 않고 카메라(51)들을 통해 촬영된 영상을 토대로 프로젝터(41) 시점에서 바로보는 장면을 가상으로 모델링한 것인데, 상기 해독화 오차에 의해 검은색 노이즈가 발생된 것을 볼 수 있다.
상기 해독화 오차에 의해 발생된 노이즈 문제를 해결하기 위해 먼저, 카메라(51)를 통해 획득된 영상을 색상 정보를 기반한 적응형 패치(adaptive patch)들로 분류한다. 이때, CIELAB 색상 공간 상에서의 유클리디언 거리와 픽셀 강도(Intensity)에 대한 이미지 구배(gradient)를 계산하여 이들을 기반으로 상기 영상에서 분할(segmentation)을 수행하는 SLIC(Simple Linear Iterative Clustering) 알고리즘을 사용하였다.
다음, 각각의 패치들 간으로 대응관계를 정의할 수 있다. 이때, 패치 간의 대응관계를 정의하게 위해 Piecewise 이차 다항식을 이용할 수 있다.
영상복원단계는 상기 정보 산출단계 이후에, 상기 정보 산출단계를 통해 획득된 상기 투사체(20)와 카메라(51)와의 이미지에 대한 픽셀 대응관계 정보를 이용하여 상기 카메라(51)에서 촬영된 영상을 토대로 상기 프로젝터(41)의 시점에서 상기 투사체(20)를 바라보는 영상 즉,프로젝터(41) 뷰(projector view)를 가상으로 복원하는 단계이다.
상기 정보 산출단계를 통해 획득된 상기 투사체(20)와 카메라(51)와의 이미지에 대한 픽셀 대응관계가 정의되면 카메라(51)에서 획득한 영상을 가상의 프로젝터(41) 공간에 맵핑시켜 프로젝터(41)가 보고 있는 시점을 가상으로 나타내는 프로젝터(41) 뷰를 복원할 수 있다. 도 12은 실제 프로젝터(41) 시점을 복원하는 과정에 대한 사진이다.
3차원 형상 추정단계(S153)는 상기 캘리브레이션 단계(S151)를 통해 획득한 상기 프로젝트 및 카메라(51)의 캘리브레이션 정보와 상기 대응관계 산출단계(S152)를 통해 획득한 상기 프로젝트와 카메라(51) 간의 이미지에 대한 픽셀 대응관계 정보를 토대로 각 상기 프로젝터(41)의 시점에서의 상기 투사면의 3차원 형상 정보(3D point cloud)를 추정하는 단계이다. 상기 3차원 형상 정보에는 깊이 지도나 점군형태가 포함된다.
자세 추정단계(S154)는 상기 3차원 형상 추정단계(S153)를 통해 획득한 상기 3차원 형상 정보를 토대로 상기 3차원 영상의 자세를 추정하는 단계이다. 측정된 3차원 형상 정보를 이용하여 프로젝터(41)의 위치에 적합하게 3차원 영상의 자세를 추정하여 주므로 3차원 영상을 투사체(20)에 왜곡없이 투사할 수 있다.
도 13은 하회탈 모델에 대한 3차원 가상 모델과 측정 데이터 간의 정합을 통해 3차원 가상 모델의 자세를 추정하는 방법의 실시 예를 나타낸 도면이다. 도 13에서 붉은 색은 미리 측정된 3차원 가상모델이며, 파란색 점군은 프로젝터(41) 및 카메라(51)를 통해 측정한 프로젝터(41) 시점에서의 투사체(20)에 대한 3차원 형상 정보이다. 도면을 참조하면 초기위치가 맞추어진 가상 모델과 측정 데이터는 ICP 기반의 점군 정합방법으로 정렬된다. 자세가 추정된 가상의 3차원 모델의 외관 텍스처와 색상을 사용자의 기호에 따라 렌더링하고 이를 프로젝터(41)를 이용해 투영하면, 투사체(20)에 대한 3차원 영상을 왜곡 없이 입히는 3 프로젝션 맵핑이 가능해 진다.
반사판 설치단계(S160)는 상기 투사체(20)에 의해 반사된 영상을 반사시켜 홀로그램 형태로 증강시킬 수 있도록 상기 투사체(20)에 인접되게 반사판(30)을 설치하는 단계이다. 상기 반사판(30)은 투사체(20) 상측의 테이블(21)에 설치한다. 이때, 상기 반사판(30)은 전후방향으로 연장되되, 전단부가 후단부보다 상측에 위치하도록 경사지게 설치되되, 투사체(20)가 설치된 테이블(21)의 상면에 대해 45°로 경사지게 설치되는 것이 바람직하다.
전시단계(S170)는 상기 세팅단계(S150) 및 반사판 설치단계(S160)가 완료되면 상기 프로젝터(41)들을 통해 상기 단위영상을 상기 투사체(20)에 투사하는 것으로서, 단위영상 설정단계 및 투사단계를 포함한다.
단위영상 설정단계는 상기 3차원 영상 중 상기 투사체(20)에 대한 각 상기 프로젝터(41)의 투사영역에 대응되는 영역에 해당하는 부분 영상을 상기 단위영상으로 설정하는 단계이다. 이때, 작업자는 각 프로젝터(41) 시점에서 바라보는 2차원 영상으로 단위영상들을 편집하는 것이 바람직하다.
투사단계는 상기 단위영상 설정단계 완료 후에, 각 상기 단위영상을 상기 프로젝터(41)를 이용하여 상기 투사체(20)에 투사하는 단계이다. 이때, 프로젝터(41)들에서 투사체(20)로 투사되는 단위연상들은 상호 중첩되는 부분이 발생하는데, 상기 제어부(53)는 단위영상들이 상호 중첩되는 부분에서 왜곡이 발생되는 것을 방지할 수 있도록 각 프로젝터(41)로부터 투사되는 단위영상을 조절할 수도 있다.
프로젝터(41)들에서 2차원의 단위영상들은 투사체(20)에 투사하고, 투사체(20)는 상기 단위영상들을 45도의 각도로 반사시킨다. 그리고, 반사판(30)은 투사체(20)에 대해 45도의 각도로 기울어진 상태로 배치되며, 투사체(20)에 의해 반사된 영상을 반사시켜 홀로그램 형태의 입체영상을 테이블(21) 상부에 증강시킨다.
상술된 바와 같이 구성된 본 발명에 따른 홀로그램을 이용한 전시 시스템(10) 및 이를 이용한 홀로그램 전시 방법은 투사대상물에 대응되게 입체적으로 형성된 투사체(20)에 복수의 프로젝터(41)를 이용하여 3차원 영상에 대응되는 단위영상들을 투사하므로 투사체(20)에 의해 반사되고, 반사판(30)에 의해 증강되는 영상이 실제 투사대상물에 대응되게 3차원적 정보를 가지게 되어 관람자의 시점 변화에 따라 적합한 영상을 관람자에게 제공할 수 있다. 도 14에는 종래의 홀로그램 기법과 본 발명에 따른 홀로그램을 이용한 전시 시스템(10)을 이용하여 전시된 전시물에 대한 다양한 시점에서의 사진이 개시되어 있다. 도면을 참조하면, 본 발명에 따른 홀로그램을 이용한 전시 시스템(10)이 종래의 방법에 비해 관람자의 시점 변화에 따라 적합한 영상을 제공할 수 있음을 알 수 있다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
10: 홀로그램을 이용한 전시 시스템
20: 투사체
21: 테이블
30: 반사판
40: 영상 투사부
41: 프로젝터
42: 거치대
50: 왜곡 방지유닛
51: 카메라
52: 빔스플리터
53: 제어부
S110: 영상 촬영단계
S120: 투사체 제조단계
S130: 프로젝터 설치단계
S140: 카메라 설치단계
S150: 세팅단계
S151: 캘리브레이션 단계
S152: 대응관계 정의단계
S153: 3차원 형상 정보 추정단계
S154: 자세 추정단계
S160: 반사판 설치단계
S170: 전시단계
20: 투사체
21: 테이블
30: 반사판
40: 영상 투사부
41: 프로젝터
42: 거치대
50: 왜곡 방지유닛
51: 카메라
52: 빔스플리터
53: 제어부
S110: 영상 촬영단계
S120: 투사체 제조단계
S130: 프로젝터 설치단계
S140: 카메라 설치단계
S150: 세팅단계
S151: 캘리브레이션 단계
S152: 대응관계 정의단계
S153: 3차원 형상 정보 추정단계
S154: 자세 추정단계
S160: 반사판 설치단계
S170: 전시단계
Claims (16)
- 투사대상물에 대응되게 입체적으로 형성된 투사체와;
상기 투사대상물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 상기 투사체에 투사하는 다수의 프로젝터가 마련된 영상 투사부;
상기 투사체에 인접되게 설치되며, 상기 투사체에 의해 반사된 영상을 반사시켜 홀로그램 형태의 입체 영상을 증강시키는 반사판; 및
상기 프로젝터로부터 상기 투사체에 투사된 상기 단위 영상들에 왜곡이 발생되는 것을 방지하도록 상기 영상 투사부를 제어하는 왜곡 방지유닛;을 구비하고,
상기 왜곡 방지유닛은
상기 프로젝터들에 인접되게 설치되어 각 상기 프로젝터로부터 상기 투사체에 투사되는 상기 단위 영상을 촬영하는 다수의 카메라와,
상기 카메라들로부터 촬영된 영상정보를 토대로 상기 투사체로 투사된 상기 단위 영상들에 왜곡이 발생되는 것이 방지되도록 상기 프로젝터 및 카메라를 제어하는 것으로서, 상기 프로젝터 및 카메라를 세팅시 상기 프로젝터 및 카메라를 상호 캘리브레이션하고, 상기 프로젝터와 카메라 간의 이미지 픽셀 대응관계를 산출하는 제어부를 구비하는 것을 특징으로 하는 홀로그램을 이용한 전시 시스템.
- 삭제
- 삭제
- 제1항에 있어서,
상기 왜곡 방지유닛은 상기 카메라들이 각 상기 프로젝터의 시점에서 상기 투사체에 투사된 상기 단위 영상을 바라보는 영상을 촬영할 수 있도록 가이드하는 영상 가이드부를 더 구비하는 것을 특징으로 하는 홀로그램을 이용한 전시 시스템.
- 제4항에 있어서,
상기 영상 가이드부는 상기 프로젝터들에 각각 설치되는 것으로서, 상기 프로젝터로부터 상기 투사체로 출사되는 상기 단위 영상의 출력광은 통과되되, 상기 출력광에 대해 상기 투사체에 의해 반사되는 반사광 중 상기 출력광의 광축과 나란하게 상기 프로젝터 측으로 입사되는 반사광을 상기 카메라 측으로 반사하는 다수의 빔스플리터를 구비하는 것을 특징으로 하는 홀로그램을 이용한 전시 시스템.
- 투사대상물에 대응되는 3차원 영상을 촬영하는 영상 촬영단계와;
상기 투사대상물에 대응되게 입체적으로 투사체를 제조하는 투사체 제조단계와;
상기 투사체에 상기 투사대상물에 대응되는 3차원 영상으로부터 선택된 부분의 단위 영상들을 투사할 수 있도록 다수의 프로젝터를 설치하는 프로젝터 설치단계와;
상기 프로젝터들로부터 상기 투사체로 투사된 상기 단위영상들을 각각 촬영할 수 있도록 카메라를 설치하는 카메라 설치단계와;
상기 프로젝터들로부터 출사된 상기 단위영상들에 왜곡이 발생되는 것을 방지하기 위해 상기 프로젝터 및 카메라를 세팅하는 세팅단계와;
상기 투사체에 의해 반사된 영상을 반사시켜 홀로그램 형태로 증강시킬 수 있도록 상기 투사체에 인접되게 반사판을 설치하는 반사판 설치단계와;
상기 세팅단계 및 반사판 설치단계가 완료되면 상기 프로젝터들을 통해 상기 단위영상을 상기 투사체에 투사하는 전시단계;를 포함하고,
상기 세팅단계는
상기 프로젝터 및 카메라를 캘리브레이션하는 캘리브레이션 단계와,
상기 프로젝터와 카메라 간의 이미지에 대한 픽셀 대응관계를 산출하는 대응관계 산출단계와,
상기 캘리브레이션 단계를 통해 획득한 상기 프로젝터 및 카메라의 캘리브레이션 정보와 상기 대응관계 산출단계를 통해 획득한 상기 프로젝터와 카메라 간의 이미지에 대한 픽셀 대응관계 정보를 토대로 각 상기 프로젝터의 시점에서의 투사면의 3차원 형상 정보를 추정하는 3차원 형상 추정단계와,
상기 3차원 형상 추정단계를 통해 획득한 상기 3차원 형상 정보를 토대로 상기 3차원 영상의 자세를 추정하는 자세 추정단계를 포함하는 것을 특징으로 하는 홀로그램 전시방법.
- 삭제
- 제6에 있어서,
상기 캘리브레이션 단계는
상기 프로젝터를 통해 소정의 무늬를 갖는 설정판에 소정의 패턴을 갖는 세팅 이미지를 투사하고, 상기 설정판에 투사된 상기 세팅 이미지를 상기 카메라로 촬영하는 설정촬영단계와,
상기 세팅 이미지와, 상기 설정판에 투사된 상기 세팅 이미지를 촬영한 영상정보를 토대로 상기 프로젝터 및 카메라를 캘리브레이션하기 위한 캘리브레이션 정보를 획득하는 정보획득단계와,
상기 캘리브레이션 정보에 따라 상기 프로젝터 및 카메라를 캘리브레이션하는 설정 완료 단계를 포함하는 것을 특징으로 하는 홀로그램 전시방법.
- 제8항에 있어서,
상기 설정판은 상기 프로젝터로부터 상기 세팅 이미지가 투사되는 투사면에 체크무늬가 형성된 것을 특징으로 하는 홀로그램 전시방법.
- 제8항에 있어서,
상기 설정촬영단계에서, 상기 설정판을 순차적으로 다양한 자세로 세팅위치를 변경시키고, 각 세팅위치에 따라 상호 상이한 패턴을 갖는 다수의 설정 이미지를 상기 설정판에 투사하는 것을 특징으로 하는 홀로그램 전시방법.
- 제6항에 있어서,
상기 대응관계 산출단계는
상기 프로젝터를 통해 상기 투사체로 샘플 이미지를 투사하며, 상기 카메라를 통해 상기 샘플 이미지가 투사된 상기 투사체의 영상을 촬영하는 샘플 촬영단계와,
상기 샘플 이미지와 상기 카메라를 통해 촬영된 영상을 비교하여 상기 프로젝터와 투사체 및 상기 투사체와 카메라와의 이미지에 대한 픽셀 대응관계 정보를 산출하는 정보 산출단계를 포함하는 것을 특징으로 하는 홀로그램 전시방법.
- 제11항에 있어서,
상기 샘플 이미지는 상기 투사체의 길이방향 또는 폭방향 중 어느 한 방향으로 연장된 다수의 흑색의 단위패턴이 상기 투사체의 길이방향 또는 폭방향 중 다른 한 방향을 따라 상호 이격되게 형성된 것을 특징으로 하는 홀로그램 전시방법.
- 제11항 또는 제12항에 있어서,
상기 대응관계 산출단계는
상기 정보 산출단계 이후에, 상기 정보 산출단계를 통해 획득된 상기 투사체와 카메라와의 이미지에 대한 픽셀 대응관계 정보를 이용하여 상기 카메라에서 촬영된 영상을 토대로 상기 프로젝터의 시점에서 상기 투사체를 바라보는 영상을 가상으로 복원하는 영상복원단계를 더 포함하는 것을 특징으로 하는 홀로그램 전시방법.
- 제6항에 있어서,
상기 카메라 설치단계는
상기 프로젝터들에 인접되게 각각 상기 카메라를 설치하는 제1설치단계와,
상기 제1설치단계가 완료되면 상기 카메라들이 각 상기 프로젝터의 시점에서 상기 투사체에 투사된 상기 단위 영상을 바라보는 영상을 촬영할 수 있도록 가이드하는 영상 가이드부를 상기 프로젝터 및 카메라에 설치하는 제2설치단계를 포함하는 것을 특징으로 하는 홀로그램 전시방법.
- 제14항에 있어서,
상기 영상 가이드부는 상기 프로젝터들에 각각 설치되는 것으로서, 상기 프로젝터로부터 상기 투사체로 출사되는 영상의 출력광은 통과되되, 상기 출력광에 대해 상기 투사체에 의해 반사되는 반사광 중 상기 출력광의 광축과 나란하게 상기 프로젝터 측으로 입사되는 반사광을 상기 카메라 측으로 반사하는 다수의 빔스플리터를 구비하는 것을 특징으로 하는 홀로그램 전시방법.
- 제6항에 있어서,
상기 전시단계는
상기 3차원 영상 중 상기 투사체에 대한 각 상기 프로젝터의 투사영역에 대응되는 영역에 해당하는 부분 영상을 상기 단위영상으로 설정하는 단위영상 설정단계와,
상기 단위영상 설정단계 완료 후에, 각 상기 단위영상을 상기 프로젝터를 이용하여 상기 투사체에 투사하는 투사단계를 포함하는 것을 특징으로 하는 홀로그램 전시방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160025314A KR101742018B1 (ko) | 2016-03-02 | 2016-03-02 | 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법 |
US15/363,582 US10197809B2 (en) | 2016-03-02 | 2016-11-29 | Display system based on hologram and hologram display method using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160025314A KR101742018B1 (ko) | 2016-03-02 | 2016-03-02 | 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101742018B1 true KR101742018B1 (ko) | 2017-05-31 |
Family
ID=59052424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160025314A KR101742018B1 (ko) | 2016-03-02 | 2016-03-02 | 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10197809B2 (ko) |
KR (1) | KR101742018B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110495900A (zh) * | 2019-08-19 | 2019-11-26 | 武汉联影医疗科技有限公司 | 影像显示方法、装置、设备和存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107861626A (zh) * | 2017-12-06 | 2018-03-30 | 北京光年无限科技有限公司 | 一种虚拟形象被唤醒的方法及系统 |
CN110096144B (zh) * | 2019-04-08 | 2022-11-15 | 汕头大学 | 一种基于三维重建的交互全息投影方法及系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100859702B1 (ko) | 2006-12-18 | 2008-09-23 | 도시바삼성스토리지테크놀러지코리아 주식회사 | 이형 큐빅 빔스플리터를 이용한 광픽업 장치 |
KR101366329B1 (ko) | 2007-05-07 | 2014-02-20 | 엘지전자 주식회사 | 프로젝터 및 프로젝터의 영상 보정 방법 |
PL2590040T3 (pl) * | 2011-11-04 | 2014-08-29 | Nivora Ip B V | Sposób i urządzenie do wspomagania w ręcznym manipulowaniu obrabianym przedmiotem podczas obróbki maszynowej |
TWI465827B (zh) * | 2013-01-15 | 2014-12-21 | Delta Electronics Inc | 投影系統 |
US20160291542A1 (en) * | 2013-11-22 | 2016-10-06 | Wasatch Photonics, Inc. | System and method for holography-based fabrication |
KR101601212B1 (ko) | 2014-03-28 | 2016-03-08 | 광주과학기술원 | 슈도 홀로그램 기반의 3차원 전시 시스템 |
US9736440B2 (en) * | 2015-05-26 | 2017-08-15 | Chunghwa Picture Tubes, Ltd. | Holographic projection device capable of forming a holographic image without misalignment |
US10677924B2 (en) * | 2015-06-23 | 2020-06-09 | Mezmeriz, Inc. | Portable panoramic laser mapping and/or projection system |
US20170161950A1 (en) * | 2015-12-08 | 2017-06-08 | GM Global Technology Operations LLC | Augmented reality system and image processing of obscured objects |
-
2016
- 2016-03-02 KR KR1020160025314A patent/KR101742018B1/ko active IP Right Grant
- 2016-11-29 US US15/363,582 patent/US10197809B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110495900A (zh) * | 2019-08-19 | 2019-11-26 | 武汉联影医疗科技有限公司 | 影像显示方法、装置、设备和存储介质 |
CN110495900B (zh) * | 2019-08-19 | 2023-05-26 | 武汉联影医疗科技有限公司 | 影像显示方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US10197809B2 (en) | 2019-02-05 |
US20170255023A1 (en) | 2017-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11115633B2 (en) | Method and system for projector calibration | |
US9357206B2 (en) | Systems and methods for alignment, calibration and rendering for an angular slice true-3D display | |
Grundhöfer et al. | Recent advances in projection mapping algorithms, hardware and applications | |
US10701324B2 (en) | Gestural control of visual projectors | |
Bimber et al. | Enabling view-dependent stereoscopic projection in real environments | |
Wenger et al. | Performance relighting and reflectance transformation with time-multiplexed illumination | |
Zhang et al. | Projection defocus analysis for scene capture and image display | |
US8867827B2 (en) | Systems and methods for 2D image and spatial data capture for 3D stereo imaging | |
US8042954B2 (en) | Mosaicing of view projections | |
US9369683B2 (en) | System and method for calibrating a display system using manual and semi-manual techniques | |
US20080095468A1 (en) | Method And Device For Representing A Digital Image On A Surface Which Is Non-Trivial In Terms Of Its Geometry And Photometry | |
CN107018392B (zh) | 投影仪优化方法和系统 | |
CN108475327A (zh) | 三维采集与渲染 | |
US20030043152A1 (en) | Simulating motion of static objects in scenes | |
KR100681320B1 (ko) | 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법 | |
JP2009524849A (ja) | シーン画像および奥行き形状を取り込んで補償画像を生成するためのシステム、方法、および媒体 | |
CA2464569A1 (en) | Single or multi-projector for arbitrary surfaces without calibration nor reconstruction | |
Johnson et al. | Real-time projector tracking on complex geometry using ordinary imagery | |
KR101742018B1 (ko) | 홀로그램을 이용한 전시시스템 및 이를 이용한 홀로그램 전시방법 | |
CN112970044A (zh) | 根据广角图像的视差估计 | |
Law et al. | Projector placement planning for high quality visualizations on real-world colored objects | |
JP5391564B2 (ja) | 立体投影装置 | |
Lee | Wand: 360∘ video projection mapping using a 360∘ camera | |
Raskar | Projector-based three dimensional graphics | |
Colombo et al. | Shape reconstruction and texture sampling by active rectification and virtual view synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |