KR102052026B1 - 홀로그램 투영장치 및 그 방법 - Google Patents

홀로그램 투영장치 및 그 방법 Download PDF

Info

Publication number
KR102052026B1
KR102052026B1 KR1020180030603A KR20180030603A KR102052026B1 KR 102052026 B1 KR102052026 B1 KR 102052026B1 KR 1020180030603 A KR1020180030603 A KR 1020180030603A KR 20180030603 A KR20180030603 A KR 20180030603A KR 102052026 B1 KR102052026 B1 KR 102052026B1
Authority
KR
South Korea
Prior art keywords
hologram
distance information
fixed target
target
air tap
Prior art date
Application number
KR1020180030603A
Other languages
English (en)
Other versions
KR20190108924A (ko
Inventor
이기한
이역수
정지혁
공현중
Original Assignee
서울여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울여자대학교 산학협력단 filed Critical 서울여자대학교 산학협력단
Priority to KR1020180030603A priority Critical patent/KR102052026B1/ko
Publication of KR20190108924A publication Critical patent/KR20190108924A/ko
Application granted granted Critical
Publication of KR102052026B1 publication Critical patent/KR102052026B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

리얼센스(RealSense)를 결합하여 고정된 목표물의 거리 정보(좌표)를 획득하고, 이를 기초로 홀로그램을 목표물에 정확하게 겹쳐서 투영시키도록 한 홀로그램 투영장치 및 그 방법에 관한 것으로서, 고정 목표물과의 거리 정보를 획득하는 리얼센스, 리얼센스로부터 획득한 거리정보를 실시간 지속적으로 저장하는 거리정보 저장부, 사용자의 손동작을 에어탭 제스처 인식 방식으로 인식하는 에어탭 제스처 인식부, 에어탭 제스처 인식부에서 사용자의 손동작이 인식되면 인식 대상을 고정 목표물로 설정하고, 해당 위치에 홀로그램 투영을 제어하는 홀로그램 투영 제어부 및 홀로그램 투영 제어부의 제어에 따라 선택된 고정 목표물에 홀로그램을 투영하는 홀로그램 발생부를 포함하여, 홀로그램 투영장치를 구현함으로써, 이미지 마커나 AR 플랫폼 없이도 홀로그램을 투영할 목표물의 좌표 정보를 용이하게 획득하고, 정확하게 홀로그램을 탐색한 목표물에 겹쳐서 투영한다.

Description

홀로그램 투영장치 및 그 방법{Hologram projection device and method thereof}
본 발명은 홀로그램 투영장치 및 그 방법에 관한 것으로, 특히 리얼센스(RealSense)를 결합하여 고정된 목표물의 거리 정보(좌표)를 획득하고, 이를 기초로 홀로그램을 목표물에 정확하게 겹쳐서 투영시키도록 한 홀로그램 투영장치 및 그 방법에 관한 것이다.
홀로렌즈(Hololens)는 머리에 쓰는 디스플레이 장치(Head Mounted Display; HMD)로서 혼합현실 기반 웨어러블 기기이다. 오큘러스 리프트나 HTC 바이브와 같은 가상현실(VR) 기기가 시야를 완전히 차단하는 별도의 디스플레이를 통해 가상현실(VR)을 구현하는 방식이라면, 홀로렌즈는 반투명한 디스플레이를 통해 사용자의 주변 환경을 볼 수 있도록 했다는 점이 다르다. 즉, 윈도우 홀로그래피 기술을 이용한 홀로렌즈는 완전한 가상 화면을 보여주는 가상현실(VR)이나 실제 화면에 덧씌우는 증강현실(AR)과는 달리 현실 화면에 실제 개체의 스캔된 3D 이미지를 출력하고 이를 자유롭게 조작할 수 있는 혼합현실(Mixed Reality, MR)을 의미한다.
반투명 디스플레이 위에서 홀로렌즈의 증강현실(AR) 영상은 사용자 환경과 상호작용해 재생된다. 예를 들어, 증강현실(AR)로 구현된 3D 캐릭터가 거실에 있는 소파에 앉아서 사용자와 대화를 나눌 수도 있다. 사무실 책상 위에 3D로 구현한 증강현실(AR) 자동차 그래픽을 올려둘 수도 있다. 특히, 손짓으로 증강현실(AR) 영상을 조작할 수 있다는 점이 홀로렌즈의 큰 특징이다. 모니터 속에서만 머물던 영상 콘텐츠 기술을 밖으로 끌어내 현실에 중첩하도록 돕는 기술이다.
이러한 홀로렌즈는 MS의 "윈도 10" 전용이다. 윈도 10에 홀로렌즈용 응용프로그램(앱) 개발을 위한 API도 내장돼 있다. 즉, 홀로렌즈용으로 개발한 앱은 윈도 10으로 동작하는 다양한 기기에서 함께 사용할 수 있다. MS의 윈도 10 통합 전략 덕분에 가능한 일이다. 손짓으로 AR 영상을 조작하는 제스처 조작 기술이 적용돼 있고, 사용자의 음성 명령을 인식할 수 있도록 음성인식 기능도 탑재돼 있다. 홀로렌즈에서 작업한 3D 그래픽을 3D 프린터로 바로 보내 실제 물체로 프린트할 수 있는 기능도 내장돼 있다. 업무의 생산성과 게임 등 다양한 환경에서 사용할 수 있도록 설계된 제품이다.
이러한 홀로렌즈는 홀로그램(hologram)을 영상으로 구현한다. 홀로그램은 3차원 영상으로 된 입체 사진으로, 홀로그래피의 원리를 이용하여 만든다. 홀로그램은 실물과 똑같이 입체적으로 보이는 사진이다.
상기 홀로렌즈는 다양한 분야에서 사람들의 콘텐츠 활용 방식을 혁신할 것으로 기대된다. 예컨대, 업무, 게임, 의료, 교육, 군사, 우주항공, 회의 및 공동 작업 등 다양한 분야에서 활용되어질 것으로 예측된다.
홀로렌즈를 이용하여 증강/가상현실에서 학습을 구현한 종래의 기술이 하기의 <특허문헌 1> 에 개시되어 있다.
<특허문헌 1> 에 개시된 종래기술은 입력 영상 데이터로부터 관심 영역을 검출하는 검출부, 상기 검출된 관심 영역에서 객체와 자세 중 적어도 하나를 학습을 통해 추정하고 인식하여 상기 검출된 관심 영역 각각에 대한 결과값을 제공하는 추정 인식부, 및 상기 관심 영역 각각에 대한 결과값들을 통합하고, 상기 통합된 결과 값들 간의 상관관계를 고려하여 상기 관심 영역 각각에 대한 결과 값을 학습을 통해 교정하는 교정부를 포함하여, 증강/가상현실에서 통합 학습장치를 구현한다.
이러한 구성을 통해, 광원, 객체, 손동작 인식, 추적 등의 요소 기술들을 유기적으로 연동하여 성능을 향상시키게 된다.
대한민국 공개특허 10-2018-0022366(20-18.03.06. 공개)(증강/가상 현실에서 광원/객체/손동작 인식/추적을 위한 통합 학습자치 및 방법)
그러나 상기와 같은 일반적인 홀로렌즈 및 종래기술은 홀로그램을 이용하여 증강현실의 영상을 구현하는 것은 가능하나, 홀로그램을 목표물에 정확하게 겹쳐서 투영하는 것은 어려운 단점이 있다.
여기서 홀로렌즈는 독립적으로 거리 측정이 가능하나, 목표물을 정확히 찾아내려면 이미지 마커와 AR 플랫폼(뷰포리아)의 도움을 받아야 하는 제약이 따른다.
따라서 본 발명은 상기와 같은 일반적인 홀로렌즈 및 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 리얼센스(RealSense)를 결합하여 고정된 목표물의 거리 정보를 획득하고, 이를 기초로 홀로그램을 목표물에 정확하게 겹쳐서 투영시키도록 한 홀로그램 투영장치 및 그 방법을 제공하는 데 그 목적이 있다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 홀로그램 투영장치는 고정 목표물과의 거리 정보를 획득하는 리얼센스; 상기 리얼센스로부터 획득한 거리정보를 실시간 지속적으로 저장하는 거리정보 저장부; 사용자의 손동작을 에어탭 제스처 인식 방식으로 인식하는 에어탭 제스처 인식부; 상기 에어탭 제스처 인식부에서 사용자의 손동작이 인식되면 인식 대상을 고정 목표물로 설정하고, 해당 위치에 홀로그램 투영을 제어하는 홀로그램 투영 제어부; 상기 홀로그램 투영 제어부의 제어에 따라 선택된 고정 목표물에 홀로그램을 투영하는 홀로그램 발생부를 포함하는 것을 특징으로 한다.
상기에서 리얼센스는 3D 깊이 카메라를 이용하는 것을 특징으로 한다.
상기에서 리얼센스는 화면 중앙의 좌표를 고정된 목표물까지의 거리 정보로 획득하는 것을 특징으로 한다.
상기에서 홀로그램 투영 제어부는 상기 에어탭 제스처 인식부에 의해 홀로그램을 투영할 고정 목표물이 선택되면, 해당 시점의 좌표 정보를 상기 거리정보 저장부로부터 인출하여 홀로그램 발생부의 홀로그램 투영 위치를 제어하는 것을 특징으로 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 홀로그램 투영방법은 (a) 홀로렌즈의 임의 위치에 구비된 리얼센스에서 고정 목표물과의 거리 정보를 획득하는 단계; (b) 상기 리얼센스로부터 획득한 거리정보를 실시간 지속적으로 저장하는 단계; (c) 상기 고정 목표물의 거리정보를 탐색 및 저장하는 도중에 사용자의 손동작이 에어탭 제스처 인식 방식으로 인식되면, 사용자의 손동작이 인식된 위치를 고정 목표물로 설정하고, 해당 위치에 홀로그램 투영을 제어하는 단계; (d) 홀로그램 발생부에서 상기 (c)단계의 홀로그램 투영 제어에 따라 선택된 고정 목표물에 홀로그램을 투영하는 단계를 포함하는 것을 특징으로 한다.
상기에서 (a)단계는 화면 중앙의 좌표를 고정된 목표물까지의 거리 정보로 획득하는 것을 특징으로 한다.
상기에서 (c)단계는 에어탭 제스처가 인식되는 시점의 고정 목표물의 좌표 정보를 인출하여, 홀로그램 투영 위치로 선택하는 것을 특징으로 한다.
본 발명에 따르면 이미지 마커와 AR 플랫폼(뷰포리아) 없이도, 리얼센스(RealSense)를 결합하여 고정된 목표물의 거리 정보(좌표)를 획득하고, 이를 기초로 홀로그램을 목표물에 정확하게 겹쳐서 투영시킬 수 있는 장점이 있다.
도 1은 본 발명에 따른 홀로그램 투영장치의 구성도,
도 2는 본 발명에 따른 홀로그램 투영방법을 보인 흐름도.
이하 본 발명의 바람직한 실시 예에 따른 홀로그램 투영장치 및 그 방법을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 홀로그램 투영장치(10)의 구성도로서, 고정 목표물과의 거리 정보를 획득하는 리얼센스(11), 상기 리얼센스(11)로부터 획득한 거리정보를 실시간 지속적으로 저장하는 거리정보 저장부(12), 사용자의 손동작을 에어탭 제스처 인식 방식으로 인식하는 에어탭 제스처 인식부(13), 상기 에어탭 제스처 인식부(13)에서 사용자의 손동작이 인식되면 인식 대상을 고정 목표물로 설정하고, 해당 위치에 홀로그램 투영을 제어하는 홀로그램 투영 제어부(14), 상기 홀로그램 투영 제어부(14)의 제어에 따라 선택된 고정 목표물에 홀로그램(20)을 투영하는 홀로그램 발생부(15), 전원을 공급해주는 전원부(16)를 포함한다.
상기 리얼센스(RealSense)(11)는 3D 깊이 카메라(3D depth camera)를 이용하고, 화면 중앙의 좌표를 고정된 목표물까지의 거리 정보로 획득하는 것이 바람직하다.
또한, 상기 홀로그램 투영 제어부(14)는 상기 에어탭 제스처 인식부(13)에 의해 홀로그램을 투영할 고정 목표물이 선택되면, 해당 시점의 좌표 정보를 상기 거리정보 저장부(12)로부터 인출하여 홀로그램 발생부(15)의 홀로그램 투영 위치를 제어하는 것이 바람직하다.
여기서 리얼센스(11)는 독립적으로 구현되는 것은 아니고, 기존 홀로렌즈에 일체로 결합되는 형태로 제작되는 것이 바람직하다. 따라서 본 발명에서의 홀로렌즈는 리얼센스를 포함하는 개념이며, 홀로그램 투영장치(10)는 리얼센스를 내장한 홀로렌즈라고 할 수 있다.
이와 같이 구성된 본 발명에 따른 홀로그램 투영장치(10)의 동작을 구체적으로 설명하면 다음과 같다.
먼저, 홀로렌즈인 홀로그램 투영장치(10)를 밴드 등의 기구 물을 이용하여 머리에 쓰고, 전원 스위치를 온 상태로 동작시킨다. 전원 스위치가 온 상태로 조작되면 전원부(16)에 의해 구동 전원이 공급되고, 이후 사용자는 기능 입력부를 통해 목표물 탐색(스캔)을 요청하고, 이에 따라 리얼센스(11)는 고정 목표물과의 거리 정보를 획득한다.
여기서 리얼센스(RealSense)(11)는 카메라를 통해 물체 및 사람의 움직임을 인식하는 카메라 센싱기술로서, 본 발명에서는 실시 예로 3D 깊이 카메라(3D depth camera)를 이용한다. 3D 깊이 카메라는 카메라에서 빛을 투사하고 사물에 반사되어 돌아오는 시간을 측정하는 TOF(Time of Flight) 방식과 패턴 광을 조사하여 패턴의 형태를 보고 거리를 측정하는 방식을 이용하여 거리 정보(좌표 정보)를 획득한다. 이때, 카메라에 의해 촬영된 화면 중앙의 좌표를 고정된 목표물까지의 거리 정보로 활용한다.
이렇게 실시간 지속적으로 획득되는 거리 정보(좌표 정보)는 포켓 PC와 같은 거리정보 저장부(12)에 실시간 지속적으로 저장된다.
사용자는 스캔 동작을 통해 목표물을 탐색하는 과정에서 홀로그램을 투영할 목표물을 탐색하게 되면, 에어탭 제스처(air-tap gesture)를 실행한다.
여기서 에어탭 제스처는 투영된 홀로그램과 사용자가 상호작용할 수 있게 해주는 인터페이스로서, 공간상에서 이루어지는 제스처라고 해서 에어탭 제스처라고 한다.
홀로렌즈에서 제공하는 제스처로는, 누르고 떼기(Press and Release), 꽃 피우기(Bloom), 붙들기(Hold), 조작(Manipulation), 탐색(Navigation), 선택 명령(Select command) 등이 있다. 따라서 본 발명에서는 탐색중 고정 목표물을 찾게 되면 상기 미리 사용되는 에어탭 제스처 중 어느 하나를 이용하여 고정 목표물 선택 기능으로 활용하면 된다. 본 발명에서는 편의상 선택 명령을 고정 목표물 선택 명령으로 이용하는 것으로 가정한다.
사용자가 목표물을 탐색하는 도중에 홀로그램을 투영할 목표물을 찾게 되면, 상기 에어탭 제스처 중 선택 명령에 대응하는 제스처를 취한다.
그러면 에어탭 제스처 인식부(13)는 기존 에어탭 제스처 인식 동작과 동일한 방법으로 에어탭 제스처를 인식하여 홀로그램 투영 제어부(14)에 전달한다.
상기 홀로그램 투영 제어부(14)는 상기 에어탭 제스처 인식부(13)에 의해 인식된 에어탭 제스처 인식 신호를 분석하여 선택 명령에 대응하는 에어탭 제스처 인식 신호이면, 현재 시점의 목표물에 대한 좌표정보를 거리정보 저장부(12)로부터 인출한다.
여기서 거리정보 저장부(12)는 리얼센스(11)로부터 촬영한 영상의 중앙 위치에 해당하는 좌표 정보가 거리 정보로 실시간 지속적으로 저장되므로, 사용자가 에어탭 제스처를 취해 목표물을 선택하면 그 목표물에 대응하는 좌표 정보가 홀로그램 투영 제어부(14)에 의해 인출된다.
상기 홀로그램 투영 제어부(14)는 목표물에 대응하는 좌표 정보(거리 정보)를 인출한 후, 그 좌표 정보를 포함하여 홀로그램 투영 제어신호를 홀로그램 발생부(15)에 전달한다.
상기 홀로그램 발생부(15)는 전달되는 홀로그램 투영 제어신호에 따라 미리 스캔하여 획득해 놓은 3D 입체 영상인 홀로그램을 상기 좌표 정보에 투영시킨다. 따라서 투영되는 홀로그램은 목표물에 정확하게 겹쳐서 투영된다.
이로써 이미지 마커나 AR 플랫폼 없이도 홀로그램을 투영할 목표물의 좌표 정보를 용이하게 획득하고, 정확하게 홀로그램을 탐색한 목표물에 겹쳐서 투영할 수 있게 되는 것이다.
도 2는 본 발명에 따른 홀로그램 투영방법을 보인 흐름도로서, (a) 홀로렌즈의 임의 위치에 구비된 리얼센스(11)에서 고정 목표물과의 거리 정보를 획득하는 단계(S11, S12), (b) 상기 리얼센스(11)로부터 획득한 거리정보를 실시간 지속적으로 저장하는 단계(S13), (c) 상기 고정 목표물의 거리정보를 탐색 및 저장하는 도중에 사용자의 손동작이 에어탭 제스처 인식 방식으로 인식되면, 사용자의 손동작이 인식된 위치를 고정 목표물로 설정하고, 해당 위치에 홀로그램 투영을 제어하는 단계(S14 ~ S15), (d) 홀로그램 발생부(15)에서 상기 (c)단계의 홀로그램 투영 제어에 따라 선택된 고정 목표물에 홀로그램을 투영하는 단계(S16)를 포함한다.
상기 (a)단계는 화면 중앙의 좌표를 고정된 목표물까지의 거리 정보로 획득하며, 상기 (c)단계는 에어탭 제스처가 인식되는 시점의 고정 목표물의 좌표 정보를 인출하여, 홀로그램 투영 위치로 선택하는 것이 바람직하다.
이와 같이 구성된 본 발명에 따른 홀로그램 투영방법을 구체적으로 설명하면 다음과 같다.
먼저, 홀로렌즈인 홀로그램 투영장치(10)를 밴드 등의 기구 물을 이용하여 머리에 쓰고, 전원 스위치를 온 상태로 동작시킨다. 전원 스위치가 온 상태로 조작되면 단계 S11에서 전원부(16)에 의해 구동 전원이 공급되고, 이후 사용자는 기능 입력부를 통해 목표물 탐색(스캔)을 요청하고, 이에 따라 리얼센스(11)는 고정 목표물과의 거리 정보를 획득한다. 여기서 기능 입력부를 통해 목표물 탐색을 요청하는 것 대신에, 에어탭 제스처를 이용하여 목표물 탐색 명령을 입력하는 것도 가능하다.
목표물 탐색 명령이 입력되면, 단계 S12에서 리얼센스(RealSense)(11)는 3D깊이 카메라를 이용하여 고정 목표물과의 거리 정보(좌표 정보)를 획득한다. 이때, 카메라에 의해 촬영된 화면 중앙의 좌표를 고정된 목표물까지의 거리 정보로 활용한다.
이렇게 실시간 지속적으로 획득되는 거리 정보(좌표 정보)는 단계 S13에서 포켓 PC와 같은 거리정보 저장부(12)에 실시간 지속적으로 저장된다.
사용자는 스캔 동작을 통해 목표물을 탐색하는 과정에서 홀로그램을 투영할 목표물을 탐색하게 되면, 에어탭 제스처(air-tap gesture)를 실행한다. 여기서 에어탭 제스처는 투영된 홀로그램과 사용자가 상호작용할 수 있게 해주는 인터페이스로서, 공간상에서 이루어지는 제스처라고 해서 에어탭 제스처라고 한다.
홀로렌즈에서 제공하는 제스처로는, 주지한 바와 같이, 누르고 떼기(Press and Release), 꽃 피우기(Bloom), 붙들기(Hold), 조작(Manipulation), 탐색(Navigation), 선택 명령(Select command) 등이 있으며, 본 발명에서는 편의상 선택 명령을 고정 목표물 선택 명령으로 이용하는 것으로 가정한다.
사용자가 목표물을 탐색하는 도중에 홀로그램을 투영할 목표물을 찾게 되면, 상기 에어탭 제스처 중 선택 명령에 대응하는 제스처를 취한다.
그러면 에어탭 제스처 인식부(13)는 단계 S14에서 기존 에어탭 제스처 인식 동작과 동일한 방법으로 에어탭 제스처를 인식하여 홀로그램 투영 제어부(14)에 전달한다.
상기 홀로그램 투영 제어부(14)는 상기 에어탭 제스처 인식부(13)에 의해 인식된 에어탭 제스처 인식 신호를 분석하여 선택 명령에 대응하는 에어탭 제스처 인식 신호이면, 단계 S15에서 현재 시점의 목표물에 대한 좌표정보를 거리정보 저장부(12)로부터 인출한다.
여기서 거리정보 저장부(12)는 리얼센스(11)로부터 촬영한 영상의 중앙 위치에 해당하는 좌표 정보가 거리 정보로 실시간 지속적으로 저장되므로, 사용자가 에어탭 제스처를 취해 목표물을 선택하면 그 목표물에 대응하는 좌표 정보가 홀로그램 투영 제어부(14)에 의해 인출된다.
상기 홀로그램 투영 제어부(14)는 목표물에 대응하는 좌표 정보(거리 정보)를 인출한 후, 단계 S16에서 그 좌표 정보를 포함하여 홀로그램 투영 제어신호를 홀로그램 발생부(15)에 전달한다. 상기 홀로그램 발생부(15)는 전달되는 홀로그램 투영 제어신호에 따라 미리 스캔하여 획득해 놓은 3D 입체 영상인 홀로그램을 상기 좌표 정보에 투영시킨다. 따라서 투영되는 홀로그램은 목표물에 정확하게 겹쳐서 투영된다.
이로써 이미지 마커나 AR 플랫폼 없이도 홀로그램을 투영할 목표물의 좌표 정보를 용이하게 획득하고, 정확하게 홀로그램을 탐색한 목표물에 겹쳐서 투영할 수 있게 되는 것이다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.
10: 홀로그램 투영장치(홀로렌즈)
11: 리얼센스
12: 거리정보 저장부
13: 에어탭 제스처 인식부
14: 홀로그램 투영 제어부
15: 홀로그램 발생부
16: 전원부
20: 홀로그램

Claims (7)

  1. 홀로렌즈를 이용하여 홀로그램을 고정 목표물에 정확하게 겹쳐서 투영하기 위한 장치로서,
    고정 목표물과의 거리 정보를 획득하는 리얼센스;
    상기 리얼센스로부터 획득한 거리정보를 실시간 지속적으로 저장하는 거리정보 저장부;
    사용자의 손동작을 에어탭 제스처 인식 방식으로 인식하는 에어탭 제스처 인식부;
    상기 에어탭 제스처 인식부에서 사용자의 손동작이 인식되면 인식 대상을 고정 목표물로 설정하고, 해당 위치에 홀로그램 투영을 제어하는 홀로그램 투영 제어부; 및
    상기 홀로그램 투영 제어부의 제어에 따라 선택된 고정 목표물에 홀로그램을 투영하는 홀로그램 발생부를 포함하고,
    상기 홀로그램 투영 제어부는 상기 에어탭 제스처 인식부에 의해 홀로그램을 투영할 고정 목표물이 선택되면, 해당 시점의 좌표 정보를 상기 거리정보 저장부로부터 인출하여 홀로그램 발생부의 홀로그램 투영 위치를 제어하는 것을 특징으로 하는 홀로그램 투영장치.
  2. 청구항 1에서, 상기 리얼센스는 3D 깊이 카메라를 이용하는 것을 특징으로 하는 홀로그램 투영장치.
  3. 청구항 1 또는 2에서, 상기 리얼센스는 화면 중앙의 좌표를 고정된 목표물까지의 거리 정보로 획득하는 것을 특징으로 하는 홀로그램 투영장치.
  4. 삭제
  5. 홀로렌즈를 이용하여 홀로그램을 고정 목표물에 정확하게 겹쳐서 투영하기 위한 방법으로서,
    (a) 리얼센스에서 고정 목표물과의 거리 정보를 획득하는 단계;
    (b) 상기 리얼센스로부터 획득한 거리정보를 실시간 지속적으로 저장하는 단계;
    (c) 상기 고정 목표물의 거리정보를 탐색 및 저장하는 도중에 사용자의 손동작이 에어탭 제스처 인식 방식으로 인식되면, 사용자의 손동작이 인식된 위치를 고정 목표물로 설정하고, 해당 위치에 홀로그램 투영을 제어하는 단계; 및
    (d) 홀로그램 발생부에서 상기 (c)단계의 홀로그램 투영 제어에 따라 선택된 고정 목표물에 홀로그램을 투영하는 단계를 포함하고,
    상기 (c)단계는 에어탭 제스처가 인식되는 시점의 고정 목표물의 좌표 정보를 인출하여, 홀로그램 투영 위치로 선택하는 것을 특징으로 하는 홀로그램 투영방법.
  6. 청구항 5에서, 상기 (a)단계는 화면 중앙의 좌표를 고정된 목표물까지의 거리 정보로 획득하는 것을 특징으로 하는 홀로그램 투영방법.








  7. 삭제
KR1020180030603A 2018-03-16 2018-03-16 홀로그램 투영장치 및 그 방법 KR102052026B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180030603A KR102052026B1 (ko) 2018-03-16 2018-03-16 홀로그램 투영장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180030603A KR102052026B1 (ko) 2018-03-16 2018-03-16 홀로그램 투영장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190108924A KR20190108924A (ko) 2019-09-25
KR102052026B1 true KR102052026B1 (ko) 2019-12-05

Family

ID=68068029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180030603A KR102052026B1 (ko) 2018-03-16 2018-03-16 홀로그램 투영장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102052026B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171472A (zh) * 2022-07-13 2022-10-11 西安小屿智能科技有限公司 全息影像乐器教学机

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017131246A1 (ko) * 2016-01-26 2017-08-03 엘지전자 주식회사 이동 단말기 및 그 제어방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015123759A1 (en) * 2014-02-21 2015-08-27 Trispera Dental Inc. Augmented reality dental design method and system
KR101891884B1 (ko) 2016-08-24 2018-08-28 한국과학기술원 증강/가상 현실에서 광원/객체/손동작 인식/추적을 위한 통합 학습 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017131246A1 (ko) * 2016-01-26 2017-08-03 엘지전자 주식회사 이동 단말기 및 그 제어방법

Also Published As

Publication number Publication date
KR20190108924A (ko) 2019-09-25

Similar Documents

Publication Publication Date Title
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
US11968479B2 (en) Method of tracking a mobile device and method of generating a geometrical model of a real environment using a camera of a mobile device
EP3619599B1 (en) Virtual content displayed with shared anchor
KR100542370B1 (ko) 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
JP4725595B2 (ja) 映像処理装置、映像処理方法、プログラム及び記録媒体
EP1521482B1 (en) Image display apparatus and method
US8388146B2 (en) Anamorphic projection device
US10235806B2 (en) Depth and chroma information based coalescence of real world and virtual world images
US8838381B1 (en) Automatic video generation for navigation and object finding
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
TW201142745A (en) Information processing apparatus, information processing system, and information processing method
JP2002163670A (ja) 複合現実感提示装置及びその制御方法
JP2018526716A (ja) 媒介現実
US9332219B2 (en) Telepresence device
CN106971426A (zh) 一种虚拟现实与真实场景融合的方法
KR102052026B1 (ko) 홀로그램 투영장치 및 그 방법
KR20190024174A (ko) 마커 인식 기반 증강현실 생성 시스템 및 방법
Livingston Vision-based tracking with dynamic structured light for video see-through augmented reality
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
Mohareri et al. A vision-based location positioning system via augmented reality: An application in humanoid robot navigation
CN112581630B (zh) 一种用户交互方法和系统
Cheliotis et al. A classification of augmented reality approaches for spatial data visualization
KR101860215B1 (ko) 프로젝터 자세에 연동하는 콘텐츠 디스플레이 시스템 및 방법
KR102094772B1 (ko) 영상 제어 방법 및 서버
Vakanski et al. Robotic learning of manipulation tasks from visual perception using a kinect sensor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right