KR20160116145A - 투과형 홀로그램을 이용한 hmd - Google Patents

투과형 홀로그램을 이용한 hmd Download PDF

Info

Publication number
KR20160116145A
KR20160116145A KR1020150042232A KR20150042232A KR20160116145A KR 20160116145 A KR20160116145 A KR 20160116145A KR 1020150042232 A KR1020150042232 A KR 1020150042232A KR 20150042232 A KR20150042232 A KR 20150042232A KR 20160116145 A KR20160116145 A KR 20160116145A
Authority
KR
South Korea
Prior art keywords
hologram
image
processor
hmd
user
Prior art date
Application number
KR1020150042232A
Other languages
English (en)
Inventor
홍성희
강훈종
홍지수
김영민
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020150042232A priority Critical patent/KR20160116145A/ko
Publication of KR20160116145A publication Critical patent/KR20160116145A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

투과형 홀로그램을 이용한 HMD가 제공된다. 본 발명의 실시예에 따른 홀로그램 디스플레이 장치는, 실물이 사용자의 눈으로 투과되는 글래스, 글래스에 3D 홀로그램을 투사하는 프로젝터 및 3D 홀로그램을 생성하는 프로세서를 포함한다. 이에 의해, 2D 이미지가 아닌 깊이감을 갖는 투과형 홀로그램이 가상 영상으로 실제 영상과 합쳐지므로, 실제 영상과 가상 영상이 하나의 3D 영상으로 결합될 수 있게 된다.

Description

투과형 홀로그램을 이용한 HMD{HMD using See Through Hologram}
본 발명은 HMD(Head Mounted Display)에 관한 것으로, 더욱 상세하게는 사용자에게 실감형 가상 현실을 제공하는 HMD에 관한 것이다.
도 1은 구글 글래스TM를 나타낸 도면이다. 도 1에 도시된 바와 같이, 구글 글래스TM는 투과형 디스플레이로, 유리를 투과한 현실의 실제 영상이 사용자의 눈에 들어오는 중에, 프로젝터를 이용하여 유리(프리즘)에 2D 가상 영상을 플로팅하여 두 영상을 합치는 방식으로 동작한다. 구글 글래스TM의 동작 원리는 도 2에 상세히 나타나 있다.
하지만, 구글 글래스TM의 경우, 현실 영상은 사용자의 망막에 3D로 맺히는 반면, 프로젝터를 이용한 플로팅된 영상은 2D이기 때문에 늘 공중에 떠있는 듯한 느낌을 주게 된다.
따라서, 실제 영상과 가상 영상 간이 합쳐지지 않는 이질감이 발생하게 되고, 왜곡으로 인한 문제도 커지게 되며, 이에 두 영상이 서로 합치되지 않고 제 각각의 다른 영역의 내용으로 서비스되어 질 수 밖에 없다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 기존 투과형 HMD에서 제공하는 2D 이미지 대신 깊이감을 갖는 투과형 홀로그램을 투사하여, 실제 영상과 가상 영상이 하나의 3D 영상으로 결합될 수 있는 HMD를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 홀로그램 디스플레이 장치는, 실물이 사용자의 눈으로 투과되는 글래스; 상기 글래스에 3D 홀로그램을 투사하는 프로젝터; 및 상기 3D 홀로그램을 생성하는 프로세서;를 포함한다.
그리고, 본 발명의 일 실시예에 따른 홀로그램 디스플레이 장치는, 실물을 촬영하여 실제 영상을 생성하는 제1 카메라;를 더 포함하고, 상기 프로세서는, 상기 실제 영상에서 상기 객체를 인식하여, 생성할 3D 홀로그램을 결정할 수 있다.
또한, 상기 프로세서는, 상기 실제 영상에서 상기 객체의 위치를 산출하여, 상기 3D 홀로그램의 시점을 결정할 수 있다.
그리고, 본 발명의 일 실시예에 따른 홀로그램 디스플레이 장치는, 실물을 촬영하여 깊이 영상을 생성하는 제2 카메라;를 더 포함하고, 상기 프로세서는, 상기 깊이 영상에서 상기 객체의 깊이를 인식하여, 생성할 3D 홀로그램의 깊이를 결정할 수 있다.
또한, 본 발명의 일 실시예에 따른 홀로그램 디스플레이 장치는, 사용자의 움직임 정보를 생성하는 센서;를 더 포함하고, 상기 프로세서는, 상기 움직임 정보를 이용하여 상기 사용자의 주시 방향을 파악하고, 상기 사용자의 주시 방향을 기초로 상기 3D 홀로그램의 시점을 변환할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 디스플레이 방법은, 3D 홀로그램을 생성하는 단계; 및 실제 영상이 사용자의 눈으로 투과되는 글래스에 상기 3D 홀로그램을 투사하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 2D 이미지가 아닌 깊이감을 갖는 투과형 홀로그램이 가상 영상으로 실제 영상과 합쳐지므로, 실제 영상과 가상 영상이 하나의 3D 영상으로 결합될 수 있게 된다.
이에 의해, 투과형 HMD를 통해 고품질의 실감형 가상 현실 영상을 제공할 수 있게 되며, 이는 게임, 가상 체험 등의 다양한 서비스에 활용될 수 있다.
도 1은 구글 글래스TM를 나타낸 사진,
도 2는 구글 글래스TM의 동작 원리를 나타낸 도면,
도 3은 본 발명의 실시예에 따른 HMD에서 제공되는 서비스의 개념을 나타낸 도면,
도 4는 본 발명의 실시예에 따른 투과형 홀로그램 HMD의 외관 구조를 나타낸 도면,
도 5는 본 발명의 실시예에 따른 투과형 홀로그램 HMD의 내부 블럭도, 그리고,
도 6은 본 발명의 실시예에 따른 투과형 홀로그램 HMD을 이용한 가상 현실 제공 방법의 설명에 제공되는 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 투과형 홀로그램 HMD(Head Mounted Display)에서 제공되는 서비스의 개념을 나타낸 도면이다. 본 발명의 실시예에서는, 실물(실제 영상)을 사용자의 눈으로 투과하는 글래스 부분에 3D 홀로그램을 투사하여, 사용자가 실제 영상과 3D 홀로그램이 합성된 영상을 감상할 수 있도록 한다.
여기서, 실제 영상과 합성되는 가상 영상인 3D 홀로그램은, 3D 영상이므로, 양자는 실감적으로 합성된다. 즉, 도 3의 좌측에 도시된 바와 같이 실제 존재하는 실물은 비어있는 화면틀(빈 액자) 뿐이지만, 본 발명의 실시예에서는 도 3의 우측에 도시된 바와 같이 실제 영상에 가상의 3D 홀로그램으로 제작된 예술작품을 합성한다.
이때, 3D 홀로그램의 뎁스는 실제 영상에서 3D 홀로그램과 중첩될 오브젝트의 뎁스와 일치시킨다. 이에, 사용자는 실제 영상과 3D 홀로그램이 혼연 일체로 합성된 실감형 영상을 감상하게 된다.
도 4는 본 발명의 실시예에 따른 투과형 홀로그램 HMD의 외관 구조를 나타낸 도면이다. 도 4에 도시된 바와 같이, 투과형 홀로그램 HMD의 외관에는, 자이로 센서(111,112,113,114), 카메라(121,122), 프로젝터(151,152) 및 글래스(161,162)가 마련되어 있다.
자이로 센서(111,112,113,114)는 사용자 머리의 움직임을 감지하기 위한 센서로, 투과형 홀로그램 HMD의 우측/후방(111), 좌측/후방(112), 우측/전방(113) 및 좌측/전방(114)에 각각 위치한다.
도 4에서 제시한 자이로 센서(111,112,113,114)의 개수와 위치는 구현 상의 일 예에 해당한다. 도시된 개수와 다르게 그리고 도시된 위치와 다르게 구현하는 것도 가능함은 물론이다.
카메라(121,122)는 IR 카메라(121)와 CCD 카메라(122)를 포함한다. IR 카메라(121)는 깊이 영상을 생성하기 위한 카메라이고, CCD 카메라(122)는 2D 컬러 영상을 생성하기 위한 카메라이다.
프로젝터(151,152)는 우안 글래스(161)에 설치되는 우안 프로젝터(151)와 좌안 글래스(162)에 설치되는 좌안 프로젝터(152)를 포함한다. 프로젝터(151,152)는 투과형 홀로그램을 글래스(161,162)에 투사하기 위한 수단이다.
도 5는 본 발명의 실시예에 따른 투과형 홀로그램 HMD의 내부 블럭도이다. 도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 투과형 홀로그램 HMD은, 자이로 센서(110), 카메라(120), 프로세서(130), 홀로그램 제공부(140) 및 프로젝터(150)를 포함한다.
자이로 센서(110)는 도 4에 도시된 바 있는 우측/후방의 자이로 센서(111), 좌측/후방의 자이로 센서(112), 우측/전방의 자이로 센서(113) 및 좌측/전방의 자이로 센서(114)를 통칭하는 개념이다.
자이로 센서(110)에 의해 감지되는 움직임 정보는 프로세서(130)에 전달된다.
카메라(120)는 도 4에 도시된 바 있는 IR 카메라(121)와 CCD 카메라(122)를 통칭하는 개념이다. 카메라(120)에 의해 생성되는 2D 영상과 깊이 영상은 프로세서(130)로 제공된다.
홀로그램 제공부(140)는 프로세서(130)에 3D 홀로그램 소스를 제공하는 수단이다. 홀로그램 제공부(140)는 3D 홀로그램 소스가 저장된 저장매체로 구현할 수 있다.
나아가, 3D 홀로그램 소스의 용량이 방대함을 고려할 때, 홀로그램 제공부(140)를 외부 기기나 외부 네트워크에 저장되어 있는 3D 홀로그램 소스를 다운로드 받는 통신 모듈로 구현할 수도 있다.
프로젝터(150)는 도 4에 도시된 바 있는 우안 프로젝터(151)와 좌안 프로젝터(152)를 통칭하는 개념이다. 프로젝터(150)는 프로세서(130)에 의해 결정/가공된 홀로그램을 생성하여 글래스(161,162)에 투사한다.
프로세서(130)는 자이로 센서(110)를 이용하여 사용자의 주시 방향을 파악하고, 카메라(120)를 이용하여 실존하는 실물의 위치와 깊이를 파악한다. 그리고, 프로세서(130)는 파악 결과를 이용하여 홀로그램 제공부(140)에서 제공되는 3D 홀로그램 소스를 선택/가공하여 프로젝터(150)에 전달한다.
프로세서(130)의 주도로 본 발명의 실시예에 따른 투과형 홀로그램 HMD가 3D 홀로그램을 실제 영상에 합성하는 과정에 대해, 도 6을 참조하여 상세히 설명한다.
도 6은 본 발명의 실시예에 따른 투과형 홀로그램 HMD을 이용한 가상 현실 제공 방법의 설명에 제공되는 흐름도이다.
도 6에 도시된 바와 같이, 먼저 프로세서(130)는 자이로 센서(110)가 전달하는 움직임 정보를 이용하여, 투과형 홀로그램 HMD가 향하는 방향, 즉 사용자가 주시하는 방향을 파악한다(S210).
또한, 프로세서(130)는 카메라(120)에 의해 생성된 2D 영상으로부터 객체(실물)을 추출하고 어떠한 객체(실물)인지 인식한다(S220).
그리고, 프로세서(130)는 카메라(120)에 의해 생성된 2D 영상과 깊이 영상으로부터 인식된 객체(실물)의 좌표를 산출한다(S230). 산출되는 좌표는 3차원 좌표로, 2D 영상으로부터 산출되는 위치(x,y)와 깊이 영상으로부터 산출되는 깊이(z)를 포함한다.
이후, 프로세서(130)는 S220단계에서 인식된 객체에 합성/중첩할 3D 홀로그램 소스를 선택한다(S240). S240단계에서의 선택은 인식된 객체의 종류에 따라 달라지게 된다.
이에 의해, 홀로그램 제공부(140)는 S240단계에서 선택된 3D 홀로그램 소스를 프로세서(130)에 제공한다.
다음, 프로세서(130)는 S210단계에서 파악된 사용자 주시 방향과 S230단계에서 산출한 깊이에 맞게, S240단계에서 선택된 3D 홀로그램 소스의 시점과 깊이를 변환 한다(S250).
그러면, 프로젝터(150)는 S240단계에서 선택되어 S250단계에서 변환된 홀로그램을 생성하여 글래스(161,162)에 투사한다(S260). S260단계에서 투사된 홀로그램은 실제 영상과 합성되어, 사용자는 가상 현실을 감상할 수 있게 된다.
지금까지, 투과형 홀로그램 HMD 및 이를 이용한 가상 현실 제공 방법에 대해, 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서 HMD의 타입에 대한 제한은 없다. 즉, 안경 타입의 HMD는 물론, 헬멧 타입의 HMD에 대해서도, 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
111,112,113,114 : 자이로 센서
121 : IR 카메라 122 : CCD 카메라
130 : 프로세서 140 : 홀로그램 제공부
151,152 : 프로젝터
161,162 : 글래스

Claims (6)

  1. 실물이 사용자의 눈으로 투과되는 글래스;
    상기 글래스에 3D 홀로그램을 투사하는 프로젝터; 및
    상기 3D 홀로그램을 생성하는 프로세서;를 포함하는 것을 특징으로 하는 홀로그램 디스플레이 장치.
  2. 청구항 1에 있어서,
    실물을 촬영하여 실제 영상을 생성하는 제1 카메라;를 더 포함하고,
    상기 프로세서는,
    상기 실제 영상에서 상기 객체를 인식하여, 생성할 3D 홀로그램을 결정하는 것을 특징으로 하는 홀로그램 디스플레이 장치.
  3. 청구항 2에 있어서,
    상기 프로세서는,
    상기 실제 영상에서 상기 객체의 위치를 산출하여, 상기 3D 홀로그램의 시점을 결정하는 것을 특징으로 하는 홀로그램 디스플레이 장치.
  4. 청구항 3에 있어서,
    실물을 촬영하여 깊이 영상을 생성하는 제2 카메라;를 더 포함하고,
    상기 프로세서는,
    상기 깊이 영상에서 상기 객체의 깊이를 인식하여, 생성할 3D 홀로그램의 깊이를 결정하는 것을 특징으로 하는 홀로그램 디스플레이 장치.
  5. 청구항 1에 있어서,
    사용자의 움직임 정보를 생성하는 센서;를 더 포함하고,
    상기 프로세서는,
    상기 움직임 정보를 이용하여 상기 사용자의 주시 방향을 파악하고, 상기 사용자의 주시 방향을 기초로 상기 3D 홀로그램의 시점을 변환하는 것을 특징으로 하는 홀로그램 디스플레이 장치.
  6. 3D 홀로그램을 생성하는 단계; 및
    실제 영상이 사용자의 눈으로 투과되는 글래스에 상기 3D 홀로그램을 투사하는 단계;를 포함하는 것을 특징으로 하는 홀로그램 디스플레이 방법.
KR1020150042232A 2015-03-26 2015-03-26 투과형 홀로그램을 이용한 hmd KR20160116145A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150042232A KR20160116145A (ko) 2015-03-26 2015-03-26 투과형 홀로그램을 이용한 hmd

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150042232A KR20160116145A (ko) 2015-03-26 2015-03-26 투과형 홀로그램을 이용한 hmd

Publications (1)

Publication Number Publication Date
KR20160116145A true KR20160116145A (ko) 2016-10-07

Family

ID=57145373

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150042232A KR20160116145A (ko) 2015-03-26 2015-03-26 투과형 홀로그램을 이용한 hmd

Country Status (1)

Country Link
KR (1) KR20160116145A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106526862A (zh) * 2016-12-26 2017-03-22 宁波正特光学电器有限公司 一种切换式2d和3d兼容的vr眼镜

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106526862A (zh) * 2016-12-26 2017-03-22 宁波正特光学电器有限公司 一种切换式2d和3d兼容的vr眼镜

Similar Documents

Publication Publication Date Title
EP3051525B1 (en) Display
JP6511386B2 (ja) 情報処理装置および画像生成方法
EP3287837B1 (en) Head-mountable display system
US11190756B2 (en) Head-mountable display system
WO2019039378A1 (ja) 情報処理装置および画像表示方法
JP2016212351A (ja) ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法
JP2022183177A (ja) ヘッドマウントディスプレイ装置
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
TWI486052B (zh) 立體影像處理裝置以及立體影像處理方法
WO2017122004A1 (en) Detection system
CN113382222B (zh) 一种在用户移动过程中基于全息沙盘的展示方法
KR20160116145A (ko) 투과형 홀로그램을 이용한 hmd
US20140285484A1 (en) System of providing stereoscopic image to multiple users and method thereof
WO2017163649A1 (ja) 画像処理装置
JP2004207780A (ja) 写真撮影装置
WO2012169221A1 (ja) 立体画像表示装置および立体画像表示方法
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
CN104432922A (zh) 虚拟现实头盔
US20220232201A1 (en) Image generation system and method
CN113382225B (zh) 一种基于全息沙盘的双目全息展示方法及装置
CN113382229B (zh) 一种基于全息沙盘的动辅相机调整方法及装置
JP6916896B2 (ja) 情報処理装置および画像生成方法
US20180115768A1 (en) System and method for generating and releasing stereoscopic video films
CN115480643A (zh) 一种应用于基于ue4全息沙盘的交互方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment