KR102577437B1 - 슬림형 몰입 디스플레이 장치 및 슬림형 가시화 장치 - Google Patents

슬림형 몰입 디스플레이 장치 및 슬림형 가시화 장치 Download PDF

Info

Publication number
KR102577437B1
KR102577437B1 KR1020210099909A KR20210099909A KR102577437B1 KR 102577437 B1 KR102577437 B1 KR 102577437B1 KR 1020210099909 A KR1020210099909 A KR 1020210099909A KR 20210099909 A KR20210099909 A KR 20210099909A KR 102577437 B1 KR102577437 B1 KR 102577437B1
Authority
KR
South Korea
Prior art keywords
lens
slim
image
unit
module
Prior art date
Application number
KR1020210099909A
Other languages
English (en)
Other versions
KR20220027016A (ko
Inventor
양웅연
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US17/411,716 priority Critical patent/US11686927B2/en
Publication of KR20220027016A publication Critical patent/KR20220027016A/ko
Application granted granted Critical
Publication of KR102577437B1 publication Critical patent/KR102577437B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • AHUMAN NECESSITIES
    • A62LIFE-SAVING; FIRE-FIGHTING
    • A62CFIRE-FIGHTING
    • A62C99/00Subject matter not provided for in other groups of this subclass
    • A62C99/0081Training methods or equipment for fire-fighting
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Educational Technology (AREA)
  • Emergency Management (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)

Abstract

실시예에 따른 슬림형 몰입 디스플레이 장치는, 외부로부터 입력되는 영상 신호를 사용자 안구 망막에 결상시키는 슬림형 가시화 모듈, 외부 기기의 상태 영상으로 획득하는 상태 정보 획득부 및 상태 영상을 분석하여 가상 현실 환경 정보에 상응하는 영상을 생성하여 슬림형 가시화 모듈에 입력시키는 콘텐츠 제어부를 포함할 수 있다.

Description

슬림형 몰입 디스플레이 장치 및 슬림형 가시화 장치{Slim-Type Immersive-Display Apparatus and Slim-Type Visualization Apparatus}
실시예는 가상 현실(Virtual Reality, VR), 증강 현실(Augmented Reality, AR) 및 혼합 현실(Mixed Reality, MR) 분야에 사용되는 사용자 인터페이스 기술에 관한 것이다.
가상 현실(Virtual Reality, VR), 증강 현실(Augmented Reality, AR) 및 혼합 현실(Mixed Reality, MR) 분야에서 개인의 경험을 자유시점, 예컨대 6 자유도(Six degrees of freedom, 6DOF)을 기반으로 사실적으로 표현하기 위하여 사용되는 대표적인 사용자 인터페이스로 몰입형 디스플레이인 헤드 마운티드 디스플레이(Head Mounted Display, HMD)가 있다.
그런데, 현재 HMD의 품질은 사용자의 실제 현실 환경에서의 시각 경험과 동일한 수준의 존재감(Presence)을 구현하는 데는 이르지 못하고 있다. 이로 인해, 사용자가 HMD를 착용하고 가상 훈련하게 될 경우, 사용자가 현실 환경과 가상 환경의 차이를 분명하게 인지함에 따라 가상 존재감의 저하로 원하는 실제와 같은 훈련 효과를 기대할 수가 없다.
이와 같은 가상 공간에서의 존재감 저하를 초래하는 대표적인 인지적 요소로 시야각(Field Of View) 불일치 문제가 있다. 즉, 기존의 완전 몰입형 디스플레이(HMD)의 광학계가 특정 시력 조건에 고정되어, 다른 시력을 가진 사용자를 위한 별도의 시력 보정용 액세서리를 사용해야 하는 한계가 있다.
또한, 현재 HMD는 시각적 몰입감을 높이기 위하여 상당한 부피와 무게를 가진 머리 착용부를 구비한 형태로 구현되므로, 사용자는 가상 훈련 상황에서 현실 환경에서 느낄 수 없는 HMD의 부피와 무게로 인해 현실 환경과는 이질적인 경험을 체득하게 된다.
가상 훈련 시스템을 개발할 때 훈련 시스템의 기본 설계 원칙인 "훈련과정에서 체득한 능력을 현장에서 이질감 없이 동일하게 활용할 수 있어야 한다"를 수용하기 위하여, 실제 현장의 사용자 인터페이스의 사용자 경험을 방해하지 않고 훈련 환경을 가상공간으로 구축하는 것을 가능하게 하도록 현장과 동일한 자극을 생성하는 감각 일치 기술이 요구된다. 그런데 전술한 바와 같이, 현존하는 사용자 디스플레이 인터페이스는 인간의 시각적 감각 기관에서 이루어지는 환경과 감각 인지 기관 사이에 발생되는 물리적인 현상을 100% 재현하지 못하는 한계를 가지고 있다.
한편, 가상 현실 소방 훈련의 경우, 호흡기의 잔량 및 생체 신호 시그널과 같은 자신의 상황 정보를 가상의 경우가 아닌 실제와 동일한 수준으로 체험(훈련) 과제에서 피드백 받기 위해서는 해당 기능 100% 사실적으로 에뮬레이션하기에는 한계가 있다. 또한, 응급, 재난, 임무 수행 중 안전을 위해 사용되는 호흡기는 일정한 규격의 호흡기 저장부(예;공기탱크)에 대한 개인별 사용 시간의 편차가 크다.
따라서, 현장에서의 사용자 안전성 확보를 위해서는 일련의 훈련을 통해서 개인별 사용 시간에 대한 최적화 훈련이 필요하다. 이를 위해, 이러한 호흡기와 같은 현실 장비를 가상 훈련용 가상 콘텐츠와 연동하여 훈련하여야 한다. 그런데, 이때, 다양한 종류의 호흡기가 사용될 수 있고, 호흡기 잔량을 계측하는 모니터링 기구 또한 아날로그 방식 및 디지털 방식 등으로 다양하고, 그 모양도 다양하여 이에 대한 국제 표준이 미비한 상태이기 때문에 실제 현장 장비의 상태를 가상 현실 콘텐츠에서 연계하여 동기화시키기에 많은 어려움이 있다.
실시예는 디스플레이 장치의 부피 및 무게를 감소시켜 착용감을 개선함으로써, 현장 상황의 경험에 방해가 되지 않도록 하여 시각적 몰입감(visual field of view)을 증가시키는데 그 목적이 있다.
실시예는 시각 감각 기관을 중심으로 인간공학적 특징을 반영하여 최상의 영상 품질이 가상훈련 시스템 사용자에게 제공될 수 있도록 한다.
실시예는 현장 사용형 장비를 활용한 실감성 높은 훈련 시스템 운영이 가능하도록, 사용자 상태 정보를 실제 현실 장비의 상태 정보를 기반으로 가상현실 콘텐츠에 표현할 수 있도록 지원하는 범용 연계 인터페이스를 제공하는 데 그 목적이 있다.
실시예에 따른 슬림형 가시화 장치는, 외부로부터 입력되는 영상 신호를 출력하는 디스플레이 패널 및 적어도 둘 이상의 굴절 렌즈들로 제작되어, 디스플레이 패널에 출력되는 영상에 상응하는 직진하는 가시광을 적어도 둘 이상의 굴절 렌즈들을 통해 굴절 및 반사시켜 사용자 안구의 망막에 결상시키는 광학부를 포함할 수 있다.
이때, 광학부는, 일면이 사용자 안구 망막에 대면하는 제1 렌즈 및 일면이 제1 렌즈의 타면에 대면하고, 타면이 디스플레이 패널에 대면하는 제2 렌즈로 구성되되, 제1 렌즈의 일면의 곡률은 제1 렌즈의 타면의 곡률보다 작고, 제2 렌즈의 타면의 곡률은 제2 렌즈의 일면의 곡률보다 작을 수 있다.
이때, 광학부는, 디스플레이 패널로부터 출력되는 영상은 제2 렌즈 및 제1 렌즈를 순차적으로 통과하여 1차 굴절되고, 1차 굴절된 영상은 제1 렌즈의 일면에 의해 반사되어 제1 렌즈 및 제2 렌즈를 순차적으로 통과하여 2차 굴절되고, 2차 굴절된 영상은 제2 렌즈의 타면에 의해 반사되어 제2 렌즈 및 제1 렌즈를 순차적으로 통과하여 3차 굴절되어 사용자 동공에 전달될 수 있다.
이때, 광학부는, 디스플레이 패널과 제2 렌즈 사이에 배치되는 편광 필터, 편광 필터와 제2 렌즈 사이에 배치되는 1/4파장 위상 지연기, 제2 렌즈와 제1 렌즈 사이에 배치되는 1/4파장 위상 지연기 및 제1 렌즈와 사용자 안구 망막 사이에 배치되는 선형 편광 필터를 더 포함할 수 있다.
이때, 디스플레이 패널 및 광학부가 일체형의 모듈로 구현되되, 모듈은, 좌안 및 우안 각각에 상응하도록 분리될 수 있다.
이때, 실시예에 따른 슬림형 가시화 장치는, 우안 모듈과 좌안 모듈 간의 간격을 조절하는 양안 간격 조절부를 더 포함할 수 있다.
이때, 실시예에 따른 슬림형 가시화 장치는, 우안 모듈과 좌안 모듈의 접합 각도를 조절하는 양안 각도 조절부를 더 포함할 수 있다.
이때, 우안 모듈과 좌안 모듈의 접합 각도는 착용하는 사용자의 신체 구조 특성(양안시 안구 배치 구조 휴먼팩터)에 대응하여 (일치되도록) 조절될 수 있다.
실시예에 따른 슬림형 몰입 디스플레이 장치는, 외부로부터 입력되는 영상 신호를 사용자 안구 망막에 결상시키는 슬림형 가시화 모듈, 외부 기기의 상태 영상으로 획득하는 상태 정보 획득부 및 상태 영상을 분석하여 가상 현실 환경 정보에 상응하는 영상을 생성하여 슬림형 가시화 모듈에 입력시키는 콘텐츠 제어부를 포함할 수 있다.
이때, 상태 정보 획득부는, 외부 기기를 센싱하는 정보 출력부에 탈부착되는 체결 부재 및 외부 기기를 센싱하는 정보 출력부의 단거리 영상을 획득하는 영상 획득부를 포함할 수 있다.
이때, 체결 부재는 탈부착이 용이하도록, 자석 및 유연 재질에 의해 제작될 수 있다.
이때, 콘텐츠 제어부는, 외부 기기를 센싱하는 정보 출력부의 제품 종류별 상태 영상을 기반으로 미리 학습되어, 상태 정보 획득부로부터 입력된 외부 기기를 센싱하는 정보 출력부의 상태 영상에서 외부 기기의 정보를 인식하는 영상 정보 인식부, 영상 정보 인식부로부터 인식된 외부 기기의 정보를 기반으로 가상 현실 콘텐츠에서의 객체의 기능을 시뮬레이션한 결과로 가상 객체의 상태를 갱신하는 훈련 관리부 및 가상 객체의 상태가 갱신된 콘텐츠의 영상 정보를 가상 현실 처리하여 슬림형 가시화 모듈에 출력하는 가상 현실 처리부를 포함할 수 있다.
이때, 상태 정보 획득부는, 사용자 생체 신호 정보를 수집하는 정보 출력부의 상태 영상을 더 획득하고, 콘텐츠 제어부는, 사용자 생체 신호 정보를 콘텐츠에 더 반영할 수 있다.
이때, 슬림형 가시화 모듈은, 외부로부터 입력되는 영상 신호를 출력하는 디스플레이 패널 및 적어도 둘 이상의 굴절 렌즈들로 제작되어, 디스플레이 패널에 출력되는 영상에 상응하는 직진하는 가시광을 적어도 둘 이상의 굴절 렌즈들을 통해 굴절 및 반사시켜 사용자 안구의 망막에 결상시키는 광학부를 포함할 수 있다.
이때, 광학부는, 일면이 사용자 안구 망막에 대면하는 제1 렌즈 및 일면이 제1 렌즈의 타면에 대면하고, 타면이 디스플레이 패널에 대면하는 제2 렌즈로 구성되되, 제1 렌즈의 일면의 곡률은 제1 렌즈의 타면의 곡률보다 작고, 제2 렌즈의 타면의 곡률은 제2 렌즈의 일면의 곡률보다 작을 수 있다.
이때, 광학부는, 디스플레이 패널과 제2 렌즈 사이에 배치되는 편광 필터, 편광 필터와 제2 렌즈 사이에 배치되는 1/4파장 위상 지연기, 제2 렌즈와 제1 렌즈 사이에 배치되는 1/4파장 위상지연기 및 제1 렌즈와 사용자 안구 망막 사이에 배치되는 선형 편광 필터를 더 포함할 수 있다.
이때, 디스플레이 패널 및 광학부가 일체형의 모듈로 구현되되, 모듈은, 좌안 및 우안 각각에 상응하도록 분리될 수 있다.
이때, 슬림형 가시화 모듈은, 우안 모듈과 좌안 모듈 간의 간격을 조절하는 양안 간격 조절부를 더 포함할 수 있다.
이때, 슬림형 가시화 모듈은, 우안 모듈과 좌안 모듈의 접합 각도를 조절하는 양안 각도 조절부를 더 포함할 수 있다.
실시예에 따른 슬림형 몰입 디스플레이 장치는, 외부로부터 입력되는 영상 신호를 사용자 안구 망막에 결상시키는 슬림형 가시화 모듈, 외부 기기의 상태 영상으로 획득하는 상태 정보 획득부 및 상태 영상을 분석하여 가상 현실 환경 정보에 상응하는 영상을 생성하여 슬림형 가시화 모듈에 입력시키는 콘텐츠 제어부를 포함하되, 슬림형 가시화 모듈은, 외부로부터 입력되는 영상 신호를 출력하는 디스플레이 패널 및 적어도 둘 이상의 굴절 렌즈들로 제작되어, 디스플레이 패널에 출력되는 영상에 상응하는 직진하는 가시광을 적어도 둘 이상의 굴절 렌즈들을 통해 굴절 및 반사시켜 사용자 안구의 망막에 결상시키는 광학부를 포함할 수 있다.
이때, 콘텐츠 제어부는, 외부 기기를 센싱하는 정보 출력부의 제품 종류별 상태 영상을 기반으로 미리 학습되어, 상태 정보 획득부로부터 입력된 외부 기기를 센싱하는 정보 출력부의 상태 영상에서 외부 기기의 정보를 인식하는 영상 정보 인식부, 영상 정보 인식부로부터 인식된 외부 기기의 정보를 기반으로 가상 현실 콘텐츠에서의 객체의 기능을 시뮬레이션한 결과로 가상 객체의 상태를 갱신하는 훈련 관리부 및 가상 객체의 상태가 갱신된 콘텐츠의 영상 정보를 가상 현실 처리하여 슬림형 가시화 모듈에 출력하는 가상 현실 처리부를 포함할 수 있다.
실시예에 따라, 시야각 약 100°에 가까운 몰입 영상을 제시하는 디스플레이가 사용자 눈앞의 수십 mm이내의 공간에 구축될 수 있는 장점이 있다. 그러므로, 호흡기 등 안면부에 관련된 추가 장비 착용이 가능하다.
실시예에 따라, 슬림형 가시화 인터페이스 및 장비 상태 정보 획득 및 연동 기술은 일반적인 훈련 시스템이 추구해야 되는 동일한 현장감의 유지를 가능하게 함으로써 훈련시스템의 효과를 향상시키는 장점을 가진다.
실시예에 따른 가시화 모듈은 소방, 군사, 의료, 안전, 방역 등 다양한 분야에서 활용되는 안면 마스크 형태의 호흡기를 사용하는 상황을 고려한 가상훈련 시스템을 구현할 때, (양압식 호흡기의) 현장의 사용감을 유지하는 인터페이스 구현 기술로 범용적으로 활용될 수 있다.
도 1은 실시예에 따른 슬림형 몰입 디스플레이 장치의 개략적인 구성도이다.
도 2는 양압식 호흡기의 착용 예시도이다.
도 3은 가상 현실 훈련을 위한 HMD와 음압식 호흡기의 착용 예시도이다.
도 4는 실시예에 따른 슬림형 가시화 모듈의 착용 측면 및 상면 예시도이다.
도 5는 실시예에 따른 슬림형 가시화 모듈의 착용 정면 예시도이다.
도 6은 실시예에 따른 슬림형 가시화 모듈을 상세하게 설명한 도면이다.
도 7은 실시예에 따른 슬림형 가시화 모듈에 포함된 디스플레이 패널 및 광학부의 구조도이다.
도 8은 실시예에 따른 광학부에서의 광 경로의 예시도이다.
도 9는 실시예에 따른 양안식 슬림형 가시화 모듈의 구조도이다.
도 10은 실시예에 따른 콘텐츠 제어부 및 상태 정보 획득부 간의 연동 구성도이다.
도 11 및 도 12는 실시예에 따른 상태 정보 획득부의 구조도이다.
도 13은 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
실시예는 사용자가 현장 상황과 동일한 체험을 할 수 있는 슬림형 몰입 디스플레이 장치에 관한 것으로, 실시예에 따른 슬림형 몰입 디스플레이 장치는 소방관이 가상 공간에서 개별 체험 및 협업 훈련을 진행하는 가상 현실 소방 훈련을 위한 HMD에 적용될 수 있다. 그러나, 이는 본 발명의 이해를 돕기 위한 일 예일 뿐, 본 발명은 이에 한정되지 않는다. 즉, 실시예에 따른 슬림형 몰입 디스플레이 장치는 가상 현실 소방 훈련뿐만 아니라, 가상 현실(Virtual Reality, VR), 증강 현실(Augmented Reality, AR) 및 혼합 현실(Mixed Reality, MR) 분야가 적용되는 다양한 콘텐츠에 활용될 수 있다.
도 1은 실시예에 따른 슬림형 몰입 디스플레이 장치의 개략적인 구성도이다.
도 1을 참조하면, 실시예에 따른 슬림형 몰입 디스플레이 장치는, 안면 착용형 호흡기(1) 및 신체 내외에 위치시키는 호흡 공기 저장부(4)와 같은 현실 장비와 함께 사용되어 가상 현실 훈련에 사용될 수 있다.
상세하게는, 슬림형 몰입 디스플레이 장치는, 슬림형 가시화 모듈(100), 콘텐츠 제어부(200) 및 상태 정보 획득부(300)를 포함할 수 있다.
슬림형 가시화 모듈(100)은, 외부로부터 입력되는 영상 신호를 사용자 안구 망막에 결상시킨다. 이때, 실시예에 따라, 슬림형 가시화 모듈(100)은, 사용자 호흡기 착용부의 내부 공간(1a)에서 착용 가능하도록, 적어도 둘 이상의 굴절 렌즈들을 이용하여 디스플레이 패널로부터 사용자 안구로의 광 경로를 단축시키는 것을 특징으로 한다. 이러한 슬림형 가시화 모듈(100)에 대한 상세 설명은 도 2 내지 9를 참조하여 후술하기로 한다.
콘텐츠 제어부(200)는, 슬림형 가시화 모듈(100)을 통해 출력할 가상 현실 영상을 훈련 상황에 매칭되도록 적응적으로 생성하여 제공한다. 여기서, 콘텐츠 제어부(200)는, 신체에 착용하는 백팩 PC 또는 원격 무선 연결형 가상 현실 콘텐츠 운영 서버로 구현될 수 있다.
실시예에 따라, 콘텐츠 제어부(200)는, 상태 정보 획득부(300)에서 획득된 외부 기기에 대한 상태 영상을 분석하여 가상 현실 환경 정보에 상응하는 영상을 생성하여 슬림형 가시화 모듈(100)에 입력시킨다. 즉, 콘텐츠 제어부(200)는, 호흡 공기 저장부(4)와 같은 현실 장비의 현재 상태, 예컨대, 공기 잔량의 상태를 출력하는 계측기를 촬영한 영상을 분석하여, 공기 잔량의 상태에 따라 그에 상응하는 가상 현실 영상을 생성하는 것이다.
상태 정보 획득부(300)는, 외부 기기의 상태를 영상으로 획득할 수 있다. 즉, 상태 정보 획득부(300)는, 현실 공간에 존재하는 외부기기 상태 정보 출력부(320)에 의해 모니터링되는 호흡 공기 저장부(4)와 같은 외부 기기의 상태, 즉, 공기 잔량 등의 계측 정보를 영상으로 획득할 수 있다. 도 1에는 외부 기기의 일 예로 호흡 공기 저장부(4)가 도시되어 있으나, 이는 이해를 돕기 위한 일 예일 뿐 본 발명은 이에 한정되지 않는다.
추가적으로, 상태 정보 획득부(300)는, 사용자(1)의 생체 신호 정보를 수집하는 사용자 생체 정보 출력부가 측정한 상태 정보를 더 획득할 수 있다.
이러한 상태 정보 획득부(300) 및 상태 정보 획득부(300)와 연동하는 콘텐츠 제어부(200)의 구성 및 동작에 대한 상세한 설명은 도 10 내지 도 12를 참조하여 후술하기로 한다.
그러면, 우선 도 2 내지 도 11을 참조하여, 실시예에 따른 슬림형 가시화 모듈(100)에 대해 살펴보기로 한다.
종래의 가상 현실 소방 훈련에는 가상 현실 인터페이스로 HMD가 주로 사용되는데, 훈련자는 HMD와 호흡기를 동시에 착용하여야 한다.
도 2는 양압식 호흡기의 착용 예시도이다.
도 2를 참조하면, 양압식 호흡기(1)는, 면체 내부의 압력이 외부보다 높아서 외부의 유해 가스 유입을 방지하고, 사용자의 호흡량에 따라 일정한 공기압이 유지되도록 호흡기 밸브의 개폐가 제어되어, 소방관들을 보호하기 위한 장비이다.
양압식 호흡기(1)는, 안면부 전체를 커버하는 투명 바이저(1a)와 호흡기(1b)가 일체로 제작된다. 그런데, HMD는 양압식 호흡기(1)의 투명 바이저(1a)의 내부에 착용하기에는 그 부피가 크고, 양압식 호흡기(1)의 외부에 착용될 수도 없다.
따라서, 선행 사례로 가상 현실 소방 훈련에서는 HMD의 착용 문제로 소방관들이 실제로 사용하는 양압식 호흡기(1a,1b)가 아닌 구조자용으로 사용하는 음압식 호흡기가 사용된다.
도 3은 가상 현실 훈련을 위한 HMD와 음압식 호흡기의 착용 예시도이다.
도 3을 참조하면, 음압식 호흡기(2b)는, 안면부가 개방되므로, HMD(3)를 착용할 수 있게 된다. 이러한 음압식 호흡기(2b)는, 사용자가 공기를 빨아들일 때 호흡기(2b)가 개방되는 방식으로, 외부 유독 가스가 호흡기(2b) 내부로 침투할 가능성이 있다.
따라서, 이와 같은 음압식 호흡기(2b)를 사용하여 가상 현실 소방 훈련을 진행하게 될 경우, 소방관은 현장 상황과 동일한 호흡 감각 체험을 할 수 없다. 즉, 실제 소방 현장에서 사용하는 양압식 호흡기(1a,1b)를 사용할 때와는 이질감이 커진다.
따라서, 음압식 호흡기(2b)를 사용한 가상 현실 소방 훈련은 소방관이 아닌 비전문가를 대상으로 현장 장비와 연계 활용하는 것처럼 시연하기에는 적절할 수 있으나, 현장 대응 능력을 훈련을 통해 경험해야 하는 소방관을 대상으로 하기에는 부적절하다 할 수 있다.
도 4는 실시예에 따른 슬림형 가시화 모듈의 착용 측면 및 상면 예시도이고, 도 5는 실시예에 따른 슬림형 가시화 모듈의 착용 정면 예시도이다.
도 4에 도시된 바와 같이, 상용 HMD(3)는 사용자의 눈 주위의 안면부로부터 상대적으로 두께(L1)가 큰 형태로 제작되어, 양압식 호흡기의 투명 바이저(1a)의 허용 공간 두께(L2)를 훨씬 넘어서게 된다.
따라서, 실시예에 따른 슬림형 가시화 모듈(100)은, 그 두께(L3)가 허용 공간 두께(L2)보다 얇게 제작되어, 예컨대, 도 5에 도시된 사용자의 눈 부분에 밀착된 안대 수준의 슬림한 형상으로 제작되어, 양압식 호흡기(1a,1b)의 투명 바이저(1a) 내에 착용 가능하도록 하여야 한다.
도 6은 실시예에 따른 슬림형 가시화 모듈을 상세하게 설명한 도면이고, 도 7은 실시예에 따른 슬림형 가시화 모듈에 포함된 디스플레이 패널 및 광학부의 구조도이고, 도 8은 실시예에 따른 광학부에서의 광 경로의 예시도이다.
도 6 및 도 7을 참조하면, 실시예에 따른 슬림형 가시화 모듈(100)은, 디스플레이 패널(110) 및 광학부(120)를 포함할 수 있다.
또한, 도면에는 도시되어 있지 않지만, 슬림형 가시화 모듈(100)은, 몸체부에 디스플레이 패널(110) 및 광학부(120)를 실장하고, 몸체부의 양단에 밴드부 또는 걸림 고정부 등이 결합되어, 몸체부가 눈을 감싼 상태에서 사용자의 머리 둘레 또는 귀 등에 고정될 수 있도록 할 수 있다.
디스플레이 패널(110)은, 콘텐츠 제어부(200)에 의해 생성된 영상을 출력하는 수단으로, LCD, LCOS, DLP 및 OLED 를 포함하는 착용형 디스플레이 패널 부품들 중 어느 하나로 마련될 수 있다.
그런데, 디스플레이 패널(110)이 사용자 안구와의 거리가 약 10cm 이내로 근접되어 있을 경우, 일반적인 시력을 가진 사람은 수정체의 근거리 조절 능력의 한계로 인해서 디스플레이 패널(110)에 출력된 영상을 선명하게 볼 수 없다. 따라서, 상용 HMD(예; Oculus RIFT, HTC VIVE)에서는 디스플레이 패널과 사용자 안구 사이에 광학부(120)를 추가 구비하여, 물리적으로 근접하게 위치한 디스플레이 패널의 영상을 일정 거리(예, 2~3m)만큼 이격된 허상으로 가시화시키는 기술이 적용되고 있다.
실시예에서는 종래의 HMD 두께(L1) 보다 작은 면체형 바이저 내부 공간 두께(L2)에 수용될 수 있는 두께(L3)와 인간의 시각 시스템 구조의 특징(human factor)에 대응할 수 있는 슬림형 가시화 모듈(100)로 구조적으로 설계되도록 한다.
이를 위해, 실시예에 따른 광학부(120)는, 적어도 둘 이상의 굴절 렌즈들로 제작되어, 디스플레이 패널(110)에 출력되는 영상에 상응하는 직진하는 가시광을 적어도 둘 이상의 굴절 렌즈들을 통해 굴절 및 반사시켜 사용자 안구의 망막에 결상시킨다.
이는 종래의 상용 HMD의 광학부는 약 60mm 이상의 두께를 가지는데, 이는 대부분 단일 렌즈로 구성되기 때문이다. 따라서, 실시예에서는 이러한 두께를 약 30mm이내로 슬림화시키기 위해, 적어도 둘 이상의 굴절 렌즈들을 사용하여 직진하는 가시광 경로를 단축시킨다.
그러면, 2개의 렌즈들로 구성된 광학부(120)의 실시예에 대해 도 7 및 도 8을 참조하여 살펴보기로 한다. 그러나, 이는 일 실시예일뿐, 본 발명의 광학부(120)에 구성되는 렌즈들의 개수가 2개만으로 한정되는 것은 아니다.
도 7를 참조하면, 실시예에 따른, 광학부(120)는, 일면(R1)이 사용자 안구 망막에 대면하는 제1 렌즈(L1) 및 일면(R3)이 제1 렌즈(L1)의 타면(R2)에 대면하고, 타면(R4)이 디스플레이 패널(110)에 대면하는 제2 렌즈(L2)로 구성될 수 있다.
이때, 제1 렌즈(L1) 및 제2 렌즈(L2)는, 대략 1.5 내지 1.7의 굴절률을 가진 소재로 제작될 수 있다.
이때, 제1 렌즈(L1)의 일면(R1)의 곡률은 제1 렌즈(L1)의 타면(R2)의 곡률보다 작고, 제2 렌즈(L2)의 타면(R4)의 곡률은 제2 렌즈(L2)의 일면(R3)의 곡률보다 작은 구조를 가질 수 있다.
이때, 일 예로 곡면들 각각에서의 곡률은 다음의 <표 1>의 값을 기준으로 -5% 내지 +5% 범위 내의 값으로 설계될 수 있다.
곡면 곡률
R1 25
R2 134.75
R3 121.89
R4 32.25
따라서, 도 8에 도시된 바와 같이, 디스플레이 패널(110)로부터 출력되는 영상은 제2 렌즈(L2) 및 제1 렌즈(L1)를 순차적으로 통과하여 1차 굴절된다. 그러면, 1차 굴절된 영상은 제1 렌즈(L1)의 일면(R1)에 의해 반사되어 제1 렌즈(L1) 및 제2 렌즈(L2)를 순차적으로 통과하여 2차 굴절된다. 이를 위해, 일 예로, 제1 렌즈(L1)의 일면(R1)에 볼록(CONVEX) 반사 코팅(126)되어 있을 수 있다.
그런 후, 2차 굴절된 영상은 제2 렌즈(L2)의 타면(R4)에 의해 반사되어 제2 렌즈(L2) 및 제1 렌즈(L1)를 순차적으로 통과하여 3차 굴절되어 사용자 동공에 전달될 수 있다. 이를 위해, 일 예로, 제2 렌즈(L2)의 타면(R4)에도 오목(CONCAVE) 반사 코팅(125)되어 있을 수 있다.
이를 통해, 단일 렌즈로 구성된 상용 HMD에서는 디스플레이 패널(110)에서 동공까지 적어도 약 50mm 이상의 광 경로 길이가 요구되는 것과 비교할 때, 실시예에 따른 광학부(120)는 적어도 2개의 렌즈들로 총 6회 렌즈를 통과하는 광 경로를 형성하여, 물리적인 광 경로의 길이가 대략 25mm 이하로 단축될 수 있다. 즉, 종래의 상용 HMD와 비교할 때, 광 경로의 길이를 반 이상 단축시킬 수 있게 되어 광학부(120)가 슬림화될 수 있다.
이때, 실시예에 따른 광학부(120)의 설계와 시뮬레이션은 CODE V와 Light Tools를 활용해서 진행되었으며, 시야각은 상용 HMD와 유사하게 100°를 초과하는 수치로 최적화 설계가 될 수 있다.
한편, 도 7에 도시된 바와 같은 슬림화된 광학부(120)의 구조에서는 재반사로 인한 다중 겹침 영상 효과가 발생될 수 있다. 이러한 부작용을 감소시키기 위해 디스플레이 패널(110)에서 LCD와 같이 편광이 출력되지 않는 경우(예; OLED 패널), 실시예에 따른 광학부(120)에는 복수의 편광 필터들과 함께 1/4파장 위상 지연기(retarder; Quarter-Wave Plate)들이 사용될 수 있다.
즉, 도 8을 참조하면, 실시예에 따른 광학부(120)는, 디스플레이 패널(110)과 제2 렌즈(L2) 사이에 배치되는 편광 필터(121), 편광 필터(121)와 제2 렌즈(L2) 사이에 배치되는 1/4파장 위상 지연기(122), 제2 렌즈(L2)와 제1 렌즈(L1) 사이에 배치되는 1/4파장 위상 지연기(123), 제1 렌즈(L2)와 사용자 안구 망막 사이에 배치되는 선형 편광 필터(linear polarizer)(124)를 더 포함할 수 있다.
이러한 광학필터(waveplate)는 디스플레이 패널(110)에서 생성된 빛에 편광 특성을 부여하고, 다중의 필터 통과 및 반사 과정에 따른 빛의 속성의 변화를 통해, 디스플레이 패널(110)에서 시작된 빛이 물리적인 렌즈 모듈 두께 이상의 거리에 상응하는 경로를 지나면서 최종적으로 사용자의 눈에 도달하게 된다. 이로써, 확대 광학계를 형성하는 효과가 창출된다.
도 8에 도시된 바와 같이 구성된 광학부(120)에서의 광이 진행되는 순서 및 경로를 정리하면 다음의 <표 2>과 같을 수 있다.
0. 영상패널에서 빛 시작(양[+]의 방향)
1. P-편광필터(121) 통과, 편광 생성(P-polarization))
2. [+] 1/4 λ 리타더(122) 통과, left hand 원형 평광 생성(C-polarization))
3. [+]렌즈 곡면 R4 통과, 굴절광 생성
4. [+]렌즈 곡면 R3 통과, 굴절광 생성
5. [+]1/4 λ 리타더(123) 통과, 편광 생성(S-polarization))
6. [+]렌즈곡면 R2 통과, 굴절광 생성
7. R1 convex 면(126) 반사, 편광 위상 반전(S'-polarization))
8. [-]렌즈곡면 R2 통과, 굴절광 생성
9. [-]1/4 λ 리타더(123) 통과, 원형 편광 생성(C'-polarization))
10. [-] 렌즈곡면 R3 통과, 굴절광 생성
11. [-]R4 concave 면(125) 반사, 위상 반전 원형 편광 생성(C"-polarization))
12. [+]렌즈곡면 R3 통과, 굴절광 생성
13. [+]1/4 λ 리타더(123) 통과, 편광 생성(P"-polarization))
14. [+]렌즈곡면 R2 통과, 굴절광 생성
15. [+]렌즈곡면 R1 통과, 굴절광 생성
16. [+]P-편광필터(124) 통과(최종 P"-polarization light만 동공 도착))
즉, 도 8 및 <표 1>을 참조하면, 최초에 디스플레이 패널(110)에서 출력된 빛은 사람 눈을 향하는 방향(이하 '양방향'으로 기재함)으로 진행되어, P-편광 필터(121)를 통과하면서 편광이 생성(P-polarization)된다. 그런 후, 편광은 1/4 위상 지연기(122)를 통과하여, 왼손(left hand) 원형 편광으로 생성(C-polarization)된다. 그런 후, 빛은 계속적으로 양방향으로 진행하여 제2 렌즈(L2)의 곡면 R4 및 곡면 R3를 차례로 통과하면서, 각각 굴절된다. 그런 후, 굴절된 빛은 1/4 위상 지연기(123)를 통과하여, 편광이 생성(S-polarization)된다. 생성된 편광은 제1 렌즈(L1)의 곡면 R2를 통과하여 굴절되고, 굴절광은 제1 렌즈(L1) 곡면 R1의 볼록(convex)면에서 반사되어, 편광 위상 반전(S´-polarization)된다. 즉, 디스플레이 패널(110)로부터 계속적으로 양방향으로 진행되던 빛이 제1 렌즈(L1)의 곡면 R1에서 반대 방향인 음방향으로 위상 반전된다.
그런 후, 음방향으로 진행하게 되는 빛은 제1 렌즈(L1)의 곡면 R2를 통과하면서 굴절되고, 1/4 위상 지연기(123)을 통과하여 원형 편광 생성(C'-polarization) 된다. 그런 후, 원형 편광된 빛은 제2 렌즈(L2)의 곡면 R3를 통과하여 굴절된다. 굴절된 빛은 음의 방향으로 계속 진행하여 제2 렌즈(L2) 곡면 R4의 오목(concave)면에서 반사되어, 위상 반전 원형 편광 생성(C"-polarization)된다. 즉, 제1 렌즈(L1) 곡면 R1의 볼록(convex)면에서 반사되어 계속적으로 음의 방향으로 진행되던 빛은 제2 렌즈(L2)의 곡면 R4에서 반대 방향인 양방향으로 다시 위상 반전된다.
그러면, 양 방향으로 진행하게 되는 빛은 제2 렌즈(L2)의 곡면 R3를 통과하여 굴절되고, 1/4 위상 지연기(123)을 통과하여, 편광 생성(P"-polarization)된다. 그런 후, 빛은 제1 렌즈(L1)의 곡면 R2를 통과하여 굴절되고, 제1 렌즈(L1)의 곡면 R1을 통과하면서 굴절된다. 마지막으로, 광은 양의 방향으로 계속 진행하여, P-편광필터 통과하고, 최종적으로 P-편광 필터된 광이 사용자 동공에 도착한다.
한편, 실시예에 따른 슬림형 가시화 모듈(100)은, 디스플레이 패널(110) 및 광학부(120)가 일체형의 모듈로 구현되되, 모듈은, 좌안 및 우안 각각에 상응하도록 분리된 것일 수 있다.
도 9는 실시예에 따른 양안식 슬림형 가시화 모듈의 구조도이다.
도 9를 참조하면, 우안 모듈(100R) 및 좌안 모듈(100L) 각각에는 디스플레이 패널(110) 및 광학부(120)가 각각 좌/우 양안에 대응하는 구조로 면체의 내부에 실장될 수 있다.
이때, 실시예에 따른 양안식 슬림형 가시화 모듈은 우안 모듈(100R)과 좌안 모듈(100L) 간의 간격을 조절하는 양안 간격(Inter Pupil Distance, IPD) 조절부(101a)를 더 포함할 수 있다.
이때, 양안 간격 조절부(101a)는 슬라이더 형태로 이루어져, 우안 모듈(100R)과 좌안 모듈(100L) 각각이 좌우로 슬라이딩되어 그 간격이 조절되는 구조를 가질 수 있다.
이를 통해, 넓은 범위의 사용자 시각적 신체 특성(Human Factor)을 고려한 양안-입체시 영상(stereoscopic image)을 구현할 수 있다. 추가로, 호흡기 면체 내부의 협소한 공간에서 슬림형 가시화 모듈을 배치함에 있어 추가로 공간을 확보할 수 있는 장점을 가진다.
또한, 실시예에 따른 양안식 슬림형 가시화 모듈은 우안 모듈(100R)과 좌안 모듈(100L)의 접합 각도를 조절하는 양안 각도 조절부(101b)를 더 포함할 수 있다.
인간 시각 감각 기관의 해부학적 자료에 의하면, 안구의 광학적 중심축(optical axis)과 망막의 시신경 분포에 따른 시각적 중심축(visual axis)이 약 5.2°정도 차이가 있음이 알려져 있다. 따라서, 각도 조절부(101b)는 다중 기어의 조합 또는 힌지 결합 등의 구조로 제작되어, 0~10°정도의 접힘이 가능하여, 넓은 범위의 인간 시각 특성(human factor)에 대응하는 양안식 몰입형 디스플레이 구현이 가능하다.
따라서, 양안시 간격의 경우 통계적인 데이터에 따르면 평균 약 65mm의 간격을 가지므로, 전술한 바와 같은 양안 간격 조절부(101a) 및 양안 각도 조절부(101b)를 통해, +10~20% 내지 -10~20%의 변화 범위 내에서 양안 간격 및 각도가 변경될 수 있다.
한편, 이러한 양안 간격 조절부(101a) 및 양안 각도 조절부(101b)는 사용자에 의해 수동으로 조절될 수도 있으나, 콘텐츠 제어부(200)에 의해 출력되는 신호에 따라 자동 조절될 수도 있다. 예컨대, 콘텐츠 제어부(200)가 사용자 상태 정보를 기반으로 사용자에게 최적화되도록 양안 간격 조절부(101a) 및 양안 각도 조절부(101b)를 정밀하게 자동 조절할 수도 있다.
도 10은 실시예에 따른 콘텐츠 제어부 및 상태 정보 획득부 간의 연동 구성도이고, 도 11 및 도 12는 실시예에 따른 상태 정보 획득부의 구조도이다.
도 10을 참조하면, 실제 현장에서 사용되는 장비를 가상 현실 훈련에서 활용하기 위해서는 실제 장비를 측정한 출력값을 가상 현실 콘텐츠에 실시간 연동시키는 기술이 필요하다. 예컨대, 실제 장비가 도 1에 도시된 바와 같이 호흡 공기 저장부(4)일 경우, 호흡 공기 저장부(4)의 공기 압력 또는 공기 잔량과 같은 수치가 가상 현실 콘텐츠에 실시간 연동되어야 한다.
그런데, 가상 훈련 시스템을 사용하는 사용자는 HMD 착용으로 외부 환경 관찰이 차단되므로, 이러한 실제 장비를 측정하는 계측기가 출력하는 정보를 획득하는 모듈이 필요하다.
한편, 이러한 소방 현장용 면체형 호흡기의 경우, 현재 공기 탱크의 압력을 표시하는 장치(gauge)는 대부분 시계 바늘형 아날로그 방식이고, 일부는 디지털 표시기가 혼합된 경우도 있다. 그리고, 소방 현장용 호흡기의 경우 국내 외에 다수의 제조사가 있으며, 제조사별로 장치에는 고유의 인터페이스 형상을 가지고 있다.
따라서, 이와 같은 다양한 방식과 다양한 인터페이스 형상의 표시된 현실 장비의 현재 상태 정보를 컴퓨터 기반의 가상 현실 훈련 콘텐츠와 연계시키기 위해서는, 현실 장비의 상태 정보가 디지털화될 수 있어야 한다.
그러므로, 본 발명에서는 기존 소방 장비의 가상 현실 인터페이스화를 위해서, 다양한 아날로그 기반 또는 디지털 혼합형 압력 게이지의 정보를 인식할 수 있도록 게이지의 영상을 촬영할 수 있는 상태 정보 획득부를 제안한다.
도 11을 참조하면, 상태 정보 획득부(300)는, 외부 기기의 정보 출력부인 호흡기 정보 출력부에 탈부착되는 체결 부재(301) 및 외부 기기의 단거리 영상을 획득하는 영상 획득부(302)를 포함할 수 있다.
이때, 체결 부재(301)는, 자석 및 유연 재질에 의해 제작될 수 있다. 예컨대, 다양한 압력 게이지에 탈부착이 가능한 체결 구조로, 예컨대, 자석, 불특정한 형상에 대응하는 유연한 재질(예; 고무, 실리콘 등) 통합 케이스, 벨크로, 벨트 등으로 제작될 수 있다.
영상 획득부(302)는, 게이지 표면에 부착되는 것으로 광원부(예; LED광원)와 함께 쉽게 착탈되는 구조를 가질 수 있다.
이때, 영상 획득부(302)는, 100원짜리 동전 크기 미만의 USB 카메라 등을 활용하여 근접 거리 촬영이 구현될 수 있다.
이때, 일 실시예에 따라, 영상 획득부(302)는, 도 11에 도시된 바와 같이, 압력 게이지와 평행한 방향으로 설치될 수도 있다.
또한, 다른 실시예에 따라, 영상 획득부(302)는, 도 12에 도시된 바와 같이, 압력 게이지와 수직한 방향으로 설치될 수도 있다. 이 경우, 도 12에 도시된 바와 같이, 체결 부재(301)와 영상 획득부(302) 사이에 반사경(303)이 더 배치되어, 호흡기 정보 출력부의 표시 영상을 수직 반사시켜 영상 획득부(302)에 입력되도록 구현될 수도 있다.
다시 도 10을 참조하면, 콘텐츠 제어부(200)는, 영상 정보 인식부(210), 훈련 관리부(220) 및 가상 현실 처리부(230)를 포함한다.
영상 정보 인식부(210)는, 상태 정보 획득부(300)로부터 입력된 외부 기기의 상태 영상에서 외부 기기의 정보를 인식한다.
이러한 영상 정보 인식부(210)는, 외부 기기의 제품 종류별 상태 영상을 패턴 인식과 같은 머신 러닝 기반으로 미리 학습된 모델을 기반으로 구현될 수도 있고, 전통적인 영상 처리 기술을 활용하여 구현될 수도 있다.
이를 위해, 콘텐츠 제어부(200)는, 제품 DB(240)를 더 포함하여, 외부 기기의 상용 제품에 대응하는 영상 인식에 필요한 정보를 미리 구축해 둘 수 있다.
훈련 관리부(220)는, 영상 정보 인식부(210)로부터 인식된 외부 기기의 정보를 기반으로 가상 현실 콘텐츠에서의 객체의 기능을 시뮬레이션한 결과로 가상 객체의 상태를 갱신한다.
즉, 훈련 관리부(220)는, 인식된 외부 기기의 정보를 기반으로 훈련 DB(260)에 저장된 가상 현실 콘텐츠를 호흡기 에뮬레이터(250)에 시뮬레이션시키고, 시뮬레이션 결과를 기반으로 가상 현실 콘텐츠에 포함된 다양한 객체들의 상태를 갱신하여 훈련 DB(260)에 다시 저장된다. 또한, 훈련 관리부(220)는, 훈련 DB(260)의 사전 훈련 시나리오를 인용하거나 현재의 변화 과정을 데이터베이스에 기록한다.
가상 현실 처리부(230)는, 가상 객체의 상태가 갱신된 콘텐츠의 영상 정보를 가상 현실 처리하여 슬림형 가시화 모듈(100)에 출력한다.
예컨대, 가상 현실 처리부(230)는, 게이지(320)가 표시한 호흡기 착용부(1)의 상태를 단순히 수치로 표시하는 것이 아니라, 다양한 시각적 표현의 가상 게이지로 변형시켜 슬림형 가시화 모듈(100)에 출력되도록 할 수 있다.
한편, 상태 정보 획득부(300)는, 사용자 생체 신호 정보를 더 수집할 수 있다.
그러면, 콘텐츠 제어부(200)는, 사용자 생체 신호 정보를 콘텐츠에 더 반영할 수 있다. 즉, 훈련 관리부가 수집하는 정보는, 사용자 생체 신호 정보(예; 체온, 심박수, 긴장도 등)를 수집해서 콘텐츠 내용 갱신에 활용할 수 있다.
도 13은 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.
실시예에 따른 콘텐츠 제어부(200)는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.
컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (20)

  1. 외부로부터 입력되는 영상 신호를 출력하는 디스플레이 패널; 및
    적어도 둘 이상의 굴절 렌즈들로 제작되어, 디스플레이 패널에 출력되는 영상에 상응하는 직진하는 가시광을 적어도 둘 이상의 굴절 렌즈들을 통해 굴절 및 반사시켜 사용자 안구의 망막에 결상시키는 광학부를 포함하되,
    광학부는,
    일면이 사용자 안구 망막에 대면하는 제1 렌즈; 및
    일면이 제1 렌즈의 타면에 대면하고, 타면이 디스플레이 패널에 대면하는 제2 렌즈로 구성되되,
    디스플레이 패널로부터 출력되는 영상은 제2 렌즈 및 제1 렌즈를 순차적으로 통과하여 1차 굴절되고,
    1차 굴절된 영상은 제1 렌즈의 일면에 의해 반사되어 제1 렌즈 및 제2 렌즈를 순차적으로 통과하여 2차 굴절되고,
    2차 굴절된 영상은 제2 렌즈의 타면에 의해 반사되어 제2 렌즈 및 제1 렌즈를 순차적으로 통과하여 3차 굴절되어 사용자 동공에 전달되는, 슬림형 가시화 장치.
  2. 제1 항에 있어서,
    제1 렌즈의 일면의 곡률은 제1 렌즈의 타면의 곡률보다 작고,
    제2 렌즈의 타면의 곡률은 제2 렌즈의 일면의 곡률보다 작은, 슬림형 가시화 장치.
  3. 제2 항에 있어서,
    제1 렌즈의 일면에 볼록(CONVEX) 반사 코팅되고,
    제2 렌즈의 타면에 오목(CONCAVE) 반사 코팅되는, 슬림형 가시화 장치.
  4. 제1 항에 있어서, 광학부는,
    디스플레이 패널과 제2 렌즈 사이에 배치되는 편광 필터;
    편광 필터와 제2 렌즈 사이에 배치되는 1/4파장 위상 지연기;
    제2 렌즈와 제1 렌즈 사이에 배치되는 1/4파장 위상 지연기; 및
    제1 렌즈와 사용자 안구 망막 사이에 배치되는 선형 편광 필터를 더 포함하는, 슬림형 가시화 장치.
  5. 제2 항에 있어서,
    제1 렌즈 및 제2 렌즈의 굴절률의 값은 1.5 ~ 1.7의 범위 내의 값으로 설계되고,
    제1 렌즈의 일면의 곡률의 값은 25를 중심으로 -5% 내지 +5% 범위 내의 값으로 설게되고,
    제1 렌즈의 타면의 곡률의 값은 134.75를 중심으로 -5% 내지 +5% 범위 내의 값으로 설게되고,
    제2 렌즈의 일면의 곡률의 값은 121.89를 중심으로 -5% 내지 +5% 범위 내의 값으로 설게되고,
    제2 렌즈의 타면의 곡률의 값은 32.25를 중심으로 -5% 내지 +5% 범위 내의 값으로 설게되는, 슬림형 가시화 장치.
  6. 제1 항에 있어서,
    디스플레이 패널 및 광학부가 일체형의 모듈로 구현되되,
    모듈은,
    좌안 및 우안 각각에 상응하도록 분리되고,
    우안 모듈과 좌안 모듈 간의 간격을 조절하는 양안 간격 조절부를 더 포함하는, 슬림형 가시화 장치.
  7. 제1 항에 있어서,
    디스플레이 패널 및 광학부가 일체형의 모듈로 구현되되,
    모듈은,
    좌안 및 우안 각각에 상응하도록 분리되고,
    우안 모듈과 좌안 모듈의 접합 각도를 조절하는 양안 각도 조절부를 더 포함하는, 슬림형 가시화 장치.
  8. 외부로부터 입력되는 영상 신호를 사용자 안구 망막에 결상시키는 슬림형 가시화 모듈;
    외부 기기의 상태를 영상으로 획득하는 상태 정보 획득부; 및
    상태 영상을 분석하여 가상 현실 환경 정보에 상응하는 영상을 생성하여 슬림형 가시화 모듈에 입력시키는 콘텐츠 제어부를 포함하되,
    콘텐츠 제어부는,
    외부 기기를 센싱하는 정보 출력부의 제품 종류별 상태 영상을 기반으로 미리 학습되어, 상태 정보 획득부로부터 입력된 외부 기기를 센싱하는 정보 출력부의 상태 영상에서 외부 기기의 정보를 인식하는 영상 정보 인식부;
    영상 정보 인식부로부터 인식된 외부 기기의 정보를 기반으로 가상 현실 콘텐츠에서의 객체의 기능을 시뮬레이션한 결과로 가상 객체의 상태를 갱신하는 훈련 관리부; 및
    가상 객체의 상태가 갱신된 콘텐츠의 영상 정보를 가상 현실 처리하여 슬림형 가시화 모듈에 출력하는 가상 현실 처리부를 포함하는, 슬림형 몰입 디스플레이 장치.
  9. 제8 항에 있어서, 상태 정보 획득부는,
    외부 기기를 센싱하는 정보 출력부에 탈부착되는 체결 부재; 및
    외부 기기를 센싱하는 정보 출력부의 단거리 영상을 획득하는 영상 획득부를 포함하는, 슬림형 몰입 디스플레이 장치.
  10. 제9 항에 있어서, 체결 부재는,
    자석 및 유연 재질에 의해 제작되는, 슬림형 몰입 디스플레이 장치.
  11. 제8 항에 있어서, 상태 정보 획득부는,
    고유의 아날로그 기반 또는 디지털 혼합형 기반의 제품 종류별 고유의 인터페이스 형상을 촬영한 영상을 획득하고,
    훈련 관리부는,
    인식된 외부 기기의 정보를 기반으로 훈련 DB에 저장된 가상 현실 콘텐츠를 에뮬레이터에 시뮬레이션시키고, 시뮬레이션 결과를 기반으로 가상 현실 콘텐츠에 포함된 객체들의 상태를 갱신하여 훈련 DB에 다시 저장하는, 슬림형 몰입 디스플레이 장치.
  12. 제8 항에 있어서, 상태 정보 획득부는,
    사용자 생체 신호 정보를 수집하는 정보 출력부의 상태 영상을 더 획득하고,
    콘텐츠 제어부는,
    사용자 생체 신호 정보를 콘텐츠에 더 반영하는, 슬림형 몰입 디스플레이 장치.
  13. 제8 항에 있어서, 슬림형 가시화 모듈은,
    외부로부터 입력되는 영상 신호를 출력하는 디스플레이 패널; 및
    적어도 둘 이상의 굴절 렌즈들로 제작되어, 디스플레이 패널에 출력되는 영상에 상응하는 직진하는 가시광을 적어도 둘 이상의 굴절 렌즈들을 통해 굴절 및 반사시켜 사용자 안구의 망막에 결상시키는 광학부를 포함하는, 슬림형 몰입 디스플레이 장치.
  14. 제13 항에 있어서, 광학부는,
    일면이 사용자 안구 망막에 대면하는 제1 렌즈; 및
    일면이 제1 렌즈의 타면에 대면하고, 타면이 디스플레이 패널에 대면하는 제2 렌즈로 구성되되,
    제1 렌즈의 일면의 곡률은 제1 렌즈의 타면의 곡률보다 크고,
    제2 렌즈의 타면의 곡률은 제2 렌즈의 일면의 곡률보다 큰, 슬림형 몰입 디스플레이 장치.
  15. 제14 항에 있어서, 광학부는,
    디스플레이 패널과 제2 렌즈 사이에 배치되는 편광 필터;
    편광 필터와 제2 렌즈 사이에 배치되는 1/4파장 위상 지연기;
    제2 렌즈와 제1 렌즈 사이에 배치되는 1/4파장 위상지연기; 및
    제1 렌즈와 사용자 안구 망막 사이에 배치되는 선형 편광 필터를 더 포함하는, 슬림형 몰입 디스플레이 장치.
  16. 제14 항에 있어서,
    제1 렌즈 및 제2 렌즈의 굴절률의 값은 1.5 ~ 1.7의 범위 내의 값으로 설계되고,
    제1 렌즈의 일면의 곡률의 값은 25를 중심으로 -5% 내지 +5% 범위 내의 값으로 설게되고,
    제1 렌즈의 타면의 곡률의 값은 134.75를 중심으로 -5% 내지 +5% 범위 내의 값으로 설게되고,
    제2 렌즈의 일면의 곡률의 값은 121.89를 중심으로 -5% 내지 +5% 범위 내의 값으로 설게되고,
    제2 렌즈의 타면의 곡률의 값은 32.25를 중심으로 -5% 내지 +5% 범위 내의 값으로 설게되는, 슬림형 몰입 디스플레이 장치.
  17. 제13 항에 있어서, 슬림형 가시화 모듈은,
    디스플레이 패널 및 광학부가 일체형의 모듈로 구현되되,
    모듈은,
    좌안 및 우안 각각에 상응하도록 분리되고,
    우안 모듈과 좌안 모듈 간의 간격을 조절하는 양안 간격 조절부를 더 포함하는, 슬림형 몰입 디스플레이 장치.
  18. 제13 항에 있어서, 슬림형 가시화 모듈은,
    디스플레이 패널 및 광학부가 일체형의 모듈로 구현되되,
    모듈은,
    좌안 및 우안 각각에 상응하도록 분리되고,
    우안 모듈과 좌안 모듈의 접합 각도를 조절하는 양안 각도 조절부를 더 포함하는, 슬림형 몰입 디스플레이 장치.
  19. 외부로부터 입력되는 영상 신호를 사용자 안구 망막에 결상시키는 슬림형 가시화 모듈;
    외부 기기를 센싱하는 정보 출력부의 상태 영상으로 획득하는 상태 정보 획득부; 및
    상태 영상을 분석하여 가상 현실 환경 정보에 상응하는 영상을 생성하여 슬림형 가시화 모듈에 입력시키는 콘텐츠 제어부를 포함하되,
    슬림형 가시화 모듈은,
    외부로부터 입력되는 영상 신호를 출력하는 디스플레이 패널; 및
    적어도 둘 이상의 굴절 렌즈들로 제작되어, 디스플레이 패널에 출력되는 영상에 상응하는 직진하는 가시광을 적어도 둘 이상의 굴절 렌즈들을 통해 굴절 및 반사시켜 사용자 안구의 망막에 결상시키는 광학부를 포함하되,
    광학부는,
    일면이 사용자 안구 망막에 대면하는 제1 렌즈; 및
    일면이 제1 렌즈의 타면에 대면하고, 타면이 디스플레이 패널에 대면하는 제2 렌즈로 구성되되,
    디스플레이 패널로부터 출력되는 영상은 제2 렌즈 및 제1 렌즈를 순차적으로 통과하여 1차 굴절되고,
    1차 굴절된 영상은 제1 렌즈의 일면에 의해 반사되어 제1 렌즈 및 제2 렌즈를 순차적으로 통과하여 2차 굴절되고,
    2차 굴절된 영상은 제2 렌즈의 타면에 의해 반사되어 제2 렌즈 및 제1 렌즈를 순차적으로 통과하여 3차 굴절되어 사용자 동공에 전달되는, 슬림형 몰입 디스플레이 장치.
  20. 제19 항에 있어서, 콘텐츠 제어부는,
    외부 기기를 센싱하는 정보 출력부의 제품 종류별 상태 영상을 기반으로 미리 학습되어, 상태 정보 획득부로부터 입력된 외부 기기를 센싱하는 정보 출력부의 상태 영상에서 외부 기기의 정보를 인식하는 영상 정보 인식부;
    영상 정보 인식부로부터 인식된 외부 기기의 정보를 기반으로 가상 현실 콘텐츠에서의 객체의 기능을 시뮬레이션한 결과로 가상 객체의 상태를 갱신하는 훈련 관리부; 및
    가상 객체의 상태가 갱신된 콘텐츠의 영상 정보를 가상 현실 처리하여 슬림형 가시화 모듈에 출력하는 가상 현실 처리부를 포함하는, 슬림형 몰입 디스플레이 장치.
KR1020210099909A 2020-08-26 2021-07-29 슬림형 몰입 디스플레이 장치 및 슬림형 가시화 장치 KR102577437B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/411,716 US11686927B2 (en) 2020-08-26 2021-08-25 Slim immersive display device and slim visualization device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200108031 2020-08-26
KR1020200108031 2020-08-26

Publications (2)

Publication Number Publication Date
KR20220027016A KR20220027016A (ko) 2022-03-07
KR102577437B1 true KR102577437B1 (ko) 2023-09-13

Family

ID=80817690

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210099909A KR102577437B1 (ko) 2020-08-26 2021-07-29 슬림형 몰입 디스플레이 장치 및 슬림형 가시화 장치

Country Status (1)

Country Link
KR (1) KR102577437B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093036A (ja) * 2012-11-06 2014-05-19 Konica Minolta Inc 案内情報表示装置
KR101875313B1 (ko) * 2017-02-13 2018-07-09 (주)네오인터넷 렌즈 조절기를 구비한 헤드마운트 디스플레이
JP2020519964A (ja) * 2017-05-16 2020-07-02 スリーエム イノベイティブ プロパティズ カンパニー 光学システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101128713B1 (ko) * 2010-03-16 2012-03-23 동신대학교산학협력단 스킨스쿠버 체감을 위한 시뮬레이터 시스템
KR20160147494A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 휴먼팩터 기반의 착용형 디스플레이 장치
KR101945452B1 (ko) * 2017-02-24 2019-02-08 (주)에프앤아이 사용자에 대한 심리 상태를 분석하며 치료를 수행하는 가구

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093036A (ja) * 2012-11-06 2014-05-19 Konica Minolta Inc 案内情報表示装置
KR101875313B1 (ko) * 2017-02-13 2018-07-09 (주)네오인터넷 렌즈 조절기를 구비한 헤드마운트 디스플레이
JP2020519964A (ja) * 2017-05-16 2020-07-02 スリーエム イノベイティブ プロパティズ カンパニー 光学システム

Also Published As

Publication number Publication date
KR20220027016A (ko) 2022-03-07

Similar Documents

Publication Publication Date Title
AU2018239264B2 (en) Eye-imaging apparatus using diffractive optical elements
US11256092B2 (en) Binocular wide field of view (WFOV) wearable optical display system
JP6785999B2 (ja) 音響光学制御装置を使用する光投影器
CN104306102B (zh) 针对视觉障碍患者的头戴式视觉辅助系统
KR102205374B1 (ko) 아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들
JP2022502701A (ja) 屈折力を有する回折光学要素
US5123726A (en) Stereoscopic viewing system and method
US5274405A (en) Wide angle viewing system
TW201908812A (zh) 用於眼鏡之可拆卸地可附接擴增實境系統
US11106033B2 (en) Waveguide-based illumination for head mounted display system
CN110770636B (zh) 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制系统
TWI689751B (zh) 用於眼鏡之可拆卸地可附接擴增實境系統
KR102577437B1 (ko) 슬림형 몰입 디스플레이 장치 및 슬림형 가시화 장치
US11686927B2 (en) Slim immersive display device and slim visualization device
US11137608B2 (en) Slim immersive display device, slim visualization device, and user eye-tracking device
CN109116577A (zh) 一种全息隐形眼镜及其应用
CN110989168A (zh) 一种ar消防护目镜
KR102455735B1 (ko) 슬림형 몰입 디스플레이 장치, 슬림형 가시화 장치 및 사용자 시선 추적 장치
JP7485720B2 (ja) 回折光学要素を使用した眼結像装置
US11853476B2 (en) Augmented and virtual reality display systems for oculometric assessments
JP7396628B2 (ja) 画像投影装置、展示装置、評価装置、評価方法及び評価システム
US20240019718A1 (en) Pair of Glasses with Integrated Computing Device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right