KR20180114756A - 헤드 마운티드 디스플레이의 충돌 경고 장치 및 방법 - Google Patents
헤드 마운티드 디스플레이의 충돌 경고 장치 및 방법 Download PDFInfo
- Publication number
- KR20180114756A KR20180114756A KR1020170046847A KR20170046847A KR20180114756A KR 20180114756 A KR20180114756 A KR 20180114756A KR 1020170046847 A KR1020170046847 A KR 1020170046847A KR 20170046847 A KR20170046847 A KR 20170046847A KR 20180114756 A KR20180114756 A KR 20180114756A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- depth information
- collision
- head
- mounted display
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005259 measurement Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Emergency Management (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
헤드 마운티드 디스플레이의 충돌 경고 장치 및 방법이 개시된다. 본 발명에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치는, 헤드 마운티드 디스플레이를 착용한 사용자의 전방에 위치한 장애물과의 거리를 측정하여 거리 데이터를 생성하는 거리 데이터 생성부, 상기 사용자의 모션 데이터를 생성하는 모션 데이터 생성부, 상기 거리 데이터 및 상기 모션 데이터 중 적어도 어느 하나를 기반으로, 상기 사용자의 이동을 감지하는 이동 감지부, 상기 사용자가 이동 상태인 것으로 판단된 경우, 기 저장된 하나 이상의 깊이 정보 중에서 상기 사용자의 모션 데이터에 상응하는 상기 깊이 정보를 검색하는 깊이 정보 검색부, 상기 거리 데이터, 상기 사용자의 모션 데이터 및 검색된 상기 깊이 정보를 기반으로, 상기 사용자와 상기 장애물의 충돌 가능성을 연산하는 충돌 가능성 연산부, 그리고 연산된 상기 충돌 가능성이 임계치 이상인 경우, 상기 사용자에게 충돌을 경고하는 충돌 경고부를 포함한다.
Description
본 발명은 헤드 마운티드 디스플레이의 충돌 경고 기술에 관한 것으로, 특히 헤드 마운티드 디스플레이 사용자에게 장애물과의 충돌을 경고하여, 사용자의 안전성을 확보하는 기술에 관한 것이다.
오늘날 스마트 헬멧은 화재 현장이나 건설 현장, 공장 및 생산 현장 등에서 안전성 및 생산성을 향상시키기 위하여 사용되거나, 플랜트 및 장치 등의 운용 매뉴얼 제공 용도 또는 교육 서비스 용도로 사용되고 있다. 그리고 헤드 마운티드 디스플레이(Head Mounted Display, HMD)는 교육이나 시스템 운영 매뉴얼 이외에도 게임, 콘텐트 감상, AR/VR(Augmented Reality / Virtual Reality)을 위한 착용형 디스플레이 도구로 사용되고 있다.
최근 새롭게 출시되고 있는 몰입형 헤드 마운티드 디스플레이(HMD) 제품들은 대부분 3차원 공간에서 사용자 머리의 자세를 추적하는 6 자유도(Degree of Freedom, DoF) 센서를 지원한다. 특히, 헤드 마운티드 디스플레이(HMD)가 게임용으로 사용될 경우, 모션 추적 기술을 통해 사용자의 머리로 시점을 조정할 수 있으며, 모션 센서 및 트래킹 LED 등을 장착하여 사용자가 직접 머리를 움직이는 것에 반응하여 3D 영상을 디스플레이 할 수 있다.
또한 헤드 마운티드 디스플레이(HMD)는 광시야 각과 고해상도의 3차원 디스플레이도 지원하고 있어, 콘텐트에 대한 몰입도 또한 매우 높은 편이다. 헤드 마운티드 디스플레이(HMD)는 스테레오스코피(stereoscopy) 기술을 채용하여 입체감을 형성하고, 넓은 시야각으로 현장감을 증대시킬 수 있다.
그러나, 이러한 스마트 헬멧은 화재 현장이나 재난 현장 등과 같이 사용 환경에 따라 연기(smoke) 등에 의해 시야가 차단될 가능성이 있다. 또한, 헤드 마운티드 디스플레이(HMD)의 경우에도 몰입감을 높이기 위해 착용 시 사용자의 시야를 차단한다. 이와 같이 시야가 차단된 상태에서 사용자가 움직일 경우, 주변의 장애물과 충돌할 위험이 있다.
스마트 헬멧이나 헤드 마운티드 디스플레이 사용자와 장애물의 충돌을 방지하기 위하여, 사용자의 보행 및 이동을 제한하거나, 별도의 인터페이스를 이용하여 사용자의 움직임을 보호하는 기술이 개발되었다. 그리고 스마트 헬멧이나 헤드 마운티드 디스플레이 전방에 카메라를 부착하고, 촬영된 영상에서 장애물이 탐지될 경우 이를 인식하여 가상 공간 상에 디스플레이하는 기술이 제안되었다.
그러나, 이러한 방법들은 사용자의 물리적 이동을 제한하고, 특정한 인터페이스 장치를 사용해야 하며, 촬영된 영상을 처리하기 위하여 높은 컴퓨팅 자원을 요구한다는 한계가 있다.
따라서, 적은 계산량과 상대적으로 저렴한 비용으로 구현 가능하고, 실시간으로 장애물의 위치를 파악하여 사용자와 장애물의 충돌을 방지할 수 있도록 하는 기술의 개발이 필요하다. 즉, 스마트 헬멧이나 헤드 마운티드 디스플레이(HMD)와 같이 사용자의 시야를 차단한 웨어러블 기기 이용 시, 사용자가 주변의 장애물과 충돌하지 않도록 경고하고, 사용자의 안전성을 확보하는 기술의 개발이 필요하다.
본 발명의 목적은 스마트 헬멧 또는 헤드 마운티드 디스플레이의 사용자가 장애물과 충돌하지 않도록 경고하여, 사용자의 안전성을 확보하는 것이다.
또한, 본 발명의 목적은 사용자의 몰입감 방해를 최소화하며, 사용자에게 장애물과의 충돌을 경고하는 것이다.
또한, 본 발명의 목적은 적은 연산량으로 사용자와 장애물의 충돌 가능성을 판단하고, 사용자에게 실시간으로 장애물과의 충돌을 경고하는 것이다.
또한, 본 발명의 목적은 경량 및 저비용으로 구현하여, 기존 스마트 헬멧 또는 헤드 마운티드 디스플레이의 부피 및 무게에 큰 영향을 미치지 않도록 하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치는 헤드 마운티드 디스플레이를 착용한 사용자의 전방에 위치한 장애물과의 거리를 측정하여 거리 데이터를 생성하는 거리 데이터 생성부, 상기 사용자의 모션 데이터를 생성하는 모션 데이터 생성부, 상기 거리 데이터 및 상기 모션 데이터 중 적어도 어느 하나를 기반으로, 상기 사용자의 이동을 감지하는 이동 감지부, 상기 사용자가 이동 상태인 것으로 판단된 경우, 기 저장된 하나 이상의 깊이 정보 중에서 상기 사용자의 모션 데이터에 상응하는 상기 깊이 정보를 검색하는 깊이 정보 검색부, 상기 거리 데이터, 상기 사용자의 모션 데이터 및 검색된 상기 깊이 정보를 기반으로, 상기 사용자와 상기 장애물의 충돌 가능성을 연산하는 충돌 가능성 연산부, 그리고 연산된 상기 충돌 가능성이 임계치 이상인 경우, 상기 사용자에게 충돌을 경고하는 충돌 경고부를 포함한다.
이때, 상기 사용자가 정지 상태인 것으로 판단된 경우, 상기 모션 데이터와 상기 모션 데이터에 상응하는 상기 거리 데이터를 이용하여 상기 깊이 정보를 생성하는 깊이 정보 생성부, 그리고 생성된 상기 깊이 정보를 저장하는 깊이 정보 데이터베이스를 더 포함할 수 있다.
이때, 상기 깊이 정보 생성부는, 상기 사용자의 움직임이 감지된 경우, 움직임에 따른 상기 모션 데이터 및 상기 거리 데이터를 이용하여 상기 깊이 정보를 생성할 수 있다.
이때, 상기 깊이 정보 생성부는, 상기 깊이 정보 데이터베이스에 기 저장된 상기 깊이 정보와 생성된 상기 깊이 정보를 비교하고, 상기 기 저장된 깊이 정보와 상기 생성된 깊이 정보의 차이가 갱신 임계값 이상인 경우, 상기 생성된 깊이 정보를 상기 깊이 정보 데이터베이스에 저장할 수 있다.
이때, 상기 깊이 정보 데이터베이스는, 상기 사용자와 상기 장애물 간 거리를 나타내는 상기 거리 데이터를 상기 사용자의 모션 데이터 별로 저장할 수 있다.
이때, 하나 이상의 상기 장애물에 상응하는 상기 거리 데이터를 이용하여, 장애물 지도를 생성하고, 생성된 상기 장애물 지도를 저장하는 장애물 지도 생성부를 더 포함할 수 있다.
이때, 상기 이동 감지부는, 상기 사용자의 이동 방향 및 이동 속도 중 적어도 어느 하나를 연산하고, 상기 충돌 가능성 연산부는, 상기 거리 데이터, 상기 모션 데이터, 상기 이동 방향 및 상기 이동 속도 중 적어도 어느 하나를 기반으로 상기 사용자와 상기 장애물의 충돌 예측 시간을 연산하며, 상기 충돌 예측 시간과 충돌 시간 임계값을 비교하여 상기 충돌 가능성을 연산할 수 있다.
이때, 상기 거리 데이터 생성부는, 거리 측정 센서를 이용하여 상기 장애물과 상기 사용자 간의 거리를 측정할 수 있다.
이때, 상기 모션 데이터 생성부는, 관성 측정 센서(IMU)를 이용하여 상기 사용자의 움직임 및 이동에 상응하는 상기 모션 데이터를 생성할 수 있다.
이때, 상기 충돌 경고부는, 상기 헤드 마운티드 디스플레이에 구비된 디스플레이부 및 음향 출력부 중 적어도 어느 하나로 충돌 경고 메시지를 전송할 수 있다.
또한, 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치에 의해 수행되는 헤드 마운티드 디스플레이의 충돌 경고 방법은 헤드 마운티드 디스플레이를 착용한 사용자의 전방에 위치한 장애물과의 거리를 측정하여 거리 데이터를 생성하는 단계, 상기 사용자의 모션 데이터를 생성하는 단계, 상기 거리 데이터 및 상기 모션 데이터 중 적어도 어느 하나를 기반으로, 상기 사용자의 이동을 감지하는 단계, 상기 사용자가 이동 상태인 것으로 판단된 경우, 깊이 정보 데이터베이스에서 상기 사용자의 모션 데이터에 상응하는 깊이 정보를 검색하는 단계, 상기 거리 데이터, 상기 사용자의 모션 데이터 및 검색된 상기 깊이 정보를 기반으로, 상기 사용자와 상기 장애물의 충돌 가능성을 연산하는 단계, 그리고 연산된 상기 충돌 가능성이 임계치 이상인 경우, 상기 사용자에게 충돌을 경고하는 단계를 포함한다.
이때, 상기 사용자가 정지 상태인 것으로 판단된 경우, 상기 모션 데이터와 상기 모션 데이터에 상응하는 상기 거리 데이터를 이용하여 상기 깊이 정보를 생성하는 단계, 그리고 생성된 상기 깊이 정보를 상기 깊이 정보 데이터베이스에 저장하는 단계를 더 포함 할 수 있다.
이때, 상기 깊이 정보를 생성하는 단계는, 상기 사용자의 움직임이 감지된 경우, 움직임에 따른 상기 모션 데이터 및 상기 거리 데이터를 이용하여 상기 깊이 정보를 생성할 수 있다.
이때, 상기 깊이 정보를 저장하는 단계는, 상기 깊이 정보 데이터베이스에 기 저장된 상기 깊이 정보와 생성된 상기 깊이 정보를 비교하고, 상기 기 저장된 깊이 정보와 상기 생성된 깊이 정보의 차이가 갱신 임계값 이상인 경우, 상기 생성된 깊이 정보를 상기 깊이 정보 데이터베이스에 저장할 수 있다.
이때, 상기 깊이 정보 데이터베이스는, 상기 사용자와 상기 장애물 간 거리를 나타내는 상기 거리 데이터가 상기 사용자의 모션 데이터 별로 저장되어 있을 수 있다.
이때, 하나 이상의 상기 장애물에 상응하는 상기 거리 데이터를 이용하여, 장애물 지도를 생성하고, 생성된 상기 장애물 지도를 저장하는 단계를 더 포함 할 수 있다.
이때, 상기 장애물의 충돌 가능성을 연산하는 단계는, 상기 사용자의 이동 방향 및 이동 속도 중 적어도 어느 하나를 연산하는 단계, 상기 거리 데이터, 상기 모션 데이터, 상기 이동 방향 및 상기 이동 속도 중 적어도 어느 하나를 기반으로, 상기 사용자와 상기 장애물의 충돌 예측 시간을 연산하는 단계, 그리고 상기 충돌 예측 시간과 충돌 시간 임계값을 비교하여 상기 충돌 가능성을 연산하는 단계를 포함할 수 있다.
이때, 상기 거리 데이터를 생성하는 단계는, 거리 측정 센서를 이용하여 상기 장애물과 상기 사용자 간의 거리를 측정할 수 있다.
이때, 상기 모션 데이터를 생성하는 단계는, 관성 측정 센서(IMU)를 이용하여 상기 사용자의 움직임 및 이동에 상응하는 상기 모션 데이터를 생성할 수 있다.
이때, 상기 사용자에게 충돌을 경고하는 단계는, 상기 헤드 마운티드 디스플레이에 구비된 디스플레이부 및 음향 출력부 중 적어도 어느 하나로 충돌 경고 메시지를 전송할 수 있다.
본 발명에 따르면, 스마트 헬멧 또는 헤드 마운티드 디스플레이의 사용자가 장애물과 충돌하지 않도록 경고하여, 사용자의 안전성을 확보할 수 있다.
또한 본 발명에 따르면, 사용자의 몰입감 방해를 최소화하며, 사용자에게 장애물과의 충돌을 경고할 수 있다.
또한 본 발명에 따르면, 적은 연산량으로 사용자와 장애물의 충돌 가능성을 판단하고, 사용자에게 실시간으로 장애물과의 충돌을 경고할 수 있다.
또한 본 발명에 따르면, 경량 및 저비용으로 구현하여, 기존 스마트 헬멧 또는 헤드 마운티드 디스플레이의 부피 및 무게에 큰 영향을 미치지 않도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 방법을 설명하기 위한 순서도이다.
도 4는 도 3의 S340 단계에서, 충돌 가능성을 연산하는 과정을 설명하기 위한 순서도이다.
도 5은 본 발명의 또 다른 실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치의 구성을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 방법을 설명하기 위한 순서도이다.
도 4는 도 3의 S340 단계에서, 충돌 가능성을 연산하는 과정을 설명하기 위한 순서도이다.
도 5은 본 발명의 또 다른 실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치의 구성을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 1에 도시한 바와 같이, 헤드 마운티드 디스플레이의 충돌 경고 시스템은 장애물(10), 헤드 마운티드 디스플레이(100) 및 헤드 마운티드 디스플레이의 충돌 경고 장치(200)를 포함한다.
먼저, 장애물(10)은 헤드 마운티드 디스플레이(100)를 착용한 사용자의 주변에 위치한 것으로, 시야가 차단된 사용자가 움직이거나 이동할 경우 사용자와 충돌할 가능성이 있는 물건이나 구조물 등의 장애물을 의미할 수 있다.
그리고 장애물(10)은 헤드 마운티드 디스플레이(100) 또는 헤드 마운티드 디스플레이의 충돌 경고 장치(200)에 부착된 거리 측정 센서(ex. 초음파 센서)가 사용자의 전방에 상응하는 방향으로 빔을 송수신하는 과정을 통해 감지될 수 있다.
다음으로, 헤드 마운티드 디스플레이(100)는 사용자의 머리에 착용되는 형태의 웨어러블 기기를 의미한다. 헤드 마운티드 디스플레이(100)는 제1 헤드 마운티드 디스플레이(100_1) 및 제2 헤드 마운티드 디스플레이(100_2)로 구분될 수 있다. 여기서, 제1 헤드 마운티드 디스플레이(100_1)는 스마트 헬멧 형태의 착용형 디스플레이 장치를 의미하고, 제2 헤드 마운티드 디스플레이(100_2)는 헤드 마운티드 디스플레이 장치를 의미할 수 있다.
또한, 제1 헤드 마운티드 디스플레이(100_1)는 사용자의 시야를 일부 차단하는 증강현실 헤드 마운티드 디스플레이 장치(Augmented Reality HMD)를 의미하고, 제2 헤드 마운티드 디스플레이(100_2)는 사용자의 전체 시야를 차단하는 가상현실 헤드 마운티드 디스플레이 장치(Virtual Reality HMD)를 의미할 수 있다.
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 헤드 마운티드 디스플레이(100)를 착용한 사용자가 머리를 움직일 때마다 깊이 정보를 생성하여 실시간으로 저장한다. 여기서 깊이 정보는, 사용자의 모션 데이터(거리 측정 방향)에 대응되는 전방 장애물(10)과의 거리 데이터를 의미한다.
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 헤드 마운티드 디스플레이(100)를 착용한 사용자의 전방에 위치한 장애물(10)과의 거리를 측정하여 거리 데이터를 생성하고, 장애물(10)과의 거리를 측정할 때의 사용자의 모션 및 포즈(거리 측정 방향)에 상응하는 모션 데이터를 생성할 수 있다.
이때, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 거리 측정 센서(ex. 초음파 센서) 및 관성 측정 센서를 구비하거나, 외부의 거리 측정 센서 및 관성 측정 센서로부터 센싱 데이터를 수신할 수 있다. 특히, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 헤드 마운티드 디스플레이(100)에 구비된 거리 측정 센서 및 관성 측정 센서 중 적어도 어느 하나로부터 센싱 데이터를 수신할 수 있다.
헤드 마운티드 디스플레이(100)는 사용자가 정지한 상태에서도 전방향(360°)으로 포즈나 모션의 변화가 발생할 수 있다. 따라서, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자가 헤드 마운티드 디스플레이(100)를 착용한 상태에서 고개를 돌리거나 움직일 경우, 사용자의 주변에 위치한 장애물(10)에 대한 정보(거리 데이터 및 모션 데이터)를 획득하여 저장할 수 있다.
그리고 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 거리 측정 센서(초음파 센서 또는 외부의 초음파 센서)로부터 수신된 센싱 데이터를 이용하여 사용자와 장애물(10) 간의 거리 데이터를 생성하고, 관성 측정 센서 또는 관성 측정 센서의 센싱 데이터를 이용하여 사용자의 움직임 및 이동에 상응하는 모션 데이터를 생성할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 계산량이 매우 적은 초음파 센서 등의 거리 측정 센서를 이용하여 장애물(10)과의 거리를 측정함으로써, 장애물(10)에 대한 깊이 정보를 빠르고 효율적으로 정합할 수 있고, 실시간 응용 시스템에서 저비용으로 구현할 수 있다.
사용자가 정지 상태인 것으로 판단된 경우, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 모션 데이터와 모션 데이터에 상응하는 거리 데이터를 이용하여 깊이 정보를 생성하고, 생성된 깊이 정보를 깊이 정보 데이터베이스에 저장할 수 있다.
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 전방으로 빔을 송수신하여 장애물(10)과의 거리를 측정할 때의 모션 데이터와 해당 장애물(10)과의 거리 데이터를 이용하여 깊이 정보(12, 14, 15, 16, 61, 34, 6)를 생성하고, 생성된 깊이 정보를 깊이 정보 데이터베이스에 저장할 수 있다.
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 깊이 정보를 7자리로 생성할 수 있으며, 깊이 정보는 6자리의 3차원 좌표 값 및 1자리의 거리 값으로 구성될 수 있다. 즉, 깊이 정보는 헤드 마운티드 디스플레이 장치의 3차원 로테이션 좌표인 피치(Pitch), 롤(Roll), 요(Yaw)를 의미하는 6자리 좌표 값과, 장애물과의 거리를 의미하는 1자리 거리 값으로 구성될 수 있다.
그리고 깊이 정보 데이터베이스는 (12, 12, 15, 14, 56, 33, 4), (12, 13, 15, 15, 59, 33, 6), (12, 14, 15, 16, 61, 34, 6), (12, 16, 16, 17, 66, 35, 5), (13, 18, 17, 14, 56, 66, 0), (13, 18, 17, 14, 96, 67, 0) 등과 같이 하나 이상의 깊이 정보를 저장할 수 있다.
반면, 사용자가 이동 상태인 것으로 판단된 경우, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 깊이 정보 데이터베이스에 기 저장된 깊이 정보 중에서 사용자의 현재 모션 데이터에 상응하는 깊이 정보를 검색하고, 검색된 깊이 정보를 이용하여 사용자와 장애물(10) 간 충돌 가능성을 연산한다. 충돌 가능성을 연산한 결과, 충돌 가능성이 임계치 이상인 경우, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자에게 충돌을 경고할 수 있다.
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 헤드 마운티드 디스플레이(100)의 디스플레이부 또는 스피커, 헤드폰 등의 음향 출력부를 통하여 사용자에게 장애물(10)과의 충돌을 경고할 수 있다.
이하에서는 도 2를 통하여 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치의 구성에 대하여 더욱 상세하게 설명한다.
도 2는 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치의 구성을 나타낸 블록도이다.
먼저, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 거리 데이터 생성부(210), 모션 데이터 생성부(220), 깊이 정보 생성부(230), 깊이 정보 데이터베이스(240), 장애물 지도 생성부(250), 이동 감지부(260), 깊이 정보 검색부(270), 충돌 가능성 연산부(280) 및 충돌 경고부(290)를 포함한다.
먼저, 거리 데이터 생성부(210)는 헤드 마운티드 디스플레이(100)를 장착한 사용자와 사용자의 전방에 위치한 장애물과의 거리를 측정하여, 거리 데이터를 생성한다.
이때, 거리 데이터 생성부(210)는 거리 측정 센서를 이용하여 장애물과 사용자간 거리를 측정할 수 있다. 거리 데이터 생성부(210)는 헤드 마운티드 디스플레이의 충돌 경고 장치(200)에 구비된 초음파 센서를 이용하여 거리를 측정하거나, 헤드 마운티드 디스플레이(100)에 구비된 초음파 센서로부터 센싱 데이터를 수신하고, 수신한 센싱 데이터를 이용하여 거리를 측정할 수 있다.
설명의 편의상, 거리 측정 센서가 초음파 센서인 것으로 설명하였으나 이에 한정하지 않고, 거리 측정 센서의 종류는 실시예에 따라 다양하게 설계 변경하여 구현될 수 있다.
그리고 모션 데이터 생성부(220)는 사용자의 모션 데이터를 생성한다. 이때, 모션 데이터 생성부(220)는 관성 측정 센서(IMU)를 이용하여 사용자의 움직임 및 이동에 상응하는 모션 데이터를 생성할 수 있다.
모션 데이터 생성부(220)는 헤드 마운티드 디스플레이의 충돌 경고 장치(200)에 구비된 관성 측정 센서(IMU)를 이용하여 모션 데이터를 생성하거나, 헤드 마운티드 디스플레이(100)에 구비된 관성 측정 센서(IMU)로부터 센싱 데이터를 수신하고, 수신한 센싱 데이터를 이용하여 모션 데이터를 생성할 수 있다.
특히, 모션 데이터 생성부(220)는 거리 데이터 생성부(210)가 거리 데이터를 생성할 때의 모션 데이터를 생성할 수 있다.
다음으로 깊이 정보 생성부(230)는 모션 데이터와 모션 데이터에 상응하는 거리 데이터를 이용하여 깊이 정보를 생성한다. 그리고 깊이 정보 생성부(230)는 생성된 깊이 정보를 깊이 정보 데이터베이스(240)에 저장한다.
사용자의 움직임 및 이동을 감지한 결과 사용자가 정지 상태인 것으로 판단된 경우, 깊이 정보 생성부(230)는 깊이 정보를 생성하여 깊이 정보 데이터베이스(240)에 저장할 수 있다.
그리고 장애물 지도 생성부(250)는 하나 이상의 장애물에 상응하는 거리 데이터를 이용하여, 사용자의 위치에 상응하는 장애물 지도를 생성하고, 생성된 장애물 지도를 저장할 수 있다.
다음으로 이동 감지부(260)는 거리 데이터 및 모션 데이터 중 적어도 어느 하나를 기반으로 사용자의 이동을 감지한다. 그리고 이동 감지부(260)는 사용자의 이동 방향 및 이동 속도 중 적어도 어느 하나를 연산할 수 있다.
사용자가 머리를 움직인 경우, 이동 감지부(260)는 사용자의 움직임을 감지할 수 있다. 또한, 사용자가 걷는 경우 이동 감지부(260)는 사용자의 이동을 감지할 수 있다.
사용자가 이동 상태인 것으로 판단된 경우, 깊이 정보 검색부(270)는 사용자의 이동에 따른 모션 데이터에 상응하는 깊이 정보를 검색한다. 깊이 정보 검색부(270)는 사용자의 모션 데이터를 검색 키로 사용하여 깊이 정보 데이터베이스(240)에서 모션 데이터에 상응하는 깊이 정보를 검색할 수 있다.
다음으로 충돌 가능성 연산부(280)는 거리 데이터, 사용자의 모션 데이터 및 검색된 깊이 정보를 기반으로, 사용자와 장애물의 충돌 가능성을 연산한다.
그리고 충돌 가능성 연산부(280)는 거리 데이터, 모션 데이터, 사용자의 이동 방향 및 이동 속도 중 적어도 어느 하나를 기반으로 사용자와 장애물의 충돌 예측 시간을 연산할 수 있다. 또한, 충돌 가능성 연산부(280)는 충돌 예측 시간과 충돌 시간 임계값을 비교하여 충돌 가능성을 연산할 수 있다.
마지막으로 충돌 경고부(290)는 충돌 가능성이 임계치 이상인 경우, 사용자에게 충돌을 경고할 수 있다. 이때, 충돌 경고부(290)는 헤드 마운티드 디스플레이에 구비된 디스플레이부 및 음향 출력부 중 적어도 어느 하나로 충돌 경고 메시지를 전송하여, 사용자에게 충돌을 경고할 수 있다.
이하에서는 도 3을 통하여, 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치에 의해 수행되는 충돌 경고 방법에 대하여 더욱 상세하게 설명한다.
도 3은 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 방법을 설명하기 위한 순서도이다.
먼저, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 거리 데이터 및 모션 데이터를 생성한다(S310).
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 거리 측정 센서를 이용하여, 사용자와 사용자의 전방에 위치한 장애물 간 거리를 측정하고, 거리 데이터를 생성할 수 있다. 이때, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 초음파 센서를 이용하여 송신된 신호가 수신되는 시점을 기반으로 지연 시간을 연산하고, 연산된 지연 시간을 이용하여 장애물과의 거리를 측정할 수 있다.
일반적으로 주파수가 높을수록 빔의 분산각이 줄어드는 특성이 있으므로, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 헤드 마운티드 디스플레이에 장착되는 센서의 수에 따라 사용하는 센서의 종류 및 주파수를 다르게 설계할 수 있다.
또한, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 헤드 마운티드 디스플레이(100)에 내장된 관성 측정 센서(Inertial Measurement Unit, IMU)를 이용하여, 3차원 공간에서 사용자의 머리 자세 및 이동에 상응하는 모션 데이터를 생성할 수 있다. 이때, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 장애물과의 거리를 측정할 때의 거리 측정 방향인 사용자의 머리 자세 및 이동에 상응하는 모션 데이터를 생성할 수 있다.
그리고 거리 데이터 및 모션 데이터 중 적어도 어느 하나를 기반으로, 사용자가 이동 상태인지 여부를 판단한다(S320).
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 거리 데이터의 증감 여부를 기반으로 사용자가 이동 상태인지 여부를 판단하거나, 모션 데이터를 분석하여 사용자가 이동 상태인지 여부를 판단할 수 있다.
이때, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자가 보행을 하여 사용자의 위치가 변화하는 경우, 사용자가 이동 상태인 것으로 판단할 수 있다. 또한, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 모션 데이터를 분석한 결과, 사용자의 3차원 공간상의 위치가 변화한 것으로 판단된 경우, 사용자가 이동 상태인 것으로 판단할 수 있다.
한편, 사용자가 고개를 움직여 사용자의 머리 자세가 변화하는 경우, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자의 움직임을 감지하여, 사용자가 움직임 상태인 것으로 판단할 수 있다. 여기서, 움직임 상태는 사용자의 머리(고개)가 움직이는지 여부를 의미하며, 사용자의 이동에 따른 위치 변화를 의미하는 것은 아니다.
판단 결과, 사용자가 이동 상태인 것으로 판단된 경우, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자의 모션 데이터에 상응하는 깊이 정보를 검색한다(S330).
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 주변 장애물과의 거리에 관한 깊이 정보를 깊이 정보 데이터베이스에서 검색한다. 이때, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자의 모션 데이터를 검색 키로 사용하여 깊이 정보 데이터베이스를 검색할 수 있다.
그리고 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자와 장애물 간 충돌 가능성을 연산하고(S340), 사용자에게 장애물과의 충돌을 경고한다(S350).
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 충돌 가능성과 임계치를 비교하고, 연산된 충돌 가능성이 임계치 이상인 것으로 판단된 경우 사용자에게 충돌을 경고할 수 있다
도 4는 도 3의 S340 단계에서, 충돌 가능성을 연산하는 과정을 설명하기 위한 순서도이다.
도 4에 도시한 바와 같이, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자의 이동 방향 및 이동 속도를 연산한다(S410).
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 관성 측정 센서(IMU)의 자이로스코프(Gyroscope)와 가속도계(Accelerometer)에서 측정된 자이로 값 및 가속도를 기반으로 사용자의 이동 방향 및 이동 속도를 연산할 수 있다. 특히, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 자이로스코프를 이용하여 사용자의 이동 방향을 연산하고, 가속도계에서 측정된 가속도를 적분하여 이동 속도를 연산할 수 있다.
그리고 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자와 장애물 간 충돌 예측 시간을 연산한다(S420).
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 도 3의 S330 단계에서 검색된 사용자의 모션 데이터에 상응하는 깊이 정보와 도 4의 S410 단계에서 연산된 이동 방향 및 이동 속도를 이용하여, 사용자의 전방에 위치한 장애물과 사용자 간 거리 및 충돌 예측 시간을 연산한다.
또한, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 충돌 예측 시간과 충돌 시간 임계값을 비교한다(S430).
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 S420 단계에서 연산된 충돌 예측 시간과 기 설정된 충돌 시간 임계값을 비교하여, 충돌 예측 시간이 충돌 시간 임계값 미만인지 여부를 판단한다.
이때, 충돌 예측 시간이 충돌 시간 임계값 미만인 경우, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 충돌 가능성이 높은 것으로 판단한다(S440).
그리고 충돌 가능성이 높은 것으로 판단된 경우 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 도 3의 S350 단계를 수행하여 사용자에게 충돌을 경고할 수 있다.
반면, 충돌 예측 시간이 충돌 시간 임계값 이상인 경우, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 충돌 가능성이 낮은 것으로 판단할 수 있다(S450).
충돌 가능성이 낮은 것으로 판단된 경우, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자에게 충돌을 경고하는 도 3의 S350 단계의 수행을 종료할 수 있다.
다시 도 3에 대하여 설명하면, S320 단계에서 사용자가 이동 상태가 아닌 정지 상태인 것으로 판단된 경우, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 깊이 정보를 생성하여 저장할 수 있다(S360).
헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자가 정지 상태인 경우, 사용자의 포즈 및 모션의 변화에 따라 전방 장애물과의 거리를 측정한다. 그리고 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자의 포즈 및 모션에 대한 모션 데이터, 모션 데이터에 대응되는 거리 데이터를 기반으로 깊이 정보를 생성하며, 생성된 깊이 정보를 깊이 정보 데이터베이스에 저장한다.
이때, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 사용자의 이동 여부, 움직임 여부, 거리 측정 센서의 신호 분산 각도, 모션 데이터 및 기 저장된 깊이 정보 중 적어도 어느 하나를 고려하여, 깊이 정보의 검색이 용이하도록 깊이 정보를 생성 및 저장할 수 있다.
그리고, 깊이 정보는 모션 데이터에 대응되는 거리 데이터 값이므로, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 거리 측정 센서인 초음파 센서에 상응하는 빔의 분산각을 고려하여 깊이 정보를 전방의 2차원 범위로 대응되도록 생성할 수 있다.
또한, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 생성된 깊이 정보를 깊이 정보 데이터베이스에 추가 또는 갱신할 수 있다. 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 깊이 정보 데이터베이스의 갱신이 필요하다고 판단된 경우, 깊이 정보 데이터 베이스의 갱신 과정을 수행할 수 있다.
예를 들어, 깊이 정보 데이터베이스에 기 저장된 깊이 정보와 생성된 깊이 정보를 비교한 결과, 기 저장된 깊이 정보와 생성된 깊이 정보의 차이가 갱신 임계값 이상인 경우, 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 깊이 정보 데이터베이스의 갱신 과정을 수행하여 생성된 깊이 정보를 깊이 정보 데이터베이스에 저장할 수 있다.
그리고 헤드 마운티드 디스플레이의 충돌 경고 장치(200)는 하나 이상의 장애물과 사용자 간 거리 데이터를 기반으로, 사용자 위치에 상응하는 장애물 지도를 생성하여 저장할 수 있다.
도 5은 본 발명의 또 다른 실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치의 구성을 나타낸 도면이다.
도 5와 같이, 헤드 마운티드 디스플레이의 충돌 경고 장치(500)의 전방 거리 측정부(510), 포즈/모션 측정부(520), 이동속도 및 이동방향 측정부(530)가 사용자의 전방 및 모션 정보를 측정할 수 있다.
전방 거리 측정부(510)는 사용자의 전방에 위치한 장애물과의 거리를 측정하여 거리 데이터를 생성한다. 그리고 포즈/모션 측정부(520)는 사용자의 머리 움직임 및 이동을 감지하여 모션 데이터를 생성한다. 또한, 이동속도 및 이동방향 측정부(530)는 사용자가 이동하는 경우, 사용자의 이동 속도 및 이동 방향을 측정할 수 있다.
전방거리 측정부(510) 및 포즈/모션 측정부(520)로부터 각각 거리 데이터 및 모션 데이터를 수신한 깊이 정보 생성부(540)는 사용자의 움직임에 대응되는 모션 데이터를 이용하여 깊이 정보를 생성한다. 그리고 깊이 정보 생성부(540)는 생성된 깊이 정보를 깊이 정보 DB(590)에 저장한다.
또한, 충돌 예측 판단부(560)는 거리 데이터, 모션 데이터, 사용자의 이동 속도 및 이동 방향 정보를 이용하여, 사용자와 장애물 간 충돌을 예측한다. 충돌 예측 판단부(560)는 전방거리 계산부(570)에 의해 계산된 사용자의 전방에 위치한 장애물과의 거리, 깊이 정보 정합부(550)로부터 입력받은 깊이 정보를 이용하여 충돌을 예측할 수 있다.
그리고 사용자와 장애물 간 충돌이 발생할 것으로 예측되는 경우, 충돌 경고 알림부(580)는 사용자에게 장애물의 존재를 알리거나, 장애물과의 충돌을 경고할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치는 기존의 헤드 마운티드 디스플레이 장치의 부피나 무게를 크게 늘리지 않는 범위에서 구현 가능하며, 기존의 헤드 마운티드 디스플레이 장치의 응용 영역을 효과적으로 넓힐 수 있다.
도 6은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 6을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(600)에서 구현될 수 있다. 도 6에 도시된 바와 같이, 컴퓨터 시스템(600)은 버스(620)를 통하여 서로 통신하는 하나 이상의 프로세서(610), 메모리(630), 사용자 입력 장치(640), 사용자 출력 장치(650) 및 스토리지(660)를 포함할 수 있다. 또한, 컴퓨터 시스템(600)은 네트워크(680)에 연결되는 네트워크 인터페이스(670)를 더 포함할 수 있다. 프로세서(610)는 중앙 처리 장치 또는 메모리(630)나 스토리지(660)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(630) 및 스토리지(660)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(631)이나 RAM(632)을 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 헤드 마운티드 디스플레이의 충돌 경고 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
10: 장애물
100_1: 제1 헤드 마운티드 디스플레이
100_2: 제2 헤드 마운티드 디스플레이
200: 헤드 마운티드 디스플레이의 충돌 경고 장치
210: 거리 데이터 생성부 220: 모션 데이터 생성부
230: 깊이 정보 생성부 240: 깊이 정보 데이터베이스
250: 장애물 지도 생성부 260: 이동 감지부
270: 깊이 정보 검색부 280: 충돌 가능성 연산부
290: 충돌 경고부 510: 전방거리 측정부
520: 포즈/모션 측정부 530: 이동속도 및 이동방향 측정부
540: 깊이정보 생성부 550: 깊이정보 정합부
560: 충돌예측 판단부 570: 전방거리 계산부
580: 충돌경고 알림부 590: 깊이 정보 DB
600: 컴퓨터 시스템 610: 프로세서
620: 버스 630: 메모리
631: 롬 632: 램
640: 사용자 입력 장치 650: 사용자 출력 장치
660: 스토리지 670: 네트워크 인터페이스
680: 네트워크
100_2: 제2 헤드 마운티드 디스플레이
200: 헤드 마운티드 디스플레이의 충돌 경고 장치
210: 거리 데이터 생성부 220: 모션 데이터 생성부
230: 깊이 정보 생성부 240: 깊이 정보 데이터베이스
250: 장애물 지도 생성부 260: 이동 감지부
270: 깊이 정보 검색부 280: 충돌 가능성 연산부
290: 충돌 경고부 510: 전방거리 측정부
520: 포즈/모션 측정부 530: 이동속도 및 이동방향 측정부
540: 깊이정보 생성부 550: 깊이정보 정합부
560: 충돌예측 판단부 570: 전방거리 계산부
580: 충돌경고 알림부 590: 깊이 정보 DB
600: 컴퓨터 시스템 610: 프로세서
620: 버스 630: 메모리
631: 롬 632: 램
640: 사용자 입력 장치 650: 사용자 출력 장치
660: 스토리지 670: 네트워크 인터페이스
680: 네트워크
Claims (20)
- 헤드 마운티드 디스플레이를 착용한 사용자의 전방에 위치한 장애물과의 거리를 측정하여 거리 데이터를 생성하는 거리 데이터 생성부,
상기 사용자의 모션 데이터를 생성하는 모션 데이터 생성부,
상기 거리 데이터 및 상기 모션 데이터 중 적어도 어느 하나를 기반으로, 상기 사용자의 이동을 감지하는 이동 감지부,
상기 사용자가 이동 상태인 것으로 판단된 경우, 기 저장된 하나 이상의 깊이 정보 중에서 상기 사용자의 모션 데이터에 상응하는 상기 깊이 정보를 검색하는 깊이 정보 검색부,
상기 거리 데이터, 상기 사용자의 모션 데이터 및 검색된 상기 깊이 정보를 기반으로, 상기 사용자와 상기 장애물의 충돌 가능성을 연산하는 충돌 가능성 연산부, 그리고
연산된 상기 충돌 가능성이 임계치 이상인 경우, 상기 사용자에게 충돌을 경고하는 충돌 경고부를 포함하는 헤드 마운티드 디스플레이의 충돌 경고 장치. - 제1항에 있어서,
상기 사용자가 정지 상태인 것으로 판단된 경우, 상기 모션 데이터와 상기 모션 데이터에 상응하는 상기 거리 데이터를 이용하여 상기 깊이 정보를 생성하는 깊이 정보 생성부, 그리고
생성된 상기 깊이 정보를 저장하는 깊이 정보 데이터베이스를 더 포함하는 헤드 마운티드 디스플레이의 충돌 경고 장치. - 제2항에 있어서,
상기 깊이 정보 생성부는,
상기 사용자의 움직임이 감지된 경우, 움직임에 따른 상기 모션 데이터 및 상기 거리 데이터를 이용하여 상기 깊이 정보를 생성하는 헤드 마운티드 디스플레이의 충돌 경고 장치. - 제3항에 있어서,
상기 깊이 정보 생성부는,
상기 깊이 정보 데이터베이스에 기 저장된 상기 깊이 정보와 생성된 상기 깊이 정보를 비교하고, 상기 기 저장된 깊이 정보와 상기 생성된 깊이 정보의 차이가 갱신 임계값 이상인 경우, 상기 생성된 깊이 정보를 상기 깊이 정보 데이터베이스에 저장하는 헤드 마운티드 디스플레이의 충돌 경고 장치. - 제2항에 있어서,
상기 깊이 정보 데이터베이스는,
상기 사용자와 상기 장애물 간 거리를 나타내는 상기 거리 데이터를 상기 사용자의 모션 데이터 별로 저장하는 헤드 마운티드 디스플레이의 충돌 경고 장치. - 제2항에 있어서,
하나 이상의 상기 장애물에 상응하는 상기 거리 데이터를 이용하여, 장애물 지도를 생성하고, 생성된 상기 장애물 지도를 저장하는 장애물 지도 생성부를 더 포함하는 헤드 마운티드 디스플레이의 충돌 경고 장치. - 제1항에 있어서,
상기 이동 감지부는,
상기 사용자의 이동 방향 및 이동 속도 중 적어도 어느 하나를 연산하고,
상기 충돌 가능성 연산부는,
상기 거리 데이터, 상기 모션 데이터, 상기 이동 방향 및 상기 이동 속도 중 적어도 어느 하나를 기반으로 상기 사용자와 상기 장애물의 충돌 예측 시간을 연산하며, 상기 충돌 예측 시간과 충돌 시간 임계값을 비교하여 상기 충돌 가능성을 연산하는 헤드 마운티드 디스플레이의 충돌 경고 장치. - 제1항에 있어서,
상기 거리 데이터 생성부는,
거리 측정 센서를 이용하여 상기 장애물과 상기 사용자 간의 거리를 측정하는 헤드 마운티드 디스플레이의 충돌 경고 장치. - 제1항에 있어서,
상기 모션 데이터 생성부는,
관성 측정 센서(IMU)를 이용하여 상기 사용자의 움직임 및 이동에 상응하는 상기 모션 데이터를 생성하는 헤드 마운티드 디스플레이의 충돌 경고 장치. - 제1항에 있어서,
상기 충돌 경고부는,
상기 헤드 마운티드 디스플레이에 구비된 디스플레이부 및 음향 출력부 중 적어도 어느 하나로 충돌 경고 메시지를 전송하는 헤드 마운티드 디스플레이의 충돌 경고 장치. - 헤드 마운티드 디스플레이의 충돌 경고 장치에 의해 수행되는 충돌 경고 방법에 있어서,
헤드 마운티드 디스플레이를 착용한 사용자의 전방에 위치한 장애물과의 거리를 측정하여 거리 데이터를 생성하는 단계,
상기 사용자의 모션 데이터를 생성하는 단계,
상기 거리 데이터 및 상기 모션 데이터 중 적어도 어느 하나를 기반으로, 상기 사용자의 이동을 감지하는 단계,
상기 사용자가 이동 상태인 것으로 판단된 경우, 깊이 정보 데이터베이스에서 상기 사용자의 모션 데이터에 상응하는 깊이 정보를 검색하는 단계,
상기 거리 데이터, 상기 사용자의 모션 데이터 및 검색된 상기 깊이 정보를 기반으로, 상기 사용자와 상기 장애물의 충돌 가능성을 연산하는 단계, 그리고
연산된 상기 충돌 가능성이 임계치 이상인 경우, 상기 사용자에게 충돌을 경고하는 단계를 포함하는 헤드 마운티드 디스플레이의 충돌 경고 방법. - 제11항에 있어서,
상기 사용자가 정지 상태인 것으로 판단된 경우, 상기 모션 데이터와 상기 모션 데이터에 상응하는 상기 거리 데이터를 이용하여 상기 깊이 정보를 생성하는 단계, 그리고
생성된 상기 깊이 정보를 상기 깊이 정보 데이터베이스에 저장하는 단계를 더 포함하는 헤드 마운티드 디스플레이의 충돌 경고 방법. - 제12항에 있어서,
상기 깊이 정보를 생성하는 단계는,
상기 사용자의 움직임이 감지된 경우, 움직임에 따른 상기 모션 데이터 및 상기 거리 데이터를 이용하여 상기 깊이 정보를 생성하는 헤드 마운티드 디스플레이의 충돌 경고 방법. - 제13항에 있어서,
상기 깊이 정보를 저장하는 단계는,
상기 깊이 정보 데이터베이스에 기 저장된 상기 깊이 정보와 생성된 상기 깊이 정보를 비교하고, 상기 기 저장된 깊이 정보와 상기 생성된 깊이 정보의 차이가 갱신 임계값 이상인 경우, 상기 생성된 깊이 정보를 상기 깊이 정보 데이터베이스에 저장하는 헤드 마운티드 디스플레이의 충돌 경고 방법. - 제11항에 있어서,
상기 깊이 정보 데이터베이스는,
상기 사용자와 상기 장애물 간 거리를 나타내는 상기 거리 데이터가 상기 사용자의 모션 데이터 별로 저장되어 있는 헤드 마운티드 디스플레이의 충돌 경고 방법. - 제11항에 있어서,
하나 이상의 상기 장애물에 상응하는 상기 거리 데이터를 이용하여, 장애물 지도를 생성하고, 생성된 상기 장애물 지도를 저장하는 단계를 더 포함하는 헤드 마운티드 디스플레이의 충돌 경고 방법. - 제11항에 있어서,
상기 장애물의 충돌 가능성을 연산하는 단계는,
상기 사용자의 이동 방향 및 이동 속도 중 적어도 어느 하나를 연산하는 단계,
상기 거리 데이터, 상기 모션 데이터, 상기 이동 방향 및 상기 이동 속도 중 적어도 어느 하나를 기반으로, 상기 사용자와 상기 장애물의 충돌 예측 시간을 연산하는 단계, 그리고
상기 충돌 예측 시간과 충돌 시간 임계값을 비교하여 상기 충돌 가능성을 연산하는 단계
를 포함하는 헤드 마운티드 디스플레이의 충돌 경고 방법. - 제11항에 있어서,
상기 거리 데이터를 생성하는 단계는,
거리 측정 센서를 이용하여 상기 장애물과 상기 사용자 간의 거리를 측정하는 헤드 마운티드 디스플레이의 충돌 경고 방법. - 제11항에 있어서,
상기 모션 데이터를 생성하는 단계는,
관성 측정 센서(IMU)를 이용하여 상기 사용자의 움직임 및 이동에 상응하는 상기 모션 데이터를 생성하는 헤드 마운티드 디스플레이의 충돌 경고 방법. - 제11항에 있어서,
상기 사용자에게 충돌을 경고하는 단계는,
상기 헤드 마운티드 디스플레이에 구비된 디스플레이부 및 음향 출력부 중 적어도 어느 하나로 충돌 경고 메시지를 전송하는 헤드 마운티드 디스플레이의 충돌 경고 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170046847A KR20180114756A (ko) | 2017-04-11 | 2017-04-11 | 헤드 마운티드 디스플레이의 충돌 경고 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170046847A KR20180114756A (ko) | 2017-04-11 | 2017-04-11 | 헤드 마운티드 디스플레이의 충돌 경고 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180114756A true KR20180114756A (ko) | 2018-10-19 |
Family
ID=64102054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170046847A KR20180114756A (ko) | 2017-04-11 | 2017-04-11 | 헤드 마운티드 디스플레이의 충돌 경고 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20180114756A (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10423242B2 (en) * | 2016-08-03 | 2019-09-24 | Dräger Safety AG & Co. KGaA | Head protection device |
| CN114153232A (zh) * | 2021-12-27 | 2022-03-08 | 歌尔光学科技有限公司 | 一种避障方法、无人机以及计算机可读存储介质 |
| WO2023277586A1 (ko) * | 2021-06-30 | 2023-01-05 | 옥재윤 | 딥러닝 기술을 이용한 모션 추적 시스템 |
| KR20230004280A (ko) * | 2021-06-30 | 2023-01-06 | 옥재윤 | 딥러닝 기술을 이용한 모션 추적 시스템 |
| CN116386329A (zh) * | 2023-03-24 | 2023-07-04 | 苏州镁昇智能科技有限公司 | 一种基于大数据的交通安全智能监测系统及方法 |
| KR20240121403A (ko) * | 2023-02-02 | 2024-08-09 | 주식회사 피앤씨솔루션 | 윙슈트 점프용 ar 글라스 헬멧 장치 |
-
2017
- 2017-04-11 KR KR1020170046847A patent/KR20180114756A/ko unknown
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10423242B2 (en) * | 2016-08-03 | 2019-09-24 | Dräger Safety AG & Co. KGaA | Head protection device |
| WO2023277586A1 (ko) * | 2021-06-30 | 2023-01-05 | 옥재윤 | 딥러닝 기술을 이용한 모션 추적 시스템 |
| KR20230004280A (ko) * | 2021-06-30 | 2023-01-06 | 옥재윤 | 딥러닝 기술을 이용한 모션 추적 시스템 |
| CN114153232A (zh) * | 2021-12-27 | 2022-03-08 | 歌尔光学科技有限公司 | 一种避障方法、无人机以及计算机可读存储介质 |
| KR20240121403A (ko) * | 2023-02-02 | 2024-08-09 | 주식회사 피앤씨솔루션 | 윙슈트 점프용 ar 글라스 헬멧 장치 |
| CN116386329A (zh) * | 2023-03-24 | 2023-07-04 | 苏州镁昇智能科技有限公司 | 一种基于大数据的交通安全智能监测系统及方法 |
| CN116386329B (zh) * | 2023-03-24 | 2023-11-14 | 苏州镁昇智能科技有限公司 | 一种基于大数据的交通安全智能监测系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180114756A (ko) | 헤드 마운티드 디스플레이의 충돌 경고 장치 및 방법 | |
| JP6979475B2 (ja) | ヘッドマウントディスプレイ追跡 | |
| US10257499B2 (en) | Motion sensor | |
| US11838492B2 (en) | Head-mountable device with object movement detection | |
| US11474610B2 (en) | Systems and methods for generating dynamic obstacle collision warnings for head-mounted displays | |
| US20190204599A1 (en) | Head-mounted display device with electromagnetic sensor | |
| US10596716B2 (en) | Generating a guidance indicator and indicator signal | |
| JP6747551B2 (ja) | 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法 | |
| JP2019070909A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR20170081225A (ko) | 가상 현실 환경에서 사용자를 안내하기 위한 감각 피드백 시스템 및 방법 | |
| JP2015133113A (ja) | 眼輻輳に基づいた視覚不注意の検出 | |
| JP2012155654A (ja) | 情報処理装置、報知方法及びプログラム | |
| CN108427479B (zh) | 可穿戴设备、环境图像数据的处理系统、方法及可读介质 | |
| KR101862986B1 (ko) | 스마트 폰을 사용하며 보행중인 사용자 경보 시스템 및 방법 | |
| CN107544669B (zh) | 伪力装置 | |
| EP3254121B1 (en) | Center of gravity shifting force device | |
| KR20150038877A (ko) | 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법 | |
| US20200000391A1 (en) | Operation aptitude judgment device and operation aptitude judgment method | |
| Matviienko et al. | QuantiBike: quantifying perceived cyclists' safety via head movements in virtual reality and outdoors | |
| US11422622B2 (en) | Electronic device and operating method thereof | |
| KR102586470B1 (ko) | 가상현실 환경에서의 플레이어의 충돌 사고 방지 장치 | |
| US20240045496A1 (en) | Improving accuracy of interactions for gaze-enabled ar objects when in motion | |
| US20240216791A1 (en) | Virtual reality control system | |
| WO2022246795A1 (zh) | 虚拟现实体验安全区域更新方法及装置 | |
| US20230267718A1 (en) | Systems and methods for training event prediction models for camera-based warning systems |