KR102115234B1 - 안전사고 가상 체험 시스템 및 그 방법 - Google Patents

안전사고 가상 체험 시스템 및 그 방법 Download PDF

Info

Publication number
KR102115234B1
KR102115234B1 KR1020180137328A KR20180137328A KR102115234B1 KR 102115234 B1 KR102115234 B1 KR 102115234B1 KR 1020180137328 A KR1020180137328 A KR 1020180137328A KR 20180137328 A KR20180137328 A KR 20180137328A KR 102115234 B1 KR102115234 B1 KR 102115234B1
Authority
KR
South Korea
Prior art keywords
experience
safety accident
experienced person
head
movement
Prior art date
Application number
KR1020180137328A
Other languages
English (en)
Other versions
KR20200053876A (ko
Inventor
김기호
박상찬
우승순
Original Assignee
(주)솔트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)솔트웍스 filed Critical (주)솔트웍스
Priority to KR1020180137328A priority Critical patent/KR102115234B1/ko
Publication of KR20200053876A publication Critical patent/KR20200053876A/ko
Application granted granted Critical
Publication of KR102115234B1 publication Critical patent/KR102115234B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 안전사고 가상 체험 시스템을 제안한다. 상기 시스템은 체험자의 손에 착용되며, 내장된 센서를 통해 상기 손의 움직임을 추적하기 위한 핸드 트래킹 정보를 생성하는 체험 장갑, 상기 체험자의 머리에 착용되며, 내장된 센서를 통해 상기 머리의 움직임을 추적하기 위한 헤드 트래킹 정보를 생성하고, 상기 헤드 트래킹 정보 및 핸드 트래킹 정보에 대응되는 영상 및 음향 데이터를 출력하는 체험 헬멧, 및 상기 체험 장갑 및 체험 헬멧으로부터 상기 핸드 트래킹 정보 및 헤드 트래킹 정보를 수신하고, 수신된 헤드 트래킹 정보 및 핸드 트래킹 정보를 기초로 기 설정된 안전사고 체험 시나리오에 대응되는 영상 및 음향 데이터를 식별하고, 상기 식별된 영상 및 음향 데이터를 상기 체험 헬멧에 전송하는 체험 제어 서버를 포함하여 구성될 수 있다.

Description

안전사고 가상 체험 시스템 및 그 방법{System for safety accident virtual experience and method therefor}
본 발명은 가상 현실(Virtual Reality, VR)에 관한 것이다. 보다 상세하게는, 둘 이상의 사용자가 동시에 안전사고를 가상 체험할 수 있는 시스템 및 그 방법에 관한 것이다.
가상 현실(VR)은 시각, 청각 또는 촉각 등을 통해 사용자와 상호작용을 수행할 수 있는 인공적인 환경을 생성하여, 사용자가 물리적으로 존재하지 않는 환경을 실제로 존재하는 것처럼 느끼게 해주는 기술이다. 가상 현실(VR)은 사이버공간(cyberspace), 인공 현실(artificial reality), 가상 세계(virtual world), 합성 환경(synthetic environment) 또는 인공 환경(artificial environment) 등으로 불리우기도 한다.
이와 같은 가상 현실(VR)은 의료, 건축, 게임, 항공 또는 원자력 등과 같은 다양한 분야에서 활용되고 있으며, 특히 일상적인 현실에서 경험하기 어려운 안전사고 또는 재난 상황 등에서의 훈련 목적으로 활용되기도 한다.
기존의 가상 현실(VR) 시스템을 이용하여 복수의 사용자가 안전사고를 가상으로 체험하는 경우, 복수의 사용자들에게 체험 순서를 정하고, 정해진 순서대로 한번에 한 명의 사용자가 HMD(Head Mounted Display) 등의 장치를 착용하여 안전사고를 가상 체험할 수 있었다.
그러나, 실제 산업 현장에서는 작업자 1인의 부주의에 의해 발생하는 안전사고 보다, 여러 작업자들의 협동 작업에서 발생하는 안전사고가 더 많다. 따라서, 복수의 작업자가 협동 작업을 수행하는 환경에서 동시에 안전사고를 체험할 수 있는 가상 현실 시스템이 요구되고 있다.
대한민국 등록특허공보 제10-0616333호, ‘건설 안전교육 체험 시스템’, (2006.08.28. 공고)
본 명세서의 일 개시는 둘 이상의 사용자가 동시에 안전사고를 가상 체험할 수 있는 시스템을 제공하는 것을 그 목적으로 한다.
본 발명의 다른 개시는 둘 이상의 사용자가 동시에 안전사고를 가상 체험할 수 있는 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 바와 같은 기술적 과제를 달성하기 위하여, 본 발명은 안전사고 가상 체험 시스템을 제안한다. 상기 시스템은 체험자의 손에 착용되며, 내장된 센서를 통해 상기 손의 움직임을 추적하기 위한 핸드 트래킹 정보를 생성하는 체험 장갑, 상기 체험자의 머리에 착용되며, 내장된 센서를 통해 상기 머리의 움직임을 추적하기 위한 헤드 트래킹 정보를 생성하고, 상기 헤드 트래킹 정보 및 핸드 트래킹 정보에 대응되는 영상 및 음향 데이터를 출력하는 체험 헬멧, 및 상기 체험 장갑 및 체험 헬멧으로부터 상기 핸드 트래킹 정보 및 헤드 트래킹 정보를 수신하고, 수신된 헤드 트래킹 정보 및 핸드 트래킹 정보를 기초로 기 설정된 안전사고 체험 시나리오에 대응되는 영상 및 음향 데이터를 식별하고, 상기 식별된 영상 및 음향 데이터를 상기 체험 헬멧에 전송하는 체험 제어 서버를 포함하여 구성될 수 있다. 특히, 체험 제어 서버는 제1 체험자에 의해 착용된 체험 장갑 및 체험 헬멧으로부터 수신된 핸드 트래킹 정보 및 헤드 트래킹 정보를 기초로 상기 제1 체험자의 머리 및 손의 움직임을 결정하고, 상기 안전사고 체험 시나리오의 유형에 따라 설정되어 있는 미확인 신체 정보를 식별하고, 상기 결정된 제1 체험자의 머리 및 손의 움직임과 상기 미확인 신체 정보를 병합하여 상기 제1 체험자의 자세 정보를 결정하고, 상기 제1 체험자의 자세 정보에 대응되는 영상 데이터를 제2 체험자에 의해 착용된 체험 헬멧에 전송할 수 있다.
상기 체험 제어 서버는 상기 제1 체험자의 위치, 머리 및 손의 움직임을 기초로 안전사고 이벤트가 발생된 것으로 판단되는 경우, 상기 제1 체험자와 상기 제2 체험자의 상대적인 거리를 식별하고, 상기 상대적인 거리 및 상기 제2 체험자의 머리 및 손의 움직임에 따라 상기 안전사고 이벤트가 상기 제2 체험자에게 영향을 미치는지 판단할 수 있다. 상기 체험 제어 서버는 상기 안전사고 이벤트가 상기 제2 체험자에게 영향을 미치는 것으로 판단된 경우, 상기 안전사고 이벤트에 대응되는 영상 및 음향 데이터를 상기 제2 체험자에 의해 착용된 체험 헬멧에 전송할 수 있다. 이와 반대로, 상기 체험 제어 서버는 상기 안전사고 이벤트가 상기 제2 체험자에게 영향을 미치지 않는 것으로 판단된 경우, 상기 안전사고 이벤트에 매칭되는 응급조치 시나리오에 대응되는 영상 및 음향 데이터를 상기 제2 체험자에 의해 착용된 체험 헬멧에 전송할 수 있다.
상기 시스템은 상기 체험자의 손목이 삽입될 수 있는 밴드를 포함하여 구성되며, 상기 밴드 내측의 상기 손목이 삽입될 수 있는 공간의 넓이를 변화시킬 수 있는 체험 팔찌를 더 포함하여 구성될 수 있다. 상기 체험 팔찌는 상기 밴드 내에 구비된 튜브를 팽창시켜 상기 공간의 넓이를 감소시킬 수 있다. 이 경우, 상기 체험 제어 서버는 상기 안전사고 이벤트의 유형이 협착 사고에 해당되고, 상기 제1 체험자의 위치, 머리 및 손의 움직임을 기초로 안전사고 이벤트가 발생된 것으로 판단되는 경우, 상기 공간의 넓이를 변화시키기 위한 명령을 상기 체험 팔찌에 전송할 수 있다.
상기 체험 장갑은 진동을 발생시킬 수 있는 진동 모터를 포함하고, 상기 체험 제어 서버는 상기 제1 체험자와 제2 체험자가 동일한 객체를 파지하고 있는 것으로 판단된 경우, 상기 제1 체험자에 의해 착용된 체험 장갑의 움직임에 따라, 상기 진동을 발생시키기 위한 명령을 상기 제2 체험자에 의해 착용된 체험 장갑에 전송할 수 있다.
상기 체험 장갑은 온도를 변화시킬 수 있는 펠티어 소자를 포함하고, 상기 체험 제어 서버는 상기 안전사고 체험 시나리오의 유형이 화재 체험에 해당되고, 상기 제1 체험자의 위치, 손의 움직임을 기초로 안전사고 이벤트가 발생된 것으로 판단되는 경우, 상기 온도를 변화시키기 위한 명령을 상기 체험 장갑에 전송할 수 있다.
상기 체험 장갑은 전류를 누설시킬 수 있는 누전 단자를 포함하고, 상기 체험 제어 서버는 상기 안전사고 체험 시나리오의 유형이 감전 체험에 해당되고, 상기 제1 체험자의 위치, 손의 움직임을 기초로 안전사고 이벤트가 발생된 것으로 판단되는 경우, 상기 전류를 누전시키기 위한 명령을 상기 체험 장갑에 전송할 수 있다.
상술한 바와 같은 기술적 과제를 달성하기 위하여, 본 발명은 안전사고 가상 체험 방법을 제안한다. 상기 방법은 제1 체험자에 의해 착용된 체험 장갑으로부터 상기 제1 체험자의 손의 움직임을 추적하기 위한 핸드 트래킹 정보를 수신하는 단계;
상기 제1 체험자에 의해 착용된 체험 헬멧으로부터 사기 제1 체험자의 머리의 움직임을 추적하기 위한 헤드 트래킹 정보를 수신하는 단계, 상기 핸드 트래킹 정보 및 헤드 트래킹 정보를 기초로 상기 제1 체험자의 머리 및 손의 움직임을 결정하는 단계, 기 설정된 안전사고 체험 시나리오에 따라 설정되어 있는 미확인 신체 정보를 식별하는 단계, 상기 제1 체험자의 머리 및 손의 움직임과 상기 미확인 신체 정보를 병합하여 상기 제1 체험자의 자세 정보를 결정하는 단계, 및 상기 제1 체험자의 자세 정보에 대응되는 영상 데이터를 제2 체험자에 의해 착용된 체험 헬멧에 전송하는 단계를 포함할 수 있다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시 예들에 따르면, 건설 현장에서 둘 이상의 작업자가 협동 작업을 수행하는 과정에서 발생할 수 있는 안전사고를 가상 현실(VR)을 통해 간접 체험할 수 있다.
특히, 본 발명의 실시 예들에 따르면, 가상 현실(VR) 내에서 협동 작업을 수행 중에 있는 작업자는 다른 작업자의 존재 및 행위를 보다 현실적으로 느낄 수 있게 된다. 또한, 가상 현실(VR) 내에서 본인의 행위가 아닌, 다른 작업자의 행위에 의해 안전사고가 발생하는 경우도 간접 체험할 수 있게 된다.
본 발명의 효과들은 이상에서 언급한 효과로 제한되지 아니하며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 본 발명이 속한 기술분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따라 둘 이상의 체험자가 협동 작업을 수행할 수 있는 가상 현실의 예시를 나타낸 예시도이다.
도 2는 본 발명의 일 실시예에 따른 안전사고 가상 체험 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 체험 제어 서버의 논리적 구성도이다.
도 4는 본 발명의 일 실시예에 따른 체험 제어 서버의 하드웨어 구성도이다.
도 5은 본 발명의 실시예에 따른 특징이 적용되지 않은 가상 현실 화면을 나타낸 예시도이다.
도 6은 본 발명의 실시예에 따른 특징이 적용된 가상 현실 화면을 나타낸 예시도이다.
도 7은 본 발명의 일 실시예에 따른 안전사고 가상 체험 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예에 따라 체험자의 위치 및 움직임을 결정하는 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 일 실시예에 따라 가상 현실 효과를 식별하는 방법을 설명하기 위한 순서도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.
본 발명에 대한 구체적인 설명에 앞서, 본 명세서에서 공통적으로 기재하고 있는 용어에 대하여 설명한다.
안전사고는 건설 현장 작업 중 작업자의 생명 또는 신체를 손상시킬 수 있는 사고를 의미한다. 본 발명의 실시예들에 따른 안전사고의 유형에는 추락 사고, 화재 사고, 신체 끼임 사고, 충돌 사고 또는 감전 사고가 포함될 수 있으나, 이에 한정되는 것은 아니다.
안전사고 체험 시나리오는 안전사고가 발생하는 상황을 보다 현실적으로 체험할 수 있게 하는 각본을 의미한다. 특히, 안전사고 체험 시나리오는 복수 개의 안전사고를 시계열적 또는 동시적으로 체험할 수 있는 각본이 될 수도 있다.
이와 같은, 안전사고 체험 시나리오에는 작업자의 위치, 작업자의 시야 방향, 작업자 신체의 자세, 작업자 신체의 동작 행위, 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화 또는 안전사고에 따른 효과음이 시계열적으로 포함될 수 있으나, 이에 한정되는 것은 아니다.
안전사고 체험 시나리오의 유형은 작업자의 작업 유형에 따라 결정될 수 있다. 예를 들어, 안전사고 체험 시나리오의 유형에는 비계 작업(scaffold), 타워크레인 작업, 전기 설비 작업 등이 포함될 수 있으나, 이에 한정되는 것은 아니다.
안전사고 이벤트는 안전사고 체험 시나리오 내에서 안전사고가 발생하는 상황을 의미한다. 이와 같은, 안전사고 이벤트는 작업자의 위치, 작업자 신체의 자세, 작업자 신체의 동작 행위, 건설 현장에 존재하는 객체들의 위치 또는 건설 현장에 존재하는 객체들의 위치 변화 등에 관한 상태 값이 안전사고 체험 시나리오에 따라 사전에 설정된 조건을 충족하는 경우 발생할 수 있다.
안전사고 이벤트의 유형은 안전사고 체험 시나리오의 유형에 따라 결정될 수 있다. 예를 들어, 안전사고 체험 시나리오의 유형이 비계 작업인 경우, 안전사고 이벤트의 유형은 추락 사고, 충돌 사고, 감전 사고 등이 포함될 수 있다. 안전사고 체험 시나리오의 유형이 타워크레인 작업인 경우, 안전사고 이벤트의 유형은 협착 사고, 추락 사고 등이 포함될 수 있다. 안전사고 체험 시나리오의 유형이 전기 설비 작업인 경우, 안전사고 이벤트의 유형은 화재 사고, 협착 사고 등이 포함될 수 있다.
체험자는 안전사고 체험 시나리오에 따른 가상 현실(VR) 속에서 안전사고 이벤트를 체험하는 자이다. 이와 같은, 체험자는 문맥에 따라 작업자, 사용자, 이용자 또는 유저 등으로 지시될 수 있다.
한편, 상술한 바와 같이 기존의 가상 현실(VR) 시스템을 이용하여 복수의 사용자가 안전사고를 가상으로 체험하는 경우, 복수의 사용자들에게 체험 순서를 정하고, 정해진 순서대로 한번에 한 명의 사용자가 HMD(Head Mounted Display) 등의 장치를 착용하여 안전사고를 가상 체험할 수 있었다. 그러나, 실제 산업 현장에서는 작업자 1인의 부주의에 의해 발생하는 안전사고 보다, 여러 작업자들의 협동 작업에서 발생하는 안전사고가 더 많다.
이와 같은 현실적 요구에 부합하기 위하여, 본 발명은 건설 현장에서 둘 이상의 작업자가 협동 작업을 수행하는 과정에서 발생할 수 있는 안전사고를 가상 현실(VR)을 통해 간접 체험할 수 있는 시스템을 제안하고자 한다.
도 1은 본 발명의 일 실시예에 따라 둘 이상의 체험자가 협동 작업을 수행할 수 있는 가상 현실의 예시를 나타낸 예시도이다.
기본적으로, 본 발명의 실시예에 따른 안전사고 가상 체험 시스템을 이용하면, 둘 이상의 체험자는 각각 체험 헬멧(10) 및 체험 장갑(20) 등과 같은 웨어러블(wearable) 장치를 신체에 착용한 상태에서 안전사고 체험 시나리오에 따른 가상 현실(VR) 속에서 안전사고를 체험할 수 있다.
구체적으로, 도 1에 도시된 바와 같이 제1 체험자가 착용한 체험 헬멧(10-1)은 건설 현장을 체험할 수 있는 화면(40)을 출력할 수 있다. 체험 헬멧(10-1)을 통해 출력된 화면(40)에는 안전사고 체험 시나리오에 따라 건설 현장에 존재하는 객체의 영상(41)이 포함될 수 있다. 또한, 체험 헬멧(10-1)을 통해 출력된 화면(40)에는 제1 체험자와 동시에 안전사고를 가상으로 체험하고 있는 제2 체험자의 영상(43)이 포함될 수 있다.
화면(40)에 포함된 제2 체험자의 영상(43)은 제2 체험자가 착용한 체험 헬멧(10-2) 및 체험 장갑(20-2) 등에 의해 추적된 제2 체험자의 움직임에 따라 변화될 수 있다. 그러나, 가상 현실(VR)을 구현하기 위한 연산의 복잡도 및 구현 비용 등과 같은 현실적인 이유로 인하여, 제2 체험자는 움직일 수 있는 모든 신체 부위에 웨어러블 장치(10, 20)를 착용할 수 없는 경우가 대부분일 것이다. 따라서, 화면(40)에 포함된 제2 체험자의 영상(43)의 변화는 기본적으로 제2 체험자가 웨어러블 장치(10, 20)를 착용한 신체 부위에 한정될 수밖에 없을 것이다.
특징적으로, 본 발명의 실시예에 따른 안전사고 가상 체험 시스템은 제2 체험자가 웨어러블 장치(10, 20)를 착용하지 않은 신체 부위도 안전사고 체험 시나리오에 따라 변화시킴으로써, 제1 체험자는 가상 현실(VR) 속에서 제2 체험자의 존재 및 행위를 보다 현실적으로 느낄 수 있게 된다. 또한, 본 발명의 실시예에 따른 안전사고 가상 체험 시스템은 제2 체험자의 행위에 따른 결과를 제1 체험자에게도 적용시킴으로써, 제1 체험자는 가상 현실(VR) 속에서 제2 체험자의 행위에 의해 발생된 안전사고도 간접 체험할 수 있게 된다.
이하, 상술한 바와 같은 특징을 가지는 안전사고 가상 체험 시스템의 구성에 대하여 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 안전사고 가상 체험 시스템의 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 안전사고 가상 체험 시스템은 웨어러블 장치(10, 20, 30) 및 체험 제어 서버(100)를 포함하여 구성될 수 있다. 여기서, 웨어러블 장치는 체험 헬멧(10), 체험 장갑(20) 및 체험 팔찌(30)를 포함할 수 있으나, 이에 한정되지 아니하고 체험 장화, 체험 발찌, 체험 반지, 체험 안경 등과 같이 본 발명이 속한 기술분야의 통상의 기술자가 알 수 있는 웨어러블 장치는 모두 포함될 수 있을 것이다.
이와 같은, 안전사고 가상 체험 시스템의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 어느 하나 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현될 수도 있다.
각각의 구성 요소에 대해 설명하면, 체험 헬멧(10)은 체험자의 시각 및/또는 청각을 통해 안전사고 체험 시나리오에 따른 가상 현실(VR) 환경을 제공하기 위한 장치이다. 즉, 체험 헬멧(10)은 HMD(Head Mounted Display)와 같은 역할을 수행하기 위한 장치이다. 구체적으로, 체험 헬멧(10)은 체험자의 머리(head)에 착용될 수 있다. 체험 헬멧(10)은 헬멧(helmet)이라는 어휘에 한정되지 아니하고, 체험자의 머리에 착용될 수 있는 안대(eye patch) 또는 헤드셋(headset) 등과 같은 형상을 가질 수도 있다.
체험 헬멧(10)은 안전사고 체험 시나리오에 따른 가상 현실(VR) 환경에 대한 영상을 제공하기 위한 디스플레이를 포함하여 구성될 수 있다. 체험 헬멧(10)을 구성하고 있는 디스플레이는 체험자의 한 쌍의 눈에 대응될 수 있도록 한 쌍으로 구성될 수 있다. 체험 헬멧(10)은 안전사고 체험 시나리오에 따른 가상 현실(VR) 환경에 대한 음향을 제공하기 위한 스피커를 포함하여 구성될 수 있다. 체험 헬멧(10)을 구성하고 있는 스피커는 체험자의 한 쌍의 귀에 대응될 수 있도록 한 쌍으로 구성될 수 있다.
체험 헬멧(10)은 머리의 움직임을 추적하기 위한 트래킹 센서를 포함하여 구성될 수 있다. 체험 헬멧(10)을 구성하고 있는 트래킹 센서는 가속도 센서(acceleration sensor), 중력 센서(gravity sensor), 자이로스코프 센서(gyroscope sensor), 근접 센서(proximity sensor) 또는 IPD(InterPupillary Distance) 센서 중 하나 이상을 포함할 수 있으며, 이에 한정되지 않는다.
체험 헬멧(10)은 트래킹 센서로부터 수집된 정보를 기초로 헤드 트래킹 정보를 생성할 수 있다. 여기서, 헤드 트래킹 정보는 체험자의 머리의 움직임을 추적하기 위하여 필요한 위치 및 운동량에 관한 정보이다. 헤드 트래킹 정보에는 체험자 머리의 이동 방향, 이동 속도, 회전 각도, 회전 속도, 기울기 각도, 기울기 속도, 체험 헬멧(10)의 착용 여부, 두 동공의 거리가 포함될 수 있으나, 이에 한정되는 것은 아니다.
그리고, 체험 헬멧(10)은 생성된 트래킹 정보를 네트워크(50)를 통해 체험 제어 서버(100)에 전송할 수 있다.
한편, 본 발명의 일 실시예에 따른 체험 헬멧(10)은 체험자의 머리에 충격을 전달할 수 있다. 구체적으로, 체험 헬멧(10)은 네트워크(50)를 통해 체험 제어 서버(100)로부터 두부 충격을 지시하는 명령을 수신할 수 있다. 체험 헬멧(10)은 수신된 두부 충격을 지시하는 명령에 포함된 충격 시점 및 충격 위치에 따라, 체험 헬멧(10)의 내측에서 체험자의 머리를 향하여 충격을 가할 수 있다.
이를 위하여, 체험 헬멧(10)은 체험자의 머리에 충격을 가하기 위한 충격 센서를 포함하여 구성될 수 있다. 체험 헬멧(10)을 구성하고 있는 충격기는 전자석 충돌체가 전기적 신호에 따라 빠르게 이동하여 물리적 충격을 발생하는 방식 또는 순간적으로 높은 전압을 가하여 전기적 충격을 발생하는 방식이 될 수 있으며, 이에 한정되는 것은 아니다.
다음 구성으로, 체험 장갑(20)은 체험자의 촉각을 통해 안전사고 체험 시나리오에 따른 가상 현실(VR) 환경을 제공하기 위한 장치이다. 구체적으로, 체험 장갑(20)은 체험자의 손(hand)에 착용될 수 있다. 체험 장갑(20)은 체험자의 각각의 손가락이 분리되어 삽입될 수 있는 형상이 될 수 있으나, 이에 한정되지 아니하고 모든 손가락이 한꺼번에 삽입될 수 있는 형상이 될 수도 있다.
체험 장갑(20)은 손과 손가락의 움직임을 추적하기 위한 트래킹 센서를 포함하여 구성될 수 있다. 체험 장갑(20)을 구성하고 있는 트래킹 센서는 가속도 센서, 중력 센서, 자이로스코프 센서 또는 근접 센서 중 하나 이상을 포함할 수 있으며, 이에 한정되지 않는다.
체험 장갑(20)은 트래킹 센서로부터 수집된 정보를 기초로 핸드 트래킹 정보를 생성할 수 있다. 여기서, 핸드 트래킹 정보는 체험자의 손과 손가락의 움직임을 추적하기 위하여 필요한 위치 및 운동량에 관한 정보이다. 핸드 트래킹 정보에는 체험자 손의 이동 방향, 이동 속도, 회전 각도, 회전 속도, 기울기 각도, 기울기 속도, 체험자 손가락 각각의 이동 방향, 이동 속도, 굽어진 각도, 굽어진 속도가 포함될 수 있으나, 이에 한정되는 것은 아니다.
그리고, 체험 장갑(20)은 생성된 핸드 트래킹 정보를 네트워크(50)를 통해 체험 제어 서버(100)에 전송할 수 있다.
한편, 본 발명의 일 실시예에 따른 체험 장갑(20)은 체험자의 손에 진동, 온도 변화 및 누전 감각을 전달할 수 있다. 구체적으로, 체험 장갑(20)은 네트워크(50)를 통해 체험 제어 서버(100)로부터 진동을 발생시키기 위한 명령을 수신할 수 있다. 체험 장갑(20)은 수신된 진동을 발생시키기 위한 명령에 포함된 진동 시점, 진동 위치 및 진동 세기에 따라, 체험 장갑(20)의 내측에서 체험자의 손을 향하여 진동을 발생시킬 수 있다.
이를 위하여, 체험 장갑(20)은 진동을 발생시킬 수 있는 진동 모터를 포함하여 구성될 수 있다. 체험 장갑(20)을 구성하고 있는 진동 모터는 비대칭 무게 추를 회전시켜 진동을 발생시키는 방식이 될 수 있으나, 이에 한정되는 것은 아니다.
체험 장갑(20)은 네트워크(50)를 통해 체험 제어 서버(100)로부터 온도를 변화시키기 위한 명령을 수신할 수 있다. 체험 장갑(20)은 수신된 온도를 변화시키기 위한 명령에 포함된 변화 시점, 목표 온도에 따라, 체험 장갑(20) 내측에서 체험자의 피부가 접촉되는 면의 온도를 변화시킬 수 있다.
이를 위하여, 체험 장갑(20)은 온도를 변화시킬 수 있는 펠티어 소자를 포함하여 구성될 수 있다. 체험 장갑(20)을 구성하고 있는 펠티어 소자는 펠티어 효과(Peltier effect)를 이용하여 온도를 변화시킬 수 있는 반도체 소자가 될 수 있다.
체험 장갑(20)은 네트워크(50)를 통해 체험 제어 서버(100)로부터 전류를 누전시키기 위한 명령을 수신할 수 있다. 체험 장갑(20)은 수신된 전류를 누전시키기 위한 명령에 포함된 누설 시점, 누설 전압 및 누설 전류에 따라, 체험 장갑(20) 내측에서 체험자의 피부가 접촉되는 면에 전류를 누설시킬 수 있다.
이를 위하여, 체험 장갑(20)은 전류를 누설시킬 수 있는 누전 단자를 포함하여 구성될 수 있다. 체험 장갑(20)을 구성하고 있는 누전 단자는 신호에 따라 전류를 누설시키거나 또는 누설되는 전류를 차단할 수 있는 단자이다.
다음 구성으로, 체험 팔찌(30)는 체험자의 압각을 통해 안전사고 체험 시나리오에 따른 가상 현실(VR) 환경을 제공하기 위한 장치이다. 구체적으로, 체험 팔찌(30)는 체험자의 손목에 삽입될 수 있는 밴드를 포함하여 구성될 수 있다.
본 발명의 일 실시예에 따른 체험 팔찌(30)는 밴드 내측에 체험자의 손목이 삽입될 수 있는 공간의 넓이를 변화시켜, 체험자의 손목에 압박을 전달할 수 있다. 구체적으로, 체험 팔찌(30)는 네트워크(50)를 통해 체험 제어 서버(100)로부터 공간의 넓이를 감소시키기 위한 명령을 수신할 수 있다. 체험 팔찌(30)는 수신된 밴드 내측 공간의 넓이를 변화시키기 위한 명령에 포함된, 변화 시점 및 변화 넓이에 따라, 밴드 내측의 공간의 넓이를 변화시킬 수 있다.
이를 위하여, 체험 팔찌(30)는 밴드 내측의 공간을 감소시키기 위한 구성을 포함할 수 있다. 예를 들어, 체험 팔찌(30)는 밴드 내부에 튜브를 구비할 수 있으며, 명령에 따라 공기를 흡입하여 내부에 구비된 튜브를 팽창시켜 밴드 내측 공간의 넓이를 감소시킬 수 있다. 또는, 체험 팔찌(30)는 밴드를 권취(wind)하거나 또는 권출(unwind)시킬 수 있는 모터를 구비할 수 있으며, 명령에 따라 밴드를 권취 또는 권출하여 밴드 내측 공간의 넓이를 변화시킬 수 있다.
다음 구성으로, 체험 제어 서버(100)는 안전사고 체험 시나리오에 따라 체험 헬멧(10), 체험 장갑(20) 및 체험 팔찌(30)를 제어하여 가상 현실(VR) 환경을 제공하기 위한 장치이다. 체험 제어 서버(100)는 네트워크(50)를 통해 체험 헬멧(10) 및 체험 장갑(20)으로부터 헤드 트래킹 정보 및 핸드 트래킹 정보를 수신할 수 있다. 체험 제어 서버(100)수신된 헤드 트래킹 정보 및 핸드 트래킹 정보를 기초로 안전사고 체험 시나리오에 대응되는 영상 및 음향 데이터를 식별하고, 식별된 영상 및 음향 데이터를 체험 헬멧(10) 및 체험 장갑(20)에 전송할 수 있다. 또한, 체험 제어 서버(100)는 안전사고 체험 시나리오에 따른 안전사고 이벤트가 발생한 경우, 이를 체험시키기 위한 명령을 체험 헬멧(10), 체험 장갑(20) 및 체험 팔찌(30)에 전송할 수 있다.
체험 제어 서버(100)는 체험 헬멧(10), 체험 장갑(20) 및 체험 팔찌(30)와 데이터를 송수신하고 연산을 수행할 수 있는 장치라면 어떠한 장치라도 허용될 수 있다. 예를 들어, 체험 제어 서버(100)는 데스크탑(desktop), 워크스테이션(workstation) 또는 서버(server) 등과 같은 고정식 컴퓨팅 장치 중 어느 하나가 될 수 있으나, 이에 한정되지 아니하고 스마트폰(smart phone), 랩탑(laptaop), 태블릿(tablet), 패블릿(phablet), 휴대용 멀티미디어 재생장치(Portable Multimedia Player, PMP), 개인용 휴대 단말기(Personal Digital Assistants, PDA) 또는 전자책 단말기(E-book reader) 등과 같은 이동식 컴퓨팅 장치 중 어느 하나가 될 수도 있다.
이와 같은, 체험 제어 서버(100)의 구체적인 구성 및 동작에 대해서는 추후 도 3 내지 도 9를 참조하여 구체적으로 설명하기로 한다.
네트워크(50)는 체험 헬멧(10), 체험 장갑(20), 체험 팔찌(30) 및 체험 제어 서버(100)가 서로 데이터를 송수신하기 위한 인프라(infrastructure)이다. 이와 같은, 네트워크(50)는 근거리 무선 통신망, 이동 통신망, 공용 유선 통신망 중 하나 이상을 포함할 수 있다. 네트워크(50)가 근거리 무선 통신망 또는 이동 통신망을 포함할 경우, 네트워크(50)는 체험 헬멧(10), 체험 장갑(20), 체험 팔찌(30) 또는 체험 제어 서버(100)가 망에 접속하기 위한 하나 이상의 액세스 포인트(access point, 51)를 포함할 수 있다.
네트워크(50)에 포함될 수 있는 근거리 무선 통신망은 블루투스(Bluetooth), BLE(Bluetooth Low Energy), 지그비(Zigbee), NFC(Near Field Communication), 와이파이(Wi-Fi), 와이맥스(Wimax), 와이브로(Wibro) 중 하나 이상을 이용하여 구현될 수 있다. 네트워크(50)에 포함될 수 있는 이동 통신망은 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 와이드 밴드 코드 분할 다중 접속(Wideband CDMA, WCDMA), 고속 패킷 접속(High Speed Packet Access, HSPA), 롱텀 에볼루션(Long Term Evolution, LTE) 중 하나 이상을 이용하여 구현될 수 있다. 네트워크(50)에 포함될 수 있는 공용 유선 통신망은 이더넷(ethernet), 디지털가입자선(x Digital Subscriber Line, xDSL), 광동축 혼합망(Hybrid Fiber Coax, HFC), 광가입자망(Fiber To The Home, FTTH) 중 하나 이상을 이용하여 구현될 수 있다.
이하, 상술한 바와 같은 체험 제어 서버(100)의 논리적 구성에 대하여 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 체험 제어 서버의 논리적 구성도이다.
도 3에 도시된 바와 같이, 체험 제어 서버(100)는 통신부(105), 입출력부(110), 사용자 트래킹부(115), 다중 사용자 관리부(120), 시나리오 진행부(125) 및 이벤트 처리부(130)를 포함하여 구성될 수 있다. 이와 같은, 체험 제어 서버(100)의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 어느 하나 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현될 수 있다.
각각의 구성 요소에 대하여 설명하면, 통신부(105)는 네트워크(50)를 통해 체험 헬멧(10), 체험 장갑(20) 및 체험 팔찌(30)와 데이터를 송수신할 수 있다. 구체적으로, 통신부(105)는 체험 헬멧(10)으로부터 헤드 트래킹 정보를 수신할 수 있다. 통신부(105)는 체험 장갑(20)으로부터 핸드 트래킹 정보를 수신할 수 있다. 통신부(105)는 안전사고 체험 시나리오에 따른 영상 및 음향 데이터를 체험 헬멧(10)에 전송할 수 있다.
또한, 통신부(105)는 체험 헬멧(10)에 두부 충격을 지시하는 명령을 전송할 수 있다. 통신부(105)는 체험 장갑(20)에 진동을 발생시키기 위한 명령을 전송할 수 있다. 통신부(105)는 체험 장갑(20)에 온도를 변화시키기 위한 명령을 전송할 수 있다. 통신부(105)는 체험 장갑(20)에 전류를 누전시키기 위한 명령을 전송할 수 있다. 그리고, 통신부(105)는 체험 팔찌(30)에 밴드 내측 공간의 넓이를 감소시키기 위한 명령을 전송할 수 있다.
다음 구성으로, 입출력부(110)는 체험 제어 서버(100)의 동작에 필요한 데이터를 입출력할 수 있다. 구체적으로, 입출력부(110)는 안전사고 체험 시나리오의 유형 및 안전사고 이벤트의 유형을 선택하기 위한 값을 입력 받을 수 있다. 입출력부(110)는 안전사고 체험 시나리오에 따른 영상 및 음향을 출력할 수 있다.
다음 구성으로, 사용자 트래킹부(115)는 안전사고 체험 시나리오에 따른 가상 현실(VR)을 체험 중인 체험자의 움직임을 추적할 수 있다. 구체적으로, 사용자 트래킹부(115)는 체험자의 식별자(identifier)에 따라, 체험 헬멧(10) 및 체험 장갑(20)으로부터 수신된 헤드 트래킹 정보 및 핸드 트래킹 정보를 분류한다. 즉, 사용자 트래킹부(115)는 수신된 헤드 트래킹 정보가 어느 체험자가 착용한 체험 헬멧(10)으로부터 수신된 정보인지, 수신된 핸드 트래킹 정보가 어느 체험자가 착용한 체험 장갑(20)으로부터 수신된 정보인지 분류한다.
사용자 트래킹부(115)는 분류된 헤드 트래킹 정보를 기초로, 각 체험자의 머리의 이동 방향, 이동 속도, 회전 각도, 회전 속도, 기울기 각도, 기울기 속도를 식별할 수 있다. 사용자 트래킹부(115)는 식별된 머리의 이동 방향, 이동 속도, 회전 각도, 회전 속도, 기울기 각도, 기울기 속도를 기초로, 각 체험자의 머리의 위치 및 움직임을 결정할 수 있다.
사용자 트래킹부(115)는 제1 체험자에 대한 핸드 트래킹 정보를 기초로, 각 체험자의 손의 이동 방향, 이동 속도, 회전 각도, 회전 속도, 기울기 각도, 기울기 속도, 체험자 손가락 각각의 이동 방향, 이동 속도, 굽어진 각도, 굽어진 속도를 식별할 수 있다. 사용자 트래킹부(115)는 식별된 손의 이동 방향, 이동 속도, 회전 각도, 회전 속도, 기울기 각도, 기울기 속도, 체험자 손가락 각각의 이동 방향, 이동 속도, 굽어진 각도, 굽어진 속도를 기초로, 각 체험자의 손의 위치 및 움직임, 손가락의 위치 및 움직임을 결정할 수 있다.
다음 구성으로, 다중 사용자 관리부(120)는 안전사고 체험 시나리오에 따른 가상 현실(VR)을 체험하는 체험자가 복수인 경우, 가상 현실(VR) 속에서 각 체험자가 다른 체험자를 현실적으로 체감할 수 있게 관리할 수 있다. 구체적으로, 다중 사용자 관리부(120)는 각각의 체험자에 대하여, 사용자 트래킹부(115)를 통해 위치 및 움직임이 결정되지 않은 신체 부위를 식별할 수 있다. 다중 사용자 관리부(120)는 시나리오 진행부(125)에 의해 결정된 안전사고 체험 시나리오의 유형 및 진행 정도에 따라 설정되어 있는 미확인 신체 정보를 식별할 수 있다.
여기서, 미확인 신체 정보는 안전사고 체험 시나리오의 유형 및 진행 정도에 따라 체험자가 기본적으로 취하게 될 것으로 예상되는 자세 정보이다. 예를 들어, 안전사고 체험 시나리오의 유형이 비계 작업이고, 진행 정도에 따라 아직 작업 발판에 설치되지 않은 경우, 체험자가 기본적으로 취하게 되는 신체 자세는 양 다리는 비계 철골에 걸치고, 양 손은 비계 철골을 파지하는 자세가 될 것이다.
다중 사용자 관리부(120)는 사용자 트래킹부(115)를 통해 결정된 각 체험자의 머리의 위치 및 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임과, 식별된 미확인 신체 정보를 병합하여, 각 체험자의 자세 정보를 결정할 수 있다.
여기서, 체험자의 자세 정보는 체험자를 안전사고 체험 시나리오에 따른 가상 현실(VR) 속에서 실제 사람과 같이 보여주기 위하여, 웨어러블 장치(10, 20, 30)에 의해 추적된 체험자의 실제 자세와 웨어러블 장치(10, 20, 30)에 의해 추적될 수 없는 체험자의 자세를 종합한, 신체 모든 부위에 대한 자세 정보이다.
다음 구성으로, 시나리오 진행부(125)는 안전사고 체험 시나리오에 따라 가상 현실(VR)을 체험할 수 있도록, 체험 헬멧(10)을 제어할 수 있다. 구체적으로, 시나리오 진행부(125)는 진행할 안전사고 체험 시나리오의 유형 및 안전사고 이벤트의 유형을 식별할 수 있다. 여기서, 진행할 안전사고 체험 시나리오의 유형 및 안전사고 이벤트의 유형은 입출력부(110)를 통해 사용자로부터 입력 받을 수 있다. 또는 진행할 안전사고 체험 시나리오의 유형 및 안전사고 이벤트의 유형은 사전에 프리셋(preset)되어 있을 수도 있다.
시나리오 진행부(125)는 사용자 트래킹부(115)를 통해 결정된 체험자의 머리의 위치 및 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임에 따른 작업자의 위치, 작업자의 시야 방향, 작업자 신체의 자세, 작업자 신체의 동작 행위를 식별할 수 있다. 시나리오 진행부(125)는 식별된 안전사고 체험 시나리오에 포함된 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화에 따른 효과음 등을 시계열적으로 식별할 수 있다.
시나리오 진행부(125)는 시계열적으로 식별된 작업자의 위치, 작업자의 시야 방향, 작업자 신체의 자세, 작업자 신체의 동작 행위, 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화 등에 따른 영상 및 음향 데이터를 식별할 수 있다. 그리고, 시나리오 진행부(125)는 식별된 영상 및 음향 데이터를 통신부(105)를 통해 체험 헬멧(10)에 전송할 수 있다.
특히, 시나리오 진행부(125)는 다중 사용자 관리부(120)를 통해 결정된 각 체험자의 자세 정보에 따른 다른 작업자 신체의 자세, 다른 작업자 신체의 동작 행위를 식별할 수 있다. 시나리오 진행부(125)는 다른 작업자 신체의 자세, 다른 작업자 신체의 동작 행위에 따른 영상 및 음향 데이터를 식별할 수 있다. 그리고, 시나리오 진행부(125)는 식별된 영상 및 음향 데이터를 통신부(105)를 통해 체험 헬멧(10)에 전송할 수 있다.
즉, 본 발명의 일 실시예에 따른 시나리오 진행부(125)는 제1 체험자의 자세 정보에 대응되는 영상 및 음향 데이터를 제2 체험자에 의해 착용된 체험 헬멧(10)에 전송할 수 있는 것이다.
특히, 시나리오 진행부(125)는 가상 현실(VR)을 체험하는 체험자가 복수인 경우, 복수의 체험자가 유기적으로 안전사고 체험 시나리오를 진행할 수 있도록 제어할 수 있다. 구체적으로, 시나리오 진행부(125)는 제1 체험자 및 제2 체험자의 위치, 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임, 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화에 따라, 제1 체험자와 제2 체험자가 동일한 객체를 파지하고 있는 것으로 판단된 경우, 제1 체험자에 의해 착용된 체험 장갑(10)의 움직임에 따라, 진동을 발생시키기 위한 명령을 제2 체험자에 의해 착용된 체험 장갑(10)에 전송할 수 있다.
다음 구성으로, 이벤트 처리부(130)는 안전사고 체험 시나리오 진행 중 안전사고 이벤트를 체험할 수 있도록, 체험 헬멧(10), 체험 장갑(20), 체험 팔찌(30)를 제어할 수 있다. 구체적으로, 이벤트 처리부(130)는 체험자의 위치, 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임, 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화에 따라 안전사고 이벤트가 발생하였는지 판단할 수 있다.
안전사고 이벤트가 발생된 것으로 판단되는 경우, 이벤트 처리부(130)는 안전사고 이벤트의 유형에 따른 가상 현실(VR) 효과를 식별할 수 있다. 여기서, 가상 현실(VR) 효과는 가상 현실(VR) 속에서 안전사고를 체험할 수 있게 하는 효과이다. 가상 현실(VR) 효과에는 충격, 진동, 누전, 온도 변화, 압력 등이 포함될 수 있으나, 이에 한정되는 것은 아니다. 이벤트 처리부(130)는 식별된 가상 효과를 발생시키기 위한 명령을 체험 헬멧(10), 체험 장갑(20) 및 체험 팔찌(30)에 전송할 수 있다.
예를 들어, 안전사고 이벤트의 유형이 추락 체험에 해당되고, 체험자의 위치, 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임, 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화에 따라 안전사고 이벤트가 발생된 것으로 판단되는 경우, 이벤트 처리부(130)는 가상 현실 효과를 발생시키기 위하여 두부 충격을 지시하는 명령을 체험 헬멧(10)에 전송할 수 있다.
안전사고 이벤트의 유형이 화재 체험에 해당되고, 체험자의 위치, 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임, 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화에 따라 안전사고 이벤트가 발생된 것으로 판단되는 경우, 이벤트 처리부(130)는 가상 현실 효과를 발생시키기 위하여 온도를 변화시키기 위한 명령을 체험 장갑(20)에 전송할 수 있다.
안전사고 이벤트의 유형이 누전 체험에 해당되고, 체험자의 위치, 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임, 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화에 따라 안전사고 이벤트가 발생된 것으로 판단되는 경우, 이벤트 처리부(130)는 가상 현실 효과를 발생시키기 위하여 전류를 누전시키기 위한 명령을 체험 장갑(20)에 전송할 수 있다.
안전사고 이벤트의 유형이 협착 체험에 해당되고, 체험자의 위치, 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임, 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화에 따라 안전사고 이벤트가 발생된 것으로 판단되는 경우, 이벤트 처리부(130)는 가상 현실 효과를 발생시키기 위하여 벨트 내측 공간의 넓이를 변화시키기 위한 명령을 체험 팔찌(30)에 전송할 수 있다.
특히, 이벤트 처리부(130)는 가상 현실(VR)을 체험하는 체험자가 복수인 경우, 복수의 체험자가 유기적으로 안전사고를 체험할 수 있도록 제어할 수 있다. 구체적으로, 이벤트 처리부(130)는 제1 체험자의 위치, 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임, 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화에 따라 안전사고 이벤트가 발생된 것으로 판단되는 경우, 제1 체험자와 동시에 가상 현실(VR)을 체험하고 있는 제2 체험자를 식별할 수 있다. 이벤트 처리부(130)는 식별된 가상 현실(VR) 환경 내에서 제1 체험자와 제2 체험자의 상대적인 거리를 식별할 수 있다. 이벤트 처리부(130)는 식별된 상대적인 거리 및 제2 체험자의 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임에 따라, 제1 체험자에게 발생된 안전사고 이벤트가 제2 체험자에게 영향을 미치는지 판단할 수 있다.
제1 체험자에게 발생된 안전사고 이벤트가 제2 체험자에게 영향을 미치는 것으로 판단된 경우, 이벤트 처리부(130)는 발생된 안전사고 이벤트에 대응되는 영상 및 음향 데이터를 제2 체험자에 의해 착용된 체험 헬멧(10)에 전송할 수 있다. 이와 반대로, 제1 체험자에게 발생된 안전사고 이벤트가 제2 체험자에게 영향을 미치지 않는 것으로 판단된 경우, 이벤트 처리부(130)는 발생된 안전사고 이벤트에 매칭되는 응급조치 시나리오에 대응되는 영상 및 음향 데이터를 상기 제2 체험자에 의해 착용된 체험 헬멧(10)에 전송할 수 있다.
이하, 상술한 바와 같은 체험 제어 서버(100)의 논리적 구성요소를 구현하기 위한 하드웨어에 대하여 보다 구체적으로 설명한다.
도 4는 본 발명의 일 실시예에 따른 체험 제어 서버의 하드웨어 구성도이다.
도 4에 도시된 바와 같이, 체험 제어 서버(100)는 프로세서(Processor, 150), 메모리(Memory, 155), 송수신기(Transceiver, 160), 입출력장치(Input/output device, 165) 및 데이터 버스(Bus, 170) 및 스토리지(Storage, 175)를 포함하여 구성될 수 있다.
프로세서(150)는 메모리(155)에 상주된 안전사고 가상 체험 방법이 구현된 소프트웨어(180a)에 따른 명령어를 기초로, 체험 제어 서버(100)의 동작 및 기능을 구현할 수 있다. 메모리(155)에는 안전사고 가상 체험 방법이 구현된 소프트웨어(180a)가 상주(loading)될 수 있다. 송수신기(160)는 체험 헬멧(10), 체험 장갑(20) 또는 체험 팔찌(30)와 데이터를 송수신할 수 있다. 입출력장치(165)는 체험 제어 서버(100)의 동작에 필요한 데이터를 입출력할 수 있다. 데이터 버스(170)는 프로세서(150), 메모리(155), 송수신기(160), 입출력장치(165) 및 스토리지(175)와 연결되어, 각각의 구성 요소 사이가 서로 데이터를 전달하기 위한 이동 통로의 역할을 수행할 수 있다.
스토리지(175)는 안전사고 가상 체험 방법이 구현된 소프트웨어(180a)의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API), 라이브러리(library) 파일, 리소스(resource) 파일 등을 저장할 수 있다. 스토리지(175)는 안전사고 가상 체험 방법이 구현된 소프트웨어(180b)를 저장할 수 있다. 또한, 스토리지(175)는 데이터베이스(185)를 포함하여 저장할 수 있다. 여기서, 데이터베이스(190)에는 안전사고 가상 체험 방법의 수행에 필요한 안전사고 체험 시나리오, 안전사고 이벤트에 대한 정보가 저장될 수 있으나, 이에 한정되는 것은 아니다.
메모리(155)에 상주되거나 또는 스토리지(175)에 저장된 안전사고 가상 체험 방법을 구현하기 위한 소프트웨어(180a, 180b)는 제1 체험자에 의해 착용된 체험 장갑으로부터 상기 제1 체험자의 손의 움직임을 추적하기 위한 핸드 트래킹 정보를 수신하는 단계, 상기 제1 체험자에 의해 착용된 체험 헬멧으로부터 사기 제1 체험자의 머리의 움직임을 추적하기 위한 헤드 트래킹 정보를 수신하는 단계, 상기 핸드 트래킹 정보 및 헤드 트래킹 정보를 기초로 상기 제1 체험자의 머리 및 손의 움직임을 결정하는 단계, 기 설정된 안전사고 체험 시나리오에 따라 설정되어 있는 미확인 신체 정보를 식별하는 단계, 상기 제1 체험자의 머리 및 손의 움직임과 상기 미확인 신체 정보를 병합하여 상기 제1 체험자의 자세 정보를 결정하는 단계, 및 상기 제1 체험자의 자세 정보에 대응되는 영상 데이터를 제2 체험자에 의해 착용된 체험 헬멧에 전송하는 단계를 실행시키기 위하여, 기록 매체에 기록된 컴퓨터 프로그램이 될 수 있다.
보다 구체적으로, 프로세서(150)는 ASIC(Application-Specific Integrated Circuit), 다른 칩셋(chipset), 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리(155)는 ROM(Read-Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 송수신기(160)는 유무선 신호를 처리하기 위한 베이스밴드 회로를 포함할 수 있다. 입출력장치(165)는 키보드(keyboard), 마우스(mouse), 및/또는 조이스틱(joystick) 등과 같은 입력 장치 및 액정표시장치(Liquid Crystal Display, LCD), 유기 발광 다이오드(Organic LED, OLED) 및/또는 능동형 유기 발광 다이오드(Active Matrix OLED, AMOLED) 등과 같은 영상 출력 장치 프린터(printer), 플로터(plotter) 등과 같은 인쇄 장치를 포함할 수 있다.
본 명세서에 포함된 실시 예가 소프트웨어로 구현될 경우, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리(155)에 상주되고, 프로세서(150)에 의해 실행될 수 있다. 메모리(155)는 프로세서(150)의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서(150)와 연결될 수 있다.
도 4에 도시된 각 구성요소는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한, 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이하, 상술한 바와 같은 안전사고 가상 체험 시스템의 특징을 구체적으로 설명하기로 한다.
도 5은 본 발명의 실시예에 따른 특징이 적용되지 않은 가상 현실 화면을 나타낸 예시도이다. 그리고, 도 6은 본 발명의 실시예에 따른 특징이 적용된 가상 현실 화면을 나타낸 예시도이다.
체험자가 가상 현실(VR) 속 환경을 실제 환경으로 느끼게 하기 위해서는 많은 연산이 요구된다. 따라서, 현실적으로 가상 현실(VR)을 구현하기 위한 연산의 복잡도 및 구현 비용을 낮추기 위하여, 체험자는 몇몇 신체 부위에 한하여 웨어러블 장치(10, 20, 30)를 착용하고, 몇몇 신체 부위에 한정되어 수집된 정보만을 기초로 가상 현실(VR)을 구현하는 것이 일반적이다.
체험자의 머리와 손에 한하여 웨어러블 장치를 착용하고, 머리와 손에 착용된 웨어러블 장치로부터 수집된 정보만을 기초로 가상 현실(VR)을 구현한 경우를 가정하여 본 발명의 실시예에 따른 특징을 설명한다.
본 발명의 실시예에 따른 특징이 적용되지 않은 경우, 도 5에 도시된 바와 같이, 제1 체험자에 의해 착용된 체험 헬멧(10)을 통해 출력된 화면(40)에는 건설 현장에 존재하는 객체의 영상(41) 및 제2 체험자의 머리와 손에 대한 영상(43a)만 포함될 수 있다.
따라서, 가상 현실(VR)을 체험하고 있는 제1 체험자는 제2 체험자가 정상적인 인체를 가지는 체험자가 아닌, 안전사고 체험 시나리오에 따라 등장한 NPC(Non-Player Character) 정도로 느끼게 될 것이다.
본 발명의 실시예에 따른 특징이 적용된 경우, 체험 제어 서버(100)는 체험자가 착용한 웨어러블 장치에 의해 추적된 체험자의 실제 자세(43a)와 안전사고 체험 시나리오(60)에 따른 미확인 신체 정보를 기초로 식별된 미확인 신체 정보(43b)를 병합하여 체험자의 자세 정보를 결정할 수 있다.
이 경우 도 6에 도시된 바와 같이, 제1 체험자에 의해 착용된 체험 헬멧(10)을 통해 출력된 화면(40)에는 건설 현장에 존재하는 객체의 영상(41) 및 제2 체험자의 모든 신체에 대한 영상(43a, 43b)이 포함될 수 있다.
따라서, 가상 현실(VR)을 체험하고 있는 제1 체험자는 제2 체험자의 존재 및 행위를 보다 현실적으로 느끼게 될 것이다.
이하, 상술한 바와 같은 체험 제어 서버(100)의 동작에 대하여 보다 구체적으로 설명하기로 한다.
도 7은 본 발명의 일 실시예에 따른 안전사고 가상 체험 방법을 설명하기 위한 순서도이다.
도 7에 도시된 바와 같이, 체험 제어 서버(100)는 웨어러블 장치(10, 20)들로부터 체험자의 움직임을 추적하기 위한 정보를 수신할 수 있다(S100). 구체적으로, 체험 제어 서버(100)는 체험 헬멧(10)으로부터 헤드 트래킹 정보를 수신할 수 있다. 그리고, 체험 제어 서버(100)는 체험 장갑(10)으로부터 핸드 트래킹 정보를 수신할 수 있다.
체험 제어 서버(100)는 웨어러블 장치(10, 20)들로부터 수신된 정보들을 기초로, 체험자의 머리의 위치 및 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임의 움직임을 결정할 수 있다(S200). 체험자의 머리 및 손의 움직임을 결정하는 구체적인 과정에 대해서는 추후 도 8을 참조하여 설명하기로 한다.
체험 제어 서버(100)는 결정된 체험자의 머리의 위치 및 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임에 따른 작업자의 위치, 작업자의 시야 방향, 작업자 신체의 자세, 작업자 신체의 동작 행위를 식별할 수 있다. 체험 제어 서버(100)는 안전사고 체험 시나리오에 포함된 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화에 따른 효과음 등을 시계열적으로 식별할 수 있다. 그리고, 체험 제어 서버(100)는 시계열적으로 식별된 작업자의 위치, 작업자의 시야 방향, 작업자 신체의 자세, 작업자 신체의 동작 행위, 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화 등에 따른 영상 및 음향 데이터를 식별할 수 있다(S300).
체험 제어 서버(100)는 체험자의 위치, 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임, 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화에 따라 안전사고 이벤트가 발생하였는지 판단할 수 있다(S400).
판단 결과, 안전사고 이벤트가 발생한 것으로 판단되는 경우, 체험 제어 서버(100)는 가상 현실 속에서 안전사고를 체험할 수 있게 하기 위한 가상 현실(VR) 효과를 식별할 수 있다(S500). 여기서, 가상 현실(VR) 효과에는 충격, 진동, 누전, 온도 변화, 압력 등이 포함될 수 있으나, 이에 한정되는 것은 아니다. 가상 현실(VR) 효과를 식별하는 구체적인 과정에 대해서는 추후 도 9를 참조하여 설명하기로 한다.
체험 제어 서버(100)는 식별된 영상 및 음향 데이터, 그리고 가상 현실 효과를 발생시키기 위한 명령을 웨어러블 장치(10, 20, 30)에 전송할 수 있다(S600). 구체적으로, 체험 제어 서버(100)는 식별된 영상 및 음향 데이터를 체험 헬멧(10)에 전송할 수 있다. 체험 제어 서버(100)는 두부 충격을 지시하는 명령을 체험 헬멧(10)에 전송할 수 있다. 체험 제어 서버(100)는 진동을 발생시키기 위한 명령, 온도를 변화시키기 위한 명령, 전류를 누전시키기 위한 명령을 체험 장갑(20)에 전송할 수 있다. 체험 제어 서버(100)는 벨트 내측 공간의 넓이를 변화시키기 위한 명령을 체험 팔찌(30)에 전송할 수 있다.
체험 제어 서버(100)는 안전사고 체험 시나리오가 종료되었는지 판단할 수 있다(S700). 판단 결과, 안전사고 체험 시나리오가 아직 진행 중인 경우, 체험 제어 서버(100)는 웨어러블 장치(10, 20)들로부터 체험자의 움직임을 추적하기 위한 정보를 수신하는 단계(S100)부터 다시 수행할 수 있다. 이와 반대로, 안전사고 체험 시나리오가 종료된 경우, 체험 제어 서버(100)는 안전사고 가상 체험 방법의 수행을 종료할 수 있다.
도 8은 본 발명의 일 실시예에 따라 체험자의 위치 및 움직임을 결정하는 방법을 설명하기 위한 순서도이다.
도 8에 도시된 바와 같이, 체험 제어 서버(100)는 체험자의 식별자에 따라, 체험 헬멧(10) 및 체험 장갑(20)으로부터 수신된 헤드 트래킹 정보 및 핸드 트래킹 정보를 분류할 수 있다(S210). 즉, 체험 제어 서버(100)는 수신된 헤드 트래킹 정보가 어느 체험자가 착용한 체험 헬멧(10)으로부터 수신된 정보인지, 수신된 핸드 트래킹 정보가 어느 체험자가 착용한 체험 장갑(20)으로부터 수신된 정보인지 분류할 수 있다.
체험 제어 서버(100)는 분류된 헤드 트래킹 정보를 기초로, 각 체험자의 머리의 이동 방향, 이동 속도, 회전 각도, 회전 속도, 기울기 각도, 기울기 속도를 식별할 수 있다. 체험 제어 서버(100)는 식별된 머리의 이동 방향, 이동 속도, 회전 각도, 회전 속도, 기울기 각도, 기울기 속도를 기초로, 각 체험자의 머리의 위치 및 움직임을 결정할 수 있다. 체험 제어 서버(100)는 분류된 핸드 트래킹 정보를 기초로, 각 체험자의 손의 이동 방향, 이동 속도, 회전 각도, 회전 속도, 기울기 각도, 기울기 속도, 체험자 손가락 각각의 이동 방향, 이동 속도, 굽어진 각도, 굽어진 속도를 식별할 수 있다. 그리고, 체험 제어 서버(100)는 식별된 손의 이동 방향, 이동 속도, 회전 각도, 회전 속도, 기울기 각도, 기울기 속도, 체험자 손가락 각각의 이동 방향, 이동 속도, 굽어진 각도, 굽어진 속도를 기초로, 각 체험자의 손의 위치 및 움직임, 손가락의 위치 및 움직임을 결정할 수 있다(S220).
체험 제어 서버(100)는 안전사고 체험 시나리오에 따른 가상 현실(VR)을 체험하는 체험자가 복수인지(즉, 멀티 유저) 판단할 수 있다(S230). 판단 결과, 체험자가 한명인 경우, 체험 제어 서버(100)는 이하의 단계를 수행하지 않을 수 있다.
이와 반대로, 체험자가 복수인 경우, 체험 제어 서버(100)는 안전사고 체험 시나리오의 유형 및 진행 정도에 따라 설정되어 있는 미확인 신체 정보를 식별할 수 있다(S240). 여기서, 미확인 신체 정보는 안전사고 체험 시나리오의 유형 및 진행 정도에 따라 체험자가 기본적으로 취하게 될 것으로 예상되는 자세 정보이다.
체험 제어 서버(100)는 각 체험자의 머리의 위치 및 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임과, 식별된 미확인 신체 정보를 병합하여, 각 체험자의 자세 정보를 결정할 수 있다(S250). 여기서, 체험자의 자세 정보는 체험자를 안전사고 체험 시나리오에 따른 가상 현실(VR) 속에서 실제 사람과 같이 보여주기 위하여, 웨어러블 장치(10, 20, 30)에 의해 추적된 체험자의 실제 자세와 웨어러블 장치(10, 20, 30)에 의해 추적될 수 없는 체험자의 자세를 종합한, 신체 모든 부위에 대한 자세 정보이다.
도 9는 본 발명의 일 실시예에 따라 가상 현실 효과를 식별하는 방법을 설명하기 위한 순서도이다.
도 9에 도시된 바와 같이, 체험자의 위치, 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임, 건설 현장에 존재하는 객체들의 위치, 건설 현장에 존재하는 객체들의 위치 변화에 따라 안전사고 이벤트가 발생한 것으로 판단되는 경우, 체험 제어 서버(100)는 안전사고 체험 시나리오에 따른 가상 현실(VR)을 체험하는 체험자가 복수인지(즉, 멀티 유저) 판단할 수 있다(S510). 판단 결과, 체험자가 한 명인 경우, 체험 제어 서버(100)는 해당 체험자가 가상 현실(VR) 속에서 안전사고를 체험할 수 있게 하기 위한 가상 현실 효과를 식별할 수 있다(S530).
판단 결과, 체험자가 복수인 경우, 체험 제어 서버(100)는 제1 체험자와 제2 체험자의 가상 현실(VR) 환경 내에서의 상대적인 거리 및 제1 체험자의 움직임, 손의 위치 및 움직임, 손가락의 위치 및 움직임에 따라, 제1 체험자에게 발생된 안전사고 이벤트가 제2 체험자에게 영향을 미치는지 판단할 수 있다(S520).
판단 결과, 제1 체험자에게 발생된 안전사고 이벤트가 제2 체험자에게 영향을 미치는 것으로 판단된 경우, 체험 제어 서버(100)는 제2 체험자가 가상 현실(VR) 속에서 안전사고를 체험할 수 있게 하기 위한 가상 현실 효과를 식별할 수 있다(S530).
이와 반대로, 제1 체험자에게 발생된 안전사고 이벤트가 제2 체험자에게 영향을 미치지 않는 것으로 판단된 경우, 체험 제어 서버(100)는 제1 체험자에게 발생된 안전사고 이벤트에 매칭되는 응급조치 시나리오를 제2 체험자에게 진행할 수 있다(S540).
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으나, 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 선정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
아울러, 본 발명에 따른 장치나 단말은 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.
또한, 본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
아울러, 본 발명에 따른 실시예를 설명하는데 있어서, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
체험 헬멧: 10 체험 장갑: 20
체험 팔찌: 30 체험 제어 서버: 100
통신부: 105 입출력부: 110
사용자 트래킹부: 115 다중 사용자 관리부: 120
시나리오 진행부: 125 이벤트 처리부: 130

Claims (10)

  1. 체험자의 손에 착용되며, 내장된 센서를 통해 상기 손의 움직임을 추적하기 위한 핸드 트래킹 정보를 생성하는 체험 장갑;
    상기 체험자의 머리에 착용되며, 내장된 센서를 통해 상기 머리의 움직임을 추적하기 위한 헤드 트래킹 정보를 생성하고, 상기 헤드 트래킹 정보 및 핸드 트래킹 정보에 대응되는 영상 및 음향 데이터를 출력하는 체험 헬멧;
    상기 체험자의 손목이 삽입될 수 있는 밴드를 포함하여 구성되며, 상기 밴드 내측의 상기 손목이 삽입될 수 있는 공간의 넓이를 변화시킬 수 있는 체험 팔찌; 및
    상기 체험 장갑 및 체험 헬멧으로부터 상기 핸드 트래킹 정보 및 헤드 트래킹 정보를 수신하고, 수신된 헤드 트래킹 정보 및 핸드 트래킹 정보를 기초로 기 설정된 안전사고 체험 시나리오에 대응되는 영상 및 음향 데이터를 식별하고, 상기 식별된 영상 및 음향 데이터를 상기 체험 헬멧에 전송하는 체험 제어 서버를 포함하여 구성되며,
    상기 체험 제어 서버는
    제1 체험자에 의해 착용된 체험 장갑 및 체험 헬멧으로부터 수신된 핸드 트래킹 정보 및 헤드 트래킹 정보를 기초로 상기 제1 체험자의 머리 및 손의 움직임을 결정하고, 상기 안전사고 체험 시나리오의 유형에 따라 설정되어 있는 미확인 신체 정보를 식별하고, 상기 결정된 제1 체험자의 머리 및 손의 움직임과 상기 미확인 신체 정보를 병합하여 상기 제1 체험자의 자세 정보를 결정하고, 상기 제1 체험자의 자세 정보에 대응되는 영상 데이터를 제2 체험자에 의해 착용된 체험 헬멧에 전송하되,
    상기 제1 체험자의 위치, 머리 및 손의 움직임을 기초로 안전사고 이벤트가 발생된 것으로 판단되고, 상기 안전사고 이벤트의 유형이 협착 사고에 해당되는 경우, 상기 공간의 넓이를 변화시키기 위한 명령을 상기 체험 팔찌에 전송하며,
    상기 체험 팔찌는
    상기 공간의 넓이를 변화시키기 위한 명령이 수신되면 상기 밴드 내에 구비된 튜브를 팽창시켜, 상기 밴드 내측의 상기 손목이 삽입될 수 있는 공간의 넓이를 감소시키는 것을 특징으로 하는, 안전사고 가상 체험 시스템.
  2. 제1 항에서, 상기 체험 제어 서버는
    상기 안전사고 이벤트가 발생된 것으로 판단되는 경우, 상기 제1 체험자와 상기 제2 체험자의 상대적인 거리를 식별하고, 상기 상대적인 거리 및 상기 제2 체험자의 머리 및 손의 움직임에 따라 상기 안전사고 이벤트가 상기 제2 체험자에게 영향을 미치는지 판단하는 것을 특징으로 하는, 안전사고 가상 체험 시스템.
  3. 제2 항에서, 상기 체험 제어 서버는
    상기 안전사고 이벤트가 상기 제2 체험자에게 영향을 미치는 것으로 판단된 경우, 상기 안전사고 이벤트에 대응되는 영상 및 음향 데이터를 상기 제2 체험자에 의해 착용된 체험 헬멧에 전송하는 것을 특징으로 하는, 안전사고 가상 체험 시스템.
  4. 제2 항에서, 상기 체험 제어 서버는
    상기 안전사고 이벤트가 상기 제2 체험자에게 영향을 미치지 않는 것으로 판단된 경우, 상기 안전사고 이벤트에 매칭되는 응급조치 시나리오에 대응되는 영상 및 음향 데이터를 상기 제2 체험자에 의해 착용된 체험 헬멧에 전송하는 것을 특징으로 하는, 안전사고 가상 체험 시스템.
  5. 제1 항에서, 상기 체험 장갑은
    진동을 발생시킬 수 있는 진동 모터를 포함하고,
    상기 체험 제어 서버는
    상기 제1 체험자와 제2 체험자가 동일한 객체를 파지하고 있는 것으로 판단된 경우, 상기 제1 체험자에 의해 착용된 체험 장갑의 움직임에 따라, 상기 진동을 발생시키기 위한 명령을 상기 제2 체험자에 의해 착용된 체험 장갑에 전송하는 것을 특징으로 하는, 안전사고 가상 체험 시스템.
  6. 삭제
  7. 삭제
  8. 제1 항에서, 상기 체험 장갑은
    온도를 변화시킬 수 있는 펠티어 소자를 포함하고,
    상기 체험 제어 서버는
    상기 안전사고 체험 시나리오의 유형이 화재 체험에 해당되고, 상기 제1 체험자의 위치, 손의 움직임을 기초로 안전사고 이벤트가 발생된 것으로 판단되는 경우, 상기 온도를 변화시키기 위한 명령을 상기 체험 장갑에 전송하는 것을 특징으로 하는, 안전사고 가상 체험 시스템.
  9. 제1 항에서, 상기 체험 장갑은
    전류를 누설시킬 수 있는 누전 단자를 포함하고,
    상기 체험 제어 서버는
    상기 안전사고 체험 시나리오의 유형이 감전 체험에 해당되고, 상기 제1 체험자의 위치, 손의 움직임을 기초로 안전사고 이벤트가 발생된 것으로 판단되는 경우, 상기 전류를 누전시키기 위한 명령을 상기 체험 장갑에 전송하는 것을 특징으로 하는, 안전사고 가상 체험 시스템.
  10. 삭제
KR1020180137328A 2018-11-09 2018-11-09 안전사고 가상 체험 시스템 및 그 방법 KR102115234B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180137328A KR102115234B1 (ko) 2018-11-09 2018-11-09 안전사고 가상 체험 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180137328A KR102115234B1 (ko) 2018-11-09 2018-11-09 안전사고 가상 체험 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200053876A KR20200053876A (ko) 2020-05-19
KR102115234B1 true KR102115234B1 (ko) 2020-05-26

Family

ID=70913335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180137328A KR102115234B1 (ko) 2018-11-09 2018-11-09 안전사고 가상 체험 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102115234B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230163820A (ko) 2022-05-24 2023-12-01 농업회사법인 한국도시농업 주식회사 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템
US11887257B2 (en) 2020-11-18 2024-01-30 Electronics And Telecommunications Research Institute Method and apparatus for virtual training based on tangible interaction

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102467436B1 (ko) * 2020-11-13 2022-11-16 (주)에이트원 산업 안전 가상 훈련 시스템 및 그 방법
KR102471891B1 (ko) * 2020-11-23 2022-11-28 삼성물산 주식회사 장비 안전사고 예방을 위한 가상훈련 시스템 및 그 방법
KR102569857B1 (ko) * 2021-01-27 2023-08-23 주식회사 시온네트웍 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법
JP7139489B1 (ja) * 2021-06-10 2022-09-20 東芝プラントシステム株式会社 Vr手挟まれ危険体感装置及びvr手挟まれ危険体感システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101738870B1 (ko) * 2016-12-12 2017-05-23 주식회사 디플즈 Vr글러브 기반 게임 시스템 및 이를 이용한 게임 진행 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100616333B1 (ko) 2005-02-03 2006-08-28 조미동 건설 안전교육 체험 시스템
US9535550B2 (en) * 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
KR20170013522A (ko) * 2015-07-28 2017-02-07 주식회사 포디존 재난안전 시뮬레이터
KR101815915B1 (ko) * 2015-08-12 2018-01-08 주식회사 유캔스타 가상체험 안전교육방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101738870B1 (ko) * 2016-12-12 2017-05-23 주식회사 디플즈 Vr글러브 기반 게임 시스템 및 이를 이용한 게임 진행 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11887257B2 (en) 2020-11-18 2024-01-30 Electronics And Telecommunications Research Institute Method and apparatus for virtual training based on tangible interaction
KR20230163820A (ko) 2022-05-24 2023-12-01 농업회사법인 한국도시농업 주식회사 가상현실 체험을 위한 전자장갑을 이용한 다중감각 인터페이스 시스템

Also Published As

Publication number Publication date
KR20200053876A (ko) 2020-05-19

Similar Documents

Publication Publication Date Title
KR102115234B1 (ko) 안전사고 가상 체험 시스템 및 그 방법
CN114341779B (zh) 用于基于神经肌肉控制执行输入的系统、方法和界面
KR102236879B1 (ko) 산업 안전 가상 훈련 시스템 및 그 방법
JP7125950B2 (ja) 虹彩コードの蓄積および信頼性割当
US11244471B2 (en) Methods and apparatus to avoid collisions in shared physical spaces using universal mapping of virtual environments
EP4123425A1 (en) Eye tracking calibration techniques
KR100721713B1 (ko) 몰입형 활선작업 교육시스템 및 그 방법
CN106660205B (zh) 用于处理类人机器人与人类交互的系统、方法和计算机程序产品
US11430124B2 (en) Visual object instance segmentation using foreground-specialized model imitation
KR101982420B1 (ko) 충돌 검출
US10824244B2 (en) Systems and methods for transitioning between modes of tracking real-world objects for artificial reality interfaces
CN101801471A (zh) 训练方法和用于实施所述方法的装置
CN109308115B (zh) 虚拟现实系统中显示用户移动的方法及相关装置
KR20190122569A (ko) 몰입형 현실 환경에서 햅틱 효과를 생성하는 햅틱 가능 웨어러블 디바이스
US11256342B2 (en) Multimodal kinematic template matching and regression modeling for ray pointing prediction in virtual reality
Alharthi et al. Designing future disaster response team wearables from a grounding in practice
Oyama et al. Augmented reality and mixed reality behavior navigation system for telexistence remote assistance
KR102467436B1 (ko) 산업 안전 가상 훈련 시스템 및 그 방법
CN117337426A (zh) 音频加强的增强现实
Wilson-Small et al. A Drone Teacher: Designing Physical Human-Drone Interactions for Movement Instruction
Porcino et al. A guideline proposal for minimizing cybersickness in VR-based serious games and applications
Ghandeharizadeh et al. Safety in the Emerging Holodeck Applications
WO2023192254A1 (en) Attention-based content visualization for an extended reality environment
US20210405851A1 (en) Visual interface for a computer system
CN117063142A (zh) 用于自适应输入阈值化的系统和方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant