KR20240048719A - 뇌파 측정 긴급신고 기능을 구비하는 ar 글래스 장치 - Google Patents

뇌파 측정 긴급신고 기능을 구비하는 ar 글래스 장치 Download PDF

Info

Publication number
KR20240048719A
KR20240048719A KR1020220128383A KR20220128383A KR20240048719A KR 20240048719 A KR20240048719 A KR 20240048719A KR 1020220128383 A KR1020220128383 A KR 1020220128383A KR 20220128383 A KR20220128383 A KR 20220128383A KR 20240048719 A KR20240048719 A KR 20240048719A
Authority
KR
South Korea
Prior art keywords
emergency
user
eeg
measurement
hmd
Prior art date
Application number
KR1020220128383A
Other languages
English (en)
Inventor
최치원
함동호
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020220128383A priority Critical patent/KR20240048719A/ko
Publication of KR20240048719A publication Critical patent/KR20240048719A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/251—Means for maintaining electrode contact with the body
    • A61B5/256—Wearable electrodes, e.g. having straps or bands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/384—Recording apparatus or displays specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Critical Care (AREA)
  • Emergency Management (AREA)
  • Emergency Medicine (AREA)
  • Nursing (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치에 관한 것으로서, 보다 구체적으로는 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치로서, 사용자 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학 디스플레이부; 상기 HMD 프레임을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하고, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 처리하는 뇌파 측정 긴급신고 처리부; 및 상기 AR 글래스 장치의 전체적인 구동을 제어하되, 상기 뇌파 측정 긴급신고 처리부에서 측정하여 인식되는 뇌파와, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 이용하여 사용자의 위급상황을 인식하고, 위급상황 인식에 따른 긴급신고 처리를 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치에 따르면, 사용자 머리에 착용할 수 있는 HMD 프레임과, HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학 디스플레이부와, HMD 프레임을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하고, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 처리하는 뇌파 측정 긴급신고 처리부와, AR 글래스 장치의 전체적인 구동을 제어하되, 뇌파 측정 긴급신고 처리부에서 측정하여 인식되는 뇌파와, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 이용하여 사용자의 위급상황을 인식하고, 위급상황 인식에 따른 긴급신고 처리를 제어하는 제어부를 포함하여 구성함으로써, HMD를 착용한 상태에서 불의의 사고를 겪거나, 불안정한 상태일 때의 위급상황 시 발생하는 뇌파를 이용하여 긴급신고 전화를 걸 수 있도록 할 수 있다.
또한, 본 발명의 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치에 따르면, HMD를 착용한 상태에서 불의의 사고를 겪거나, 불안정한 상태일 때의 위급상황 시 발생하는 뇌파를 이용하여 긴급신고 전화를 걸 수 있도록 함으로써, 노약자 및 공사장 인부를 포함하는 작업자의 위급상황 시에 긴급신고 전화를 통한 위급상황 대처가 신속하게 이루어질 수 있도록 할 수 있다.

Description

뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치{AUGMENTED REALITY GLASS DEVICE WITH ELECTROENCEPHALOGRAM MEASUREMENT EMERGENCY REPORT FUNCTION}
본 발명은 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치에 관한 것으로서, 보다 구체적으로는 HMD를 착용한 상태에서 불의의 사고를 겪거나, 불안정한 상태일 때의 위급상황 시 발생하는 뇌파를 이용하여 긴급신고 전화를 걸 수 있도록 하는 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다.
이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다. 증강현실(augmented reality, AR)은 가상현실(VR)의 한 분야로 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
헤드 마운티드 디스플레이는 안경처럼 착용하는 형태도 있으나 헤드셋이나 고글처럼 머리에 착용하는 형태도 있다. 이러한 헤드셋 또는 고글 형태의 AR 또는 VR용 HMD는 머리에 잘 맞게 착용하여야 움직임이 쉽고 편안하게 사용할 수 있다.
한편, 종래의 AR 글래스 장치는 다양한 현장이나 작업 공정에 적용되어 사용되고는 있으나, 현재까지는 HMD를 착용한 상태에서 불의의 사고를 겪거나, 불안정한 상태일 때의 위급상황 시 발생하는 뇌파를 이용한 긴급신고 기능을 제공하는 AR 글래스 장치는 전무한 실정이다. 대한민국 등록특허공보 제10-2302439호(2021.09.09. 등록)가 선행기술 문헌으로 개시되고 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 사용자 머리에 착용할 수 있는 HMD 프레임과, HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학 디스플레이부와, HMD 프레임을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하고, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 처리하는 뇌파 측정 긴급신고 처리부와, AR 글래스 장치의 전체적인 구동을 제어하되, 뇌파 측정 긴급신고 처리부에서 측정하여 인식되는 뇌파와, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 이용하여 사용자의 위급상황을 인식하고, 위급상황 인식에 따른 긴급신고 처리를 제어하는 제어부를 포함하여 구성함으로써, HMD를 착용한 상태에서 불의의 사고를 겪거나, 불안정한 상태일 때의 위급상황 시 발생하는 뇌파를 이용하여 긴급신고 전화를 걸 수 있도록 하는, 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, HMD를 착용한 상태에서 불의의 사고를 겪거나, 불안정한 상태일 때의 위급상황 시 발생하는 뇌파를 이용하여 긴급신고 전화를 걸 수 있도록 함으로써, 노약자 및 공사장 인부를 포함하는 작업자의 위급상황 시에 긴급신고 전화를 통한 위급상황 대처가 신속하게 이루어질 수 있도록 하는, 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치를 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치는,
뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치로서,
사용자 머리에 착용할 수 있는 HMD 프레임;
상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학 디스플레이부;
상기 HMD 프레임을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하고, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 처리하는 뇌파 측정 긴급신고 처리부; 및
상기 AR 글래스 장치의 전체적인 구동을 제어하되, 상기 뇌파 측정 긴급신고 처리부에서 측정하여 인식되는 뇌파와, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 이용하여 사용자의 위급상황을 인식하고, 위급상황 인식에 따른 긴급신고 처리를 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 광학 디스플레이부는,
상기 AR 글래스 장치를 착용한 착용자에게 영상 정보가 제공될 수 있도록 영상 광을 출력하는 디스플레이; 및
상기 AR 글래스 장치를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학계를 포함하여 구성할 수 있다.
더욱 바람직하게는, 상기 디스플레이는,
상기 AR 글래스 장치를 착용한 사용자에게 영상 정보를 제공하되, 상기 제어부의 제어 하에 상기 뇌파 측정 긴급신고 처리부에서 생성한 뇌파가 위급상황 인식으로 판단된 경우에 화면상에 119, 112 안내 로고를 출력할 수 있다.
바람직하게는, 상기 뇌파 측정 긴급신고 처리부는,
상기 HMD 프레임을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하는 뇌파 측정 감지 센서; 및
상기 HMD 프레임을 착용한 사용자의 위급상황 시에 사용자 위치 전송을 위한 사용자 위치 정보를 측정하기 위한 GPS를 포함하여 구성할 수 있다.
더욱 바람직하게는, 상기 뇌파 측정 긴급신고 처리부는,
상기 HMD 프레임을 착용한 사용자의 움직임 상황을 인식하기 위한 IMU(Inertial Measurement Unit);
상기 HMD 프레임을 착용한 사용자의 여섯 개의 운동 방향에 대한 6자유도를 인식하기 위한 6dof(Six degrees of freedom);
상기 HMD 프레임의 전면 일 측에 설치되어, 사용자의 전방 사물을 촬영하여 이미지화하는 IR 카메라; 및
상기 HMD 프레임의 전면 일 측에 설치되어, 사용자의 전방 사물을 촬영하여 인식하기 위한 RGB 카메라를 더 포함하여 구성할 수 있다.
더욱 더 바람직하게는, 상기 뇌파 측정 긴급신고 처리부는,
상기 HMD 프레임을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하고, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 처리하되, 상기 뇌파 감지 센서와 GPS와 IMU와 6dof와 IR 카메라와 RGB 카메라 각각의 데이터를 이용한 SLAM(Simultaneous Localization And Mapping)으로 작성된 지도를 이미지화하여 위급상황으로 인식된 사용자의 정확한 위치가 전달되도록 기능할 수 있다.
더더욱 바람직하게는, 상기 제어부는,
상기 뇌파 측정 긴급신고 처리부에서 측정하여 인식되는 뇌파와, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 이용하여 사용자의 위급상황을 인식하고, 위급상황 인식에 따른 긴급신고 처리를 제어하되, 사용자의 주파수별 뇌파 신호를 얻고, 미리 설정된 주파수별 뇌파 신호의 형태로 의학적으로 설명된 데이터를 기반으로 매칭 하여 적용할 수 있다.
더더욱 더 바람직하게는, 상기 제어부는,
상기 뇌파 측정 긴급신고 처리부에서 측정하여 인식되는 뇌파별로 위험 상황을 구분하여 분류하되, 화면상에 119, 112 안내 로고가 출력된 상황에서 사용자가 해당 화면을 터치하여 긴급 전화를 발신하도록 하는 제1 긴급신고 제어와, 사용자가 터치를 못 하는 상황에서 미리 설정된 시간 경과 후에 자동으로 긴급 전화를 발신하도록 하는 제2 긴급신고 제어를 포함할 수 있다.
본 발명에서 제안하고 있는 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치에 따르면, 사용자 머리에 착용할 수 있는 HMD 프레임과, HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학 디스플레이부와, HMD 프레임을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하고, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 처리하는 뇌파 측정 긴급신고 처리부와, AR 글래스 장치의 전체적인 구동을 제어하되, 뇌파 측정 긴급신고 처리부에서 측정하여 인식되는 뇌파와, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 이용하여 사용자의 위급상황을 인식하고, 위급상황 인식에 따른 긴급신고 처리를 제어하는 제어부를 포함하여 구성함으로써, HMD를 착용한 상태에서 불의의 사고를 겪거나, 불안정한 상태일 때의 위급상황 시 발생하는 뇌파를 이용하여 긴급신고 전화를 걸 수 있도록 할 수 있다.
또한, 본 발명의 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치에 따르면, HMD를 착용한 상태에서 불의의 사고를 겪거나, 불안정한 상태일 때의 위급상황 시 발생하는 뇌파를 이용하여 긴급신고 전화를 걸 수 있도록 함으로써, 노약자 및 공사장 인부를 포함하는 작업자의 위급상황 시에 긴급신고 전화를 통한 위급상황 대처가 신속하게 이루어질 수 있도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치의 구성을 기능 블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치의 광학 디스플레이부의 구성을 기능 블록으로 도시한 도면.
도 3은 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치의 뇌파 측정 긴급신고 처리부의 구성을 기능 블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치의 후면 사시도 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치의 측면 사시도 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치의 주파수별 뇌파 신호의 측정을 일례로 도시한 도면.
도 7은 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치의 주파수별 뇌파 신호와 의학적 설명 데이터의 매칭 구성을 일례로 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치의 구성을 기능 블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치의 광학 디스플레이부의 구성을 기능 블록으로 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치의 뇌파 측정 긴급신고 처리부의 구성을 기능 블록으로 도시한 도면이다. 도 1 내지 도 3에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치(100)는, HMD 프레임(110), 광학 디스플레이부(120), 뇌파 측정 긴급신고 처리부(130), 및 제어부(140)를 포함하여 구성될 수 있으며, 센서부(150) 및 통신부(160)를 더 포함하여 구성될 수 있다. 이하에서는 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치(100)의 구체적인 구성에 대해 상세히 설명하기로 한다.
도 4는 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치(100)의 개략적인 후면 사시도 구성을 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치(100)의 개략적인 측면 사시도 구성을 도시한 도면이며, 도 6은 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치(100)의 주파수별 뇌파 신호의 측정을 일례로 도시한 도면이고, 도 7은 본 발명의 일실시예에 따른 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치(100)의 주파수별 뇌파 신호와 의학적 설명 데이터의 매칭 구성을 일례로 도시한 도면이다.
HMD 프레임(110)은, 사용자 머리에 착용할 수 있는 구성이다. 이러한 HMD 프레임(110)은 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태, 고글(goggles) 형태 등으로 구성될 수 있다. 여기서, HMD 프레임(110)은 AR 글래스 장치(100)를 착용하면 광학 디스플레이부(120)가 착용자의 양안 전방에 위치하도록 HMD 프레임(110)에 광학 디스플레이부(120)가 연결될 수 있다.
광학 디스플레이부(120)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 구성이다. 이러한 광학 디스플레이부(120)는 도 2에 도시된 바와 같이, AR 글래스 장치(100)를 착용한 착용자에게 영상 정보가 제공될 수 있도록 영상 광을 출력하는 디스플레이(121)와, AR 글래스 장치(100)를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학계(122)를 포함하여 구성할 수 있다. 여기서, 디스플레이(121)는 AR 글래스 장치(100)를 착용한 사용자에게 영상 정보를 제공하되, 제어부(140)의 제어 하에 뇌파 측정 긴급신고 처리부(130)에서 생성한 뇌파가 위급상황 인식으로 판단된 경우에 화면상에 119, 112 안내 로고를 출력할 수 있다.
또한, 광학 디스플레이부(120)의 디스플레이(121)는 영상 정보가 착용자에게 제공될 수 있도록 영상 광을 출력하되, 광학계(122)에 결합해 광학계(122)에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이로 구성되며, OLED, LCoS 등 다양하게 구성될 수 있다.
또한, 광학 디스플레이부(120)의 광학계(122)는 AR 글래스 장치(100)를 착용한 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 디스플레이(121)에서 출력되는 영상 광을 착용자의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 즉, 광학계(122)는 AR 글래스 장치(100)를 착용한 착용자가 증강현실을 경험할 수 있도록 구성될 수 있다. 이러한 광학계(122)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.
뇌파 측정 긴급신고 처리부(130)는, HMD 프레임(110)을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하고, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 처리하는 구성이다. 이러한 뇌파 측정 긴급신고 처리부(130)는 도 3에 도시된 바와 같이, HMD 프레임(110)을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하는 뇌파 측정 감지 센서(131)와, HMD 프레임(110)을 착용한 사용자의 위급상황 시에 사용자 위치 전송을 위한 사용자 위치 정보를 측정하기 위한 GPS(132)를 포함하여 구성할 수 있다. 여기서, 뇌파 측정 감지 센서(131)는 도 4 및 도 5에 각각 도시된 바와 같이, HMD 프레임(110)을 착용한 상태에서 불의의 사고를 겪거나, 불안정한 상태일 때, 즉 위급상황 시 발생하는 뇌파를 측정할 수 있도록 사용자가 착용하는 HMD 프레임(110)의 내측에 적어도 하나 이상의 복수로 구성될 수 있다.
또한, 뇌파 측정 긴급신고 처리부(130)는 HMD 프레임(110)을 착용한 사용자의 움직임 상황을 인식하기 위한 IMU(Inertial Measurement Unit)(133)와, HMD 프레임(110)을 착용한 사용자의 여섯 개의 운동 방향에 대한 6자유도를 인식하기 위한 6dof(Six degrees of freedom)(134)와, HMD 프레임(110)의 전면 일 측에 설치되어, 사용자의 전방 사물을 촬영하여 이미지화하는 IR 카메라(135)와, HMD 프레임(110)의 전면 일 측에 설치되어, 사용자의 전방 사물을 촬영하여 인식하기 위한 RGB 카메라(136)를 더 포함하여 구성할 수 있다. 여기서, IMU(133)는 HMD 프레임(110)에 설치되는 관성 측정 장치로서, HMD 프레임(110)을 착용한 사용자의 속도와 방향, 중력, 가속도를 측정할 수 있다. 또한, 6dof(134)는 HMD 프레임(110)에 설치되는 6자유도로서, 3차원 공간에서 사용자의 위치, 방향 등의 동작을 측정하는 데 사용된다.
또한, 뇌파 측정 긴급신고 처리부(130)는 HMD 프레임(110)을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하고, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 처리하되, 뇌파 감지 센서(131)와 GPS(132)와 IMU(133)와 6dof(134)와 IR 카메라(135)와 RGB 카메라(136) 각각의 데이터를 이용한 SLAM(Simultaneous Localization And Mapping)으로 작성된 지도를 이미지화하여 위급상황으로 인식된 사용자의 정확한 위치가 전달되도록 기능할 수 있다.
제어부(140)는, AR 글래스 장치(100)의 전체적인 구동을 제어하되, 뇌파 측정 긴급신고 처리부(130)에서 측정하여 인식되는 뇌파와, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 이용하여 사용자의 위급상황을 인식하고, 위급상황 인식에 따른 긴급신고 처리를 제어하는 구성이다. 이러한 제어부(140)는 뇌파 측정 긴급신고 처리부(130)에서 측정하여 인식되는 뇌파와, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 이용하여 사용자의 위급상황을 인식하고, 위급상황 인식에 따른 긴급신고 처리를 제어하되, 사용자의 주파수별 뇌파 신호를 얻고, 미리 설정된 주파수별 뇌파 신호의 형태로 의학적으로 설명된 데이터를 기반으로 매칭 하여 적용할 수 있다.
또한, 제어부(140)는 뇌파 측정 긴급신고 처리부(130)에서 측정하여 인식되는 뇌파별로 위험 상황을 구분하여 분류하되, 화면상에 119, 112 안내 로고가 출력된 상황에서 사용자가 해당 화면을 터치하여 긴급 전화를 발신하도록 하는 제1 긴급신고 제어와, 사용자가 터치를 못 하는 상황에서 미리 설정된 시간 경과 후에 자동으로 긴급 전화를 발신하도록 하는 제2 긴급신고 제어를 포함할 수 있다. 일례를 들면, 위급상황 1번의 제1 긴급신고 제어는, 뇌파 감지 센서(131)로 실시간 착용자의 뇌파를 인식하고, 특정 구역 뇌파에 대한 정보를 저장한다. 이후 착용자의 사고 발생이 나면, 사고 발생 후 일어나는 뇌파를 캐치하여 위급상황을 인식한다. 이때, 화면상에 119, 112 안내 로고가 출력되고, 사용자가 해당 화면을 터치하면 블루투스로 연결된 전화가 발신하게 된다. 이때, GPS(132)로 측정된 사용자의 위치가 함께 전송될 수 있도록 한다. 또한, SLAM 기술이 탑재되어 있는 HMD로 작성된 지도를 이미지화하여 구급대에 전달되고, 매몰된 경우의 환자의 정확한 위치가 전달된다.
또한, 위급상황 2번의 제2 긴급신고 제어는, 뇌파 감지 센서(131)로 실시간 착용자의 뇌파를 인식하고, 특정 구역 뇌파에 대한 정보를 저장한다. 이후 착용자의 사고 발생이 나면, 사고 발생 후 일어나는 뇌파를 캐치하여 위급상황을 인식한다. 이때, 화면상에 119, 112 안내 로고가 출력되고, 사용자가 터치를 못 하는 상황이 발생하면 안내 로고 내(추가 터치 시간 출력 1분 이내) 응답이 없으면 자동으로 연결된 핸드폰으로 긴급 전화가 발신하게 된다. 이때, GPS(132)로 측정된 사용자의 위치가 함께 전송될 수 있도록 하고, 뇌파를 이용한 현 상황이 분석되어 긴급출동 대원에게 전달된다. 또한, SLAM 기술이 탑재되어 있는 HMD로 작성된 지도를 이미지화하여 구급대에 전달되고, 환자의 정확한 위치가 전달된다. 즉, 도 7의 델타파의 경우일 때는 위급상황 2로 인식되어 자동으로 112, 119에 긴급신고가 들어가고, GPS(132)로 위치도 함께 전달된다. 또한, 베타파의 경우는 약물일 때 측정되는데 약물 과다 복용, 부작용을 고려하여 주파수의 값이 30Hz를 넘는다면 위급상황 1로 인식(의식적 각성 상태)될 수 있으며, 착용자가 HMD를 동작시킬 수 있는 경우로 판단되어 안내 문구가 발생될 수 있다. 또한, 렘수면의 경우에도 베타파가 발생하는데 수면 중에 HMD를 착용하는 일이 없으므로 해당 사항에 대해서는 제외할 수 있다.
센서부(150)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 홍채 인식 센서 등을 포함할 수 있다. 실시 예에 따라서, 제어부(140)는 착용자에 의해 조정된 IPD 정보를 사용자 인증 정보와 매칭해 저장하며, 착용자가 AR 글래스 장치(100)의 광학 디스플레이부(120)를 얼굴에 대고 사용자 인증을 하면, 사용자 인증 정보와 매칭된 IPD 정보를 사용해 저장된 IPD가 되도록 IPD 조정부를 자동으로 제어할 수도 있다. 이때, 사용자 인증은 센서부(150)에 포함된 홍채 인식 센서 등을 사용할 수 있다.
통신부(160)는, AR 글래스 장치(100)의 일 측에 설치되며, 다른 증강현실 글래스 장치나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(160)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
이와 같이, 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치(100)는 HMD를 착용한 상태에서 불의의 사고를 겪거나, 불안정한 상태일 때의 위급상황 시 발생하는 뇌파를 이용하여 긴급신고 전화를 걸 수 있도록 할 수 있으며, 노약자 및 공사장 인부 등에 적용하여 사용될 수 있도록 할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 본 발명의 일실시예에 따른 AR 글래스 장치
110: HMD 프레임
120: 광학 디스플레이부
121: 디스플레이
122: 광학계
130: 뇌파 측정 긴급신고 처리부
131: 뇌파 감지 센서
132: GPS
133: IMU
134: 6dof
135: IR 카메라
136: RGB 카메라
140: 제어부
150: 센서부
160: 통신부

Claims (8)

  1. 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치(100)로서,
    사용자 머리에 착용할 수 있는 HMD 프레임(110);
    상기 HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학 디스플레이부(120);
    상기 HMD 프레임(110)을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하고, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 처리하는 뇌파 측정 긴급신고 처리부(130); 및
    상기 AR 글래스 장치(100)의 전체적인 구동을 제어하되, 상기 뇌파 측정 긴급신고 처리부(130)에서 측정하여 인식되는 뇌파와, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 이용하여 사용자의 위급상황을 인식하고, 위급상황 인식에 따른 긴급신고 처리를 제어하는 제어부(140)를 포함하는 것을 특징으로 하는, 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치.
  2. 제1항에 있어서, 상기 광학 디스플레이부(120)는,
    상기 AR 글래스 장치(100)를 착용한 착용자에게 영상 정보가 제공될 수 있도록 영상 광을 출력하는 디스플레이(121); 및
    상기 AR 글래스 장치(100)를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학계(122)를 포함하여 구성하는 것을 특징으로 하는, 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치.
  3. 제2항에 있어서, 상기 디스플레이(121)는,
    상기 AR 글래스 장치(100)를 착용한 사용자에게 영상 정보를 제공하되, 상기 제어부(140)의 제어 하에 상기 뇌파 측정 긴급신고 처리부(130)에서 생성한 뇌파가 위급상황 인식으로 판단된 경우에 화면상에 119, 112 안내 로고를 출력하는 것을 특징으로 하는, 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 뇌파 측정 긴급신고 처리부(130)는,
    상기 HMD 프레임(110)을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하는 뇌파 측정 감지 센서(131); 및
    상기 HMD 프레임(110)을 착용한 사용자의 위급상황 시에 사용자 위치 전송을 위한 사용자 위치 정보를 측정하기 위한 GPS(132)를 포함하여 구성하는 것을 특징으로 하는, 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치.
  5. 제4항에 있어서, 상기 뇌파 측정 긴급신고 처리부(130)는,
    상기 HMD 프레임(110)을 착용한 사용자의 움직임 상황을 인식하기 위한 IMU(Inertial Measurement Unit)(133);
    상기 HMD 프레임(110)을 착용한 사용자의 여섯 개의 운동 방향에 대한 6자유도를 인식하기 위한 6dof(Six degrees of freedom)(134);
    상기 HMD 프레임(110)의 전면 일 측에 설치되어, 사용자의 전방 사물을 촬영하여 이미지화하는 IR 카메라(135); 및
    상기 HMD 프레임(110)의 전면 일 측에 설치되어, 사용자의 전방 사물을 촬영하여 인식하기 위한 RGB 카메라(136)를 더 포함하여 구성하는 것을 특징으로 하는, 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치.
  6. 제5항에 있어서, 상기 뇌파 측정 긴급신고 처리부(130)는,
    상기 HMD 프레임(110)을 착용한 사용자의 뇌파를 실시간으로 측정하여 인식하고, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 처리하되, 상기 뇌파 감지 센서(131)와 GPS(132)와 IMU(133)와 6dof(134)와 IR 카메라(135)와 RGB 카메라(136) 각각의 데이터를 이용한 SLAM(Simultaneous Localization And Mapping)으로 작성된 지도를 이미지화하여 위급상황으로 인식된 사용자의 정확한 위치가 전달되도록 기능하는 것을 특징으로 하는, 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치.
  7. 제6항에 있어서, 상기 제어부(140)는,
    상기 뇌파 측정 긴급신고 처리부(130)에서 측정하여 인식되는 뇌파와, 뇌파 정보에 기초한 긴급신고에 필요한 데이터를 이용하여 사용자의 위급상황을 인식하고, 위급상황 인식에 따른 긴급신고 처리를 제어하되, 사용자의 주파수별 뇌파 신호를 얻고, 미리 설정된 주파수별 뇌파 신호의 형태로 의학적으로 설명된 데이터를 기반으로 매칭 하여 적용하는 것을 특징으로 하는, 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치.
  8. 제7항에 있어서, 상기 제어부(140)는,
    상기 뇌파 측정 긴급신고 처리부(130)에서 측정하여 인식되는 뇌파별로 위험 상황을 구분하여 분류하되, 화면상에 119, 112 안내 로고가 출력된 상황에서 사용자가 해당 화면을 터치하여 긴급 전화를 발신하도록 하는 제1 긴급신고 제어와, 사용자가 터치를 못 하는 상황에서 미리 설정된 시간 경과 후에 자동으로 긴급 전화를 발신하도록 하는 제2 긴급신고 제어를 포함하는 것을 특징으로 하는, 뇌파 측정 긴급신고 기능을 구비하는 AR 글래스 장치.
KR1020220128383A 2022-10-07 2022-10-07 뇌파 측정 긴급신고 기능을 구비하는 ar 글래스 장치 KR20240048719A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220128383A KR20240048719A (ko) 2022-10-07 2022-10-07 뇌파 측정 긴급신고 기능을 구비하는 ar 글래스 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220128383A KR20240048719A (ko) 2022-10-07 2022-10-07 뇌파 측정 긴급신고 기능을 구비하는 ar 글래스 장치

Publications (1)

Publication Number Publication Date
KR20240048719A true KR20240048719A (ko) 2024-04-16

Family

ID=90882933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220128383A KR20240048719A (ko) 2022-10-07 2022-10-07 뇌파 측정 긴급신고 기능을 구비하는 ar 글래스 장치

Country Status (1)

Country Link
KR (1) KR20240048719A (ko)

Similar Documents

Publication Publication Date Title
EP2751609B1 (en) Head mounted display with iris scan profiling
US10874284B2 (en) Display control device, display device, surgical endoscopic system and display control system
EP3014338B1 (en) Tracking head movement when wearing mobile device
CN106471435B (zh) 检测可穿戴装置的状态
CN105607255B (zh) 头部佩戴型显示装置、控制其的方法及计算机可读存储介质
JP6642432B2 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
CN112130329B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US20170108918A1 (en) Second Screen Devices Utilizing Data from Ear Worn Device System and Method
CN110708533B (zh) 基于增强现实的视觉辅助方法及智能穿戴设备
KR20180045278A (ko) 생체신호연동 가상현실 인지재활 시스템
US20170344112A1 (en) Gaze detection device
KR101203921B1 (ko) 안구 추적과 위치 기반 서비스를 이용한 정보 제공 장치
US11327317B2 (en) Information processing apparatus and information processing method
KR20190123245A (ko) 초점 확대 및 축소를 이용한 안구운동장치
US11137600B2 (en) Display device, display control method, and display system
KR20240048719A (ko) 뇌파 측정 긴급신고 기능을 구비하는 ar 글래스 장치
WO2022004130A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム
WO2020170758A1 (ja) 認識装置、ウェアラブル文字認識デバイス、認識方法および認識プログラム
JP3907523B2 (ja) 眼鏡型映像表示装置
KR102619429B1 (ko) 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치
US20240004459A1 (en) Fit guidance for head-mountable devices
KR20240059490A (ko) 아쿠아리움용 ar 글래스 장치
US20230065296A1 (en) Eye-tracking using embedded electrodes in a wearable device
JP2018185638A (ja) 表示装置、透過型ヘッドマウントディスプレイ、制御装置および表示システム