KR102584676B1 - 사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법 - Google Patents

사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법 Download PDF

Info

Publication number
KR102584676B1
KR102584676B1 KR1020210088049A KR20210088049A KR102584676B1 KR 102584676 B1 KR102584676 B1 KR 102584676B1 KR 1020210088049 A KR1020210088049 A KR 1020210088049A KR 20210088049 A KR20210088049 A KR 20210088049A KR 102584676 B1 KR102584676 B1 KR 102584676B1
Authority
KR
South Korea
Prior art keywords
state
user
content
information
time
Prior art date
Application number
KR1020210088049A
Other languages
English (en)
Other versions
KR20230007158A (ko
Inventor
박세진
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020210088049A priority Critical patent/KR102584676B1/ko
Publication of KR20230007158A publication Critical patent/KR20230007158A/ko
Application granted granted Critical
Publication of KR102584676B1 publication Critical patent/KR102584676B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

컨텐츠를 응시하는 사용자의 눈 영역을 촬영하고, 사용자 머리의 움직임을 측정하며, 사용자의 동공의 위치 정보를 검출하고, 동공의 위치 정보에 기초하여 사용자가 눈을 감고있는 시간을 측정하며, 동작 정보가 변화하는 변화 패턴을 생성하고, 미검출 시간이 미리 설정된 시간 간격보다 길고, 변화 패턴이 졸음 패턴에 대응되는 경우 사용자가 수면 상태인 것으로 판단하며, 컨텐츠를 대기 상태로 전환하는, VR 장치를 제공한다.

Description

사용자의 수면 상태를 감지하는 VR 장치 및 이의 제어방법{VR DEVICE THAT DETECTS USER'S SLEEP STATE AND CONTROL METHOD THEREOF}
본 발명은 사용자의 수면 상태를 감지하는 VR 장치 및 이의 제어방법에 관한 것으로, 보다 상세하게는, 사용자의 수면 상태를 감지하여 컨텐츠를 제어하는 VR 장치 및 이의 제어 방법에 관한 것이다.
최근 가상 현실 기술의 발달로 실제 공간이 아닌 가상 공간에서 다양한 상황을 직접 체험하는 것과 같은 현실감과 생동감을 제공하는 것이 가능해지고 있다. 이에 따라, 가상 현실을 제공하는 VR 기기 시장이 점차 확대되는 추세이다.
다만, VR 기기는 사용자의 머리에 착용하게 되며, 사용자의 눈 앞에 영상을 출력하게 된다. 이에 따라, VR 기기를 장시간 착용하게 되면 사용자의 눈에 큰 피로가 유발될 수 있다.
더욱이, 피로를 느낀 사용자가 VR 기기를 이용하는 도중에 졸거나 잠드는 경우에는 사용자의 의지와 상관없이 장시간 동안 사용자의 눈에 VR 기기의 영상이 조사되어 눈 건강에 큰 피해를 입힐 수도 있다.
본 발명이 해결하고자 하는 기술적 과제는 사용자의 동공과 움직임을 검출하여 사용자의 수면 상태를 감지하고, 이에 따라 컨텐츠를 제어하는 VR 장치 및 이의 제어방법을 제공하는 것이다.
본 발명의 일측면은, 미리 마련된 컨텐츠를 출력하는 출력부; 상기 컨텐츠를 응시하는 사용자의 눈 영역을 촬영하여 영상 정보를 생성하는 촬영부; 사용자 머리의 움직임을 측정하여 동작 정보를 생성하는 센서부; 상기 영상 정보로부터 사용자의 동공의 위치 정보를 검출하고, 상기 영상 정보로부터 검출되는 동공의 위치 정보에 기초하여 사용자가 눈을 감고있는 시간 간격인 미검출 시간을 측정하며, 상기 동작 정보가 변화하는 변화 패턴을 생성하고, 상기 미검출 시간이 미리 설정된 시간 간격보다 길고, 상기 변화 패턴이 미리 설정된 졸음 패턴에 대응되는 경우 사용자가 수면 상태인 것으로 판단하는 상태 판단부; 및 사용자가 상기 수면 상태인 것으로 판단되는 경우에 상기 컨텐츠를 대기 상태로 전환하는 컨텐츠 제어부;를 포함할 수 있다.
또한, 상기 컨텐츠 제어부는, 상기 위치 정보의 변화량이 미리 설정된 임계치보다 작은 경우 상기 컨텐츠의 상태를 기록하여 임시 기록 정보를 생성하고, 상기 임시 기록 정보가 생성된 시점으로부터 미리 설정된 시간 간격 이내에 사용자가 상기 수면 상태인 것으로 판단되는 경우 상기 임시 기록 정보에 기초하여 상기 컨텐츠를 상기 대기 상태로 전환할 수 있다.
또한, 상기 상태 판단부는, 상기 대기 상태에서, 상기 위치 정보의 변화량이 미리 설정된 임계치보다 크고, 상기 변화 패턴으로부터 이상 패턴이 검출되는 경우 사용자가 비수면 상태인 것으로 판단할 수 있다.
또한, 상기 컨텐츠 제어부는, 상기 대기 상태에서, 사용자가 상기 비수면 상태인 것으로 판단되는 경우에 상기 컨텐츠의 상태를 상기 대기 상태로 전환된 시점으로 복원할 수 있다.
또한, 상기 컨텐츠 제어부는, 상기 수면 상태에서 상기 비수면 상태로 전환된 시점으로부터 미리 설정된 시간 간격 이내에 사용자가 수면 상태인 것으로 판단되는 경우에, 상기 컨텐츠의 상태를 이전의 대기 상태로 복원할 수 있다.
본 발명의 다른 일측면은, 사용자의 수면 상태를 감지하는 VR 장치의 제어방법에 있어서, 출력부가 미리 마련된 컨텐츠를 출력하는 단계; 촬영부가 상기 컨텐츠를 응시하는 사용자의 눈 영역을 촬영하여 영상 정보를 생성하는 단계; 센서부가 사용자 머리의 움직임을 측정하여 동작 정보를 생성하는 단계; 상태 판단부가 상기 영상 정보로부터 사용자의 동공의 위치 정보를 검출하고, 상기 영상 정보로부터 검출되는 동공의 위치 정보에 기초하여 사용자가 눈을 감고있는 시간 간격인 미검출 시간을 측정하며, 상기 동작 정보가 변화하는 변화 패턴을 생성하고, 상기 미검출 시간이 미리 설정된 시간 간격보다 길고, 상기 변화 패턴이 미리 설정된 졸음 패턴에 대응되는 경우 사용자가 수면 상태인 것으로 판단하는 단계; 및 컨텐츠 제어부가 사용자가 상기 수면 상태인 것으로 판단되는 경우에 상기 컨텐츠를 대기 상태로 전환하는 단계;를 포함할 수 있다.
또한, 상기 컨텐츠 제어부는, 상기 위치 정보의 변화량이 미리 설정된 임계치보다 작은 경우 상기 컨텐츠의 상태를 기록하여 임시 기록 정보를 생성하고, 상기 임시 기록 정보가 생성된 시점으로부터 미리 설정된 시간 간격 이내에 사용자가 상기 수면 상태인 것으로 판단되는 경우 상기 임시 기록 정보에 기초하여 상기 컨텐츠를 상기 대기 상태로 전환할 수 있다.
또한, 상기 상태 판단부는, 상기 대기 상태에서, 상기 위치 정보의 변화량이 미리 설정된 임계치보다 크고, 상기 변화 패턴으로부터 이상 패턴이 검출되는 경우 사용자가 비수면 상태인 것으로 판단할 수 있다.
또한, 상기 컨텐츠 제어부는, 상기 대기 상태에서, 사용자가 상기 비수면 상태인 것으로 판단되는 경우에 상기 컨텐츠의 상태를 상기 대기 상태로 전환된 시점으로 복원할 수 있다.
또한, 상기 컨텐츠 제어부는, 상기 수면 상태에서 상기 비수면 상태로 전환된 시점으로부터 미리 설정된 시간 간격 이내에 사용자가 수면 상태인 것으로 판단되는 경우에, 상기 컨텐츠의 상태를 이전의 대기 상태로 복원할 수 있다.
상술한 본 발명의 일측면에 따르면, 사용자의 수면 상태를 감지하는 VR 장치 및 이의 제어방법을 제공함으로써, 사용자의 동공과 움직임을 검출하여 사용자의 수면 상태를 감지하고, 이에 따라 컨텐츠를 제어할 수 있다.
도1은 본 발명의 일 실시예에 따른 VR 장치의 개략도이다.
도2는 본 발명의 일 실시에에 따른 VR 장치의 제어블록도이다.
도3은 도2의 출력부에서 컨텐츠가 출력되는 과정을 나타낸 블록도이다.
도4는 도2의 상태 판단부에서 사용자의 상태를 판단하는 과정을 나타낸 블록도이다.
도5는 도2의 컨텐츠 제어부에서 사용자의 상태에 따라 컨텐츠를 제어하는 과정을 나타낸 블록도이다.
도6은 본 발명의 일 실시예에 따른 VR 장치의 제어방법의 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도1은 본 발명의 일 실시예에 따른 VR 장치의 개략도이다.
VR 장치(100)는 사용자의 머리에 착용되도록 마련될 수 있으며, 이에 따라, VR 장치(100)는 미리 마련된 컨텐츠를 사용자가 식별 가능하도록 출력할 수 있다.
여기에서, 미리 마련된 컨텐츠는 VR 장치(100)에 저장된 컨텐츠를 의미할 수 있으며, 예를 들어, 컨텐츠는 음성, 영상 등의 컨텐츠를 의미할 수 있다.
또한, 컨텐츠는 게임과 같이, 사용자의 상호작용에 대응하여 출력되는 정보가 변화하도록 마련되는 것일 수도 있다.
이와 같이, 사용자는 VR 장치(100)를 머리에 장착하여 VR 장치(100)로부터 출력되는 컨텐츠를 즐길 수 있다.
한편, VR 장치(100)는 사용자의 수면 상태를 판단하도록 마련될 수 있으며, 이에 따라, VR 장치(100)는 사용자가 수면 상태인 것으로 판단되는 경우에 VR 장치(100)로부터 출력 중인 컨텐츠를 대기 상태로 전환하도록 마련될 수 있다.
여기에서, 수면 상태는 사용자가 정상적으로 컨텐츠를 즐길 수 없는 상태를 의미할 수 있으며, 예를 들어, 수면 상태는 사용자가 졸거나, 수면 중인 상태를 의미할 수 있다.
이에 따라, 대기 상태는 컨텐츠가 일시적으로 중단된 상태를 의미할 수 있으며, 일 실시예에서, 대기 상태는 컨텐츠의 종류가 음성 컨텐츠 또는 영상 컨텐츠인 경우에 음성 또는 영상의 재생이 일시 정지된 상태를 의미할 수 있다.
이때, VR 장치(100)는 음성 또는 영상이 일시 정지되는 시점을 기록할 수 있으며, 이에 따라, VR 장치(100)는 대기 상태를 벗어나는 경우에, 이전에 기록된 시점에서 음성 또는 영상의 재생을 시작할 수 있다.
또한, 다른 일 실시예에서, 대기 상태는 컨텐츠의 종류가 게임 컨텐츠인 경우에 게임의 진행 또는 게임의 프로세스가 일시 정지된 상태를 의미할 수 있다.
이때, VR 장치(100)는 게임 컨텐츠에 자동 저장 기능이 존재하는 경우에, 대기 상태로 전환되는 시점에서 자동 저장이 수행되도록 제어할 수도 있다.
한편, 대기 상태는 사용자로부터 설정되는 임의의 알고리즘으로 설정될 수도 있으며, 예를 들어, 대기 상태는 음량 감소, 디스플레이 종료, VR 장치(100)의 전원 차단 등 다양한 알고리즘으로 설정될 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 VR 장치(100)에 대해 상세히 설명하도록 한다.
도2는 본 발명의 일 실시에에 따른 VR 장치의 제어블록도이다.
VR 장치(100)는 저장부(110), 입력부(120), 컨텐츠 제어부(130), 촬영부(140), 센서부(150), 상태 판단부(160) 및 출력부(170)를 포함할 수 있다.
또한, VR 장치(100)는 도 2에 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있고, 그보다 적은 구성요소에 의해 구현될 수 있다. 또는, VR 장치(100)는 VR 장치(100)에 마련되는 적어도 두 개의 구성요소가 하나의 구성요소로 통합되어 하나의 구성요소가 복합적인 기능을 수행할 수도 있다. 이하, 상술한 구성요소들에 대해 구체적으로 설명하기로 한다.
저장부(110)는 컨텐츠가 저장될 수 있다. 또한, 저장부(110)는 대기 상태로 전환되는 경우에 제어되도록 설정된 알고리즘 등이 저장될 수 있으며, 저장부(110)는 사용자의 동공의 움직임 또는 사용자의 머리 움직임의 패턴 등이 저장될 수 있다.
입력부(120)는 사용자로부터 제어 명령이 입력되도록 마련될 수 있다. 이때, 입력부(120)는 저장부(110)에 저장된 복수의 컨텐츠 중 어느 하나의 컨텐츠를 선택받도록 마련될 수 있다.
또한, 입력부(120)는 VR 장치(100)를 동작시키거나, 중지시키는 명령 등을 입력받을 수 있다.
이와 같은, 입력부(120)는 VR 장치(100)와 일체형으로 마련될 수 있으며, 또는, 입력부(120)는 VR 장치(100)와 별도로 마련될 수도 있다. 이러한 경우에, 입력부(120)는 VR 장치(100)와 무선 또는 유선 네트워크로 연결되어 사용자로부터 입력된 신호를 VR 장치(100)에 전달하도록 마련될 수도 있다.
컨텐츠 제어부(130)는 컨텐츠가 출력부(170)를 통해 출력되도록 제어할 수 있다. 또한, 컨텐츠 제어부(130)는 입력부(120)에 입력되는 사용자의 제어 명령에 기초하여 컨텐츠를 제어할 수 있다.
또한, 컨텐츠 제어부(130)는 사용자의 상태에 따라 컨텐츠 또는 VR 장치(100)를 제어하도록 마련될 수 있다.
촬영부(140)는 컨텐츠를 응시하는 사용자의 눈 영역을 촬영하여 영상 정보를 생성할 수 있다. 이를 위해, 촬영부(140)는 카메라 등으로 마련될 수 있다.
센서부(150)는 사용자 머리의 움직임을 측정하여 동작 정보를 생성할 수 있다. 이를 위해, 센서부(150)는 가속도 센서, 자이로 센서 등으로 마련될 수 있다.
여기에서, 동작 정보는 사용자의 머리가 미리 설정된 기준 위치로부터 벗어나는 방향과 거리를 나타내도록 생성될 수 있다.
이러한 경우에, 센서부(150)는 VR 장치(100)에 전원이 입력되는 시점에 측정된 사용자 머리의 위치를 기준 위치로 설정할 수 있다.
상태 판단부(160)는 영상 정보로부터 사용자 동공의 위치 정보를 검출할 수 있으며, 상태 판단부(160)는 영상 정보로부터 검출되는 동공의 위치 정보에 기초하여 사용자가 눈을 감고있는 시간 간격인 미검출 시간을 측정할 수 있다.
이를 위해, 상태 판단부(160)는 영상 정보로부터 경계선(또는, 에지)을 추출하여 원형 형상으로 나타나는 경계선을 동공으로 설정할 수 있다.
이와 관련하여, 상태 판단부(160)는 기계 학습(Machine Learning) 등의 인공지능(AI: Artificial Intelligence) 기법을 이용하여 동공을 검출할 수도 있다.
여기에서, 기계 학습은 복수개의 정보에 기초하여, 복수개의 정보를 하나 이상의 그룹으로 분류 가능하도록 학습 모델을 생성하고, 생성된 학습 모델에 기초하여 임의의 정보를 분류하는 기법으로 이해할 수 있으며, 이와 같은, 기계 학습은 관리자에 의해 분류된 복수개의 정보에 따라 임의의 정보를 분류 가능 하도록 학습 모델을 생성하는 지도 학습(Supervised Learning)을 의미할 수 있다.
이에 따라, 상태 판단부(160)는 사전에 서로 다른 복수개의 눈 영역 영상 정보로부터 동공 영역을 입력받아 학습할 수 있으며, 이를 통해, 상태 판단부(160)는 실시간으로 촬영되는 사용자 눈 영역의 영상 정보로부터 동공을 검출할 수 있다.
이때, 상태 판단부(160)는 동공에 대해 미리 설정된 기준 위치에 기초하여 동공의 위치 정보를 생성할 수 있다. 예를 들어, 상태 판단부(160)는 VR 장치(100)에 전원이 입력되는 시점에 측정된 동공의 위치를 기준 위치로 설정할 수 있으며, 이에 따라, 상태 판단부(160)는 기준 위치를 기준으로 동공의 위치 정보를 생성할 수 있다.
한편, 상태 판단부(160)는 영상 정보로부터 동공이 검출되지 않는 시점으로부터 동공이 검출되는 시점까지의 시간 간격을 측정하여 미검출 시간을 측정할 수 있다.
이에 따라, 미검출 시간은 사용자가 눈을 감고있는 시간 간격을 의미할 수 있다.
이와 관련하여, 상태 판단부(160)는 동공의 인접한 경계선을 눈꺼풀로 설정할 수도 있으며, 이러한 경우에, 상태 판단부(160)는 눈꺼풀의 곡률 변화에 따라 미검출 시간을 측정할 수도 있다.
한편, 상태 판단부(160)는 동작 정보가 변화하는 변화 패턴을 생성할 수 있다.
여기에서, 동작 정보가 변화하는 변화 패턴은 미리 설정된 기준 위치로부터 사용자의 머리가 벗어나는 거리의 범위를 나타내도록 생성될 수 있으며, 또는, 변화 패턴은 미리 설정된 기준 위치에 기초하여 사용자의 머리의 위치가 변화하는 패턴을 나타내도록 생성될 수 있다.
이에 따라, 상태 판단부(160)는 미검출 시간 또는 동작 패턴에 기초하여 사용자의 수면 상태를 판단할 수 있다.
출력부(170)는 미리 마련된 컨텐츠를 출력할 수 있다. 이때, 출력부(170)는 VR 장치(100)를 착용한 사용자의 눈 측으로 컨텐츠를 출력할 수 있으며, 이를 통해, 사용자는 출력부(170)로부터 출력되는 컨텐츠를 식별할 수 있다.
또한, 출력부(170)는 음성 컨텐츠를 출력할 수도 있으며, 이를 위해, 출력부(170)는 별도의 스피커가 마련되거나, 또는, 스피커 및 이어폰 등과 연결이 가능하도록 연결 잭이 마련될 수 있다.
한편, 출력부(170)는 컨텐츠 제어부(130)의 제어에 의해 음성의 크기 또는 영상의 밟기 등이 제어되도록 마련될 수 있다.
도3은 도2의 출력부에서 컨텐츠가 출력되는 과정을 나타낸 블록도이다.
도3을 참조하면, 입력부(120)는 사용자로부터 제어 명령을 입력받을 수 있다. 이에 따라, 컨텐츠 제어부(130)는 컨텐츠가 출력부(170)를 통해 출력되도록 제어할 수 있다.
이때, 저장부(110)는 저장부(110)는 컨텐츠가 저장될 수 있으며, 출력부(170)는 컨텐츠를 출력할 수 있다.
도4는 도2의 상태 판단부에서 사용자의 상태를 판단하는 과정을 나타낸 블록도이다.
도4를 참조하면, 촬영부(140)는 컨텐츠를 응시하는 사용자의 눈 영역을 촬영하여 영상 정보를 생성할 수 있으며, 센서부(150)는 사용자 머리의 움직임을 측정하여 동작 정보를 생성할 수 있다.
이에 따라, 상태 판단부(160)는 영상 정보로부터 사용자 동공의 위치 정보를 검출할 수 있으며, 상태 판단부(160)는 영상 정보로부터 검출되는 동공의 위치 정보에 기초하여 사용자가 눈을 감고있는 시간 간격인 미검출 시간을 측정할 수 있다.
또한, 상태 판단부(160)는 동작 정보가 변화하는 변화 패턴을 생성할 수 있다.
도5는 도2의 컨텐츠 제어부에서 사용자의 상태에 따라 컨텐츠를 제어하는 과정을 나타낸 블록도이다.
도5를 참조하면, 상태 판단부(160)는 미검출 시간 또는 동작 패턴에 기초하여 사용자의 수면 상태를 판단할 수 있다.
이때, 상태 판단부(160)는 미검출 시간이 미리 설정된 시간 간격보다 길고, 변화 패턴이 미리 설정된 졸음 패턴에 대응되는 경우 사용자가 수면 상태인 것으로 판단할 수 있다.
여기에서, 미리 설정된 시간 간격은 사용자가 졸거나 잠든 것으로 판단하도록 설정될 수 있으며, 예를 들어, 미리 설정된 시간 간격은 60초일 수 있다.
또한, 졸음 패턴은 사용자가 졸거나 잠든 경우에 나타나는 동작 정보의 변화 패턴을 의미할 수 있다.
예를 들어, 졸음 패턴은 미리 설정된 시간 간격 동안 미리 설정된 거리 범위 내에서 동작 정보가 지속적으로 변화하는 패턴을 의미할 수 있으며, 여기에서, 미리 설정된 시간 간격은 60초일 수 있고, 미리 설정된 거리 범위는 3 센티미터 이상, 8 센티미터 미만으로 설정될 수 있다.
이에 따라, 상태 판단부(160)는 사용자의 눈이 60초 이상 감겨 있고, 사용자의 머리의 위치가 3 센티미터 이상, 8 센티미터 미만의 거리 범위에서 지속적으로 변화하는 경우에 사용자가 수면 상태인 것으로 판단할 수 있다.
한편, 졸음 패턴은 미리 설정된 시간 간격 동안 동작 정보가 정지되어 있는 것으로 나타나는 패턴으로 설정될 수도 있고, 이러한 경우에, 미리 설정된 시간 간격은 비교적 긴 시간 간격으로 설정될 수 있다. 예를 들어, 졸음 패턴은 사용자의 머리가 10 분 동안 정지되어 있는 패턴을 나타내도록 설정될 수 있다.
이에 따라, 컨텐츠 제어부(130)는 사용자가 수면 상태인 것으로 판단되는 경우에 컨텐츠를 대기 상태로 전환할 수 있다.
이와 관련하여, 컨텐츠 제어부(130)는 사용자 동공에 대한 위치 정보의 변화량이 미리 설정된 임계치보다 작은 경우 컨텐츠의 상태를 기록하여 임시 기록 정보를 생성할 수 있고, 컨텐츠 제어부(130)는 임시 기록 정보가 생성된 시점으로부터 미리 설정된 시간 간격 이내에 사용자가 수면 상태인 것으로 판단되는 경우 임시 기록 정보에 기초하여 컨텐츠를 대기 상태로 전환할 수 있다.
이를 통해, 컨텐츠 제어부(130)는 토안 증세 등과 같이, 눈을 뜨고 잠드는 사용자의 동공의 위치 변화를 사용자의 수면 상태를 판단하는데 이용할 수도 있다.
이때, 임시 기록 정보는 영상 또는 음성 컨텐츠가 재생 중인 시점을 의미할 수 있으며, 또는, 임시 기록 정보는 게임 등의 컨텐츠의 자동 저장 기능 등을 의미할 수도 있다.
이에 따라, 컨텐츠 제어부(130)가 임시 기록 정보에 기초하여 컨텐츠를 대기 상태로 전환하는 것은 컨텐츠의 상태를 임시 기록 정보에 따라 되돌린 상태에서 대기 상태로 전환되는 것으로 이해할 수 있다.
예를 들어, 컨텐츠 제어부(130)는 출력 중인 컨텐츠가 영상 또는 음성 컨텐츠인 경우에, 임시 기록 정보에 따른 시점으로 컨텐츠를 되돌린 상태에서 대기 상태로 전환할 수 있다.
또한, 컨텐츠 제어부(130)는 출력 중인 컨텐츠가 게임 컨텐츠인 경우에, 임시 기록 정보에 따라 자동 저장된 정보를 불러온 상태에서 대기 상태로 전환할 수 있다.
한편, 상태 판단부(160)는 대기 상태에서, 위치 정보의 변화량이 미리 설정된 임계치보다 크고, 변화 패턴으로부터 이상 패턴이 검출되는 경우 사용자가 비수면 상태인 것으로 판단할 수 있다.
다시 말해서, 비수면 상태는 사용자가 수면 상태에서 깨어난 상태를 나타내도록 설정될 수 있으며, 이에 따라, 상태 판단부(160)는 대기 상태에서, 사용자의 갑작스러운 움직임이 감지되는 경우에 사용자가 비수면 상태인 것으로 판단할 수 있다.
이에 따라, 컨텐츠 제어부(130)는 대기 상태에서, 사용자가 비수면 상태인 것으로 판단되는 경우에 컨텐츠의 상태를 대기 상태로 전환된 시점으로 복원할 수 있다.
여기에서, 컨텐츠 제어부(130)가 컨텐츠의 상태를 대기 상태로 전환된 시점으로 복원하는 것은 영상 또는 음성 컨텐츠를 재생시키거나, 게임 컨텐츠를 실행시키는 것으로 이해할 수 있다.
이때, 컨텐츠 제어부(130)는 대기 상태에 따라 출력부(170)의 음성 크기 또는 화면 밝기가 변경된 경우에, 음성 크기 또는 화면 밝기를 이전의 수준으로 재 설정할 수도 있다.
이와 관련하여, 컨텐츠 제어부(130)는 수면 상태에서 비수면 상태로 전환된 시점으로부터 미리 설정된 시간 간격 이내에 사용자가 수면 상태인 것으로 판단되는 경우에 컨텐츠의 상태를 이전의 대기 상태로 복원할 수 있다.
여기에서, 컨텐츠 제어부(130)가 컨텐츠의 상태를 이전의 대기 상태로 복원하는 것은 이전의 대기 상태로 전환되는 시점에서의 컨텐츠의 상태로 복원하는 것을 의미할 수 있으며, 이를 위해, 컨텐츠 제어부(130)는 수면 상태에서 비수면 상태로 전환되는 시점에서의 컨텐츠의 상태를 기록할 수 있다.
도6은 본 발명의 일 실시예에 따른 VR 장치의 제어방법의 순서도이다.
본 발명의 일 실시예에 따른 VR 장치의 제어방법은 도 1에 도시된 VR 장치(100)와 실질적으로 동일한 구성 상에서 진행되므로, 도 1의 VR 장치(100)와 동일한 구성요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.
VR 장치의 제어방법은 컨텐츠를 출력하는 단계(600), 눈 영역을 촬영하여 영상 정보를 생성하는 단계(610), 머리의 움직임을 측정하여 동작 정보를 생성하는 단계(620), 사용자가 수면 상태인 것으로 판단하는 단계(630) 및 수면 상태인 것으로 판단되는 경우에 컨텐츠를 대기 상태로 전환하는 단계(640)를 포함할 수 있다.
컨텐츠를 출력하는 단계(600)는 출력부(170)가 미리 마련된 컨텐츠를 출력하는 단계일 수 있다.
눈 영역을 촬영하여 영상 정보를 생성하는 단계(610)는 촬영부(140)가 컨텐츠를 응시하는 사용자의 눈 영역을 촬영하여 영상 정보를 생성하는 단계일 수 있다.
머리의 움직임을 측정하여 동작 정보를 생성하는 단계(620)는 센서부(150)가 사용자 머리의 움직임을 측정하여 동작 정보를 생성하는 단계일 수 있다.
사용자가 수면 상태인 것으로 판단하는 단계(630)는 상태 판단부(160)가 영상 정보로부터 사용자의 동공의 위치 정보를 검출하고, 영상 정보로부터 검출되는 동공의 위치 정보에 기초하여 사용자가 눈을 감고있는 시간 간격인 미검출 시간을 측정하며, 동작 정보가 변화하는 변화 패턴을 생성하고, 미검출 시간이 미리 설정된 시간 간격보다 길고, 변화 패턴이 미리 설정된 졸음 패턴에 대응되는 경우 사용자가 수면 상태인 것으로 판단하는 단계일 수 있다.
수면 상태인 것으로 판단되는 경우에 컨텐츠를 대기 상태로 전환하는 단계(640)는 컨텐츠 제어부(130)가 사용자가 수면 상태인 것으로 판단되는 경우에 컨텐츠를 대기 상태로 전환하는 단계일 수 있다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: VR 장치
120: 입력부

Claims (10)

  1. 미리 마련된 컨텐츠를 출력하는 출력부;
    상기 컨텐츠를 응시하는 사용자의 눈 영역을 촬영하여 영상 정보를 생성하는 촬영부;
    사용자 머리의 움직임을 측정하여 동작 정보를 생성하는 센서부;
    상기 영상 정보로부터 사용자의 동공의 위치 정보를 검출하고, 상기 영상 정보로부터 검출되는 동공의 위치 정보에 기초하여 사용자가 눈을 감고있는 시간 간격인 미검출 시간을 측정하며, 상기 동작 정보가 변화하는 변화 패턴을 생성하고, 상기 미검출 시간이 미리 설정된 시간 간격보다 길고, 상기 변화 패턴이 미리 설정된 졸음 패턴에 대응되는 경우 사용자가 수면 상태인 것으로 판단하는 상태 판단부; 및
    사용자가 상기 수면 상태인 것으로 판단되는 경우에 상기 컨텐츠를 대기 상태로 전환하는 컨텐츠 제어부;를 포함하고,
    상기 상태 판단부는,
    상기 대기 상태에서, 상기 위치 정보의 변화량이 미리 설정된 임계치보다 크고, 상기 변화 패턴으로부터 이상 패턴이 검출되는 경우 사용자가 비수면 상태인 것으로 판단하고,
    상기 컨텐츠 제어부는,
    상기 대기 상태에서, 사용자가 상기 비수면 상태인 것으로 판단되는 경우에 상기 컨텐츠의 상태를 상기 대기 상태로 전환된 시점으로 복원하고,
    상기 비수면 상태로 전환된 시점으로부터 미리 설정된 시간 간격 이내에 사용자가 수면 상태인 것으로 판단되는 경우에, 상기 컨텐츠의 상태를 상기 대기 상태로 전환된 시점으로 복원하는, VR 장치.
  2. 제1항에 있어서, 상기 컨텐츠 제어부는,
    상기 위치 정보의 변화량이 미리 설정된 임계치보다 작은 경우 상기 컨텐츠의 상태를 기록하여 임시 기록 정보를 생성하고, 상기 임시 기록 정보가 생성된 시점으로부터 미리 설정된 시간 간격 이내에 사용자가 상기 수면 상태인 것으로 판단되는 경우 상기 임시 기록 정보에 기초하여 상기 컨텐츠를 상기 대기 상태로 전환하는, VR 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 사용자의 수면 상태를 감지하는 VR 장치의 제어방법에 있어서,
    출력부가 미리 마련된 컨텐츠를 출력하는 단계;
    촬영부가 상기 컨텐츠를 응시하는 사용자의 눈 영역을 촬영하여 영상 정보를 생성하는 단계;
    센서부가 사용자 머리의 움직임을 측정하여 동작 정보를 생성하는 단계;
    상태 판단부가 상기 영상 정보로부터 사용자의 동공의 위치 정보를 검출하고, 상기 영상 정보로부터 검출되는 동공의 위치 정보에 기초하여 사용자가 눈을 감고있는 시간 간격인 미검출 시간을 측정하며, 상기 동작 정보가 변화하는 변화 패턴을 생성하고, 상기 미검출 시간이 미리 설정된 시간 간격보다 길고, 상기 변화 패턴이 미리 설정된 졸음 패턴에 대응되는 경우 사용자가 수면 상태인 것으로 판단하는 단계; 및
    컨텐츠 제어부가 사용자가 상기 수면 상태인 것으로 판단되는 경우에 상기 컨텐츠를 대기 상태로 전환하는 단계;를 포함하고,
    상기 상태 판단부는,
    상기 대기 상태에서, 상기 위치 정보의 변화량이 미리 설정된 임계치보다 크고, 상기 변화 패턴으로부터 이상 패턴이 검출되는 경우 사용자가 비수면 상태인 것으로 판단하고,
    상기 컨텐츠 제어부는,
    상기 대기 상태에서, 사용자가 상기 비수면 상태인 것으로 판단되는 경우에 상기 컨텐츠의 상태를 상기 대기 상태로 전환된 시점으로 복원하고,
    상기 수면 상태에서 상기 비수면 상태로 전환된 시점으로부터 미리 설정된 시간 간격 이내에 사용자가 수면 상태인 것으로 판단되는 경우에, 상기 컨텐츠의 상태를 상기 대기 상태로 전환된 시점으로 복원하는, VR 장치의 제어방법.
  7. 제6항에 있어서, 상기 컨텐츠 제어부는,
    상기 위치 정보의 변화량이 미리 설정된 임계치보다 작은 경우 상기 컨텐츠의 상태를 기록하여 임시 기록 정보를 생성하고, 상기 임시 기록 정보가 생성된 시점으로부터 미리 설정된 시간 간격 이내에 사용자가 상기 수면 상태인 것으로 판단되는 경우 상기 임시 기록 정보에 기초하여 상기 컨텐츠를 상기 대기 상태로 전환하는, VR 장치의 제어방법.
  8. 삭제
  9. 삭제
  10. 삭제
KR1020210088049A 2021-07-05 2021-07-05 사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법 KR102584676B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210088049A KR102584676B1 (ko) 2021-07-05 2021-07-05 사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210088049A KR102584676B1 (ko) 2021-07-05 2021-07-05 사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법

Publications (2)

Publication Number Publication Date
KR20230007158A KR20230007158A (ko) 2023-01-12
KR102584676B1 true KR102584676B1 (ko) 2023-10-04

Family

ID=84923743

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210088049A KR102584676B1 (ko) 2021-07-05 2021-07-05 사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법

Country Status (1)

Country Link
KR (1) KR102584676B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115185085B (zh) * 2022-07-18 2024-05-28 佛山理成科技有限公司 智能眼镜及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242570A1 (en) * 2011-03-24 2012-09-27 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
US9285872B1 (en) 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device
WO2017079903A1 (zh) 2015-11-10 2017-05-18 深圳市柔宇科技有限公司 一种头戴式显示设备及其显示方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150037251A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법
KR102433291B1 (ko) * 2014-07-31 2022-08-17 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242570A1 (en) * 2011-03-24 2012-09-27 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
US9285872B1 (en) 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device
WO2017079903A1 (zh) 2015-11-10 2017-05-18 深圳市柔宇科技有限公司 一种头戴式显示设备及其显示方法

Also Published As

Publication number Publication date
KR20230007158A (ko) 2023-01-12

Similar Documents

Publication Publication Date Title
JP6825015B2 (ja) 仮想現実シーンの変更方法及びコンピュータ可読記憶媒体
US7948387B2 (en) Drowsiness determination apparatus, program, and method
JP2020507797A (ja) 外部条件に基づくウェアラブルディスプレイデバイスの自動制御
JP4458146B2 (ja) 眠気判定装置およびプログラム
JP5177011B2 (ja) 開眼度特定装置
CN110825220B (zh) 眼球追踪控制方法、装置、智能投影仪及存储介质
KR102584676B1 (ko) 사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법
JP2009288951A (ja) 画像処理装置、画像処理方法、画像処理プログラム
CN109167877A (zh) 终端屏幕控制方法、装置、终端设备和存储介质
KR102024794B1 (ko) 주제어실 화재 체험을 위한 시뮬레이션 장치 및 방법
JP6748957B2 (ja) 環境制御システムおよび環境制御方法
JP2006293979A (ja) コンテンツ提供システム
JP2010142592A (ja) ゲームプログラムおよびゲーム装置
JP2016209231A (ja) 居眠り検知装置
CN105204634A (zh) 自动提醒的方法及系统
JP4945617B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
WO2023155442A1 (zh) 用于控制空调器的方法及装置、空调器、存储介质
JP2014143595A (ja) 画像記録装置
CA3231733A1 (en) System and method for monitoring human-device interactions
CN113633870B (zh) 情绪状态调节系统及方法
KR100779071B1 (ko) 뇌파를 이용한 집중력 향상 및 유지 장치, 그 방법
CN107211204B (zh) 一种头戴式播放设备的控制方法及头戴式播放设备
CN107209391A (zh) 一种头戴式显示设备及其显示方法
WO2022024274A1 (ja) 画像処理装置、画像処理方法、及び、記録媒体
CN113934295A (zh) 宠物机器人的养成方法、系统及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant