KR101662636B1 - 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법 - Google Patents

영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법 Download PDF

Info

Publication number
KR101662636B1
KR101662636B1 KR1020140088255A KR20140088255A KR101662636B1 KR 101662636 B1 KR101662636 B1 KR 101662636B1 KR 1020140088255 A KR1020140088255 A KR 1020140088255A KR 20140088255 A KR20140088255 A KR 20140088255A KR 101662636 B1 KR101662636 B1 KR 101662636B1
Authority
KR
South Korea
Prior art keywords
image
data
unit
immersion
output
Prior art date
Application number
KR1020140088255A
Other languages
English (en)
Other versions
KR20160008677A (ko
Inventor
신경순
Original Assignee
엔에이치엔엔터테인먼트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔엔터테인먼트 주식회사 filed Critical 엔에이치엔엔터테인먼트 주식회사
Priority to KR1020140088255A priority Critical patent/KR101662636B1/ko
Priority to JP2015129573A priority patent/JP6336414B2/ja
Priority to US14/797,580 priority patent/US10203753B2/en
Publication of KR20160008677A publication Critical patent/KR20160008677A/ko
Application granted granted Critical
Publication of KR101662636B1 publication Critical patent/KR101662636B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • A61B5/0533Measuring galvanic skin response
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick

Abstract

영상을 시청하는 사용자에게 쉽게 적용하여 영상의 몰입을 유도할 수 있는 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법이 개시된다. 이러한 영상 몰입 유도 장치는 측정부, 촬영부, 데이터 처리부 및 영상 몰입 유도부를 포함한다. 상기 측정부는 영상을 시청하는 사용자의 몸에 접촉하여 피부전도도의 측정을 위한 측정 데이터를 출력한다. 상기 촬영부는 상기 사용자의 눈을 촬영하여, 눈 움직임의 측정을 위한 촬영 데이터를 출력한다. 상기 데이터 처리부는 상기 측정 데이터로부터 피부전도도 측정값을 추출하고, 상기 촬영 데이터의 분석을 통해 눈 움직임 측정값을 추출하며, 상기 피부전도도 측정값이 피부전도도 기준 범위를 벗어나는 동시에, 상기 눈 움직임 측정값이 눈 움직임 기준 범위를 벗어날 경우, 몰입 유도 제어 신호를 출력한다. 상기 영상 몰입 유도부는 상기 몰입 유도 제어신호를 따라 몰입 유도 메시지를 출력한다. 이로써, 상기 사용자의 영상 몰입 정도를 정확히 판단하여 상기 사용자에게 상기 몰입 유도 메시지를 자연스럽게 제공할 수 있다.

Description

영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법{IMAGE IMMERSION GUIDING APPARATUS AND IMAGE IMMERSION GUIDING METHOD USING THE APPARATUS}
본 발명은 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법에 관한 것으로, 더욱 상세하게는 온라인 강의 및 동영상 강의 등의 학습자의 몰입을 유도할 수 있는 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법에 관한 것이다.
인터넷의 발전으로 데이터의 전송 속도가 증가됨에 따라, 많은 사람들이 컴퓨터나 모바일 단말기로 어디서나 고용량의 동영상을 시청할 수 있게 되었다. 특히, 직접 학원에 가지 않고 학습을 원하는 다양한 학습 수요자들은 시간과 돈을 절약하며 원하는 강의 영상을 어디서나 시청할 수 있는 기회를 갖게 되었다. 즉, 동영상 강의를 실행시킬 수 있는 단말기를 소지한 학습자는 원하는 시점에 인터넷을 통해 실시간으로 강의를 전송받아 시청하거나, 단말기 내에 저장되어 있는 동영상 강의를 시청할 수 있다.
하지만, 일반적인 동영상 강의의 경우, 강사가 일방적으로 학습자에게 강의를 제공하기에 학습자에게 적절한 피드백를 제공하기가 쉽지 않다. 그로 인해, 학습자는 강의에 대한 몰입의 저하되어 효과적인 학습 효과를 보기 어렵다. 따라서, 효과적인 학습을 위해 학습자에게 학습자의 몰입 상태에 따른 적절한 피드백이 제공되는 것이 필요하다.
한편, 학습자로부터의 적절한 피드백을 얻기 위해 뇌파를 측정하는 방법이 제시되고 있다. 그러나, 이러한 뇌파 측정을 통한 피드백 방법은 뇌파 측정 장치가 복잡하고 장착하기가 어려울 뿐만 아니라, 정확한 뇌파를 측정하기 위해 외부 노이즈를 차단하기 위해 특정 차폐공간에서 이루어져야하므로, 학습자의 접근성이 떨어지는 단점을 갖고 있다.
따라서, 본 발명은 이러한 문제점을 해결하기 위한 것으로, 본 발명의 해결하고자 하는 과제는 영상을 시청하는 사용자에게 쉽게 적용하여 영상의 몰입을 유도할 수 있는 영상 몰입 유도 장치를 제공하는 것이다.
또한, 본 발명의 해결하고자 하는 다른 과제는 상기 영상 몰입 유도 장치를 이용한 영상 몰입 유도 방법을 제공하는 것이다.
본 발명의 일 실시예에 의한 영상 몰입 유도 장치는 측정부, 촬영부, 데이터 처리부 및 영상 몰입 유도부를 포함한다.
상기 측정부는 영상 출력 장치에서 출력되는 임의의 영상을 시청하는 사용자의 몸에 접촉하여 피부전도도의 측정을 위한 측정 데이터를 출력한다. 상기 촬영부는 상기 사용자의 눈을 촬영하여, 눈 움직임의 측정을 위한 촬영 데이터를 출력한다. 상기 데이터 처리부는 상기 측정 데이터로부터 피부전도도 측정값을 추출하고, 상기 촬영 데이터의 분석을 통해 눈 움직임 측정값을 추출하며, 상기 피부전도도 측정값이 피부전도도 기준 범위를 벗어나는 동시에, 상기 눈 움직임 측정값이 눈 움직임 기준 범위를 벗어날 경우, 몰입 유도 제어 신호를 출력한다. 상기 영상 몰입 유도부는 상기 몰입 유도 제어신호를 따라 몰입 유도 메시지를 출력한다.
상기 데이터 처리부는 상기 측정 데이터의 출력 이전에 상기 측정부에서 출력된 기준 출력 데이터로부터 피부전도도 기준 측정값을 추출하고, 상기 피부전도도 기준 측정값을 이용하여 상기 피부전도도 기준 범위를 결정할 수 있다. 이때, 상기 측정 데이터의 출력 이전에는, 상기 영상이 출력되기 직전과 대응되는 출력 직전 시간, 및 상기 영상이 출력된 직후와 대응되는 출력 직후 시간 중 적어도 하나가 포함될 수 있다.
또한, 상기 데이터 처리부는 상기 촬영 데이터의 출력 이전에 상기 촬영부에서 출력된 기준 촬영 데이터를 분석하여 눈 움직임 기준 측정값을 추출하고, 상기 눈 움직임 기준 측정값을 이용하여 상기 눈 움직임 기준 범위를 결정할 수 있다. 이때, 상기 촬영 데이터의 출력 이전에는, 상기 영상이 출력되기 직전과 대응되는 출력 직전 시간, 및 상기 영상이 출력된 직후와 대응되는 출력 직후 시간 중 적어도 하나가 포함될 수 있다.
상기 눈 움직임 측정값은 상기 사용자의 눈 깜빡임에 대응되는 눈 깜빡임 측정값, 상기 사용자의 동공 크기에 대응되는 동공 크기 측정값, 및 상기 사용자의 눈의 시선에 대응되는 시선 위치 측정값 중 적어도 하나를 포함할 수 있다. 또한, 상기 눈 움직임 기준 범위는 상기 눈 깜빡임 측정값의 비교 기준이 되는 눈 깜빡임 기준 범위, 상기 동공 크기 측정값의 비교 기준이 되는 동공 크기 기준 범위, 및 상기 시선 위치 측정값의 비교 기준이 되는 시선 기준 범위 중 적어도 하나를 포함할 수 있다.
상기 영상 몰입 유도부는 상기 몰입 유도 제어 신호에 포함된 영상 제어 신호에 따라, 몰입 유도 영상을 출력하는 영상 출력부를 포함할 수 있다.
또한, 상기 영상 몰입 유도부는 상기 몰입 유도 제어 신호에 포함된 진동 제어 신호에 따라, 진동을 발생시키는 진동 발생부를 더 포함할 수 있다.
상기 측정부는 상기 사용자의 몸의 적어도 두 부분과 접촉하는 적어도 두 개의 접촉 센서들을 통해 상기 측정 데이터를 출력할 수 있다. 이때, 상기 측정 데이터는 상기 접촉 센서들에서 측정된 전위값들을 포함할 수 있고, 상기 데이터 처리부는 상기 전위값들을 이용하여 상기 피부전도도 측정값을 계산할 수 있다.
상기 접촉 센서들은 상기 영상 출력 장치의 일면의 가장자리에 부착되어 있을 수 있다.
또는, 상기 접촉 센서들은 상기 영상 출력 장치의 영상을 표시하는 앞면의 가장자리와, 상기 앞면의 가장자리에 대응되는 뒷면의 일부분에 각각 부착되어 있을 수 있다.
또는, 상기 접촉 센서들은 상기 영상 출력 장치와 별도로 구비되는 보조 장치에 부착되어 있을 수 있다. 이때, 상기 보조 장치는 펜, 시계, 마우스, 안경, 이어폰, 헤드폰 중 적어도 어느 하나를 포함할 수 있다.
또는, 상기 접촉 센서들은 결합 수단을 통해 상기 사용자의 몸의 일부에 직접 부착될 수 있다. 이때, 상기 접촉 센서들이 직접 부착되는 몸의 일부는 손가락, 손바닥, 발가락, 발바닥 중 적어도 어느 하나를 포함할 수 있다.
상기 촬영부는 상기 영상 출력 장치에 장착되어 있을 수 있다.
상기 영상 몰입 유도 장치는 상기 영상 출력 장치에 장착되고, 상기 촬영부에서 촬영이 가능하도록 광을 조사하는 광 출사부를 더 포함할 수 있다. 이때, 상기 광 출사부는 적외선을 출사시키는 적외선 출력유닛을 포함할 수 있다.
이어서, 본 발명의 일 실시예에 의한 영상 몰입 유도 방법은 영상 출력 장치에서 출력되는 임의의 영상을 시청하는 사용자의 몸에 접촉된 측정부에서, 피부전도도의 측정을 위한 측정 데이터를 출력하는 단계; 상기 사용자의 눈을 촬영하는 촬영부에서, 눈 움직임의 측정을 위한 촬영 데이터를 출력하는 단계; 상기 측정 데이터로부터 피부전도도 측정값을 추출하는 단계; 상기 촬영 데이터를 분석하여 눈 움직임 측정값을 추출하는 단계; 및 상기 피부전도도 측정값이 피부전도도 기준 범위를 벗어나는 동시에, 상기 눈 움직임 측정값이 눈 움직임 기준 범위를 벗어날 경우, 몰입 유도 메시지를 출력하는 단계를 포함한다.
상기 영상 몰입 유도 방법은 상기 피부전도도 기준 범위를 결정하는 단계; 및 상기 눈 움직임 기준 범위를 결정하는 단계를 더 포함할 수 있다.
상기 피부전도도 기준 범위를 결정하는 단계는 상기 측정 데이터의 출력 이전에, 상기 측정부에서 기준 출력 데이터를 출력하는 단계; 상기 기준 출력 데이터로부터 피부전도도 기준 측정값을 추출하는 단계; 및 상기 피부전도도 기준 측정값을 이용하여 상기 피부전도도 기준 범위를 결정하는 단계를 포함할 수 있다.
상기 눈 움직임 기준 범위를 결정하는 단계는 상기 촬영 데이터의 출력 이전에, 상기 촬영부에서 기준 촬영 데이터를 출력하는 단계; 상기 기준 촬영 데이터를 분석하여 눈 움직임 기준 측정값을 추출하는 단계; 및 상기 눈 움직임 기준 측정값을 이용하여 상기 눈 움직임 기준 범위를 결정하는 단계를 포함할 수 있다.
상기 몰입 유도 메시지를 출력하는 단계에서는, 상기 피부전도도 측정값이 상기 피부전도도 기준 범위를 벗어나는 동시에, 상기 눈 움직임 측정값이 상기 눈 움직임 기준 범위를 벗어날 경우, 상기 영상 출력 장치에서 상기 영상을 정지시키고 몰입 유도 영상을 출력할 수 있다.
상기 영상 몰입 유도 방법은 상기 영상이 정지된 이후, 상기 측정부에서 재측정 데이터를 출력하는 단계; 상기 영상이 정지된 이후, 상기 촬영부에서 재촬영 데이터를 출력하는 단계; 상기 재측정 데이터로부터 피부전도도 재측정값을 추출하는 단계; 상기 재촬영 데이터를 분석하여 눈 움직임 재측정값을 추출하는 단계; 및 상기 피부전도도 재측정값이 상기 피부전도도 기준 범위 내에 포함되거나, 상기 눈 움직임 재측정값이 상기 눈 움직임 기준 범위 내에 포함될 경우, 상기 영상 출력 장치에서 상기 영상을 다시 재생시키는 단계를 더 포함할 수 있다.
이와 같이 본 발명에 의한 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법에 따르면, 측정부에서 제공된 측정 데이터 및 촬영부에서 제공된 촬영 데이터를 모두 이용함으로써, 영상 촬영 장치에서 출력되고 있는 영상을 시청하는 사용자의 영상 몰입 정도를 보다 정밀하게 측정할 수 있다.
또한, 상기 사용자의 영상 몰입 정도가 저하된다고 판단되면, 출력되고 있는 영상을 정지시키고 몰입 유도 영상을 출력함으로써, 상기 사용자를 다시 영상에 몰입시키도록 자연스럽게 유도할 수 있다.
도 1은 본 발명의 일 실시예에 의한 영상 몰입 유도 장치를 설명하기 위한 블록도이다.
도 2는 도 1의 영상 몰입 유도 장치를 구비한 영상 출력 장치의 일 예를 도시한 도면이다.
도 3은 도 1의 영상 몰입 유도 장치를 구비한 영상 출력 장치의 다른 예를 도시한 도면이다.
도 4는 도 1의 영상 몰입 유도 장치를 구비한 영상 출력 장치의 또 다른 예를 도시한 도면이다.
도 5는 도 1의 영상 몰입 유도 장치를 구비한 영상 출력 장치의 또 다른 예를 도시한 도면이다.
도 6은 도 1의 영상 몰입 유도 장치를 이용한 영상 몰입 유도 방법을 설명하기 위한 순서도이다.
도 7은 도 6의 피부전도도 기준 범위 결정 과정을 설명하기 위한 순서도이다.
도 8은 도 6의 눈 움직임 기준 범위 결정 과정을 설명하기 위한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 의한 영상 몰입 유도 장치를 설명하기 위한 블록도이고, 도 2는 도 1의 영상 몰입 유도 장치를 구비한 영상 출력 장치의 일 예를 도시한 도면이다.
도 1 및 도 2를 참조하면, 본 실시예에 의한 영상 몰입 유도 장치는 영상을 출력하는 영상 출력 장치(10)에 장착되어 상기 영상을 시청하는 사용자의 영상에 대한 몰입을 유도하기 위한 장치이다.
본 실시예에서, 상기 영상은 복수의 이미지들의 결합체인 단순 영상만을 의미하는 개념일 수도 있지만, 상기 단순 영상에 오디오가 포함된 개념일 수 있다. 따라서, 상기 영상 출력 장치(10)는 단순 영상만을 표시하는 디스플레이 장치이거나, 상기 단순 영상과 음향을 함께 출력하는 멀티미디어 장치일 수 있다. 예를 들어, 상기 영상 출력 장치(10)는 스마트폰, 테블릿 PC 등과 같은 모바일 단말기나, PC와 연결된 모니터, 노트북 등의 컴퓨터 시스템이거나, 동영상 강의의 학습을 위한 학습기일 수 있다.
상기 영상 몰입 유도 장치는 측정부(100), 촬영부(200), 광 출사부(300), 데이터 처리부(400) 및 영상 몰입 유도부(500)를 포함할 수 있다.
상기 측정부(100)는 상기 영상 출력 장치(10)에서 출력되는 임의의 영상을 시청하는 사용자의 몸에 접촉하여 피부전도도의 측정을 위한 측정 데이터를 출력한다. 여기서, 상기 측정부(100)는 상기 영상 출력 장치(10)에 장착되어 있을 수 있지만, 이와 분리된 상태로 배치될 수도 있다.
본 실시예에서, 상기 측정부(100)는 상기 사용자의 몸의 적어도 두 부분과 접촉하는 적어도 두 개의 접촉 센서들(110)을 통해 상기 측정 데이터를 출력할 수 있다.
상기 측정 데이터는 상기 접촉 센서들(110)에서 측정된 전위값들을 포함할 수 있다. 즉, 상기 접촉 센서들(110) 각각은 상기 사용자의 몸의 접촉 부분에서의 전위값을 측정하여 상기 데이터 처리부(400)로 전송할 수 있고, 이후 상기 데이터 처리부(400)는 상기 전위값들을 이용한 계산 과정을 통해 피부전도도 측정값을 계산할 수 있다.
이와 다르게, 상기 측정 데이터는 상기 데이터 처리부(400)에서 별도의 계산 과정 없이 직접 사용할 수 있는 피부전도도 측정값을 포함할 수도 있다. 구체적으로 설명하면, 상기 측정부(100)는 상기 접촉 센서들(110)로부터 상기 전위값들을 제공받아 상기 피부전도도 측정값을 계산하여 상기 데이터 처리부(400)로 전송하는 피부전도도 계산부(미도시)를 더 포함할 수 있다. 상기 피부전도도 계산부는 상기 영상 출력 장치(10)에 장착되어 있을 수 있지만, 이와 분리된 상태로 외부에 배치될 수도 있다.
본 실시예에서, 상기 접촉 센서들(110)은 상기 영상 출력 장치(10)의 일면의 가장자리의 일측 또는 양측에 부착되어 있을 수 있다. 예를 들어, 상기 접촉 센서들(110)은 도 2와 같이, 영상이 표시되지 않는 상기 영상 출력 장치(10)의 뒷면의 가장자리의 서로 마주보는 양측에 각각 두 개씩 부착되어 배치될 수 있다. 이와 같이, 상기 접촉 센서들(110)이 상기 영상 출력 장치(10)의 뒷면에 부착됨에 따라, 상기 사용자는 손을 통해 상기 영상 출력 장치(10)를 잡아 영상을 시청할 때, 두 개의 손가락들이 상기 영상 출력 장치(10)의 뒷면에 배치된 상기 접촉 센서들(110)에 용이하게 접촉시킬 수 있다.
이와 다르게, 상기 접촉 센서들(110)은 상기 영상 출력 장치(10)의 영상을 표시하는 앞면의 가장자리의 일측 또는 양측에 부착되어 있을 수도 있다. 이로써, 상기 사용자는 책상 위나 거치대에 배치된 상기 영상 출력 장치(10)를 통해 시청할 때, 몸의 두 부분, 예를 들어 두 개의 손가락들을 상기 접촉 센서들(110)에 용이하게 접촉시킬 수 있다. 여기서, 상기 앞면의 가장자리는 상기 영상 출력 장치(10)의 베젤(bezel) 부분을 의미할 수 있다.
상기 촬영부(200)는 상기 사용자의 눈을 촬영하여, 눈 움직임의 측정을 위한 촬영 데이터를 출력한다. 즉, 상기 촬영부(200)는 상기 사용자의 눈을 촬영할 수 있는 카메라를 포함할 수 있다. 여기서, 상기 촬영부(200)는 상기 영상 출력 장치(10)에 장착되어 있을 수 있지만, 이와 분리된 상태로 배치될 수도 있다.
예를 들어, 상기 촬영부(200)는 도 2와 같이, 상기 영상 출력 장치(10)의 앞면의 가장자리에 설치될 수 있다. 그 결과, 상기 촬영부(200)는 상기 영상 출력 장치(10)에서 출력하는 영상을 시청하는 상기 사용자의 눈을 용이하게 촬영할 수 있다.
상기 광 출사부(300)는 상기 촬영부(200)와 대응되게 상기 영상 출력 장치(200)에 장착되고, 상기 촬영부(200)에서 촬영이 가능하도록 광을 조사한다. 예를 들어, 상기 광 출사부(300)는 도 2와 같이, 상기 영상 출력 장치(10)의 앞면의 가장자리에 상기 촬영부(200)와 이웃하여 배치될 수 있다.
본 실시예에서, 상기 광 출사부(300)는 적외선을 출사시키는 적외선 출력유닛을 포함할 수 있다. 또한, 상기 촬영부(200)도 상기 적외선을 촬영할 수 있는 적외선 카메라를 포함하거나, 상기 적외선을 포함한 광을 촬영할 수 있는 다기능 카메라를 포함할 수 있다.
이와 같이, 상기 광 출사부(300)에서 적외선을 출사시키고, 상기 촬영부(200)에서 상기 적외선을 촬영함으로써, 상기 사용자는 상기 광 출사부(300)에서 출사되는 광에 의한 눈부심이 최소화한 상태에서 자연스럽게 상기 촬영부(200)에 의해 촬영될 수 있다.
상기 데이터 처리부(400)는 상기 측정부(100) 및 상기 촬영부(200)와 전기적으로 연결되어, 상기 측정부(100)로부터 상기 측정 데이터를 제공받고, 상기 촬영부(200)로부터 상기 촬영 데이터를 제공받는다. 여기서, 상기 데이터 처리부(400)는 상기 측정부(100) 및 상기 촬영부(200) 각각과 신호선을 통해 직접 연결될 수도 있지만, 무선 송수신 장치를 통해 무선으로 연결되어 신호를 주고받을 수도 있다.
상기 데이터 처리부(400)는 상기 측정부(100)로부터 제공된 상기 측정 데이터로부터 피부전도도 측정값을 추출할 수 있다. 여기서, "상기 측정 데이터로부터 피부전도도 측정값을 추출한다"라는 것은 "상기 측정 데이터를 이용한 계산 과정을 통해 피부전도도 측정값을 계산하여 추출한다"라는 제1 의미와, "피부전도도 측정값을 포함하는 상기 측정 데이터로부터 직접 추출한다"라는 제2 의미를 포함할 수 있다.
우선, 상기 제1 의미로 해석하면, 상기 데이터 처리부(400)는 상기 접촉 센서들(110)로부터 제공된 상기 전위값들을 이용하여 상기 피부전도도 측정값을 계산하여 추출할 수 있다. 예를 들어, 상기 데이터 처리부(400)는 상기 사용자의 몸의 두 부분에서 측정된 전위값들의 차이를 통해 상기 피부전도도 측정값을 계산할 수 있다.
이어서, 상기 제2 의미로 해석하면, 상기 측정 데이터에 상기 피부전도도 측정값이 포함되어 있기에, 상기 데이터 처리부(400)는 상기 측정 데이터에 포함된 상기 피부전도도 측정값을 별도의 계산 과정 없이 그대로 제공받다 사용할 수도 있다. 여기서, "상기 측정 데이터에 상기 피부전도도 측정값이 포함되어 있다는 것"은 "상기 측정 데이터에 상기 피부전도도 측정값 이외의 다른 데이터가 더 포함되어 있다"는 것과 "상기 측정 데이터가 상기 피부전도도 측정값과 동일한 대상이다"라는 것을 포함하는 의미일 수 있다.
상기 데이터 처리부(400)는 상기 촬영부(200)로부터 제공된 상기 촬영 데이터를 분석하여 눈 움직임 측정값을 추출할 수 있다. 즉, 상기 촬영 데이터는 상기 사용자의 눈을 촬영한 단순 영상 데이터이므로, 상기 촬영 데이터로부터 상기 사용자의 눈 움직임에 대한 정보만을 추출하는 과정이 필요하다.
본 실시예에서, 상기 눈 움직임 측정값은 상기 사용자의 눈 깜빡임에 대응되는 눈 깜빡임 측정값, 상기 사용자의 동공 크기에 대응되는 동공 크기 측정값, 및 상기 사용자의 눈의 시선에 대응되는 시선 위치 측정값 중 적어도 하나를 포함할 수 있다. 즉, 상기 데이터 처리부(400)는 상기 촬영 데이터로부터 상기 사용자의 눈 깜빡임, 동공 크기 및 시선 위치 중 적어도 하나에 대한 정보를 추출할 수 있다.
상기 데이터 처리부(400)는 상기 피부전도도 측정값이 피부전도도 기준 범위를 벗어났는지 여부를 판단하고, 상기 눈 움직임 측정값이 눈 움직임 기준 범위를 벗어났는지 여부를 판단하며, 위의 두 개의 판단들에서 모두 기준 범위를 벗어났다고 판단되면, 몰입 유도 제어 신호를 출력할 수 있다. 여기서, 상기 피부전도도 기준 범위는 상기 사용자의 안정 상태에서의 피부전도도 범위를 의미하고, 상기 눈 움직임 기준 범위는 상기 사용자의 안정 상태에서의 눈 움직임 범위를 의미할 수 있다. 또한, 상기 사용자의 안정 상태는 영상을 시청하는데 있어서 몰입의 정도가 기준치 이하로 저하되지 않는 범위를 의미할 수 있다.
본 실시예에서, 상기 눈 움직임 기준 범위는 상기 눈 깜빡임 측정값의 비교 기준이 되는 눈 깜빡임 기준 범위, 상기 동공 크기 측정값의 비교 기준이 되는 동공 크기 기준 범위, 및 상기 시선 위치 측정값의 비교 기준이 되는 시선 기준 범위 중 적어도 하나를 포함할 수 있다. 따라서, 상기 눈 움직임 측정값이 상기 눈 움직임 기준 범위를 벗어났는지 여부의 판단은 상기 눈 깜빡임 측정값이 상기 눈 깜빡임 기준 범위를 벗어났는지 여부, 상기 동공 크기 측정값가 상기 동공 크기 기준 범위를 벗어났는지 여부, 및 상기 시선 위치 측정값이 상기 시선 기준 범위를 벗어났는지 여부 중 적어도 하나를 이용하여 결정할 수 있다.
상기 데이터 처리부(400)는 상기 측정 데이터의 출력 이전에 상기 측정부(100)에서 출력된 기준 출력 데이터로부터 피부전도도 기준 측정값을 추출하고, 상기 피부전도도 기준 측정값을 이용하여 상기 피부전도도 기준 범위를 결정할 수 있다. 이때, 상기 측정 데이터의 출력 이전이라는 시간 범위에는, 상기 사용자가 안정 상태에 있다고 가정되는 시간이 포함된다. 예를 들어, 상기 영상이 출력되기 직전과 대응되는 출력 직전 시간, 및 상기 영상이 출력된 직후와 대응되는 출력 직후 시간 중 적어도 하나가 포함될 수 있다.
상기 데이터 처리부(400)는 상기 촬영 데이터의 출력 이전에 상기 촬영부(200)에서 출력된 기준 촬영 데이터를 분석하여 눈 움직임 기준 측정값을 추출하고, 상기 눈 움직임 기준 측정값을 이용하여 상기 눈 움직임 기준 범위를 결정할 수 있다. 이때, 상기 촬영 데이터의 출력 이전이라는 시간 범위에는, 상기 사용자가 안정 상태에 있다고 가정되는 시간이 포함된다. 예를 들어, 상기 영상이 출력되기 직전과 대응되는 출력 직전 시간, 및 상기 영상이 출력된 직후와 대응되는 출력 직후 시간 중 적어도 하나가 포함될 수 있다.
이와 같이, 상기 데이터 처리부(400)가 상기 측정 데이터의 출력 이전에 측정된 상기 피부전도도 기준 측정값을 이용하여 상기 피부전도도 기준 범위를 결정하고, 상기 촬영 데이터의 출력 이전에 측정된 상기 눈 움직임 기준 측정값을 이용하여 상기 눈 움직임 기준 범위를 결정함에 따라, 상기 사용자의 개인 특성에 따른 기준 범위가 결정될 수 있다. 즉, 사용자마다 안정 상태에 대한 특성이 서로 상이할 수 있는데, 이러한 특성을 고려하여 개개인마다 서로 다른 기준 범위를 결정하여 사용할 수 있다.
한편, 상기 피부전도도 기준 범위 및 상기 눈 움직임 기준 범위는 상기 측정부(100) 및 상기 촬영부(200)에서 측정된 값을 통해 결정되는 것이 아니라, 상기 데이터 처리부(400) 내에 기 저장되어 있는 데이터, 예를 들어 이전에 사용되었던 기준 범위 데이터로부터 추출되어 결정될 수도 있다. 이때, 상기 기 저장되어 있는 데이터는 복수의 사용자별로 기준 범위가 저장되어 있을 수 있다.
또한, 상기 데이터 처리부(400)는 상기 영상 출력 장치(10) 내에 장착되어 영상을 제어하는 프로세서이거나, 상기 영상 출력 장치(10)와 별도로 구비된 프로세서일 수 있다. 또한, 상기 데이터 처리부(400)는 상기 광 출사부(300)과 전기적으로 연결되어 상기 광 출사부(300)를 제어하는 기능도 수행할 수도 있다.
상기 영상 몰입 유도부(500)는 상기 데이터 처리부(400)에서 제공된 상기 몰입 유도 제어신호를 따라 제어되어 외부로 몰입 유도 메시지를 출력한다. 이때, 상기 영상 몰입 유도부(500)는 상기 데이터 처리부(400)와 신호선을 통해 직접 연결될 수도 있지만, 무선 송수신 장치를 통해 신호를 주고 받을 수도 있다.
상기 영상 몰입 유도부(500)는 상기 몰입 유도 제어 신호에 포함된 영상 제어 신호에 따라 제어되어, 몰입 유도 영상을 출력하는 영상 출력부(510)를 포함할 수 있다. 이때, 상기 몰입 유도 영상에는 상기 사용자의 현재 상태를 알려주는 메시지, 상기 사용자의 주의를 환기시켜 영상의 몰입을 유도할 수 있는 영상과 소리가 포함될 수 있다.
본 실시예에서, 상기 영상 출력부(510)는 상기 영상 출력 장치(10) 내에 장착되어 상기 영상을 출력하는 영상 출력 수단일 수 있다. 이와 같이, 상기 영상 출력부(510)가 상기 영상 출력 장치(10)의 영상 출력 수단일 때, 상기 영상 출력부(510)는 기존에 출력되고 있는 영상을 정지시키고, 상기 몰입 유도 영상을 출력시킬 수 있다. 반면, 상기 영상 출력부(510)는 상기 영상 출력 장치(10)의 영상 출력 수단과 달리 별도 구비된 장치일 수 있다.
상기 영상 몰입 유도부(500)는 상기 몰입 유도 제어 신호에 포함된 진동 제어 신호에 따라 제어되어, 진동을 발생시키는 진동 발생부(520)를 더 포함할 수 있다.
상기 진동 발생부(520)는 상기 영상 출력 장치(10) 내에 장착되어 상기 사용자에게 진동을 제공할 수도 있지만, 상기 영상 출력 장치(10)와 별도로 배치될 수 있다. 예를 들어, 상기 진동 발생부(520)는 상기 사용자의 몸에 부착되거나, 상기 사용자의 인접 위치에 배치되어 상기 사용자에게 진동을 제공할 수도 있다.
이와 같이, 상기 영상 몰입 유도부(500)가 상기 몰입 유도 영상과 함께 상기 진동 발생부(520)에 의한 진동을 상기 사용자에게 제공하여, 상기 사용자의 영상 몰입을 좀더 용이하게 유도할 수 있다.
이하, 상기 접촉 센서들(110)의 부착 위치에 따른 다양한 실시예를 설명하고자 한다.
도 3은 도 1의 영상 몰입 유도 장치를 구비한 영상 출력 장치의 다른 예를 도시한 도면이다.
도 3을 참조하면, 상기 접촉 센서들(110)은 상기 영상 출력 장치(10)의 앞면의 가장자리와, 상기 앞면의 가장자리에 대응되는 뒷면의 일부분에 각각 부착되어 있을 수 있다. 이로써, 상기 사용자는 상기 영상 출력 장치(10)를 손가락을 통해 집은 상태에서 자연스럽게 피부전도도의 측정을 수행할 수 있다.
도 4는 도 1의 영상 몰입 유도 장치를 구비한 영상 출력 장치의 또 다른 예를 도시한 도면이다.
도 4를 참조하면, 상기 접촉 센서들(110)은 상기 영상 출력 장치(10)와 별도로 구비되는 보조 장치(600)에 부착되어 있을 수 있다. 이때, 상기 보조 장치(400)는 상기 사용자의 몸에 장착하여 사용할 수 있는 수단으로서, 펜, 시계, 마우스, 안경, 이어폰, 헤드폰 중 적어도 어느 하나를 포함할 수 있다. 한편, 도 4에서는 상기 보조 장치(600)의 일 예로, 펜을 도시하였다.
도 5는 도 1의 영상 몰입 유도 장치를 구비한 영상 출력 장치의 또 다른 예를 도시한 도면이다.
도 5를 참조하면, 상기 접촉 센서들(110)은 결합 수단, 예를 들어 접착 테이프, 밴드, 골무, 집게 등을 통해 상기 사용자의 몸의 일부에 직접 부착될 수 있다. 이때, 상기 접속 센서들(110)이 직접 부착되는 몸의 일부는 손가락, 손바닥, 발가락, 발바닥 중 적어도 어느 하나를 포함할 수 있다. 한편, 도 5에서는 부착 위치의 일 예로, 손가락을 도시하였다.
이와 같이, 상기 사용자는 상기 보조 장치(600) 또는 상기 결합 수단을 통해 자연스럽게 피부전도도의 측정을 수행할 수 있다.
이하, 위에서 설명한 상기 영상 몰입 유도 장치를 이용한 영상 몰입 유도 방법을 설명하고자 한다.
도 6은 도 1의 영상 몰입 유도 장치를 이용한 영상 몰입 유도 방법을 설명하기 위한 순서도이고, 도 7은 도 6의 피부전도도 기준 범위 결정 과정을 설명하기 위한 순서도이며, 도 8은 도 6의 눈 움직임 기준 범위 결정 과정을 설명하기 위한 순서도이다.
도 6, 도 7 및 도 8을 참조하면, 본 실시예에 의한 영상 몰입 유도 방법으로, 우선 상기 피부전도도 기준 범위를 결정하고(S10), 상기 눈 움직임 기준 범위를 결정한다(S20). 이때, 상기 S10 단계 및 상기 S20 단계는 서로 독립적으로 수행될 수 있다.
상기 피부전도도 기준 범위를 결정하는 방법(S10)으로, 상기 측정부(100)에서, 상기 측정 데이터의 출력 이전에 상기 기준 출력 데이터를 출력한다(S12). 이후, 상기 데이터 처리부(400)에서, 상기 기준 출력 데이터로부터 상기 피부전도도 기준 측정값을 추출한다(S14). 이후, 상기 데이터 처리부(400)에서, 상기 피부전도도 기준 측정값을 이용하여 상기 피부전도도 기준 범위를 결정한다(S16).
또한, 상기 눈 움직임 기준 범위를 결정하는 방법(S20)으로, 상기 촬영부(200)에서, 상기 촬영 데이터의 출력 이전에 상기 기준 촬영 데이터를 출력한다(S22). 이후, 상기 데이터 처리부(400)에서, 상기 기준 촬영 데이터를 분석하여 상기 눈 움직임 기준 측정값을 추출한다(S24). 이후, 상기 데이터 처리부(400)에서, 상기 눈 움직임 기준 측정값을 이용하여 상기 눈 움직임 기준 범위를 결정한다(S26).
이어서, 상기 측정부(100)에서 상기 측정 데이터를 출력하고(S30), 상기 촬영부(200)에서 상기 촬영 데이터를 출력한다(S40). 이때, 상기 S30 단계 및 상기 S40 단계는 서로 독립적으로 수행될 수 있다.
이어서, 상기 데이터 처리부(400)에서, 상기 측정 데이터로부터 상기 피부전도도 측정값(A1)을 추출하고(S50), 상기 촬영 데이터를 분석하여 상기 눈 움직임 측정값(B1)을 추출한다(S60). 이때, 상기 S50 단계 및 상기 S60 단계는 서로 독립적으로 수행될 수 있다.
이어서, 상기 데이터 처리부(400)에서, 상기 피부전도도 측정값(A1)이 상기 피부전도도 기준 범위 내에 있거나, 상기 눈 움직임 측정값(B1)이 상기 눈 움직임 기준 범위 내에 있는지를 판단한다(S70).
상기 S70 단계에서의 판단 결과, 상기 피부전도도 측정값(A1)이 상기 피부전도도 기준 범위를 벗어나는 동시에, 상기 눈 움직임 측정값(B1)이 상기 눈 움직임 기준 범위를 벗어났다고 판단되면, 상기 영상 몰입 유도부(500)에서 상기 몰입 유도 메시지를 출력한다(S80). 예를 들어, 상기 S80 단계에서는, 상기 영상 출력 장치(10)에서, 상기 사용자에게 출력하고 있는 영상을 정지시키고, 상기 몰입 유도 영상을 출력시킬 수 있다.
반면, 상기 S70 단계에서의 판단 결과, 상기 피부전도도 측정값(A1)이 상기 피부전도도 기준 범위 내에 있거나, 상기 눈 움직임 측정값(B1)이 상기 눈 움직임 기준 범위 내에 있다고 판단되면, 상기 영상 출력 장치(10)을 통해 영상을 계속 출력시킨다(S90). 한편, 상기 S90 단계 이후에는, 상기 S30 단계 및 상기 S40 단계의 이후 과정을 반복 수행시킬 수 있다.
이어서, 상기 S80 단계 이후, 즉 상기 영상이 정지된 이후에는, 상기 측정부(100)에서 상기 사용자의 피부전도도의 재측정을 위한 재측정 데이터를 출력하고(S100), 상기 촬영부에서 상기 사용자의 눈 움직임의 재측정을 위한 재촬영 데이터를 출력한다(S110). 이때, 상기 S100 단계 및 상기 S110 단계는 서로 독립적으로 수행될 수 있다.
이어서, 상기 데이터 처리부(400)에서, 상기 재측정 데이터로부터 피부전도도 재측정값(A2)을 추출하고(S120), 상기 재촬영 데이터를 분석하여 눈 움직임 재측정값(B2)을 추출한다(S130). 이때, 상기 S120 단계 및 상기 S130 단계는 서로 독립적으로 수행될 수 있다.
이어서, 상기 데이터 처리부(400)에서, 상기 피부전도도 재측정값이 상기 피부전도도 기준 범위 내에 있거나, 상기 눈 움직임 재측정값이 상기 눈 움직임 기준 범위 내에 있는지를 판단한다(S140).
상기 S140 단계에서의 판단 결과, 상기 피부전도도 재측정값(A2)이 상기 피부전도도 기준 범위 내에 있거나, 상기 눈 움직임 재측정값(B2)이 상기 눈 움직임 기준 범위 내에 있다고 판단되면, 상기 영상 출력 장치(10)에서 정지된 영상을 다시 재생시킨다(S150). 한편, 상기 S150 단계 이후에는, 상기 S30 단계 및 상기 S40 단계의 이후 과정을 반복 수행시킬 수 있다.
반면, 상기 S140 단계에서의 판단 결과, 상기 피부전도도 재측정값(A2)이 상기 피부전도도 기준 범위를 벗어나는 동시에, 상기 눈 움직임 재측정값(B2)이 상기 눈 움직임 기준 범위를 벗어났다고 판단되면, 상기 S100 단계 및 상기 S110 단계의 이후 과정을 반복 수행시킨다.
이와 같이, 상기 몰입 유도 메시지를 출력시키는 단계(S80) 이후에도, 상기 피부전도도 재측정값(A2) 및 상기 눈 움직임 재측정값(B2)을 계속 측정하여, 상기 사용자의 영상 몰입 정도를 재검증함으로써, 정지된 영상의 다시 재생 여부를 결정할 수 있다.
이와 같이 본 실시예에 따르면, 상기 측정부(100)에서 제공된 상기 측정 데이터 및 상기 촬영부(200)에서 제공된 상기 촬영 데이터를 모두 이용함으로써, 상기 영상 촬영 장치(10)에서 출력되고 있는 영상을 시청하는 상기 사용자의 영상 몰입 정도를 보다 정밀하게 측정할 수 있다.
또한, 상기 사용자의 영상 몰입 정도가 저하된다고 판단되면, 출력되고 있는 영상을 정지시키고 상기 몰입 유도 영상을 출력함으로써, 상기 사용자를 다시 영상에 몰입시키도록 자연스럽게 유도할 수 있다.
또한, 상기 측정부(100)가 상기 사용자가 용이하게 접촉할 수 있는 다양한 위치 및 수단에 배치됨에 따라, 상기 사용자는 영상 시청에 방해를 주지 않는 범위 내에서 자연스럽게 피부전도도의 측정을 수행할 수 있다.
또한, 상기 영상을 정지시킨 후에도, 피부전도도 및 눈 움직임을 재측정하여 상기 사용자의 영상 몰입 정보를 재검증함으로써, 상기 사용자에게 정지된 영상을 다시 재생시킬 수 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 측정부 200 : 촬영부
300 : 광 출사부 400 : 데이터 처리부
500 : 영상 몰입 유도부 510 : 영상 출력부
520 : 진동 발생부 600 : 보조 장치
10 : 영상 출력 장치

Claims (25)

  1. 임의의 영상을 출력하는 영상 출력부를 포함하는 영상 몰입 유도부;
    상기 영상 출력부에서 출력되는 상기 영상을 시청하는 사용자의 몸에 접촉하여 피부전도도의 측정을 위한 측정 데이터를 출력하는 측정부;
    상기 사용자의 눈을 촬영하여, 눈 움직임의 측정을 위한 촬영 데이터를 출력하는 촬영부; 및
    상기 측정 데이터로부터 피부전도도 측정값을 추출하고, 상기 촬영 데이터의 분석을 통해 눈 움직임 측정값을 추출하며, 상기 피부전도도 측정값이 피부전도도 기준 범위를 벗어나는 동시에, 상기 눈 움직임 측정값이 눈 움직임 기준 범위를 벗어날 경우, 몰입 유도 제어 신호를 출력하는 데이터 처리부를 포함하고,
    상기 영상 출력부는
    상기 몰입 유도 제어 신호에 포함된 영상 제어 신호에 따라, 상기 영상을 정지시키고 몰입 유도 영상을 출력하는 영상 몰입 유도 장치.
  2. 제1항에 있어서, 상기 데이터 처리부는
    상기 측정 데이터의 출력 이전에 상기 측정부에서 출력된 기준 출력 데이터로부터 피부전도도 기준 측정값을 추출하고, 상기 피부전도도 기준 측정값을 이용하여 상기 피부전도도 기준 범위를 결정하는 영상 몰입 유도 장치.
  3. 제2항에 있어서, 상기 측정 데이터의 출력 이전에는
    상기 영상이 출력되기 직전과 대응되는 출력 직전 시간, 및 상기 영상이 출력된 직후와 대응되는 출력 직후 시간 중 적어도 하나가 포함되는 영상 몰입 유도 장치.
  4. 제1항에 있어서, 상기 데이터 처리부는
    상기 촬영 데이터의 출력 이전에 상기 촬영부에서 출력된 기준 촬영 데이터를 분석하여 눈 움직임 기준 측정값을 추출하고, 상기 눈 움직임 기준 측정값을 이용하여 상기 눈 움직임 기준 범위를 결정하는 영상 몰입 유도 장치.
  5. 제4항에 있어서, 상기 촬영 데이터의 출력 이전에는
    상기 영상이 출력되기 직전과 대응되는 출력 직전 시간, 및 상기 영상이 출력된 직후와 대응되는 출력 직후 시간 중 적어도 하나가 포함되는 영상 몰입 유도 장치.
  6. 제1항에 있어서, 상기 눈 움직임 측정값은
    상기 사용자의 눈 깜빡임에 대응되는 눈 깜빡임 측정값, 상기 사용자의 동공 크기에 대응되는 동공 크기 측정값, 및 상기 사용자의 눈의 시선에 대응되는 시선 위치 측정값 중 적어도 하나를 포함하고,
    상기 눈 움직임 기준 범위는
    상기 눈 깜빡임 측정값의 비교 기준이 되는 눈 깜빡임 기준 범위, 상기 동공 크기 측정값의 비교 기준이 되는 동공 크기 기준 범위, 및 상기 시선 위치 측정값의 비교 기준이 되는 시선 기준 범위 중 적어도 하나를 포함하는 영상 몰입 유도 장치.
  7. 삭제
  8. 제1항에 있어서, 상기 영상 몰입 유도부는
    상기 몰입 유도 제어 신호에 포함된 진동 제어 신호에 따라, 진동을 발생시키는 진동 발생부를 더 포함하는 영상 몰입 유도 장치.
  9. 제1항에 있어서, 상기 측정부는
    상기 사용자의 몸의 적어도 두 부분과 접촉하는 적어도 두 개의 접촉 센서들을 통해 상기 측정 데이터를 출력하는 영상 몰입 유도 장치.
  10. 제9항에 있어서, 상기 측정 데이터는
    상기 접촉 센서들에서 측정된 전위값들을 포함하고,
    상기 데이터 처리부는
    상기 전위값들을 이용하여 상기 피부전도도 측정값을 계산하는 영상 몰입 유도 장치.
  11. 제9항에 있어서, 상기 접촉 센서들은
    상기 영상 출력 장치의 일면의 가장자리에 부착되어 있는 영상 몰입 유도 장치.
  12. 제9항에 있어서, 상기 접촉 센서들은
    상기 영상 출력 장치의 영상을 표시하는 앞면의 가장자리와, 상기 앞면의 가장자리에 대응되는 뒷면의 일부분에 각각 부착되어 있는 영상 몰입 유도 장치.
  13. 제9항에 있어서, 상기 접촉 센서들은
    상기 영상 출력 장치와 별도로 구비되는 보조 장치에 부착되어 있는 영상 몰입 유도 장치.
  14. 제13항에 있어서, 상기 보조 장치는
    펜, 시계, 마우스, 안경, 이어폰, 헤드폰 중 적어도 어느 하나를 포함하는 영상 몰입 유도 장치.
  15. 제9항에 있어서, 상기 접촉 센서들은
    결합 수단을 통해 상기 사용자의 몸의 일부에 직접 부착되는 영상 몰입 유도 장치.
  16. 제15항에 있어서, 상기 접촉 센서들이 직접 부착되는 몸의 일부는
    손가락, 손바닥, 발가락, 발바닥 중 적어도 어느 하나를 포함하는 영상 몰입 유도 장치.
  17. 삭제
  18. 영상 출력 장치에서 출력되는 임의의 영상을 시청하는 사용자의 몸에 접촉하여 피부전도도의 측정을 위한 측정 데이터를 출력하는 측정부;
    상기 영상 출력 장치에 장착되어 있고, 상기 사용자의 눈을 촬영하여, 눈 움직임의 측정을 위한 촬영 데이터를 출력하는 촬영부;
    상기 측정 데이터로부터 피부전도도 측정값을 추출하고, 상기 촬영 데이터의 분석을 통해 눈 움직임 측정값을 추출하며, 상기 피부전도도 측정값이 피부전도도 기준 범위를 벗어나는 동시에, 상기 눈 움직임 측정값이 눈 움직임 기준 범위를 벗어날 경우, 몰입 유도 제어 신호를 출력하는 데이터 처리부;
    상기 몰입 유도 제어신호를 따라 몰입 유도 메시지를 출력하는 영상 몰입 유도부; 및
    상기 영상 출력 장치에 장착되고, 상기 촬영부에서 촬영이 가능하도록 광을 조사하는 광 출사부를 포함하는 영상 몰입 유도 장치.
  19. 제18항에 있어서, 상기 광 출사부는
    적외선을 출사시키는 적외선 출력유닛을 포함하는 영상 몰입 유도 장치.
  20. 영상 출력 장치에서 출력되는 임의의 영상을 시청하는 사용자의 몸에 접촉된 측정부에서, 피부전도도의 측정을 위한 측정 데이터를 출력하는 단계;
    상기 사용자의 눈을 촬영하는 촬영부에서, 눈 움직임의 측정을 위한 촬영 데이터를 출력하는 단계;
    상기 측정 데이터로부터 피부전도도 측정값을 추출하는 단계;
    상기 촬영 데이터를 분석하여 눈 움직임 측정값을 추출하는 단계; 및
    상기 피부전도도 측정값이 피부전도도 기준 범위를 벗어나는 동시에, 상기 눈 움직임 측정값이 눈 움직임 기준 범위를 벗어날 경우, 상기 영상 출력 장치에서 상기 영상을 정지시키고 몰입 유도 영상을 출력하는 단계를 포함하는 영상 몰입 유도 방법.
  21. 제20항에 있어서, 상기 피부전도도 기준 범위를 결정하는 단계; 및
    상기 눈 움직임 기준 범위를 결정하는 단계를 더 포함하는 영상 몰입 유도 방법.
  22. 제21항에 있어서, 상기 피부전도도 기준 범위를 결정하는 단계는
    상기 측정 데이터의 출력 이전에, 상기 측정부에서 기준 출력 데이터를 출력하는 단계;
    상기 기준 출력 데이터로부터 피부전도도 기준 측정값을 추출하는 단계; 및
    상기 피부전도도 기준 측정값을 이용하여 상기 피부전도도 기준 범위를 결정하는 단계를 포함하는 영상 몰입 유도 방법.
  23. 제21항에 있어서, 상기 눈 움직임 기준 범위를 결정하는 단계는
    상기 촬영 데이터의 출력 이전에, 상기 촬영부에서 기준 촬영 데이터를 출력하는 단계;
    상기 기준 촬영 데이터를 분석하여 눈 움직임 기준 측정값을 추출하는 단계; 및
    상기 눈 움직임 기준 측정값을 이용하여 상기 눈 움직임 기준 범위를 결정하는 단계를 포함하는 영상 몰입 유도 방법.
  24. 삭제
  25. 제20항에 있어서, 상기 영상이 정지된 이후, 상기 측정부에서 재측정 데이터를 출력하는 단계;
    상기 영상이 정지된 이후, 상기 촬영부에서 재촬영 데이터를 출력하는 단계;
    상기 재측정 데이터로부터 피부전도도 재측정값을 추출하는 단계;
    상기 재촬영 데이터를 분석하여 눈 움직임 재측정값을 추출하는 단계; 및
    상기 피부전도도 재측정값이 상기 피부전도도 기준 범위 내에 포함되거나, 상기 눈 움직임 재측정값이 상기 눈 움직임 기준 범위 내에 포함될 경우, 상기 영상 출력 장치에서 상기 영상을 다시 재생시키는 단계를 더 포함하는 영상 몰입 유도 방법.
KR1020140088255A 2014-07-14 2014-07-14 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법 KR101662636B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140088255A KR101662636B1 (ko) 2014-07-14 2014-07-14 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법
JP2015129573A JP6336414B2 (ja) 2014-07-14 2015-06-29 画像集中誘導装置及びそれを用いた画像集中誘導方法
US14/797,580 US10203753B2 (en) 2014-07-14 2015-07-13 Video immersion inducing apparatus and video immersion inducing method using the apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140088255A KR101662636B1 (ko) 2014-07-14 2014-07-14 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법

Publications (2)

Publication Number Publication Date
KR20160008677A KR20160008677A (ko) 2016-01-25
KR101662636B1 true KR101662636B1 (ko) 2016-10-07

Family

ID=55067617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140088255A KR101662636B1 (ko) 2014-07-14 2014-07-14 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법

Country Status (3)

Country Link
US (1) US10203753B2 (ko)
JP (1) JP6336414B2 (ko)
KR (1) KR101662636B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327926A (zh) * 2016-10-18 2017-01-11 王锴 一种能够提高学生智力的教学演示设备
CN107577343B (zh) * 2017-08-25 2020-04-28 北京航空航天大学 一种基于力触觉反馈和脑电信号分析的注意力训练与评价装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101042780B1 (ko) * 2008-10-31 2011-06-20 연세대학교 산학협력단 안경을 이용한 실시간 건강 및 감성 모니터링 시스템
KR101236139B1 (ko) * 2010-11-01 2013-02-22 전자부품연구원 인체통신을 이용한 감성추론장치의 생체신호 전송방법
JP2014100227A (ja) * 2012-11-19 2014-06-05 Toyota Motor Corp 集中度推定装置、集中度推定方法、運転支援装置及び運転支援方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016213A (en) * 1984-08-20 1991-05-14 Dilts Robert B Method and apparatus for controlling an electrical device using electrodermal response
GB9117015D0 (en) * 1991-08-07 1991-09-18 Software Solutions Ltd Operation of computer systems
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
JPH1078743A (ja) * 1996-09-05 1998-03-24 Omron Corp 学習制御装置、学習制御方法及び学習制御プログラム記憶媒体
JPH11345073A (ja) * 1998-06-03 1999-12-14 Matsushita Electric Ind Co Ltd 携帯情報端末操作システム
JP3939443B2 (ja) * 1998-07-23 2007-07-04 大和製衡株式会社 体脂肪計
JP2003248768A (ja) * 2002-02-26 2003-09-05 Fuji Photo Film Co Ltd 画像評価装置及び方法、画像注文受付装置及び方法
JP3953468B2 (ja) * 2004-02-25 2007-08-08 三洋電機株式会社 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム
US8062129B2 (en) * 2006-09-29 2011-11-22 Pope Alan T Physiological user interface for a multi-user virtual environment
JP2013097311A (ja) * 2011-11-04 2013-05-20 Zenrin Datacom Co Ltd 学習支援装置、学習支援方法および学習支援プログラム
US20130182144A1 (en) * 2012-01-17 2013-07-18 Sony Mobile Communications Ab Camera button with integrated sensors
US8708884B1 (en) * 2013-03-11 2014-04-29 The United States Of America As Represented By The Secretary Of The Army Systems and methods for adaptive mitigation of motion sickness
US9400878B2 (en) * 2013-11-08 2016-07-26 Dell Products L.P. Context analysis at an information handling system to manage authentication cycles
US20150213019A1 (en) * 2014-01-27 2015-07-30 Fujitsu Limited Content switching using salience
DE112014006382B4 (de) * 2014-02-19 2019-01-17 Mitsubishi Electric Corporation Anzeigesteuervorrichtung, Anzeigesteuerverfahren der Anzeigesteuervorrichtung, Augen-Blickrichtungs-Detektionssystem und Kalibrations-Steuerverfahren von Augen-Blickrichtungs-Detektionssystem

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101042780B1 (ko) * 2008-10-31 2011-06-20 연세대학교 산학협력단 안경을 이용한 실시간 건강 및 감성 모니터링 시스템
KR101236139B1 (ko) * 2010-11-01 2013-02-22 전자부품연구원 인체통신을 이용한 감성추론장치의 생체신호 전송방법
JP2014100227A (ja) * 2012-11-19 2014-06-05 Toyota Motor Corp 集中度推定装置、集中度推定方法、運転支援装置及び運転支援方法

Also Published As

Publication number Publication date
KR20160008677A (ko) 2016-01-25
US20160011840A1 (en) 2016-01-14
JP2016021063A (ja) 2016-02-04
US10203753B2 (en) 2019-02-12
JP6336414B2 (ja) 2018-06-06

Similar Documents

Publication Publication Date Title
US10650533B2 (en) Apparatus and method for estimating eye gaze location
KR101988110B1 (ko) 생체신호연동 가상현실 교육 시스템 및 방법
US7809160B2 (en) Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US20170192620A1 (en) Head-mounted display device and control method therefor
KR101563312B1 (ko) 시선 기반 교육 콘텐츠 실행 시스템
US9529428B1 (en) Using head movement to adjust focus on content of a display
KR20160105439A (ko) 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
KR20140125183A (ko) 프로젝터 장착 안경 및 그 제어 방법
US11523240B2 (en) Selecting spatial locations for audio personalization
US20240069339A1 (en) Head mounted display and information processing method
KR20180004112A (ko) 안경형 단말기 및 이의 제어방법
TWI717425B (zh) 可區別使用者生理特徵的使用者生理感測系統
US20170371408A1 (en) Video display device system, heartbeat specifying method, heartbeat specifying program
KR101662636B1 (ko) 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법
KR20210045530A (ko) Vr 타입 웨어러블 치료장치
KR102186580B1 (ko) 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치
TWI384383B (zh) 視線察覺裝置及其方法
CN112836685A (zh) 一种辅助阅读方法、系统及存储介质
JP2015082247A (ja) 電子機器、判定方法及びプログラム
KR20210070119A (ko) 스마트폰 전면 카메라와 인공지능 자세 분석을 이용한 명상 가이드 시스템
Barreda-Ángeles et al. Psychophysiological methods for quality of experience research in virtual reality systems and applications
US11816886B1 (en) Apparatus, system, and method for machine perception
KR20190066427A (ko) 가상 현실 콘텐츠의 시청 피로도 분석 장치 및 방법
CN106662911A (zh) 在媒体中使用参考帧的注视检测器
US20230351676A1 (en) Transitioning content in views of three-dimensional environments using alternative positional constraints

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 4