KR20230064644A - 이동 장치의 탑승자에게 수면 케어를 제공하는 방법 및 이를 위한 장치 - Google Patents
이동 장치의 탑승자에게 수면 케어를 제공하는 방법 및 이를 위한 장치 Download PDFInfo
- Publication number
- KR20230064644A KR20230064644A KR1020210149397A KR20210149397A KR20230064644A KR 20230064644 A KR20230064644 A KR 20230064644A KR 1020210149397 A KR1020210149397 A KR 1020210149397A KR 20210149397 A KR20210149397 A KR 20210149397A KR 20230064644 A KR20230064644 A KR 20230064644A
- Authority
- KR
- South Korea
- Prior art keywords
- occupant
- mobile device
- sensor
- biosensor
- sleep
- Prior art date
Links
- 230000007958 sleep Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004378 air conditioning Methods 0.000 claims abstract description 20
- 206010041349 Somnolence Diseases 0.000 claims abstract description 18
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 32
- 229910052760 oxygen Inorganic materials 0.000 claims description 32
- 239000001301 oxygen Substances 0.000 claims description 32
- 206010041235 Snoring Diseases 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 208000008784 apnea Diseases 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 210000001508 eye Anatomy 0.000 claims description 10
- 230000036760 body temperature Effects 0.000 claims description 9
- 210000003128 head Anatomy 0.000 claims description 8
- 239000008280 blood Substances 0.000 claims description 7
- 210000004369 blood Anatomy 0.000 claims description 7
- 210000003127 knee Anatomy 0.000 claims description 7
- 210000000214 mouth Anatomy 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000013467 fragmentation Methods 0.000 claims description 5
- 238000006062 fragmentation reaction Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000008667 sleep stage Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 1
- 230000035582 behavioral recognition Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 208000019116 sleep disease Diseases 0.000 description 1
- 208000022925 sleep disturbance Diseases 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
- B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
- B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
- B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
- B60H1/008—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models the input being air quality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H3/00—Other air-treating devices
- B60H3/0007—Adding substances other than water to the air, e.g. perfume, oxygen
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/082—Selecting or switching between different modes of propelling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0051—Handover processes from occupants to vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Thermal Sciences (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
본 명세서는 이동 장치의 탑승자에게 수면 케어를 제공하는 방법 및 장치에 대한 것이다.
이를 위한 방법은 센서를 통해 탑승자의 상태를 모니터링하고, 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 시트, 공조 시스템, 조명 시스템, 음향 시스템, 가변 선팅, 또는 가변 선루프 중 하나 이상을 수면모드로 전환하도록 제어하는 것을 포함한다. 여기서 센서는 영상센서를 포함하며, 상기 영상센서에 의해 탑승자의 안면 및 관절의 상태에 따라 탑승자의 졸음 또는 수면 상태를 판단하는 것을 특징으로 한다.
이를 위한 방법은 센서를 통해 탑승자의 상태를 모니터링하고, 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 시트, 공조 시스템, 조명 시스템, 음향 시스템, 가변 선팅, 또는 가변 선루프 중 하나 이상을 수면모드로 전환하도록 제어하는 것을 포함한다. 여기서 센서는 영상센서를 포함하며, 상기 영상센서에 의해 탑승자의 안면 및 관절의 상태에 따라 탑승자의 졸음 또는 수면 상태를 판단하는 것을 특징으로 한다.
Description
본 명세서는 이동 장치의 탑승자에게 수면 케어를 제공하는 방법 및 이를 위한 장치에 대한 것으로서, 구체적으로 탑승자의 졸음 또는 수면 여부를 센싱하여, 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 이동 장치의 시트, 공조 시스템, 조명 시스템, 음향 시스템, 가변 선팅, 또는 가변 선루프 중 하나 이상을 수면모드로 전환하도록 제어하는 방법 및 이를 위한 장치에 대한 것이다.
자율주행 시대의 도래에 따라 탑승자, 특히 운전자가 주행 중 보다 편하게 수면/휴식을 취할 수 있는 환경이 조성되었다.
이에 따라 국제특허출원번호 WO2016010313A3의 경우, 자동차의 안전 수면 장치에 대한 것으로서, 차량내 산소센서로 측정되는 실내 산소량이 저하되면, 외기 유입을 통한 산소량을 유지하는 기술을 제안하고 있다.
또한, 국제특허출원번호 WO2017094993A1의 경우, 스마트 에어 매트리스를 포함한 헬스 캐어 서비스 제공 시스템 및 방법에 대한 것으로서, 매트리스의 공기압 및 온도, 습도를 조절하여 헬스 케어를 제공하는 기술을 제안하고 있다.
다만, 상술한 바와 같은 종래 기술은 차량 내에서 자동으로 탑승자의 수면상태를 판단하고 캐어 해주지는 못하고 있으며, 사용자가 수면을 편하게 취하기 위해서는 직접 조명이나 음향, 시트 위치 등을 조절해야만 하는 한계가 있다. 즉, 종래기술은 탑승자가 졸음 또는 수면 여부를 자동적으로 판단하여, 효율적으로 차량의 수면 모드를 제공하는 부분까지 제시하고 있지는 못하다.
상술한 바와 같은 문제를 해결하기 위해 본 발명의 일 측면에서는 영상센서를 포함하는 센서(들)를 활용하여 탑승자의 안면 및 관절 상태에 따라 탑승자의 졸음 또는 수면 상태를 자동적으로 판단하고, 이에 따라 이동 장치의 내부에 장착된 시트, 공조 시스템, 조명 시스템, 음향 시스템, 가변 선팅, 또는 가변 선루프 중 하나 이상을 수면모드로 전환하도록 제어하는 방법 및 이를 위한 장치를 제공하고자 한다.
특히, 본 발명의 일 실시예에서는 CNN (Convolutional Neural Network) 방식에 기반하여 상기 탑승자의 안면 및 관절의 특징부 영상을 판단하고, 탑승자의 안면 및 관절의 특징부는 탑승자의 눈, 입, 머리 및 무릎 중 하나 이상의 영상을 포함하도록 구성하여 딥러닝의 성능을 개선하고자 한다.
본 발명에서 해결하고자 하는 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 바와 같은 과제를 해결하기 위한 본 발명의 일 측면에서는, 이동 장치의 탑승자에게 수면 케어를 제공하는 방법에 있어서, 센서를 통해 탑승자의 상태를 모니터링하고, 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 시트, 공조 시스템, 조명 시스템, 음향 시스템, 가변 선팅, 또는 가변 선루프 중 하나 이상을 수면모드로 전환하도록 제어하는 것을 포함하되, 상기 센서는 영상센서를 포함하며, 상기 영상센서에 의해 탑승자의 안면 및 관절의 상태에 따라 탑승자의 졸음 또는 수면 상태를 판단하는 것을 특징으로 하는 수면 캐어 제공 방법을 제안한다.
상기 영상센서는 CNN (Convolutional Neural Network) 방식에 기반하여 상기 탑승자의 안면 및 관절의 특징부 영상을 판단할 수 있으며, 상기 탑승자의 안면 및 관절의 특징부는 탑승자의 눈, 입, 머리 및 무릎 중 하나 이상의 영상을 포함할 수 있다.
상기 영상센서는 상기 탑승자의 안면 및 관절의 특징부의 영상에 대한 프레그멘테이션 및 기준 영상과의 비교에 기반하여 판단할 수 있다.
상기 센서는 생체센서를 추가적으로 포함할 수 있으며, 상기 생체센서는 탑승자가 착용 가능한 웨어러블 형태의 제 1 생체센서, 및 상기 이동 장치에 장착되는 형태의 제 2 생체센서를 포함할 수 있다.
상기 제 1 생체센서 및/또는 상기 제 2 생체센서는 탑승자의 체온, 심박수, 뇌파, 심전도, 혈중산소포화도, 코골이, 및 무호흡증 중 하나 이상의 모니터링을 수행할 수 있다.
또한, 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 주행 모드를 자율주행모드로 변경하는 것을 추가적으로 포함할 수 있다.
이때, 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 주행 모드를 자율주행모드로 변경할 것을 권유하는 메시지를 출력하고; 상기 메시지 출력 후 소정 시간 동안 탑승자가 자율주행모드 변경을 해제하지 않으면 상기 이동 장치가 자율주행 모드로 변경되는 것을 포함할 수 있다.
또한, 상기 센서는 산소농도센서 및 소리센서를 추가적으로 포함할 수 있으며, 상기 이동 장치가 상기 수면모드로 전환하는 경우, 상기 산소농도센서 및/또는 상기 생체센서와 연동된 상기 공조 시스템이 상기 이동 장치 내 산소 농도를 탑승자의 수면 상태에 따라 조절될 수 있다.
또한, 상기 이동 장치가 상기 수면모드로 전환하는 경우, 상기 소리센서 및/또는 상기 생체센서와 연동된 상기 시트 및 상기 음향 시스템 중 하나 이상이 탑승자의 코골이 또는 무호흡증을 완화하도록 제어될 수 있다.
한편, 상술한 바와 같은 과제를 해결하기 위한 본 발명의 다른 일 측면에서는 이동 장치에서 탑승자에게 수면 케어를 제공하는 장치에 있어서, 탑승자의 상태를 모니터링하도록 구성되는 센서; 및 상기 센서와 연결되며, 상기 센서에 의해 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 시트, 공조 시스템, 조명 시스템, 음향 시스템, 가변 선팅, 또는 가변 선루프 중 하나 이상을 수면모드로 전환하도록 제어하는 프로세서를 포함하되, 상기 센서는 탑승자의 안면 및 관절의 상태에 따라 탑승자의 졸음 또는 수면 상태를 판단하도록 구성되는 영상센서를 포함하는 것을 특징으로 하는 수면 캐어 제공 장치를 제안한다.
상기 센서는 생체센서를 추가적으로 포함할 수 있으며, 상기 생체센서는 탑승자가 착용 가능한 웨어러블 형태의 제 1 생체센서, 및 상기 이동 장치에 장착되는 형태의 제 2 생체센서를 포함할 수 있다.
상기 제 1 생체센서 및/또는 상기 제 2 생체센서는 탑승자의 체온, 심박수, 뇌파, 심전도, 혈중산소포화도, 코골이, 및 무호흡증 중 하나 이상의 모니터링을 수행할 수 있다.
상기 프로세서는 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 주행 모드를 자율주행모드로 변경하도록 구성될 수 있다.
이때, 탑승자에게 메시지를 표시하는 디스플레이를 추가적으로 포함할 수 있으며, 상기 프로세서는 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 주행 모드를 자율주행모드로 변경할 것을 권유하는 메시지를 상기 디스플레이에 출력하고; 상기 메시지 출력 후 소정 시간 동안 탑승자가 자율주행모드 변경을 해제하지 않으면, 상기 프로세서는 상기 이동 장치가 자율주행 모드로 변경되도록 제어할 수 있다.
상기 센서는 산소농도센서 및 소리센서를 추가적으로 포함할 수 있으며, 상기 이동 장치가 상기 수면모드로 전환하는 경우, 상기 산소농도센서 및/또는 상기 생체센서와 연동된 상기 공조 시스템이 상기 이동 장치 내 산소 농도를 탑승자의 수면 상태에 따라 조절될 수 있다.
또한, 상기 이동 장치가 상기 수면모드로 전환하는 경우, 상기 소리센서 및/또는 상기 생체센서와 연동된 상기 시트 및 상기 음향 시스템 중 하나 이상이 탑승자의 코골이 또는 무호흡증을 완화하도록 제어될 수 있다.
상기 영상센서는 CNN (Convolutional Neural Network) 방식에 기반하여 상기 탑승자의 안면 및 관절의 특징부 영상을 판단하도록 구성될 수 있으며, 상기 탑승자의 안면 및 관절의 특징부는 탑승자의 눈, 입, 머리 및 무릎 중 하나 이상의 영상을 포함할 수 있다.
이때, 상기 영상센서는 상기 탑승자의 안면 및 관절의 특징부의 영상에 대한 프레그멘테이션 및 기준 영상과의 비교에 기반하여 판단할 수 있다.
상술한 바와 같은 본 발명의 실시예들에 따르면, 영상센서를 포함하는 센서(들)를 활용하여 탑승자의 안면 및 관절 상태에 따라 탑승자의 졸음 또는 수면 상태를 자동적으로 판단하고, 이동 장치의 내부 장치들을 효율적으로 제어할 수 있다.
또한, CNN (Convolutional Neural Network) 방식에 기반하여 상기 탑승자의 안면 및 관절의 특징부 영상을 판단하고, 탑승자의 안면 및 관절의 특징부는 탑승자의 눈, 입, 머리 및 무릎 중 하나 이상의 영상을 포함하도록 구성하여 딥러닝의 성능을 개선할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따라 탑승자에게 수면 캐어를 제공하는 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따라 안면 인식, 행동 인식, 생체 신호 인식에 따른 이동 장치의 제어 방식을 설명하기 위한 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 탑승자의 졸음/수면 상태를 딥러닝 방식으로 판단하는 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 탑승자의 졸음/수면 상태 여부 판단에 따라 이동 장치의 수면 캐어를 수행하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따라 안면 인식, 행동 인식, 생체 신호 인식에 따른 이동 장치의 제어 방식을 설명하기 위한 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 탑승자의 졸음/수면 상태를 딥러닝 방식으로 판단하는 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 탑승자의 졸음/수면 상태 여부 판단에 따라 이동 장치의 수면 캐어를 수행하는 방법을 설명하기 위한 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하의 설명에 있어서 '이동 장치'라는 용어는 전통적인 승용차, 승합차 등의 특수 차량을 포함하는 개념이며, 다른 특별한 제한이 없다면 이러한 전통적인 차량들뿐만 아니라 탑승자에게 이동성을 제공할 수 있는 로봇, 바이크 등을 모두 포괄하는 개념을 가정한다. 또한, 이하의 설명에서 설명의 편의를 위해 '차량'으로 언급하는 예의 경우라도, 다른 특별한 언급이 없는 한 상술한 '이동 장치'를 포괄하는 개념을 의미한다.
도 1은 본 발명의 일 실시예에 따라 탑승자에게 수면 캐어를 제공하는 시스템을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이 이동 장치의 탑승자에게 수면 케어를 제공하기 위해 탑승자의 상태를 모니터링하기 위한 센서(110, 120, 130, 140)이 구비될 수 있다. 이러한 센서에는 핵심적으로 영상센서 (110)를 포함하며, 영상센서(110)에 의해 탑승자의 안면 및 관절의 상태에 따라 탑승자의 졸음 또는 수면 상태를 판단하는 것을 가정한다.
즉, 영상센서(110)는 이동 장치내 설치 된 영상센서로써 탑승자를 관찰 할 수 있는 위치에 설치되며, 탑승자의 안면 및 관절 추적을 통한 탑승자의 행동 (예를 들어, 졸음 및 수면) 판단을 수행하며. 추가적으로 심박수 및 호흡수 등을 측정할 수도 있다.
바람직하게 센서는, 도 1에 도시된 바와 같이 영상센서(110)뿐만 아니라 생체센서(120), 산소농도센서(130) 및 소리센서(마이크로폰; 140) 등을 추가적으로 포함할 수 있다.
구체적으로, 생체센서(120)는 탑승자가 착용 가능한 웨어러블 형태를 가지는 제 1 생체센서 및 이동 장치내 설치 가능한 형태의 제 2 생체센서로 구분될 수 있으며, 탑승자의 심전도 및 뇌파 신호, 체온, 혈중산소포화도 등의 모니터링으로 수면 상태 (예를 들어, 수면단계, 코골이, 무호흡증 등)의 판단을 수행할 수 있다.
한편, 산소농도센서(13)는 차량 내 산소 농도 감지를 수행할 수 있으며, 이에 따라 이하에서 설명하는 바와 같이 연동된 공조 시스템의 제어에 이용될 수 있다.
또한, 소리센서 (140)는 수면 중 발생 하는 소음 (예를 들어, 코골이, 잠꼬대 등)을 모니터링하는 역할을 수행할 수 있다.
본 실시예에서는 상술한 센서에 기반하여 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 프로세서(미도시)가 이동 장치의 조명 제어 (150), 시트 제어(160), 음향 제어 (170), 공조 제어(180) 및 가변 선팅/선루프 제어(190)를 수면모드로 전환하여 제어할 수 있도록 하는 것을 제안하며, 이하에서 더 구체적인 방식을 설명한다.
도 2는 본 발명의 일 실시예에 따라 안면 인식, 행동 인식, 생체 신호 인식에 따른 이동 장치의 제어 방식을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이 탑승자의 영상을 획득할 수 있는 영상센서를 통해 탑승자의 안면인식 및 행동인식을 수행할 수 있으며, 탑승자가 착용 가능한 제 1 생체센서 및 이동 장치에 장착되는 제 2 생체센서를 통해 뇌파, 심전도 등의 정보를 획득할 수 있다.
도 2에 도시된 예와 같이 제 1 생체센서는 탑승자 손목에 착용하는 시계 형태, 또는 탑승자 귀에 착용하는 이어셋 형태일 수 있으나, 이에 한정될 필요는 없다. 또한, 제 2 생체센서는 스티어링을 위한 핸들에 장착되는 ECG 센서 등의 형태를 가질 수 있으나, 이에 한정될 필요는 없다.
도 2에 도시된 바와 같이 상술한 센서를 통한 정보를 기반으로 상황 판단을 수행할 수 있다. 구체적으로 영상센서를 통해 획득된 탑승자의 눈이 감겨 있거나, 자주 깜박거리는지 정보, 탑승자 시선이 전방 주시를 못하는 상황인지 여부, 탑승자의 입이 하품을 자주하는지 여부, 탑승자의 머리가 기울어져 있거나 꾸벅거리는지 여부, 탑승자의 행동이 움직임이 없는지 여부 등을 고려하여 탑승자의 졸음 또는 수면 여부를 판단할 수 있다.
또한, 생체센서를 통해 획득된 정보로서 탑승자의 뇌파가 알파파가 감소하고 세타파가 증가하는지 여부, 탑승자의 심전도의 RRI가 증가하는지 여부를 기반으로 탑승자의 졸음 또는 수면 여부를 판단할 수 있다.
탑승자가 졸음 또는 수면 상태에 있다고 판단되는 경우, 도 2에 도시된 바와 같이 수면 서비스 제공에 대한 알림을 표시할 수 있으며, 탑승자가 이를 소정 시간 동안 해제/중지하지 않으면 후속하는 수면 캐어 서비스가 시작되어, 시트 제어, 공조 제어, 조면 제어, 음향 제어, 가변 선팅/선루프 제어 등이 수행될 수 있다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 탑승자의 졸음/수면 상태를 딥러닝 방식으로 판단하는 방법을 설명하기 위한 도면이다.
도 4에 도시된 바와 같이 영상센서에 의해 확보되는 탑승자의 이미지는 CNN의 입력 데이터로서 입력될 수 있다. 본 실시예에 따른 CNN은 우선 이와 같은 입력 데이터의 이미지 내의 특징 지도를 추출하는 복수의 콘볼루션 계층들 (convolution layers)과 상기 복수의 콘볼루션 계층들 사이에 서브샘플링을 수행하는 풀링 계층(pooling layer)을 포함할 수 있다. 콘볼루션 계층들은 도 4에 도시된 바와 같이 ReLU 계층을 거쳐 해당 특징 지도 내 양의 값만을 활성화시키는 것이 바람직하나, 이에 한정될 필요는 없다.
상술한 바와 같이 추출된 특징 벡터들은 입체 이미지를 평탄화하는 과정을 거치고, 완전연결(fully connected) 계층을 통과하여 특징 벡터가 출력되며, 이러한 특징 벡터를 Softmax를 이용하여 분류하는 작업을 수행할 수 있다.
이와 같이 Softmax를 이용하여 분류된 탑승자 이미지의 특정 벡터는 서버에 저장된, 기 학습된 탑승자의 상태 정보와 비교되어 탑승자의 상태를 판단하는데 이용될 수 있다.
상술한 바와 같이 CNN의 입력 데이터로 활용되는 탑승자의 이미지는 탑승자의 안면 및 관절 전체 이미지로서 이용될 수도 있으며, 탑승자의 눈, 입, 머리 및 무릎 영상이 개별적으로 활용될 수도 있다. 또한, 탑승자 영상의 전체 이미지와 특정 부분의 영상에 따른 개별 이미지를 각각 활용하고, 이들에 미리 정해진 가중치를 적용하여 판단할 수도 있다. 탑승자의 영상 중 눈, 입 등 특정 부분의 영상을 활용하는 경우, 해당 부위의 이미지 크기 및 중심을 맞추어 프레그맨테이션/리사이징 등을 수행하여 판단의 정확도를 높일 수 있는 장점을 가진다.
한편, 도 4에서는 탑승자의 안면 영상 중 각 특징부 (예를 들어, 얼굴 형상, 눈, 코, 입)의 개별적인 판단에 대한 탑승자 상태를 판단하는 방식(도 4의 (A))과 탑승자의 안면 영상 중 각 특징부의 개별적인 판단뿐만 아니라, 각 특징부의 위치 관계, 배치 등에 따른 값을 벡터화하여 이들 모두를 고려하는 방식을 도시하고 있다.
본 발명의 바람직한 실시예에서는 탑승자의 안면 및/또는 관절 영상 중 특징부를 개별적으로 판단하는 것과, 이들 사이의 배치관계 등의 전체 영상에서의 관계를 추가적으로 고려하여 탑승자의 졸음/수면 상태를 판단하도록 할 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 탑승자의 졸음/수면 상태 여부 판단에 따라 이동 장치의 수면 캐어를 수행하는 방법을 설명하기 위한 도면이다.
본 실시예에서 이동 장치에 구비되는 수면 캐어 시스템은 상술한 영상 센서 및/또는 생체 센서를 통해 탑승자의 졸음/수면 상태를 모니터링할 수 있다 (S510). 이와 별도로 이동 장치의 탑승자는 수동으로 수면 모드를 선택할 수도 있다 (S520). 이와 같은 자동 판단/수동 전환에 따라, 본 실시예에 따른 수면 캐어 시스템은 그에 맞는 수면 케어 서비스를 시작할 수 있다(S520).
기본적으로는 탑승자가 수면 모드를 선택하거나 (S520), 이동 장치 내 영상 센서 및/또는 생체 센서를 통해 탑승자의 졸음이 인식되면, 이동 장치를 자율주행모드로 변경하는 것이 바람직하다. 이를 위해 본 실시예의 시스템은 디스플레이에 자율주행 모드로 변경하는 것을 권유하는 메시지를 출력하고, 탑승자가 소정 시간 내에 이를 해제/중지하지 않는 경우 자율주행 모드로 전환하도록 설정될 수 있다.
또한, 자율 주행 모드 중 수면 모드 진입에 따라 시트 제어, 가변 선팅/선루프 제어, 음향제어(예를 들어, 방음), 공조제어 (예를 들어, 방진), 조명 제어 등을 통한 숙면을 유도할 수 있다(S530). 이때, 사용자의 피드백으로 시트의 강도 및 공조 온도, 조명 밝기 등을 조절 가능하다.
구체적으로, 시트 제어는 탑승자가 숙면을 취하기 편한 위치로 변경(릴렉션 모드)하고, 시트의 온도를 조절하는 동작을 포함할 수 있다. 가변 선팅/선루프 제어는 외부 조도에 의한 숙면 방해를 막기 위해 선팅 암막 효과를 조절하여 주는 동작을 포함할 수 있다. 음향 제어는 외부 소음 차단을 위한 노이즈 캔슬링 및 핑크 노이즈 등의 수면에 도움을 주는 음원을 재생하는 동작을 포함할 수 있다. 또한, 공조 제어는 공조 세기 조절 및 외기 순환을 통한 차량내 산소 농도를 조절하고, 적정 공기 온도를 조절하는 동작을 포함할 수 있다. 아울러, 조명 제어는 AVN 및 클러스터의 밝기를 조절하고, 숙면을 위한 3000K 이하의 검붉은 조명을 사용하는 동작을 포함할 수 있다.
한편, 수면 시, 탑승자의 체온 및 차량내 산소 농도 모니터링을 통해, 능동적으로 공조 시스템을 제어하여 적정 온도 및 산소 농도가 유지되도록 할 수 있다. 또한, 마이크로폰 (소리센서) 및 생체 센서로 코골이 및 무호흡증이 판단되면, 시트 진동 및 무빙으로 코골이 및 무호흡증을 완화할 수 있다. 또한, 수면 상태를 기록하여 탑승자에게 수면 패턴, 습관, 상태, 질, 기간 등의 정보를 제공할 수도 있다.
구체적으로, 도 6에 도시된 바와 같이 차량내 산소농도에 대한 제어(S610)는 차량내 산소농도센서로 산소 농도가 20%(기준 농도) 이하로 떨어지는지를 확인하도록 할 수 있으며, 탑승자의 체온 모니터링(S620)은 탑승자가 착용 중인 웨어러블 및 차량내 생체센서를 통해, 또는 적외선 카메라로 탑승자의 체온을 측정하는 동작일 수 있다.
이러한 모니터링에 따른 공조 제어(S660)는 차량내 산소농도 유지를 위해 외부 공기 유입하고, 탑승자 체온을 적정온도로 유지하기 위해 공기 온도 조절을 의미할 수 있다.
한편, 도 6에 도시된 탑승자의 혈중산소포화도 모니터링(S630)은 탑승자가 착용중인 웨어러블 및 차량내 생체센서, 및/또는 영상센서 기반의 가상센서로 혈중 산소 포화도를 측정함으로써 수면 무호흡증을 판단하는 동작을 의미할 수 있다. 또한, 탑승자의 수면 소음 모니터링(S640)은 소리 센서(마이크로폰)로 탑승자의 코골이 및 잠꼬대를 감지하는 동작일 수 있다 (S670).
이러한 모니터링에 따른 시트 제어(S680)는 코골이 및 무호흡증로 판단시, 시트 무빙 및 진동 효과로 수면 자세 변경을 유도하여 코골이 및 무호흡증을 완화시키고. 완화 후, 초기 시트 위치로 변경되도록 설정될 수 있다.
한편, 도 6에 도시된 탑승자의 뇌파 및 심전도 모니터링(S650)은 웨어러블, 차량내 생체센서 및/또는 영상 기반의 가상센서로 수면 중 뇌파 및 심전도 측정을 수행하는 동작을 의미한다. 이에 따른 수면 단계 모니터링(S690)은 뇌파 및 심전도 기반의 수면 단계를 판단하고, 이에 따른 수면 주기 기록을 수행하는 것일 수 있다. 이와 같은 과정을 거치면서 수행되는 수면 DB 저장 및 수면 주기 기록 제공(S700)은 모니터링된 수면 주기 상에서 수면 단계 비율에 따른 수면 질, 패턴, 습관 등을 탑승자에게 제공하는 것을 포함할 수 있다.
상술한 바와 같은 설명에서 '탑승자'는 이동 장치에 탑승한 모든 사용자를 통칭하며, 운전자 및 동승자를 모두 포괄하는 개념이다. 다만, 탑승자의 졸음/수면 센싱에 따른 자율주행 모드 전환 동작은 센싱된 탑승자가 운전자인 경우에 적용하는 것이 바람직할 수 있으나, 이에 제한될 필요는 없다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다.
따라서, 본 발명은 여기에 나타난 실시예들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
상술한 바와 같은 본 발명의 실시예들에 따른 이동 장치의 탑승자에게 수면 케어를 제공하는 방법 및 장치는 차량뿐만 아니라 탑승자의 센싱 및 수면 모드를 제공할 수 있는 다양한 이동 장치에 활용될 수 있다.
Claims (18)
- 이동 장치의 탑승자에게 수면 케어를 제공하는 방법에 있어서,
센서를 통해 탑승자의 상태를 모니터링하고,
탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 시트, 공조 시스템, 조명 시스템, 음향 시스템, 가변 선팅, 또는 가변 선루프 중 하나 이상을 수면모드로 전환하도록 제어하는 것을 포함하되,
상기 센서는 영상센서를 포함하며,
상기 영상센서에 의해 탑승자의 안면 및 관절의 상태에 따라 탑승자의 졸음 또는 수면 상태를 판단하는 것을 특징으로 하는 수면 캐어 제공 방법. - 제 1 항에 있어서,
상기 영상센서는 CNN (Convolutional Neural Network) 방식에 기반하여 상기 탑승자의 안면 및 관절의 특징부 영상을 판단하며,
상기 탑승자의 안면 및 관절의 특징부는 탑승자의 눈, 입, 머리 및 무릎 중 하나 이상의 영상을 포함하는, 수면 캐어 제공 방법. - 제 2 항에 있어서,
상기 영상센서는 상기 탑승자의 안면 및 관절의 특징부의 영상에 대한 프레그멘테이션 및 기준 영상과의 비교에 기반하여 판단하는, 수면 캐어 제공 방법. - 제 1 항에 있어서,
상기 센서는 생체센서를 추가적으로 포함하며,
상기 생체센서는 탑승자가 착용 가능한 웨어러블 형태의 제 1 생체센서, 및 상기 이동 장치에 장착되는 형태의 제 2 생체센서를 포함하는, 수면 캐어 제공 방법. - 제 4 항에 있어서,
상기 제 1 생체센서 및 상기 제 2 생체센서 중 하나 이상은 탑승자의 체온, 심박수, 뇌파, 심전도, 혈중산소포화도, 코골이, 및 무호흡증 중 하나 이상의 모니터링을 수행하는, 수면 캐어 제공 방법. - 제 1 항에 있어서,
탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 주행 모드를 자율주행모드로 변경하는 것을 추가적으로 포함하는, 수면 캐어 제공 방법. - 제 6 항에 있어서,
탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 주행 모드를 자율주행모드로 변경할 것을 권유하는 메시지를 출력하고;
상기 메시지 출력 후 소정 시간 동안 탑승자가 자율주행모드 변경을 해제하지 않으면 상기 이동 장치가 자율주행 모드로 변경되는 것을 포함하는, 수면 캐어 제공 방법. - 제 1 항에 있어서,
상기 센서는 생체센서, 산소농도센서 및 소리센서를 추가적으로 포함하며,
상기 이동 장치가 상기 수면모드로 전환하는 경우,
상기 산소농도센서 및 상기 생체센서 중 하나 이상과 연동된 상기 공조 시스템이 상기 이동 장치 내 산소 농도를 탑승자의 수면 상태에 따라 조절하는, 수면 캐어 제공 방법. - 제 8 항에 있어서,
상기 이동 장치가 상기 수면모드로 전환하는 경우,
상기 소리센서 및 상기 생체센서 중 하나 이상과 연동된 상기 시트 및 상기 음향 시스템 중 하나 이상이 탑승자의 코골이 또는 무호흡증을 완화하도록 제어되는, 수면 캐어 제공 방법. - 이동 장치에서 탑승자에게 수면 케어를 제공하는 장치에 있어서,
탑승자의 상태를 모니터링하도록 구성되는 센서; 및
상기 센서와 연결되며, 상기 센서에 의해 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 시트, 공조 시스템, 조명 시스템, 음향 시스템, 가변 선팅, 또는 가변 선루프 중 하나 이상을 수면모드로 전환하도록 제어하는 프로세서를 포함하되,
상기 센서는 탑승자의 안면 및 관절의 상태에 따라 탑승자의 졸음 또는 수면 상태를 판단하도록 구성되는 영상센서를 포함하는 것을 특징으로 하는 수면 캐어 제공 장치. - 제 10 항에 있어서,
상기 센서는 생체센서를 추가적으로 포함하며,
상기 생체센서는 탑승자가 착용 가능한 웨어러블 형태의 제 1 생체센서, 및 상기 이동 장치에 장착되는 형태의 제 2 생체센서를 포함하는, 수면 캐어 제공 장치. - 제 11 항에 있어서,
상기 제 1 생체센서 및 상기 제 2 생체센서 중 하나 이상은 탑승자의 체온, 심박수, 뇌파 , 심전도, 혈중산소포화도, 코골이, 및 무호흡증 중 하나 이상의 모니터링을 수행하는, 수면 캐어 제공 장치. - 제 10 항에 있어서,
상기 프로세서는 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 주행 모드를 자율주행모드로 변경하도록 구성되는, 수면 캐어 제공 장치. - 제 13 항에 있어서,
탑승자에게 메시지를 표시하는 디스플레이를 추가적으로 포함하며,
상기 프로세서는 탑승자가 졸음 또는 수면 상태로 판단되는 경우, 상기 이동 장치의 주행 모드를 자율주행모드로 변경할 것을 권유하는 메시지를 상기 디스플레이에 출력하고;
상기 메시지 출력 후 소정 시간 동안 탑승자가 자율주행모드 변경을 해제하지 않으면, 상기 프로세서는 상기 이동 장치가 자율주행 모드로 변경되도록 제어하는, 수면 캐어 제공 장치. - 제 10 항에 있어서,
상기 센서는 생체센서, 산소농도센서 및 소리센서를 추가적으로 포함하며,
상기 이동 장치가 상기 수면모드로 전환하는 경우,
상기 산소농도센서 및 상기 생체 센서 중 하나 이상과 연동된 상기 공조 시스템이 상기 이동 장치 내 산소 농도를 탑승자의 수면 상태에 따라 조절하는, 수면 캐어 제공 장치. - 제 15 항에 있어서,
상기 이동 장치가 상기 수면모드로 전환하는 경우,
상기 소리센서 및 상기 생체센서 중 하나 이상과 연동된 상기 시트 및 상기 음향 시스템 중 하나 이상이 탑승자의 코골이 또는 무호흡증을 완화하도록 제어되는, 수면 캐어 제공 장치. - 제 10 항에 있어서,
상기 영상센서는 CNN (Convolutional Neural Network) 방식에 기반하여 상기 탑승자의 안면 및 관절의 특징부 영상을 판단하도록 구성되며,
상기 탑승자의 안면 및 관절의 특징부는 탑승자의 눈, 입, 머리 및 무릎 중 하나 이상의 영상을 포함하는, 수면 캐어 제공 장치. - 제 17 항에 있어서,
상기 영상센서는 상기 탑승자의 안면 및 관절의 특징부의 영상에 대한 프레그멘테이션 및 기준 영상과의 비교에 기반하여 판단하는, 수면 캐어 제공 장치.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210149397A KR20230064644A (ko) | 2021-11-03 | 2021-11-03 | 이동 장치의 탑승자에게 수면 케어를 제공하는 방법 및 이를 위한 장치 |
US17/879,331 US20230135942A1 (en) | 2021-11-03 | 2022-08-02 | Method for automatically controlling in-cabin environment for passenger and system therefor |
EP22190494.9A EP4177852A1 (en) | 2021-11-03 | 2022-08-16 | Method for automatically controlling in-cabin environment for passenger and system therefor |
US18/454,892 US20230391310A1 (en) | 2021-11-03 | 2023-08-24 | Method for automatically controlling in-cabin environment for passenger and system therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210149397A KR20230064644A (ko) | 2021-11-03 | 2021-11-03 | 이동 장치의 탑승자에게 수면 케어를 제공하는 방법 및 이를 위한 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230064644A true KR20230064644A (ko) | 2023-05-11 |
Family
ID=86379062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210149397A KR20230064644A (ko) | 2021-11-03 | 2021-11-03 | 이동 장치의 탑승자에게 수면 케어를 제공하는 방법 및 이를 위한 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230064644A (ko) |
-
2021
- 2021-11-03 KR KR1020210149397A patent/KR20230064644A/ko unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107791893B (zh) | 车辆座椅 | |
US11383721B2 (en) | System and method for responding to driver state | |
EP3390131B1 (en) | Method for operating a motor vehicle with a state monitoring device, driver assistance system and motor vehicle | |
CN106462027B (zh) | 控制机动车辆中的车辆系统的方法 | |
KR101926921B1 (ko) | 운전자 모니터링 장치 및 방법 | |
KR20160112213A (ko) | 차량, 및 차량의 제어방법 | |
JP6776681B2 (ja) | ドライバ状態判定装置、及びドライバ状態判定プログラム | |
KR102679466B1 (ko) | 차량 및 그 제어방법 | |
US20230391310A1 (en) | Method for automatically controlling in-cabin environment for passenger and system therefor | |
WO2020161768A1 (ja) | 感情推定装置及び感情推定方法 | |
KR20230064644A (ko) | 이동 장치의 탑승자에게 수면 케어를 제공하는 방법 및 이를 위한 장치 | |
DE102016213916A1 (de) | Infotainmentsystem für ein Kraftfahrzeug | |
KR20220014938A (ko) | 자동차 및 그 제어 방법 | |
US20230012769A1 (en) | Interactive system and associated interaction method | |
KR20230064142A (ko) | 탑승객을 위한 자동 인캐빈 환경 제어 방법 및 이를 위한 시스템 | |
JP2022155395A (ja) | 運転支援システム | |
KR20190117171A (ko) | 감정 인식을 이용한 자동차용 공조 제어 시스템 | |
KR20200080376A (ko) | 차량 및 그 제어방법 |