KR20200080376A - Vehicle and control method for the same - Google Patents
Vehicle and control method for the same Download PDFInfo
- Publication number
- KR20200080376A KR20200080376A KR1020180162841A KR20180162841A KR20200080376A KR 20200080376 A KR20200080376 A KR 20200080376A KR 1020180162841 A KR1020180162841 A KR 1020180162841A KR 20180162841 A KR20180162841 A KR 20180162841A KR 20200080376 A KR20200080376 A KR 20200080376A
- Authority
- KR
- South Korea
- Prior art keywords
- infant
- vehicle
- data
- information
- sensors
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000008451 emotion Effects 0.000 claims description 64
- 230000008921 facial expression Effects 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 17
- 206010011469 Crying Diseases 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 14
- 238000004378 air conditioning Methods 0.000 claims description 10
- 206010041349 Somnolence Diseases 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 12
- 230000002996 emotional effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 206010048232 Yawning Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 241001282135 Poromitra oscitans Species 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 206010001497 Agitation Diseases 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000013872 defecation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01556—Child-seat detection systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/01516—Passenger detection systems using force or pressure sensing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/0153—Passenger detection systems using field detection presence sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/01542—Passenger detection systems detecting passenger motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
-
- B60K2370/11—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/30—Sensors
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Air-Conditioning For Vehicles (AREA)
Abstract
Description
본 발명은 차량에 탑승한 유아의 상태를 파악하여 보호자에게 알리고 적절한 조치를 제공할 수 있는 차량 및 그 제어방법에 관한 것이다.The present invention relates to a vehicle and a control method capable of identifying an infant's condition on a vehicle and informing a guardian and providing appropriate measures.
유아를 차량에 탑승시킬 때, 일반적으로 차량의 뒷좌석에 유아용 카시트를 설치하고, 카시트에 유아를 착석시킨다. 그런데 운전자는 운전 중에 뒷좌석을 살펴볼 수 없고, 차량의 앞좌석에 탑승한 보호자 또한 뒷좌석을 살펴보기 어려운 문제가 있다. 따라서 차량이 주행하는 도중 뒷좌석의 유아에게 이상이 발생한 경우, 앞좌석의 보호자는 유아에게 발생한 문제를 알아차리기 어렵고, 유아에게 적절한 조치를 취하기 어렵다.When an infant is boarded in a vehicle, an infant car seat is generally installed in the rear seat of the vehicle, and the infant is seated in the car seat. However, the driver cannot look at the back seat while driving, and the guardian who has boarded the front seat of the vehicle also has a problem to look at the back seat. Therefore, when an abnormality occurs in the infant in the rear seat while the vehicle is driving, it is difficult for the guardian of the front seat to notice a problem occurring in the infant and to take appropriate measures for the infant.
그에 따라 뒷좌석에 위치한 유아의 상태를 파악하여 보호자에게 알리는 기술들이 등장하고 있다. 그러나 종래 기술들은 유아의 상태를 정확히 파악하는데 한계가 있다.As a result, technologies are emerging to identify the condition of the infant in the back seat and inform the guardian. However, the prior art is limited in accurately grasping the condition of the infant.
복수의 센서에 의해 획득되는 감지 데이터를 처리함에 있어서 가중치를 적용하고, 감지 데이터와 연관되는 유아 상태 정보를 탐색함으로써 유아의 상태를 정확히 파악할 수 있는 차량 및 그 제어 방법을 제공한다.Provided is a vehicle capable of accurately grasping the state of an infant and a control method thereof by applying a weight in processing the sensed data acquired by a plurality of sensors and searching for infant state information associated with the sensed data.
또한, 유아의 상태에 대응하여 차량의 기능을 적절히 조절할 수 있는 차량 및 그 제어 방법을 제공한다.In addition, a vehicle capable of properly adjusting a vehicle function in response to a toddler's condition and a control method thereof are provided.
일 실시예에 따른 차량은, 탈부착 가능한 카시트 및 차량 내부에 마련되고, 상기 카시트에 착석한 유아로부터 발생되는 복수의 신호를 감지하여 복수의 감지 데이터를 획득하는 복수의 센서; 상기 복수의 감지 데이터와 유아 상태 정보 간의 관련성 데이터를 저장하는 저장부; 상기 복수의 센서에 의해 획득되는 상기 복수의 감지 데이터에 가중치를 적용하고, 상기 관련성 데이터를 탐색하여 상기 가중치가 적용된 복수의 감지 데이터와 매칭되는 상기 유아 상태 정보를 추출하는 제어부; 및 상기 유아 상태 정보를 출력하는 사용자 인터페이스 장치;를 포함한다.A vehicle according to an embodiment includes a detachable car seat and a plurality of sensors that are provided inside the vehicle and acquire a plurality of detection data by sensing a plurality of signals generated from an infant seated in the car seat; A storage unit for storing relational data between the plurality of sensed data and infant state information; A control unit that applies weights to the plurality of sensed data obtained by the plurality of sensors, searches the relevance data, and extracts the infant state information matching the plurality of sensed data to which the weights are applied; And a user interface device that outputs the infant status information.
상기 제어부는 미리 정해진 일정 시간 동안 획득되는 상기 복수의 감지 데이터 중 최초로 획득되는 감지 데이터와 연관되는 감지 데이터를 추출하여 상기 복수의 감지 데이터에 상기 가중치를 적용할 수 있다.The control unit may extract the sensing data associated with the first acquired sensing data among the plurality of sensing data acquired for a predetermined period of time and apply the weight to the plurality of sensing data.
상기 제어부는 상기 복수의 감지 데이터 중 최초 획득되는 감지 데이터에 가장 큰 가중치를 적용할 수 있다.The control unit may apply the largest weight to the first acquired sensing data among the plurality of sensing data.
상기 복수의 센서는 상기 유아의 움직임에 의한 압력을 감지하는 압력 센서, 상기 유아의 배변에 의한 온도 변화를 감지하는 온도 센서, 상기 유아의 심박수를 측정하는 심장 박동 센서, 상기 유아의 울음 소리를 감지하는 소리 센서 및 상기 유아의 표정 및 제스처를 촬영하는 이미징 센서 중 적어도 하나를 포함할 수 있다.The plurality of sensors is a pressure sensor for detecting the pressure caused by the movement of the infant, a temperature sensor for detecting a temperature change due to the bowel movement of the infant, a heart rate sensor for measuring the heart rate of the infant, and detecting the crying of the infant It may include at least one of a sound sensor and an imaging sensor for photographing the expression and gesture of the infant.
상기 유아 상태 정보는 배고픈 상태, 졸린 상태, 아픈 상태, 심심한 상태 및 배변한 상태 중 적어도 하나를 포함할 수 있다.The infant state information may include at least one of a hungry state, a sleepy state, a sick state, a bored state, and a defecated state.
일 실시예에 따른 차량은, 차량의 기능 요소를 실행하는 구동부;를 더 포함하고, 상기 제어부는 상기 유아 상태 정보에 기초하여 상기 기능 요소가 조절되도록 차량의 구동부를 제어할 수 있다.The vehicle according to an embodiment may further include a driving unit that executes a functional element of the vehicle, and the control unit may control the driving unit of the vehicle so that the functional element is adjusted based on the infant state information.
상기 기능 요소는 운전 보조 시스템, 공조 시스템, AVN 시스템 및 조명 시스템 중 적어도 하나를 포함할 수 있다.The functional element may include at least one of a driving assistance system, an air conditioning system, an AVN system, and a lighting system.
상기 제어부는 상기 복수의 감지 데이터에 기초하여 상기 유아의 감정 정보를 획득하고, 상기 감정 정보를 반영하여 상기 유아 상태 정보를 추출할 수 있다.The controller may obtain the infant emotion information based on the plurality of sensed data, and extract the infant state information by reflecting the emotion information.
상기 제어부는 상기 복수의 센서에 의해 획득된 복수의 감지 데이터 및 상기 매칭되는 상기 유아 상태 정보에 기초하여 상기 관련성 데이터를 업데이트 할 수 있다.The controller may update the relevance data based on a plurality of sensed data acquired by the plurality of sensors and the matched infant state information.
일 실시예에 따른 차량의 제어방법은, 탈부착 가능한 카시트 및 차량 내부에 마련되는 복수의 센서를 이용하여, 상기 카시트에 착석한 유아로부터 발생되는 복수의 신호를 감지하고, 복수의 감지 데이터를 획득하는 단계; 상기 복수의 센서에 의해 획득되는 상기 복수의 감지 데이터에 가중치를 적용하는 단계; 상기 복수의 감지 데이터와 유아 상태 정보 간의 관련성 데이터를 탐색하여, 상기 가중치가 적용된 복수의 감지 데이터와 매칭되는 상기 유아 상태 정보를 추출하는 단계; 및 사용자 인터페이스 장치를 통해 상기 유아 상태 정보를 출력하는 단계;를 포함한다.The control method of the vehicle according to an embodiment uses a detachable car seat and a plurality of sensors provided inside the vehicle to detect a plurality of signals generated from an infant seated in the car seat and obtain a plurality of detection data step; Applying a weight to the plurality of sensed data obtained by the plurality of sensors; Searching for relevance data between the plurality of sensed data and the infant state information, and extracting the infant state information matching the plurality of sensed data to which the weight is applied; And outputting the infant status information through a user interface device.
상기 가중치를 적용하는 단계는 미리 정해진 일정 시간 동안 획득되는 상기 복수의 감지 데이터 중 최초 획득되는 감지 데이터와 연관되는 감지 데이터를 추출하여 상기 복수의 감지 데이터에 상기 가중치를 적용하는 단계;를 포함할 수 있다.The applying of the weight may include extracting detection data associated with the first acquired detection data among the plurality of detection data acquired for a predetermined period of time and applying the weight to the plurality of detection data. have.
상기 가중치를 적용하는 단계는 상기 복수의 감지 데이터 중 최초 획득되는 감지 데이터에 가장 큰 가중치를 적용하는 단계;를 포함할 수 있다.The applying of the weight may include applying the largest weight to the first acquired sensing data among the plurality of sensing data.
상기 복수의 센서는 상기 유아의 움직임에 의한 압력을 감지하는 압력 센서, 상기 유아의 배변에 의한 온도 변화를 감지하는 온도 센서, 상기 유아의 심박수를 측정하는 심장 박동 센서, 상기 유아의 울음 소리를 감지하는 소리 센서 및 상기 유아의 표정 및 제스처를 촬영하는 이미징 센서 중 적어도 하나를 포함할 수 있다.The plurality of sensors is a pressure sensor for detecting the pressure caused by the movement of the infant, a temperature sensor for detecting a temperature change due to the bowel movement of the infant, a heart rate sensor for measuring the heart rate of the infant, and detecting the crying of the infant It may include at least one of a sound sensor and an imaging sensor for photographing the expression and gesture of the infant.
상기 유아 상태 정보는 배고픈 상태, 졸린 상태, 불편한 상태, 심심한 상태 및 배변한 상태 중 적어도 하나를 포함할 수 있다.The infant state information may include at least one of a hungry state, a sleepy state, an uncomfortable state, a bored state, and a defecated state.
일 실시예에 따른 차량의 제어방법은, 상기 유아 상태 정보에 기초하여 차량의 기능 요소가 조절되도록, 상기 기능 요소를 실행하는 구동부를 제어하는 단계;를 더 포함할 수 있다.The method for controlling a vehicle according to an embodiment may further include controlling a driving unit that executes the functional element so that a functional element of the vehicle is adjusted based on the infant state information.
상기 기능 요소는 운전 보조 시스템, 공조 시스템, AVN 시스템 및 조명 시스템 중 적어도 하나를 포함할 수 있다.The functional element may include at least one of a driving assistance system, an air conditioning system, an AVN system, and a lighting system.
상기 유아 상태 정보를 추출하는 단계는 상기 복수의 감지 데이터에 기초하여 상기 유아의 감정 정보를 획득하고, 상기 감정 정보를 반영하여 상기 유아 상태 정보를 추출하는 단계;를 포함할 수 있다.The step of extracting the infant state information may include obtaining the infant emotion information based on the plurality of sensed data and extracting the infant state information by reflecting the emotion information.
일 실시예에 따른 차량의 제어방법은, 상기 복수의 센서에 의해 획득된 복수의 감지 데이터 및 상기 매칭되는 상기 유아 상태 정보에 기초하여 상기 관련성 데이터를 업데이트 하는 단계;를 더 포함할 수 있다.The method for controlling a vehicle according to an embodiment may further include updating the relevance data based on a plurality of sensed data acquired by the plurality of sensors and the matched infant state information.
일 측면에 따른 차량 및 그 제어방법에 따르면, 복수의 센서에 의해 획득되는 감지 데이터를 처리함에 있어서 가중치를 적용하고, 감지 데이터와 연관되는 유아 상태 정보를 탐색함으로써 유아의 상태를 정확히 파악할 수 있다.According to a vehicle and a control method according to an aspect, it is possible to accurately grasp an infant's state by applying a weight in processing sensing data obtained by a plurality of sensors and searching for infant state information associated with the sensing data.
또한, 일 측면에 따른 차량 및 그 제어방법에 따르면, 유아의 상태에 대응하여 차량의 기능을 적절히 조절할 수 있다.In addition, according to the vehicle and its control method according to one aspect, it is possible to appropriately adjust the function of the vehicle in response to the infant's condition.
도 1은 일 실시예에 따른 차량의 내부를 도시한다.
도 2는 일 실시예에 따른 유아용 카시트를 도시한다.
도 3은 일 실시예에 따른 차량의 제어 블록도이다.
도 4는 감지 데이터와 유아 상태 정보 간의 관련성 데이터를 설명하기 위한 도면이다.
도 5는 감지 데이터와 감정 간의 상관 관계를 설명하기 위한 도면이다.
도 6은 감정 정보 획득에 이용되는 감정 모델을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 차량의 제어 방법을 설명하는 순서도이다.1 shows the interior of a vehicle according to an embodiment.
2 illustrates a child car seat according to an embodiment.
3 is a control block diagram of a vehicle according to an embodiment.
4 is a view for explaining the relational data between the sensed data and the infant state information.
5 is a diagram for explaining a correlation between sensed data and emotions.
6 is a diagram for explaining an emotion model used for obtaining emotion information.
7 is a flowchart illustrating a method of controlling a vehicle according to an embodiment.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다.The same reference numerals refer to the same components throughout the specification. This specification does not describe all elements of the embodiments, and overlaps between general contents or embodiments in the technical field to which the present invention pertains are omitted.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is "connected" to another part, this includes not only a direct connection but also an indirect connection, and an indirect connection includes connecting through a wireless communication network. do.
또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, when a part is said to “include” a certain component, this means that other components may be further included instead of excluding other components, unless otherwise stated.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions, unless the context clearly has an exception.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA(field-programmable gate array) / ASIC(application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.In addition, terms such as "~ unit", "~ group", "~ block", "~ member", and "~ module" may refer to a unit that processes at least one function or operation. For example, the terms may mean at least one process processed by at least one hardware, at least one software or processor stored in memory, such as a field-programmable gate array (FPGA) / application specific integrated circuit (ASIC). have.
각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.The sign attached to each step is used to identify each step, and these signs do not indicate the order of each step, and each step is executed differently from the order specified unless a specific order is clearly stated in the context. Can be.
이하에서는 첨부된 도면을 참조하여 일 측면에 따른 차량 및 그 제어방법에 관한 실시예를 상세하게 설명하도록 한다.Hereinafter, exemplary embodiments of a vehicle and a control method according to an aspect will be described in detail with reference to the accompanying drawings.
도 1은 일 실시예에 따른 차량(1)의 내부를 나타내는 도면이다. 도 2는 일 실시예에 따른 유아용 카시트를 도시한다.1 is a view showing the interior of a
도1을 참조하면, 차량(1)의 내부에는 차량(1)의 운전자가 착석할 수 있는 운전석(11) 및 차량(1)의 탑승자가 착석할 수 있는 보조석(12)이 마련될 수 있다. 또한, 차량(1)의 내부에는 다른 탑승자가 착석할 수 있는 뒷좌석(13)이 마련될 수 있다.Referring to FIG. 1, inside the
한편, 차량(1)의 내부에는 이미징 센서(250)가 마련될 수 있다. 이미징 센서(250)는 차량(1)에 탑승한 탑승자를 촬영하여 탑승자의 영상을 획득하고, 영상 데이터를 생성할 수 있다. 이미징 센서(250)는 카메라일 수 있다. 도 1에서 이미징 센서(250)는 보조석(12)의 헤드 레스트에 설치되는 것으로 도시되어 있으나, 이미징 센서(250)는 대시 보드, 전면 유리 또는 좌석 등의 위치에 설치될 수 있고, 설치 위치 및 개수에 제한은 없다.Meanwhile, an
이미징 센서(250)는 차량(1)에 탑승한 유아의 얼굴 표정 및 제스처를 촬영할 수 있다. 보조석(12)의 헤드 레스트에 설치되는 이미징 센서(250)는 차량(1)의 뒷좌석(13)에 착석하는 유아의 얼굴 표정 및 제스처를 촬영할 수 있다. 또한, 차량(1)의 전면 유리 또는 대시 보드에 설치되는 이미징 센서(250)는 보조석(12)에 착석하는 유아의 얼굴 표정 및 제스처를 촬영할 수 있다.The
보조석(12)의 등받이에는 뒷좌석(13)에 착석한 탑승자에게 특정 콘텐츠를 제공할 수 있는 디스플레이(141)가 마련될 수 있다. 또한, 차량(1)에는 스피커(142)가 마련될 수 있다. 그에 따라, 뒷좌석(13)에 착석한 탑승자는 디스플레이(141) 및 스피커(142)에서 출력되는 콘텐츠를 시청할 수 있다. 디스플레이(141)와 스피커(142)는 차량(1) 내의 다양한 위치에 마련될 수 있다. 한편, 디스플레이(141)와 스피커(142)는 사용자 인터페이스 장치(140)에 포함될 수 있다.A
차량(1)의 좌석(12, 13)에는 카시트(110)가 설치될 수 있다. 예를 들면, 카시트(110)는 차량(1)의 뒷좌석(13)에 탈부착 될 수 있다. 또한, 카시트(110)는 복수의 센서를 포함할 수 있다. 카시트(110)에 설치되는 복수의 센서는 유아로부터 발생되는 신호를 감지하여 감지 데이터를 획득할 수 있다.A
도 2를 참조하면, 카시트(110)는 유아의 움직임에 의한 압력을 감지하는 압력 센서(210), 유아의 배변에 의한 온도 변화를 감지하는 온도 센서(220), 유아의 심박수를 측정하는 심장 박동 센서(230), 유아의 울음 소리를 감지하는 소리 센서(240) 중 적어도 하나를 포함할 수 있다. 소리 센서(240)는 마이크일 수 있다. 이러한 센서들은 카시트(110)에 설치되는 것 외에도 차량(1) 내부의 다양한 위치에 설치될 수 있다. 또한, 센서들은 상술한 것들로 한정되지 않고, 사람의 생체 신호를 측정 또는 수집할 수 있는 센서들이 모두 포함될 수 있다.Referring to FIG. 2, the
도 3은 일 실시예에 따른 차량의 제어 블록도이다.3 is a control block diagram of a vehicle according to an embodiment.
도 3을 참조하면, 차량(1)은 통신부(120), 저장부(130), 사용자 인터페이스 장치(140), 구동부(150), 감지부(200) 및 제어부(300)를 포함한다.Referring to FIG. 3, the
먼저, 통신부(120)는 외부 장치와 통신하여 데이터를 송수신할 수 있다. 구체적으로, 통신부(120)는 외부 장치로부터 콘텐츠, 연령별 신체 정보, 감지 데이터와 유아 상태 정보 간의 관련성 데이터, 감지 데이터와 감정 간의 상관 관계 정보, 얼굴 표정과 감정 간의 상관 관계 정보, 감정 모델 등을 수신할 수 있다.First, the
통신부(120)는 외부 장치와 여러 방식을 이용하여 통신할 수 있다. 통신부(120)는 차량 간(Vehicle-to-Vehicle, V2V) 통신, Wi-Fi, 무선 근거리 통신망(WLAN), 초광대역 이동 통신(Ultra-mobile broadband, UMB), GPS, LTE(Long Term Evolution) 등의 통신 기술을 이용하여 외부 장치와 데이터를 송수신할 수 있다. 이에 한정되는 것은 아니며, 외부 장치와 통신할 수 있는 방식이면 모두 적용될 수 있다.The
저장부(130)는 콘텐츠, 연령별 신체 정보, 감지 데이터와 유아 상태 정보 간의 관련성 데이터, 감지 데이터와 감정 간의 상관 관계 정보, 얼굴 표정과 감정 간의 상관 관계 정보, 감정 모델 등을 저장할 수 있으며, 차량(1)의 작동과 관련된 각종 데이터를 저장할 수 있다.The
저장부(130)는 각종 정보를 저장하기 위해 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.
사용자 인터페이스 장치(140)는 오디오 기능, 비디오 기능, 내비게이션 기능 및 차량(1)의 각종 기능을 수행하기 위한 입출력 장치이다. 사용자 인터페이스 장치(140)는 각종 기능의 작동 명령을 입력 받기 위한 입력부를 포함할 수 있고, 실행 중인 기능에 대한 정보 및 사용자에 의해 입력된 정보를 출력할 수 있는 출력부를 포함할 수 있다. 이러한 사용자 인터페이스 장치(140)는 AVN 장치일 수 있다.The
제어부(300)는 사용자 인터페이스 장치(140)를 통해 입력된 명령에 따라 차량(1)의 각종 기능이 실행되도록 구동부(150)를 제어할 수 있다. 도 1에 도시된 바와 같이, 사용자 인터페이스 장치(140)는 대시 보드에 설치될 수 있다.The
한편, 입력부는 대시보드의 중앙에 설치된 센터페시아에 마련될 수 있고, 물리 버튼, 노브, 터치 패드, 터치 스크린, 스틱형 조작 장치 또는 트랙볼 등을 이용하여 구현된 것일 수 있다. 입력부의 위치 및 구현 방식은 상기한 예에 한정되는 것은 아니며, 사용자의 입력을 수신할 수 있는 위치 및 구현 방식이면 제한 없이 포함될 수 있다.Meanwhile, the input unit may be provided at a center fascia installed in the center of the dashboard, and may be implemented using a physical button, a knob, a touch pad, a touch screen, a stick-type manipulation device, or a trackball. The location and implementation method of the input unit is not limited to the above example, and may be included without limitation as long as it is a location and implementation method capable of receiving user input.
사용자 인터페이스 장치(140)는 디스플레이를 포함할 수 있다. 디스플레이는 다양한 패널로 구현될 수 있다. 예를 들면, 디스플레이 패널은 발광 다이오드(Light Emitting Diode: LED) 패널, 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 또는 액정 디스플레이(Liquid Crystal Display) 패널일 수 있고, 터치 패널로 구현될 수 있다. 사용자 인터페이스 장치(140)가 터치 패널로 구현되는 경우, 터치 패널에 의해 입력부와 출력부의 기능이 모두 수행될 수 있다.The
또한, 사용자 인터페이스 장치(140)는 유아 상태 정보를 오디오 신호로 출력할 수 있는 스피커를 포함할 수 있다.In addition, the
구동부(150)는 차량(1)의 각종 기능 요소를 실행하거나 구동시킨다. 예를 들면, 차량(1)의 기능 요소는 운전 보조 시스템(DAS, driving assistance system), 공조 시스템, AVN(Audio video navigation) 시스템, 조명 시스템 중 적어도 하나를 포함할 수 있다.The driving
다시 말해, 제어부(300)는 구동부(150)를 제어하여 운전 보조 시스템(DAS, driving assistance system), 공조 시스템, AVN(Audio video navigation) 시스템, 조명 시스템 등의 기능 요소를 조절할 수 있다.In other words, the
운전 보조 시스템은 차선 이탈 경고(Lane Departure Warning, LDW), 차선 유지 보조(Lane Keeping Assist, LKA), 상향등 보조(High Beam Assist, HBA), 자동 긴급 제동(Autonomous Emergency Braking, AEB), 교통 표지판 인식(Traffic Sign Recognition, TSR), 스마트 크루즈 컨트롤(Smart Cruise Control, SCC), 사각 지대 감지(Blind Spot Detection, BSD), 주행 모드 변경 시스템 등을 포함할 수 있다.Driving assistance systems include Lane Departure Warning (LDW), Lane Keeping Assist (LKA), High Beam Assist (HBA), Autonomous Emergency Braking (AEB), and traffic sign recognition (Traffic Sign Recognition, TSR), Smart Cruise Control (SCC), Blind Spot Detection (BSD), and a driving mode change system.
주행 모드 변경 시스템은 수동 주행 모드, 자율 주행 모드, 스포츠 모드, 컴포트 모드, 에코 모드 등을 포함하는 차량(1)의 주행 모드를 변경하는 시스템이다. 차량(1)의 공조 시스템은 차량(1) 내부의 온도를 조절하거나 차량(1) 내부의 공기를 순환시키기 위한 시스템이다. 또한, 조명 시스템은 차량(1) 내부의 조명을 조절하기 위한 시스템이다.The driving mode changing system is a system for changing the driving mode of the
또한, 차량(1)의 기능 요소는 안전 시스템을 포함할 수 있다. 차량(1)의 안전 시스템으로는 차량 충돌 시 운전자 등 탑승자의 안전을 목적으로 하는 에어백 시스템, 차량의 가속 또는 코너링 시 차량의 자세를 안정적으로 유지하는 차량 자세 제어 시스템 등이 있다.In addition, the functional elements of the
감지부(200)는 유아의 움직임에 의한 압력을 감지하는 압력 센서(210), 유아의 배변에 의한 온도 변화를 감지하는 온도 센서(220), 유아의 심박수를 측정하는 심장 박동 센서(230), 유아의 울음 소리를 감지하는 소리 센서(240), 차량(1)에 탑승한 탑승자를 촬영하여 탑승자의 영상을 획득하고 영상 데이터를 생성하는 이미징 센서(250)를 포함할 수 있다. 특히, 이미징 센서(250)는 차량(1)에 탑승한 유아의 얼굴 표정 및 제스처를 촬영하고, 영상 데이터를 생성할 수 있다.The
또한, 감지부(200)에 포함되는 복수의 센서들은 차량(1) 내의 다양한 위치에 설치될 수 있다. 예를 들면, 복수의 센서들은 좌석(11, 12, 13) 및 안전벨트(미도시) 등에 마련될 수 있다.Also, a plurality of sensors included in the
감지부(200)에 포함될 수 있는 센서는 이에 한정되지 않으며, 다양한 센서들이 포함될 수 있다. 예를 들면, 피부 전기 전도도를 측정하는 전기 피부 반응(GSR, Galvanic Skin Response) 센서, 탑승자의 피부 온도를 측정하는 피부 온도(Skin temperature) 센서, 뇌파를 측정하는 뇌파(EEG, Electroencephalogram) 센서, 눈동자의 위치를 추적할 수 있는 아이 트랙커(Eye Tracker) 등이 차량(1) 내부에 마련될 수 있다.The sensor that may be included in the
차량(1) 내에 설치된 카시트(110)에 유아가 착석하면, 감지부(200)에 포함되는 복수의 센서(210, 220, 230, 240, 250)는 유아로부터 발생되는 신호를 감지하여 감지 데이터를 획득할 수 있다.When an infant is seated in the
이하, 도 4 내지 도 6을 참조하여, 제어부(300)에 대해 구체적으로 설명한다.Hereinafter, the
도 4는 감지 데이터와 유아 상태 정보 간의 관련성 데이터를 설명하기 위한 도면이다.4 is a view for explaining the relational data between the sensed data and the infant state information.
먼저, 제어부(300)는 하나 이상의 프로세서와 메모리를 포함할 수 있다. 메모리는 차량(1)을 제어하기 위한 알고리즘 데이터 또는 프로그램을 저장할 수 있고, 프로세서는 이러한 제어 알고리즘에 따라 차량(1)의 각종 장치들을 제어하는 제어 신호를 송출할 수 있다. 또한, 프로세서는 차량(1)의 작동을 위한 프로그램을 실행할 수 있다. 제어부(300)에 포함되는 메모리와 프로세서는 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리되는 것도 가능하다.First, the
도 3을 참조하면, 제어부(300)는 감지 데이터 처리부(310), 유아 상태 판단부(320) 및 구동 제어부(330)를 포함할 수 있다.Referring to FIG. 3, the
감지 데이터 처리부(310)는 감지부(200)에 의해 획득된 감지 데이터를 처리한다. 구체적으로, 감지 데이터 처리부(310)는 복수의 센서(210, 220, 230, 240, 250)에 의해 획득되는 복수의 감지 데이터에 가중치를 적용한다.The sensing
감지 데이터 처리부(310)는 미리 정해진 일정 시간 동안 획득되는 복수의 감지 데이터 중 최초로 획득되는 감지 데이터와 연관되는 감지 데이터를 추출하여 복수의 감지 데이터에 가중치를 적용할 수 있다. 또한, 감지 데이터 처리부(310)는 복수의 감지 데이터 중 최초 획득되는 감지 데이터에 가장 큰 가중치를 적용할 수 있다.The sensing
최초 감지 데이터에 가중치를 적용하는 것은 최초 감지 데이터에 기초하여 1차 분류 과정을 진행하는 것으로도 해석될 수 있다. 즉, 최초 감지 데이터에 근거하여 Decision Tree에서 1차 분류가 수행되고, 그 이후, 데이터에 의해 세부 분류가 추가적으로 수행됨으로써, 최초 데이터 이후의 데이터는 최초 데이터에 의존하게 될 수 있다.Applying a weight to the initial detection data may also be interpreted as performing a primary classification process based on the initial detection data. That is, the primary classification is performed in the Decision Tree based on the initial detection data, and then, after the detailed classification is additionally performed by the data, data after the initial data may depend on the initial data.
감지 데이터 처리부(310)는 저장부(130)에 저장되어 있는 복수의 감지 데이터와 유아 상태 정보 간의 관련성 데이터를 참조하여 복수의 감지 데이터에 가중치를 적용할 수 있다. 또한, 복수의 감지 데이터에 적용되는 가중치는 도 4에 도시된 것으로 한정되지 않고, 다양하게 설정될 수 있다.The sensing
예를 들어, 유아의 상태를 판단하기 위한 감지 데이터 획득 과정이 개시되면, 최초에 이미징 센서(250)에 의해 유아의 하품하는 얼굴 표정과 얼굴을 비비는 제스처가 감지될 수 있다. 이후, 소리 센서(240)에 의해 유아의 낮고 작은 울음 소리 데이터가 감지될 수 있다. 또한, 압력 센서(210)에 의해 유아의 작은 움직임이 감지될 수도 있다.For example, when a process of acquiring detection data for determining a state of an infant is initiated, the yawning facial expression and a gesture of rubbing the face of the infant may be first detected by the
이 경우, 감지 데이터 처리부(310)는 최초에 획득된 감지 데이터인 유아의 하품하는 얼굴 표정과 얼굴을 비비는 제스처 데이터와 연관되는 감지 데이터로서, 유아의 낮고 작은 울음 소리 데이터를 추출할 수 있다. 압력 센서(210)에 의해 감지된 유아의 작은 움직임 데이터는 유아의 하품하는 얼굴 표정과 얼굴을 비비는 제스처 데이터와 상대적으로 연관성이 낮다고 할 수 있다.In this case, the sensing
따라서, 도 4에 도시된 바와 같이, 감지 데이터 처리부(310)는 최초에 획득된 감지 데이터인 유아의 하품하는 얼굴 표정과 얼굴을 비비는 제스처 데이터에 60%의 가중치를 적용하고, 낮고 작은 울음 소리 데이터에 40%의 가중치를 적용할 수 있다.Therefore, as shown in FIG. 4, the sensing
또다른 예를 들면, 최초에 온도 센서(220)에 의해 시트의 온도가 증가하는 것이 감지될 수 있다. 이후, 이미징 센서(250)에 의해 창백해지거나 빨개지는 얼굴 표정이 감지될 수 있고, 소리 센서(240)에 의해 칭얼거리는 울음 소리(상대적으로 낮은 주파수와 낮은 데시벨의 소리)가 감지될 수 있다. 또한, 심장 박동 센서(230)에 의해 유아의 심장 박동수가 증가한 것이 감지될 수 있고, 압력 센서(210)에 의해 유아의 작은 움직임이 감지될 수도 있다.For another example, an increase in the temperature of the sheet may be detected initially by the
이 경우, 감지 데이터 처리부(310)는 최초에 획득된 감지 데이터인 시트 온도 증가 데이터와 연관되는 감지 데이터로서, 창백해지거나 빨개지는 얼굴 표정 데이터, 칭얼거리는 울음 소리 데이터 및 심장 박동수 증가 데이터를 추출할 수 있다. 압력 센서(210)에 의해 감지된 유아의 작은 움직임 데이터는 시트 온도 증가 데이터와 상대적으로 연관성이 낮다고 할 수 있다.In this case, the sensing
따라서, 도 4에 도시된 바와 같이, 감지 데이터 처리부(310)는 최초에 획득된 감지 데이터인 시트 온도 증가 데이터에 50%, 창백해지거나 빨개지는 얼굴 표정 데이터에 30%, 칭얼거리는 울음 소리 데이터 및 심장 박동수 증가 데이터에 10%의 가중치를 적용할 수 있다.Therefore, as shown in FIG. 4, the sensing
유아 상태 판단부(320)는 저장부(130)에 저장되어 있는 복수의 감지 데이터와 유아 상태 정보 간의 관련성 데이터를 탐색하여 가중치가 적용된 복수의 감지 데이터와 매칭되는 유아 상태 정보를 추출할 수 있다.The infant
구동 제어부(330)는 추출된 유아 상태 정보에 기초하여 차량(1)의 기능 요소가 조절되도록 구동부(150)를 제어할 수 있다.The driving
예를 들면, 유아 상태 판단부(320)는 60%의 가중치가 적용된 유아의 하품하는 얼굴 표정과 얼굴을 비비는 제스처 데이터 및 40%의 가중치가 적용된 낮고 작은 울음 소리 데이터와 매칭되는 유아 상태 정보로 '졸린 상태'를 추출할 수 있다. 사용자 인터페이스 장치(140)는 유아가 '졸린 상태'에 있음을 출력할 수 있다. 보호자는 사용자 인터페이스 장치(140)를 통해 출력되는 유아의 상태 정보를 신속히 제공받을 수 있고, 그에 따라 적절한 조치를 취할 수 있다.For example, the infant
구동 제어부(330)는 차량(1) 내부의 온도를 유아의 취침에 적절한 온도로 조절하기 위해 차량(1)의 기능 요소 중 공조 시스템에 대한 제어 신호를 생성하여 구동부(150)로 전송할 수 있다. 또한, 구동 제어부(330)는 차량(1) 내부의 조명을 어둡게 하기 위해 조명 시스템에 대한 제어 신호를 생성하여 구동부(150)로 전송할 수 있다. 구동부(150)는 공조 시스템에 대한 제어 신호를 수신하여 공조 시스템을 작동시키고, 조명 시스템에 대한 제어 신호를 수신하여 조명 시스템을 작동시킨다.The driving
도 4에는 유아 상태 정보가 배고픈 상태, 졸린 상태, 아픈 상태, 심심한 상태 및 배변한 상태를 포함하는 것으로 도시되어 있으나, 유아 상태 정보의 종류가 이에 한정되는 것은 아니다. 즉, 유아 상태 정보는 다양한 정보를 포함할 수 있다.4, the infant state information is shown to include a hungry state, a sleepy state, a sick state, a bored state, and a defecated state, but the type of the infant state information is not limited thereto. That is, infant status information may include various information.
한편, 저장부(130)에 저장되어 있는 복수의 감지 데이터와 유아 상태 정보 간의 관련성 데이터는 수많은 데이터들을 바탕으로 학습된 데이터이다. 제어부(300)는 복수의 센서에 의해 획득된 복수의 감지 데이터 및 매칭되는 유아 상태 정보를 이용하여 관련성 데이터를 업데이트 할 수 있다.Meanwhile, the relationship data between the plurality of detection data stored in the
예를 들면, 저장부(130)에 저장되어 있는 복수의 감지 데이터와 유아 상태 정보 간의 관련성 데이터에는 실제로 측정된 복수의 감지 데이터와 정확히 매칭되는 유아 상태 정보가 포함되어 있지 않을 수 있다. 따라서 유아의 상태를 보다 정확히 판단하기 위해, 복수의 감지 데이터와 유아 상태 정보 간의 관련성 데이터가 업데이트 될 필요성이 있다.For example, the relationship data between the plurality of detection data stored in the
한편, 사용자는 사용자 인터페이스 장치(140)를 통해 실제로 측정된 복수의 감지 데이터에 대응하는 유아 상태 정보를 입력할 수 있고, 그에 따라 복수의 감지 데이터와 유아 상태 정보 간의 관련성 데이터가 업데이트 될 수도 있다.Meanwhile, the user may input infant state information corresponding to a plurality of sensed data actually measured through the
유아 상태 판단부(320)는 복수의 감지 데이터에 기초하여 유아의 감정 정보를 획득하고, 획득한 감정 정보를 반영하여 유아 상태 정보를 추출할 수 있다. 다시 말해, 복수의 감지 데이터와 유아 상태 정보 간의 관련성 데이터에는 복수의 감지 데이터-유아의 감정 정보-유아 상태 정보 간의 관련성 데이터가 포함될 수 있다.The infant
도 5는 감지 데이터와 감정 인자 간의 상관 관계를 설명하기 위한 도면이다.5 is a diagram for explaining a correlation between sensed data and emotional factors.
도 5를 참조하면, 소리 센서(240)에 의해 감지되는 울음 소리, 뇌파(EEG) 및 얼굴 표정(Facial expression)과 감정 인자간의 상관 관계 정보(500)가 도시되어 있다.Referring to FIG. 5,
울음 소리는 혐오스러운(Disgust) 감정인자나 화난(Anger) 감정 인자와의 상관 관계 값이 각각 0.875, 0.775로서, 혐오스러운 감정 인자나 화난 감정 인자와 높은 관련성을 갖는 것을 알 수 있다. 따라서, 소리 센서(240)에 의해 수집된 유아의 울음 소리는, 유아의 감정이 화난 감정 또는 혐오스러운 감정이라고 판단할 수 있는 기초가 된다. 즐거운(Joy) 감정 인자의 경우 울음 소리와의 상관 관계 값이 상대적으로 낮은 값(0.353)이므로, 즐거운 감정 인자는 울음 소리와 관련성이 적다고 할 수 있다.As for the crying sound, correlation values with disgusting emotional factors or anger emotional factors are 0.875 and 0.775, respectively, and it can be seen that it has a high relationship with disgusting emotional factors or angry emotional factors. Therefore, the crying of the infant collected by the
EEG(Electroencephalogram) 신호는, 화난(Anger) 감정 인자나 두려운(Fear) 감정 인자와의 상관 관계 값이 각각 0.864, 0.878으로서, 다른 감정 인자보다 화난 감정 인자나 두려운 감정 인자와 높은 관련성을 가지고 있음을 알 수 있다. 따라서, EEG측정기(미도시)에 의해 수집된 감지 데이터는, 유아의 감정이 화난 감정이나 두려운 감정이라고 판단할 수 있는 기초가 된다.EEG(Electroencephalogram) signal has correlation value with Anger emotion factor or Fear emotion factor of 0.864 and 0.878, respectively, and it has higher correlation with angry emotion factor or fearful emotion factor than other emotion factors. Able to know. Therefore, the sensing data collected by the EEG measuring device (not shown) is the basis for determining that the infant's emotions are angry or fearful emotions.
또한, 도 5를 참조하면, 이미징 센서(250)에 의해 획득되는 표정1은 화난(Anger) 감정 인자 및 불안한(Anxiety) 감정 인자와의 상관 관계 값이 각각 0.87, 0.88로 나타난다. 즉, 표정 1은, 화난(Anger) 감정 인자 및 불안한(Anxiety) 감정 인자와 높은 관련성을 가지고 있음을 알 수 있다.In addition, referring to FIG. 5, the
얼굴 표정으로부터 감정 정보를 획득하기 위해, 얼굴 움직임 부호화 시스템(FACS, Facial Action Coding System)이 사용될 수 있다.In order to obtain emotion information from facial expressions, a facial action coding system (FACS) may be used.
구체적으로, 제어부(300)는 유아의 얼굴에서 특징점을 추출하고, 추출된 특징점을 이용하여 복수의 얼굴 요소를 추출할 수 있다. 복수의 얼굴 요소는 눈썹, 눈, 코, 입 등을 포함할 수 있다. 제어부(300)는 추출된 복수의 얼굴 요소 각각에 대한 패턴을 조합하고, 조합된 패턴을 저장부(130)에 저장된 얼굴 표정과 감정 인자 간의 상관 관계 정보(500)와 비교할 수 있다. 얼굴 표정과 감정 인자 간의 상관 관계 정보(500)는 얼굴 표정과 감정 상태와의 관계를 나타내는 정보에 해당한다.Specifically, the
이와 같이, 제어부(300)는 복수의 감지 데이터와 감정 인자 간 상관 관계 정보(500)를 이용하여 유아의 감정 정보를 획득할 수 있다. 도 5에 나타나 있는 정보들은 실험에 의해 나타난 결과일 뿐이므로, 실험 환경에 따라 다양하게 나타날 수 있다.As such, the
또한, 도 5는 울음 소리, 뇌파(EEG) 및 얼굴 표정과 감정 인자간의 상관 관계 정보만을 도시하였으나, 이에 한정되는 것은 아니다. 즉, 감지 데이터와 감정 인자 간 상관 관계 정보(500)는 차량(1)에 마련되는 복수의 센서로부터 획득되는 감지 데이터와 감정 인자 간의 관계를 포함할 수 있다.In addition, although FIG. 5 shows only the correlation information between the cry, EEG and facial expressions and emotion factors, the present invention is not limited thereto. That is, the
도 6은 감정 정보 획득에 이용되는 감정 모델을 설명하기 위한 도면이다.6 is a diagram for explaining an emotion model used for obtaining emotion information.
도 6을 참조하면, 감정 모델은 탑승자(유아)의 생체 신호에 따라 나타나는 탑승자의 감정을 그래프 상에 분류해 놓은 것이다. 감정 모델은 미리 설정된 감정축을 기준으로 탑승자의 감정을 분류한다. 감정축은 탑승자의 영상 또는 탑승자의 생체신호에 의해 측정된 감정을 기준으로 정해질 수 있다. 예를 들면, 감정축1은 탑승자의 음성이나 얼굴 표정으로 측정 가능한 긍정도 또는 부정도가 될 수 있고, 감정축2는 GSR이나 EEG로 측정 가능한 흥분도 또는 활성도가 될 수 있다.Referring to FIG. 6, the emotion model classifies the emotions of the occupants according to the biosignals of the occupants (infants) on the graph. The emotion model classifies the emotion of the occupant based on a preset emotion axis. The emotion axis may be determined based on the emotion measured by the passenger's image or the passenger's biosignal. For example, the
탑승자의 감정이 높은 긍정도와 높은 흥분도를 갖는 경우, 해당 감정은 감정1 또는 감정2로 분류될 수 있다. 반대로 탑승자의 감정이 음(-)의 긍정도 즉, 부정도를 갖고 높은 흥분도를 갖는 경우, 해당 감정은 감정3 또는 감정4로 분류될 수 있다.When the passenger's emotion has a high degree of affirmation and high excitement, the emotion may be classified as
이러한 감정모델은 러셀(Russell)의 감정모델일 수 있다. 러셀(Russell)의 감정모델은 x축과 y축 기반의 2차원 그래프로 표시되며, 기쁨(0도), 흥분(45도), 각성(90도), 고통(135도), 불쾌(180), 우울(225도), 졸림(270도), 이완(315도) 위치의 8개 영역으로 감정을 구분한다. 또한, 8개 영역은 총 28개 감정으로 구분되어 있으며 8개 영역에 속하는 유사 감정들로 분류되어 있다.Such an emotional model may be Russell's emotional model. Russell's emotional model is displayed in two-dimensional graphs based on the x-axis and y-axis, with joy (0 degrees), excitement (45 degrees), arousal (90 degrees), pain (135 degrees), discomfort (180) Emotions are divided into eight areas of depression, 225 degrees, sleepiness (270 degrees), and relaxation (315 degrees). In addition, the eight domains are divided into a total of 28 emotions and classified into similar emotions belonging to the eight domains.
이와 같이, 제어부(300)는 복수의 감지 데이터와 감정 인자 간 상관 관계 정보(500) 및 감정 모델을 이용하여 탑승자(유아)의 감정 정보를 획득할 수 있다.In this way, the
도 7은 일 실시예에 따른 차량의 제어 방법을 설명하는 순서도이다.7 is a flowchart illustrating a method of controlling a vehicle according to an embodiment.
도 7을 참조하면, 차량(1)의 좌석(12, 13)에 설치되는 카시트(110)에 유아가 착석하면, 차량(1)의 내부 및 카시트(110)에 설치된 복수의 센서는 유아로부터 발생되는 복수의 신호를 감지하고, 복수의 감지 데이터를 획득한다(701). 복수의 센서는 획득한 복수의 감지 데이터를 제어부(300)로 전송한다.Referring to FIG. 7, when an infant is seated in the
제어부(300)는 미리 정해진 일정 시간 동안 획득되는 복수의 감지 데이터 중 최초 획득되는 감지 데이터와 연관되는 감지 데이터를 추출한다(702). 또한, 제어부(300)는 복수의 감지 데이터에 가중치를 적용한다(703). 이 때, 제어부(300)는 복수의 감지 데이터 중 최초 획득되는 감지 데이터에 가장 큰 가중치를 적용할 수 있다.The
제어부(300)는 저장부(130)에 저장되어 있는 복수의 감지 데이터와 유아 상태 정보 간의 관련성 데이터를 탐색하여, 가중치가 적용된 복수의 감지 데이터와 매칭되는 유아 상태 정보를 추출한다(704). 제어부(300)는 추출한 유아 상태 정보가 출력되도록 사용자 인터페이스 장치(140)를 제어한다(706). 또한, 제어부(300)는 추출한 유아 상태 정보에 기초하여 차량의 기능 요소가 조절되도록 구동부(150)를 제어할 수 있다(707).The
상술한 바와 같이, 일 실시예에 따른 차량(1) 및 그 제어방법은, 복수의 센서에 의해 획득되는 감지 데이터를 처리함에 있어서 가중치를 적용하고, 감지 데이터와 연관되는 유아 상태 정보를 탐색함으로써 유아의 상태를 정확히 파악할 수 있다.As described above, the
또한, 일 측면에 따른 차량 및 그 제어방법에 따르면, 유아의 상태에 대응하여 차량의 기능을 적절히 조절할 수 있다.In addition, according to the vehicle and its control method according to one aspect, it is possible to appropriately adjust the function of the vehicle in response to the infant's condition.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.Meanwhile, the disclosed embodiments may be implemented in the form of a recording medium that stores instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may generate program modules to perform operations of the disclosed embodiments. The recording medium may be embodied as a computer-readable recording medium.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.The computer-readable recording medium includes all kinds of recording media storing instructions that can be read by a computer. For example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, and an optical data storage device.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.As described above, the disclosed embodiments have been described with reference to the accompanying drawings. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention may be practiced in different forms from the disclosed embodiments without changing the technical spirit or essential features of the present invention. The disclosed embodiments are illustrative and should not be construed as limiting.
1: 차량
110: 카시트
120: 통신부
130: 저장부
140: 사용자 인터페이스 장치
150: 구동부
200: 감지부
300: 제어부1: Vehicle
110: car seat
120: communication unit
130: storage unit
140: user interface device
150: driving unit
200: detection unit
300: control unit
Claims (18)
상기 복수의 감지 데이터와 유아 상태 정보 간의 관련성 데이터를 저장하는 저장부;
상기 복수의 센서에 의해 획득되는 상기 복수의 감지 데이터에 가중치를 적용하고, 상기 관련성 데이터를 탐색하여 상기 가중치가 적용된 복수의 감지 데이터와 매칭되는 상기 유아 상태 정보를 추출하는 제어부; 및
상기 유아 상태 정보를 출력하는 사용자 인터페이스 장치;를 포함하는 차량.A detachable car seat and a plurality of sensors provided inside the vehicle and acquiring a plurality of detection data by sensing a plurality of signals generated from an infant seated in the car seat;
A storage unit for storing relational data between the plurality of sensed data and infant state information;
A control unit that applies weights to the plurality of sensed data obtained by the plurality of sensors, searches the relevance data, and extracts the infant state information matching the plurality of sensed data to which the weights are applied; And
A vehicle comprising; a user interface device for outputting the infant status information.
상기 제어부는
미리 정해진 일정 시간 동안 획득되는 상기 복수의 감지 데이터 중 최초로 획득되는 감지 데이터와 연관되는 감지 데이터를 추출하여 상기 복수의 감지 데이터에 상기 가중치를 적용하는 차량.According to claim 1,
The control unit
A vehicle that extracts detection data associated with detection data first acquired from the plurality of detection data acquired for a predetermined period of time and applies the weight to the plurality of detection data.
상기 제어부는
상기 복수의 감지 데이터 중 최초 획득되는 감지 데이터에 가장 큰 가중치를 적용하는 차량.According to claim 1,
The control unit
A vehicle that applies the largest weight to the first acquired sensing data among the plurality of sensing data.
상기 복수의 센서는
상기 유아의 움직임에 의한 압력을 감지하는 압력 센서, 상기 유아의 배변에 의한 온도 변화를 감지하는 온도 센서, 상기 유아의 심박수를 측정하는 심장 박동 센서, 상기 유아의 울음 소리를 감지하는 소리 센서 및 상기 유아의 표정 및 제스처를 촬영하는 이미징 센서 중 적어도 하나를 포함하는 차량.According to claim 1,
The plurality of sensors
The pressure sensor for sensing the pressure caused by the movement of the infant, the temperature sensor for detecting the temperature change due to the bowel movement of the infant, the heart rate sensor for measuring the heart rate of the infant, the sound sensor for detecting the crying of the infant, and the A vehicle comprising at least one of an imaging sensor that photographs an infant's facial expressions and gestures.
상기 유아 상태 정보는
배고픈 상태, 졸린 상태, 아픈 상태, 심심한 상태 및 배변한 상태 중 적어도 하나를 포함하는 차량.According to claim 1,
The infant status information
Vehicles comprising at least one of hungry, sleepy, sick, bored and defecated.
차량의 기능 요소를 실행하는 구동부;를 더 포함하고,
상기 제어부는
상기 유아 상태 정보에 기초하여 상기 기능 요소가 조절되도록 차량의 구동부를 제어하는 차량.According to claim 1,
Further comprising a drive unit for performing the functional elements of the vehicle,
The control unit
A vehicle that controls the driving unit of the vehicle so that the functional element is adjusted based on the infant condition information.
상기 기능 요소는
운전 보조 시스템, 공조 시스템, AVN 시스템 및 조명 시스템 중 적어도 하나를 포함하는 차량.The method of claim 6,
The functional elements are
A vehicle comprising at least one of a driving assistance system, an air conditioning system, an AVN system, and a lighting system.
상기 제어부는
상기 복수의 감지 데이터에 기초하여 상기 유아의 감정 정보를 획득하고, 상기 감정 정보를 반영하여 상기 유아 상태 정보를 추출하는 차량.According to claim 1,
The control unit
A vehicle that acquires the emotion information of the infant based on the plurality of sensed data, and extracts the infant state information by reflecting the emotion information.
상기 제어부는,
상기 복수의 센서에 의해 획득된 복수의 감지 데이터 및 상기 매칭되는 상기 유아 상태 정보에 기초하여 상기 관련성 데이터를 업데이트 하는 차량.According to claim 1,
The control unit,
A vehicle that updates the relevance data based on a plurality of sensed data acquired by the plurality of sensors and the matched infant condition information.
상기 복수의 센서에 의해 획득되는 상기 복수의 감지 데이터에 가중치를 적용하는 단계;
상기 복수의 감지 데이터와 유아 상태 정보 간의 관련성 데이터를 탐색하여, 상기 가중치가 적용된 복수의 감지 데이터와 매칭되는 상기 유아 상태 정보를 추출하는 단계; 및
사용자 인터페이스 장치를 통해 상기 유아 상태 정보를 출력하는 단계;를 포함하는 차량의 제어 방법.Detecting a plurality of signals generated from an infant seated in the car seat using a detachable car seat and a plurality of sensors provided inside the vehicle, and acquiring a plurality of detection data;
Applying a weight to the plurality of sensed data obtained by the plurality of sensors;
Searching for relevance data between the plurality of sensed data and the infant state information, and extracting the infant state information matching the plurality of sensed data to which the weight is applied; And
And outputting the infant state information through a user interface device.
상기 가중치를 적용하는 단계는
미리 정해진 일정 시간 동안 획득되는 상기 복수의 감지 데이터 중 최초 획득되는 감지 데이터와 연관되는 감지 데이터를 추출하여 상기 복수의 감지 데이터에 상기 가중치를 적용하는 단계;를 포함하는 차량의 제어 방법.The method of claim 10,
Applying the weight is
And extracting detection data associated with the first acquired detection data among the plurality of detection data acquired for a predetermined period of time, and applying the weight to the plurality of detection data.
상기 가중치를 적용하는 단계는
상기 복수의 감지 데이터 중 최초 획득되는 감지 데이터에 가장 큰 가중치를 적용하는 단계;를 포함하는 차량의 제어 방법.The method of claim 10,
Applying the weight is
And applying the largest weight to the first acquired sensing data among the plurality of sensing data.
상기 복수의 센서는
상기 유아의 움직임에 의한 압력을 감지하는 압력 센서, 상기 유아의 배변에 의한 온도 변화를 감지하는 온도 센서, 상기 유아의 심박수를 측정하는 심장 박동 센서, 상기 유아의 울음 소리를 감지하는 소리 센서 및 상기 유아의 표정 및 제스처를 촬영하는 이미징 센서 중 적어도 하나를 포함하는 차량의 제어 방법.The method of claim 10,
The plurality of sensors
The pressure sensor for sensing the pressure caused by the movement of the infant, the temperature sensor for detecting the temperature change due to the bowel movement of the infant, the heart rate sensor for measuring the heart rate of the infant, the sound sensor for detecting the crying of the infant, and the A vehicle control method comprising at least one of an imaging sensor that photographs an infant's facial expression and gesture.
상기 유아 상태 정보는
배고픈 상태, 졸린 상태, 불편한 상태, 심심한 상태 및 배변한 상태 중 적어도 하나를 포함하는 차량의 제어방법.The method of claim 10,
The infant status information
A control method of a vehicle including at least one of a hungry state, a sleepy state, an uncomfortable state, a bored state, and a defecated state.
상기 유아 상태 정보에 기초하여 차량의 기능 요소가 조절되도록, 상기 기능 요소를 실행하는 구동부를 제어하는 단계;를 더 포함하는 차량의 제어방법.The method of claim 10,
And controlling a driving unit that executes the functional element so that a functional element of the vehicle is adjusted based on the infant condition information.
상기 기능 요소는
운전 보조 시스템, 공조 시스템, AVN 시스템 및 조명 시스템 중 적어도 하나를 포함하는 차량의 제어 방법.The method of claim 15,
The functional elements are
A control method of a vehicle including at least one of a driving assistance system, an air conditioning system, an AVN system, and a lighting system.
상기 유아 상태 정보를 추출하는 단계는
상기 복수의 감지 데이터에 기초하여 상기 유아의 감정 정보를 획득하고, 상기 감정 정보를 반영하여 상기 유아 상태 정보를 추출하는 단계;를 포함하는 차량의 제어 방법.The method of claim 10,
The step of extracting the infant status information is
And acquiring emotion information of the infant based on the plurality of sensed data, and extracting the infant state information by reflecting the emotion information.
상기 복수의 센서에 의해 획득된 복수의 감지 데이터 및 상기 매칭되는 상기 유아 상태 정보에 기초하여 상기 관련성 데이터를 업데이트 하는 단계;를 더 포함하는 차량의 제어 방법.The method of claim 10,
And updating the relevance data based on the plurality of sensed data obtained by the plurality of sensors and the matched infant condition information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180162841A KR102613180B1 (en) | 2018-12-17 | 2018-12-17 | Vehicle and control method for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180162841A KR102613180B1 (en) | 2018-12-17 | 2018-12-17 | Vehicle and control method for the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200080376A true KR20200080376A (en) | 2020-07-07 |
KR102613180B1 KR102613180B1 (en) | 2023-12-14 |
Family
ID=71603198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180162841A KR102613180B1 (en) | 2018-12-17 | 2018-12-17 | Vehicle and control method for the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102613180B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002067757A (en) * | 2000-09-05 | 2002-03-08 | Matsushita Electric Ind Co Ltd | Child seat |
KR20120011533A (en) * | 2010-07-29 | 2012-02-08 | 한국과학기술연구원 | Detection system of road line using both laser sensor and camera |
KR101851563B1 (en) * | 2017-02-13 | 2018-04-24 | 가천대학교 산학협력단 | Smart car seat and alarm systent for protecting Hot-car death, and the control method therefor |
KR20180059052A (en) * | 2016-11-25 | 2018-06-04 | 르노삼성자동차 주식회사 | System monitoring rear seats in a car |
-
2018
- 2018-12-17 KR KR1020180162841A patent/KR102613180B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002067757A (en) * | 2000-09-05 | 2002-03-08 | Matsushita Electric Ind Co Ltd | Child seat |
KR20120011533A (en) * | 2010-07-29 | 2012-02-08 | 한국과학기술연구원 | Detection system of road line using both laser sensor and camera |
KR20180059052A (en) * | 2016-11-25 | 2018-06-04 | 르노삼성자동차 주식회사 | System monitoring rear seats in a car |
KR101851563B1 (en) * | 2017-02-13 | 2018-04-24 | 가천대학교 산학협력단 | Smart car seat and alarm systent for protecting Hot-car death, and the control method therefor |
Also Published As
Publication number | Publication date |
---|---|
KR102613180B1 (en) | 2023-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11383721B2 (en) | System and method for responding to driver state | |
EP3158392B1 (en) | System and method for responding to driver state | |
US10486590B2 (en) | System and method for vehicle control integrating health priority alerts of vehicle occupants | |
US10908677B2 (en) | Vehicle system for providing driver feedback in response to an occupant's emotion | |
EP3889740B1 (en) | Affective-cognitive load based digital assistant | |
US20170368936A1 (en) | Driving assistance apparatus and driving assistance method | |
WO2021145131A1 (en) | Information processing device, information processing system, information processing method, and information processing program | |
JP2008217274A (en) | Driver status determination device and operation support device | |
WO2019208450A1 (en) | Driving assistance device, driving assistance method, and program | |
KR102613180B1 (en) | Vehicle and control method for the same | |
JP7537259B2 (en) | Attention target sharing device, attention target sharing method | |
KR102689884B1 (en) | Vehicle and control method for the same | |
US20200210737A1 (en) | System and method for monitoring driver inattentiveness using physiological factors | |
Dababneh et al. | Driver vigilance level detection systems: A literature survey | |
JPWO2021240769A5 (en) | Occupant Detection Device, Child Abandoned Alarm System, Occupant Detection Method and Child Abandoned Alarm Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |