KR20190063971A - Activity convenience system for personalized custom - Google Patents
Activity convenience system for personalized custom Download PDFInfo
- Publication number
- KR20190063971A KR20190063971A KR1020170163179A KR20170163179A KR20190063971A KR 20190063971 A KR20190063971 A KR 20190063971A KR 1020170163179 A KR1020170163179 A KR 1020170163179A KR 20170163179 A KR20170163179 A KR 20170163179A KR 20190063971 A KR20190063971 A KR 20190063971A
- Authority
- KR
- South Korea
- Prior art keywords
- module
- occupant
- passenger
- image
- vehicle
- Prior art date
Links
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims description 49
- 238000004378 air conditioning Methods 0.000 claims description 31
- 230000036760 body temperature Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 7
- 230000037237 body shape Effects 0.000 claims description 4
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 12
- 230000001186 cumulative effect Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
- B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
- B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mathematical Physics (AREA)
- Thermal Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 능동 편의 시스템에 대한 것으로서, 특히 융합 센서를 이용하여 탑승자 상태 및 차량 내부 상태에 따라 개인 맞춤형으로 편의를 제공하는 개인 맞춤형 능동 편의 시스템에 관한 것이다.The present invention relates to an active component system, and more particularly, to a personalized active component system that provides personalized comfort based on occupant status and internal state of the vehicle using a fusion sensor.
자동차, 즉, 차량은 사람이나 화물을 운반하는 등에 사용되는 이동수단을 의미한다. 이러한 차량에는 이동하는데 필요한 동력원 외에도 탑승자가 착석하는 시트와 탑승자가 쾌적한 환경에서 주행할 수 있도록하는 공조 시스템 등을 구비한다.A car, that is, a vehicle, means a means of transportation used to carry people or cargo. Such a vehicle is provided with a seat on which the occupant sits and an air conditioning system for enabling the occupant to travel in a pleasant environment, in addition to the power source necessary for the movement.
기존에는 차량의 공조 시스템과 시트를 탑승자가 수동으로 조작해야 했으나, 최근에는 탑승자가 주행에만 신경쓸 수 있도록 공조 시스템과 시트를 자동으로 제어하는 기술이 적용되고 있다. 하지만, 이러한 공조 시스템과 시트는 탑승자의 개별적인 특성이 워낙 복잡하고 다양하기 때문에, 탑승자가 설정한 값을 저장하여 설정 하거나 탑승자가 선택할 수 있는 모드를 제공하는 수준의 편의서비스를 제공하는 수준이 머물러 있으며, 탑승자마다 자동으로 최적의 편의를 제공하는데에는 한계가 있다.Conventionally, the air conditioning system and the seat of the vehicle have to be manually operated by passengers. Recently, however, technology for automatically controlling the air conditioning system and the seat has been applied so that the occupant can only care about driving. However, these air conditioning systems and seats are so complicated and diverse that the individual characteristics of the passengers remain so that they provide a convenient level of service that provides a mode in which passengers can select and store the values set by the passengers , There is a limit to automatically providing the optimum convenience for each passenger.
본 발명의 목적은 탑승자에 따라 능동적으로 맞춤동작하는 편의 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a convenience system that actively fits in accordance with a passenger.
상술한 목적을 달성하기 위해서, 본 발명은 열적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈을 포함하는 융합 센서 모듈과, 상기 융합 센서 모듈에서 획득된 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 융합하는 이미지 융합 모듈, 상기 이미지 융합 모듈에서 융합된 이미지를 처리하여 차량 실내 온도 정보와 탑승자 정보를 생성하는 이미지 처리 모듈, 상기 이미지 처리 모듈에서 생성된 차량 실내 온도 정보와 탑승자 정보를 기반으로 탑승자의 상태와 탑승자의 패턴 및 차량 실내 온도를 판단하는 어플리케이션 모듈, 및 상기 어플리케이션 모듈에서 판단된 결과에 따라 차량을 제어하는 차량 제어 모듈을 포함하는 개인 맞춤형 능동 편의 시스템을 제공한다.According to an aspect of the present invention, there is provided a method of modifying a thermal image, the method comprising: (a) combining a thermal infrared sensor module, a RGB sensor module, and a depth sensor module; An image fusion module; an image processing module for processing the image fused in the image fusion module to generate vehicle interior temperature information and occupant information; and a control unit for controlling the state of the occupant based on the vehicle interior temperature information and the occupant information generated by the image processing module An application module for determining a pattern of a passenger and a vehicle interior temperature, and a vehicle control module for controlling the vehicle according to a result determined by the application module.
상기 어플리케이션 모듈은, 상기 이미지 처리 모듈에서 탑승자를 검출하여 자세를 판단하는 탑승자 자세 판단 모듈과, 상기 탑승자의 행동패턴을 누적시켜 정상적인 행동패턴과 비정상적인 행동패턴을 판단하는 탑승자 행동 패턴 판단 모듈, 상기 탑승자의 체온을 검출하는 탑승자 체온 판단 모듈, 차량에 동승자가 있는지 판단하는 동승자 탑승 판단 모듈, 상기 탑승자가 수동으로 조절한 공조 조절 패턴을 판단하는 공조 조절 패턴 판단 모듈, 상기 탑승자가 수동으로 조절한 시트 조절 패턴을 판단하는 시트 조절 패턴 판단 모듈, 및 탑승자의 급격한 스티어링휠 조향을 판단하는 주행 패턴 판단 모듈을 포함한다. The application module includes a passenger attitude determination module for determining an attitude by detecting an occupant in the image processing module, a passenger behavior pattern determination module for accumulating a behavior pattern of the passenger to determine a normal behavior pattern and an abnormal behavior pattern, A passenger's body temperature judging module for detecting the body temperature of the occupant, a passenger boarding judging module for judging whether a passenger is present in the vehicle, an air conditioning control pattern judging module for judging the air conditioning control pattern manually adjusted by the passenger, A seat adjustment pattern determination module for determining a pattern, and a driving pattern determination module for determining an abrupt steering wheel steering of a passenger.
상기 이미지 처리 모듈은, 상기 병합 이미지 테이블 생성 모듈에서 생성된 병합 이미지의 시간의 흐름에 따른 다수개의 병합 이미지 테이블을 생성하는 병합 이미지 테이블 생성 모듈, 상기 병합 이미지 테이블 생성 모듈에서 생성된 다수개의 병합 이미지 테이블을 기반으로 변화된 픽셀 영역을 추출하여 변환 테이블을 생성하는 변환 테이블 생성 모듈, 상기 변환 테이블의 픽셀 데이터를 평균연산하는 데이터 평균연산 모듈, 및 상기 평균연산된 변환 테이블을 병합 이미지 테이블에 옵셋 적용하는 옵셋 적용 모듈을 포함한다.Wherein the image processing module comprises: a merged image table generation module for generating a plurality of merged image tables according to a time flow of the merged image generated by the merged image table generation module, a plurality of merged images generated by the merged image table generation module, A conversion table generation module for extracting a pixel area changed based on the table to generate a conversion table, a data averaging module for averaging the pixel data of the conversion table, and an averaging module for applying the averaged conversion table to the merged image table And an offset application module.
상기 차량 제어 모듈은, 상기 탑승자 체온 판단 모듈에서 판단된 탑승자 체온과 차량 실내 온도 및 동승자 체온 중 적어도 어느 하나를 기반으로 차량 공조를 제어하는 공조 제어 모듈과, 상기 탑승자 자세 판단 모듈에서 판단된 탑승자의 자세와 탑승자의 체형 및 상기 탑승자 행동 패턴 판단 모듈에서 판단된 탑승자의 행동패턴을 기반으로 차량의 시트를 제어하는 시트 제어 모듈을 포함한다.The vehicle control module includes an air conditioning control module for controlling the vehicle air conditioning based on at least one of the passenger body temperature, the vehicle interior temperature, and the occupant temperature determined by the passenger body temperature determination module, And a seat control module for controlling the seat of the vehicle based on the posture, the body shape of the occupant, and the behavior pattern of the occupant determined by the occupant behavior pattern determination module.
상기 차량 제어 모듈은, 상기 탑승자가 스티어링 휠을 손으로 잡고 있는 것을 판단하고, 상기 탑승자의 머리가 주행방향을 향하고 있는지 판단하며, 상기 탑승자가 외부자극에 반응을 하는지 판단하여 상기 탑승자의 주의를 환기시키는 DWD 경고 모듈을 포함한다.The vehicle control module determines whether the occupant is holding the steering wheel by hand, determines whether the head of the occupant is heading in the traveling direction, determines whether the occupant is responsive to an external stimulus, And a DWD warning module.
본 발명은 열적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈을 포함하는 융합 센서 모듈을 이용하여 탑승자 정보와 차량 실내 정보를 보다 정확하게 획득할 수 있다.The present invention can more accurately acquire occupant information and vehicle interior information by using a fusion sensor module including a thermal infrared sensor module, an RGB sensor module, and a depth sensor module.
또한, 본 발명은 융합 센서 모듈을 이용하여 탑승자 및 상황에 따라 상이한 탑승자 정보와 차량 실내 정보를 정확하게 획득함으로써, 개인 맞춤형 편의를 능동적으로 제공할 수 있다.In addition, the present invention can actively provide personalized convenience by accurately acquiring different passenger information and vehicle interior information according to the occupant and the situation using the fusion sensor module.
도 1은 본 발명에 따른 개인 맞춤형 능동 편의 시스템의 블록도.
도 2는 본 발명에 따른 개인 맞춤형 능동 편의 시스템의 융합 센서 모듈의 사시도.
도 3은 본 발명에 따른 병합 이미지 테이블의 예시도.
도 4는 본 발명에 따른 초기 병합 이미지 테이블 비교 모듈을 설명하기 위한 개념도.
도 5 내지 도 7은 본 발명에 따른 연산처리 영역을 설명하기 위한 개념도.
도 8 및 도 9는 본 발명에 따른 후기 병합 이미지 테이블 비교 모듈을 설명하기 위한 개념도.
도 10은 본 발명에 따른 데이터 평균연산 모듈을 설명하기 위한 개념도.
도 11 및 도 12는 본 발명에 따른 옵셋 적용 모듈을 설명하기 위한 개념도.1 is a block diagram of a personalized active comfort system in accordance with the present invention;
2 is a perspective view of a fusion sensor module of a personalized active component system in accordance with the present invention.
3 is an exemplary view of a merged image table according to the present invention;
4 is a conceptual diagram for explaining an initial merged image table comparison module according to the present invention;
5 to 7 are conceptual diagrams for explaining an arithmetic processing region according to the present invention.
8 and 9 are conceptual diagrams for explaining a later merged image table comparison module according to the present invention.
10 is a conceptual diagram for explaining a data averaging operation module according to the present invention;
11 and 12 are conceptual diagrams for explaining an offset application module according to the present invention.
이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의 동일 부호는 동일한 요소를 지칭한다.It will be understood by those of ordinary skill in the art that the present invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, It is provided to inform. Like reference numerals refer to like elements throughout.
도 1은 본 발명에 따른 개인 맞춤형 능동 편의 시스템의 블록도이다.1 is a block diagram of a personalized active pacing system in accordance with the present invention.
본 발명에 따른 개인 맞춤형 능동 편의 시스템은 도 1에 도시된 바와 같이, 융합 센서 모듈(100)과, 융합 센서 모듈(100)에서 획득된 이미지를 병합하여 병합 이미지를 생성하는 이미지 융합 모듈(200), 이미지 융합 모듈(200)에서 병합된 병합 이미지를 처리하여 차량 실내 온도 정보와 탑승자 정보를 생성하는 이미지 처리 모듈(300), 이미지 처리 모듈(300)에서 생성된 차량 실내 온도 정보와 탑승자 정보를 기반으로 탑승자의 상태와 탑승자의 패턴 및 차량 실내 온도를 판단하는 어플리케이션 모듈(400), 및 어플리케이션 모듈(400)에서 판단된 결과에 따라 차량을 제어하는 차량 제어 모듈(500)을 포함한다. 여기서, 탑승자 정보는 탑승자 자세 정보와 탑승자 행동 패턴 정보 및 탑승자 체온 정보를 포함한다. 또한, 동승자가 있을 경우, 탑승자 정보는 동승자 자세 정보와 동승자 행동 패턴 정보 및 동승자 체온 정보를 포함할 수 있다.1, the personalized active convenience system according to the present invention includes a
도 2는 본 발명에 따른 개인 맞춤형 능동 편의 시스템의 융합 센서 모듈의 사시도이다.2 is a perspective view of a fusion sensor module of a personalized active component system according to the present invention.
융합 센서 모듈(100)은 차량 내의 열과 빛을 획득하여 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 생성하도록 한다. 이를 위해서, 융합 센서 모듈(100)은 도 2에 도시된 바와 같이, 차량 내 온도 정보를 획득하는 열 적외선 센서 모듈(110)과, 차량 내 RGB 정보를 획득하는 RGB 센서 모듈(120), 및 차량 내 깊이 정보를 획득하는 깊이(3D-Depth) 센서 모듈(130)을 포함한다.The
열 적외선 센서 모듈(110)은 차량 내에 열적외선을 조사하여 온도 정보를 획득한다. 여기서 획득되는 온도 정보는 탑승자 체온 정보와 차량 실내 온도 정보를 포함한다. 또한, 동승자가 있을 경우 동승자 체온 정보도 포함한다.The thermal
RGB 센서 모듈(120)은 차량 내 RGB 정보를 획득한다. 이에 따라, RGB 정보는 탑승자 및 실내 밝기 정보를 포함한다.The
깊이 센서 모듈(130)은 차량 내 깊이 정보를 획득하며, 깊이 정보는 탑승자 상태 정보와 탑승자 체형 정보 및 탑승자 자세 정보를 포함한다.The
이미지 융합 모듈(200)은 열 적외선 센서 모듈(110)에서 획득된 열 적외선 이미지 생성 모듈(210)과, RGB 센서 모듈(120) RGB 이미지 생성 모듈(220), 깊이 이미지 생성 모듈(230), 및 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 병합하는 이미지 병합 모듈(240)을 포함한다.The
열 적외선 이미지 생성 모듈(210)은 열 적외선 센서 모듈(110)에서 획득된 온도 정보를 기반으로 열적외선 이미지를 생성한다. 이는 열 적외선 센서 모듈(110)에서 획득된 열적외선 정보를 디지털화하여 수행할 수 있다.The thermal infrared
RGB 이미지 생성 모듈(220)은 RGB 센서 모듈(120)에서 획득된 RGB 정보를 디지털화하여 RGB 이미지를 생성한다.The RGB
깊이 이미지 생성 모듈(230)은 깊이 센서 모듈(130)에서 획득된 깊이 정보를 기반으로 깊이 이미지를 생성한다. 여기서, 깊이 이미지 생성 모듈(230) 역시 깊이 센서 모듈(130)에서 획득된 깊이 정보를 디지털화하여 수행한다.The depth
이미지 병합 모듈(240)은 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 병합한다.The
이미지 처리 모듈(300)은 이미지 병합 모듈(240)에서 생성된 병합 이미지를 처리한다. 이러한 이미지 처리 모듈(300)은 병합 이미지 테이블 생성 모듈(310)과 변환 테이블 생성 모듈(320), 연산처리 영역 확장 모듈(326), 데이터 평균연산 모듈(330), 및 옵셋 적용 모듈(340)을 포함한다.The
도 3은 본 발명에 따른 병합 이미지 테이블의 예시도이다.3 is an exemplary view of a merged image table according to the present invention.
병합 이미지 테이블 생성 모듈(310)은 병합 이미지 생성 모듈에서 생성된 병합 이미지를 기반으로 형성된 병합 이미지 테이블을 생성한다. 여기서, 병합 이미지 테이블은 이미지 병합 모듈(240)에서 병합된 병합 이미지에서 온도 정보와 RGB 정보 및 깊이 정보를 디지털화한 것으로서, 본 실시예는 도 3에 도시된 바와 같이, 병합 이미지 테이블의 픽셀에는 가로, 세로 위치에 따른 위치 정보가 표시되어 있으며, 해당 픽셀에는 병합된 온도 정보와 RGB 정보 및 깊이 정보가 포함된다. 또한, 하나의 병합 이미지 테이블에 가로로 32개의 픽셀이 구비되고 세로로 32개의 픽셀이 구비된 총 1024픽셀(pixel)이 포함되는 것을 예시한다. 하지만, 본 발명은 이에 한정되는 것은 아니며, 하나의 병합 이미지 테이블에 포함되는 픽셀의 개수는 필요에 따라 1024픽셀 미만이거나 1024픽셀을 초과할 수 있다. 또한, 병합 이미지 테이블 생성 모듈(310)은 시간의 흐름에 따라 다수개의 병합 이미지 테이블을 생성하며, 생성된 다수개의 병합 이미지 테이블은 후술될 변환 테이블 생성 모듈(320)에 전달된다. 여기서, 본 실시예는 설명의 편의상 병합 이미지 테이블 생성 모듈(310)에서 생성되는 연속된 4개의 병합 이미지 테이블, 즉, 제1 병합 이미지 테이블과 제2 병합 이미지 테이블, 제3 병합 이미지 테이블 및 제4 병합 이미지 테이블을 예시한다.The merged image
변환 테이블 생성 모듈(320)은 시간에 따라 생성된 병합 이미지 테이블들을 서로 비교한다. 여기서, 변환 테이블 생성 모듈(320)은 제1 병합 이미지 테이블과 제2 병합 이미지 테이블을 비교하는 초기 병합 이미지 테이블 비교 모듈(321)과, 초기 병합 이미지 테이블 비교 모듈(321)에서 연산처리 영역을 지정하는 연산처리 영역 지정 모듈(322), 연산처리 영역 지정 모듈(322)에서 지정된 연산처리 영역으로 초기 변환 테이블을 생성하는 초기 변환 테이블 생성 모듈(323), 초기 변환 테이블을 기반으로 제2 병합 이미지 테이블 이후로 생성되는 병합 이미지 테이블들을 비교하여 변환 데이터를 추출하는 후기 병합 이미지 테이블 비교 모듈(324)과, 후기 병합 이미지 테이블 비교 모듈(324)에서 추출된 변환 데이터로 후기 변환 테이블을 생성하는 후기 변환 테이블 생성 모듈(325)을 포함한다.The conversion
도 4는 본 발명에 따른 초기 병합 이미지 테이블 비교 모듈을 설명하기 위한 개념도이다.4 is a conceptual diagram for explaining an initial merged image table comparison module according to the present invention.
초기 병합 이미지 테이블 비교 모듈(321)은 도 4에 도시된 바와 같이, 제1 병합 이미지 테이블(T1)과 제2 병합 이미지 테이블(T2)을 비교하되, 제1 병합 이미지 테이블(T1)의 1024픽셀과 제2 병합 이미지 테이블(T2)의 1024픽셀을 모두 비교한다. 또한, 초기 병합 이미지 테이블 비교 모듈(321)은 제1 병합 이미지 테이블(T1)과 제2 병합 이미지 테이블(T2)을 비교하고, 제1 병합 이미지 테이블(T1)과 대비하여 제2 병합 이미지 테이블(T2)에서 변화된 픽셀, 즉, 변환 데이터가 있는지 판단한다. 여기서, 본 발명은 병합 이미지 테이블들 만을 비교하여 변환 데이터를 추출하고, 이를 기반으로 공조기를 제어할 수 있다. 하지만, 후술될 연산처리 영역 지정 모듈(322)을 통해 보다 빠르게 병합 이미지 변화를 탐지한다.The initial merged image
도 5 내지 도 7은 본 발명에 따른 연산처리 영역을 설명하기 위한 개념도이다.5 to 7 are conceptual diagrams for explaining an arithmetic processing region according to the present invention.
연산처리 영역 지정 모듈(322)은 초기 병합 이미지 테이블 비교 모듈(321)에서 변환 데이터가 있는 것으로 판단하면, 도 5 내지 도 7에 도시된 바와 같이, 해당 영역을 연산처리 영역(CS)으로 지정하고 추출한다. 즉, 도 5에 도시된 바와 같이, 제1 병합 이미지 테이블과 제2 병합 이미지 테이블을 비교하여 변환 데이터가 있는 영역을 연산처리 영역(CS)으로 지정하고, 도 6에 도시된 바와 같이 이를 추출한다. 또한, 도 7에 도시된 바와 같이, 추출된 변환 데이터를 확정한다. 이러한 연산처리 영역(CS)은 모든 변환 데이터와 모든 변환 데이터 사이에 위치한 비변환 데이터를 포함하는 사각형상으로 형성되거나, 모든 변환 데이터만을 포함하는 형상으로 형성될 수 있다. 여기서, 사각형상으로 형성될 경우, 도 6에 도시된 바와 같이, 변환 데이터의 가장 가장자리에 위치한 픽셀을 수직, 수평하게 연장하여 모든 변환 데이터와 변환 데이터 사이에 위치하는 비변환 데이터까지 포함되는 사각형상인 연산처리 영역을 형성한다.When the initial merged image
초기 변환 테이블 생성 모듈(323)은 연산처리 영역 지정 모듈(322)에서 추출된 연산처리 영역으로 초기 변환 테이블인 제1 변환 테이블을 생성한다.The initial conversion
도 8 및 도 9는 본 발명에 따른 후기 병합 이미지 테이블 비교 모듈을 설명하기 위한 개념도이다.8 and 9 are conceptual diagrams for explaining a later merged image table comparison module according to the present invention.
후기 병합 이미지 테이블 비교 모듈(324)은 도 8에 도시된 바와 같이, 제N 변환 테이블과, 제2 병합 이미지 테이블 이후에 생성되는 병합 이미지 테이블, 즉, 제N+2 병합 이미지 테이블(여기서, N은 자연수)을 비교한다. 즉, 초기 변환 테이블 생성 모듈(323)에서 생성된 제1 변환 테이블과 제3 병합 이미지 테이블(T3)을 비교하고, 제1 변환 테이블과 제3 병합 이미지 테이블(T3)을 비교하여 생성된 제2 변환 테이블을 제4 병합 이미지 테이블과 비교한다. 여기서, 제2 변환 테이블은 제1 변환 테이블과 동일하게 변환 데이터를 연산처리 영역(CS)으로 지정하여 추출한 것이다. 즉, 본 발명은 제1 변환 테이블은 제1 병합 이미지 테이블과 제2 병합 이미지 테이블의 전체 영역을 비교하여 생성하나, 도 9에 도시된 바와 같이, 제2 변환 테이블부터는 병합 이미지 테이블의 전체 영역을 비교하지 않고 변화된 영역만을 비교한다.8, the late merged image
후기 변환 테이블 생성 모듈(325)은 제N+1 변환 테이블을 생성한다. 즉, 초기 변환 테이블 생성 모듈(323)은 제1 병합 이미지 테이블과 제2 병합 이미지 테이블, 즉, 초기 병합 이미지 테이블을 서로 비교하여 제1 변환 테이블을 생성하고, 후기 변환 테이블 생성 모듈(325)은 변환 테이블과 병합 이미지 테이블을 비교하여 변환 테이블을 생성한다. 예를 들어, 후기 변환 테이블 생성 모듈(325)은 제1 변환 테이블과 제3 병합 이미지 테이블을 비교하여 제2 변환 테이블을 생성하고, 제2 변환 테이블과 제4 병합 이미지 테이블을 비교하여 제3 변환 테이블을 생성한다.The late conversion
여기서, 본 발명은 고정된 연산처리 영역으로 열 감지를 수행할 경우, 연산처리 영역 이외의 영역에서 발생되는 병합 이미지 변화를 감지할 수 없는 문제점을 해결하기 위해서 연산처리 영역 확장을 수행할 수 있다. 또한, 이를 위해서, 본 발명은 연산처리 영역 확장 모듈(326)을 포함할 수 있다.In the present invention, when thermal sensing is performed on a fixed arithmetic processing region, it is possible to expand the arithmetic processing region in order to solve the problem that a merged image change occurring in an area other than the arithmetic processing region can not be detected. In addition, for this purpose, the present invention may include a computation processing
연산처리 영역 확장 모듈(326)은 연산처리 영역으로 지정된 영역을 확장시킨다. 연산처리 영역은 병합 이미지에서 변화가 일어나는 영역이며, 변화가 발생될 경우 연산처리 영역, 즉, 변화되는 영역에서 주변으로 서서히 넓어지며 일어나게 된다. 따라서, 본 발명은 연산처리 영역 주변으로 소정픽셀의 영역을 확장하여 연산처리 영역을 확장하며, 여기서 소정픽셀은 예를 들어, 3픽셀일 수 있다. 하지만, 본 발명은 이에 한정되는 것은 아니며, 소정픽셀은 3픽셀 미만이거나, 3픽셀을 초과할 수 있다. 또한, 만약 1024픽셀 중 연산처리 영역 주변으로 남은 픽셀이 3픽셀 미만일 경우, 남은 픽셀만을 확장영역으로 지정한다.The operation processing
도 10은 본 발명에 따른 데이터 평균연산 모듈을 설명하기 위한 개념도이다.10 is a conceptual diagram for explaining a data averaging operation module according to the present invention.
데이터 평균연산 모듈(330)은 변환 테이블을 평균연산하여 최종 변환 테이블을 확정한다. 이는 도 10에 도시된 바와 같이, 변환 테이블에서 중복되는 픽셀에 한하여 픽셀 데이터 평균을 구한다.The data
도 11 및 도 12는 본 발명에 따른 옵셋 적용 모듈을 설명하기 위한 개념도이다.11 and 12 are conceptual diagrams for explaining an offset application module according to the present invention.
옵셋 적용 모듈(340)은 최종 변환 테이블 확정 후 도 11에 도시된 연산처리 영역(CS)만큼 1024픽셀의 병합 이미지 테이블에 도 12에 도시된 바와 같이 옵셋을 적용하여 보정한 후 연산 처리를 수행한다. 여기서, 옵셋 적용 모듈(340)에서 생성된 테이블이 어플리케이션 모듈(400)에 출력될 최종 데이터가 된다. 예를 들어, 어플리케이션 모듈(400)은 수신한 최종 데이터를 기반으로 차량 내의 열 분포 변화를 파악하고, 온도가 높아지는 영역은 냉각시키는 등 차량 내를 쾌적하게 유지하도록 할 수 있다. 이때, 옵셋 적용 모듈(340)에서 생성된 테이블의 출력은 캔 버스(CAN BUS)를 통해 전송될 수 있다.After the final conversion table is finalized, the offset
어플리케이션 모듈(400)은 이미지 처리 모듈에서 처리된 이미지의 변화에 따라 탑승자의 자세와 행동패턴, 체온, 시트 조절 패턴, 시동 패턴, 공조 조절 패턴, 동승자 탑승, 차량 내 온도, 주행 환경을 판단한다. 이에 따라, 어플리케이션 모듈(400)은 탑승자 자세 판단 모듈(410)과, 탑승자 행동 패턴 판단 모듈(420), 탑승자 체온 판단 모듈(430), 동승자 탑승 판단 모듈(440), 공조 조절 패턴 판단 모듈(450), 시트 조절 패턴 판단 모듈(460), 주행 패턴 판단 모듈(470), 및 시동 패턴 판단 모듈(480)을 포함한다.The
탑승자 자세 판단 모듈(410)은 이미지 처리 모듈에서 처리된 이미지에서 탑승자를 검출하고, 검출된 탑승자의 자세를 판단한다. 이는 인공지능 학습에 의해 수행될 수 있다. 또한, 탑승자 자세 판단 모듈(410)에서 판단된 탑승자의 자세는 후술될 시트 제어 모듈(520)과 DWD 경고 모듈(530)에서 이용된다.The occupant's
탑승자 행동 패턴 판단 모듈(420)은 이미지 처리 모듈에서 처리된 이미지에서 탑승자를 검출하고, 검출된 탑승자의 움직임 변화를 연속적으로 감지하여 행동패턴을 판단한다. 여기서, 탑승자 행동 패턴 판단 모듈(420)은 검출된 탑승자의 움직임 변화를 연속적으로 감지하여 행동패턴을 판단하되, 이를 누적시켜 탑승자의 정상적인 행동패턴과 비정상적인 행동패턴을 구분한다. 이는 비율이 높은 탑승자 행동패턴을 정상적인 행동패턴으로 판단함으로써 수행할 수 있다. 물론, 탑승자 행동 패턴 판단 모듈(420)은 해당 탑승자가 이전 탑승자와 동일한 탑승자인지 체형 등을 통해 판단해야 한다. 또한, 탑승자 행동 패턴 판단 모듈(420)에서 판단된 탑승자 행동패턴은 후술될 시트 제어 모듈(520)과 DWD 경고 모듈(530)에 이용된다.The occupant behavior pattern determination module 420 detects the occupant in the image processed by the image processing module, and continuously senses the change in the motion of the occupant to determine the behavior pattern. Here, the occupant behavior pattern determination module 420 continuously detects the change in the motion of the occupant, determines the behavior pattern, and accumulates the same to distinguish the normal behavior pattern of the occupant from the abnormal behavior pattern. This can be done by determining the rider's behavior pattern as a normal behavior pattern. Of course, the occupant behavior pattern determination module 420 should determine whether the occupant is the same occupant as the previous occupant or not, through the body shape or the like. Also, the occupant behavior pattern determined by the occupant behavior pattern determination module 420 is used in the
탑승자 체온 판단 모듈(430)은 이미지 처리 모듈에서 처리된 이미지에서 탑승자를 검출하고, 탑승자의 체온을 판단한다. 이는 전술된 옵셋 적용 모듈(340)에서 옵셋을 적용하여 보정한 후 온도 연산 처리를 수행하여 판단할 수 있다. 탑승자 체온 판단 모듈(430)에서 판단된 탑승자 체온은 후술될 공조 제어 모듈(510)에서 이용된다. 한편, 탑승자 체온 판단 모듈(430)은 탑승자의 체온 뿐만 아니라 차량의 실내 온도도 판단한다. 더욱이, 탑승자 체온 판단 모듈(430)은 동승자 탑승 판단 모듈(440)에서 동승자를 검출하면, 동승자의 체온도 판단할 수 있다.The occupant
동승자 탑승 판단 모듈(440)은 이미지 처리 모듈에서 처리된 이미지에서 동승자를 검출한다. 옵셋 적용된 이미지에서 열적외선과 RGB 및 깊이 정보를 기반으로 검출할 수 있다. 즉, 전술된 정보를 통해 동승자의 아웃라인, 즉, 경계를 판단하여 동승자 탑승 여부를 판단할 수 있다.The passenger
공조 조절 패턴 판단 모듈(450)은 탑승자가 수동으로 공조 조절한 패턴을 판단한다. 또한, 공조 조절 패턴 판단 모듈(450)은 시간과 온도 및 세기를 평균값하고 탑승자에게 바람이 직분사 되는지 간접분사되는 패턴도 판단한다. 이는 탑승자의 체온 및 차량 실내 온도를 기반으로 자동으로 차량 공조 시스템을 작동시키더라도 탑승자에게 맞지 않을 수 있기 때문이다. 따라서, 본 발명은 탑승자가 수동으로 조절한 패턴을 판단하여 추후 공조 시스템 작동 시 이를 반영한다.The air conditioning adjustment
시트 조절 패턴 판단 모듈(460)은 공조 조절 패턴 판단 모듈(450)과 유사하게, 탑승자가 수동으로 시트를 조절한 패턴을 판단한다. 즉, 탑승자의 체형에 맞춰 시트가 자동으로 조절되더라도 탑승자가 불편할 수 있다. 이 경우, 탑승자는 자동 조절된 시트를 수동으로 조절하는데, 시트 조절 패턴 판단 모듈(460)은 이러한 시트 조절 패턴을 판단하여 추후 해당 탑승자의 시트를 조절할 때 이를 적용하여 해당 탑승자에게 최적화된 상태로 시트를 조절한다.Similar to the air conditioning adjustment
주행 패턴 판단 모듈(470)은 탑승자의 차량 주행 패턴을 판단한다. 이는 후술될 DWD 경고 모듈(530)이 DWD 경고 수행 여부를 결정하는데 이용된다. 특정 탑승자의 경우 차량 주행 패턴이 특이할 수 있다. 이는 예를 들어, 급격한 스티어링휠 조향을 수반하는 난폭운전이 포함될 수 있으며, 급격한 스티어링휠 조향은 소정시간 내에 소정각도 이상의 스티어링휠 조향이 기준횟수 이상 수행되는 것으로 판단할 수 있다. 주행 패턴 판단 모듈(470)은 해당 경우를 판단하여 해당 탑승자의 주행 패턴에 적용하여 DWD 경고 모듈(530)에서 핸들조작 DWD 판단 시 이를 반영하도록 한다.The travel
시동 패턴 판단 모듈(480)은 시동 패턴을 판단하여 탑승자가 탑승하는 시간을 예측하여 공조, 시트 등을 자동으로 미리 조절할 수 있다.The start-up
차량 제어 모듈(500)은 어플리케이션 모듈(400)을 통해 판단된 탑승자의 자세와 행동패턴, 체온, 시트 조절 패턴, 시동 패턴, 공조 조절 패턴, 동승자 탑승, 차량 내 온도, 주행 환경을 기반으로 차량의 공조와 시트를 제어하며, DWD 경고를 수행한다. 이를 위해서, 차량 제어 모듈(500)은 공조 제어 모듈(510)과 시트 제어 모듈(520), 및 DWD 경고 모듈(530)을 포함한다.The
공조 제어 모듈(510)은 탑승자 체온 판단 모듈(430)에서 판단된 탑승자 체온(동승자 체온 및 차량 실내 온도 포함)과, 공조 조절 패턴 판단 모듈(450)에서 판단된 공조 조절 패턴을 기반으로 차량의 공조 시스템을 제어한다.The air
시트 제어 모듈(520)은 탑승자 자세 판단 모듈(410)에서 판단된 탑승자 자세(탑승자 체형 포함)와 탑승자 행동 패턴 판단 모듈(420)에서 판단된 탑승자 행동패턴을 기반으로 차량의 시트를 제어한다. 여기서, 탑승자 행동패턴에 따른 차량 시트 자동 조절은 탑승자가 특정 행동, 예를 들어, 한쪽팔을 팔걸이 또는 차량 도어에 걸쳐서 주행하는 행동을 반영하여 시트를 조절하거나, 탑승자 자세 판단 모듈(410)에서 판단된 탑승자의 착석 자세를 판단하여 수행할 수 있다.The
DWD 경고 모듈(530)은 탑승자의 시각적 DWD와 물리적 DWD를 판단하여 탑승자의 주의를 환기시킨다. 여기서, 각각의 판단 항목에 따른 운전 중 주의분산 요소 및 레벨은 아래의 표 1과 같다.The
주의분산Dispersion of
이내2 seconds
Within
이내2 seconds
Within
이상2 seconds
More than
이내12 seconds
Within
이상12 seconds
More than
이상2 seconds
More than
이내2 seconds
Within
이상2 seconds
More than
이를 토대로 표 1을 살펴보면, 레벨 0은 탑승자가 핸들을 조작하고 있어 핸들조작에 문제가 없고, 주행방향을 응시하는 등 머리움직임에 문제가 없는 경우로서 운전에 집중 중인 상태인 것을 의미한다. 따라서, 레벨 0은 정상적인 주행상태이므로 경고가 필요없다. 레벨 1 내지 레벨 5의 경우 조건에 해당하면 탑승자에게 경고하여 주의를 환기시키며, 레벨 6 및 레벨 7의 경우 탑승자가 차량을 제어할 수 있는 상황이 아니므로 자율주행에 의해 차량을 갓길 등 보다 안전한 지역으로 이동시킨다. 여기서, 탑승자에 대한 경고는 시트/스티어링 휠 진동, 클러스터 경고등, AVN(오디오/비디오/내비게이션, 내비게이션 통합 모듈) 소리 경고 등을 통해 수행할 수 있다. 또한, 표 1에서 주의분산 누적시간은 시각적 주의분산 시간과 물리적 주의분산 시간을 합산한 시간을 의미한다.Based on this,
한편, 본 발명은 차량 내에 구비된 어플리케이션 모듈(400)을 통해 판단을 수행하는 것을 예시하였으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, 본 발명에서 영상 데이터는 스마트기기 앱을 통해 클라우드 서버로 전송하고, 인공지능 학습엔진으로 개인화 학습 후, 학습된 값을 다시 스마트기기 앱을 통해 어플리케이션 모듈(400)에 전송하여 시간이 흐를수록 학습에 의해 더욱 정확성이 높아지도록 할 수 있다.In the meantime, the present invention is exemplified to perform judgment through the
이상에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been fully described by way of example with reference to the accompanying drawings, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims.
100: 융합 센서 모듈
110: 열 적외선 센서 모듈
120: RGB 센서 모듈
130: 깊이 센서 모듈
200: 이미지 융합 모듈
210: 열 적외선 이미지 생성 모듈
220: RGB 이미지 생성 모듈
230: 깊이 이미지 생성 모듈
240: 이미지 융합 모듈
300: 이미지 처리 모듈
310: 병합 이미지 테이블 생성 모듈
320: 변환 테이블 생성 모듈
321: 초기 병합 이미지 테이블 비교 모듈
322: 연산처리 영역 지정 모듈
323: 초기 변환 테이블 생성 모듈
324: 후기 병합 이미지 테이블 비교 모듈
325: 후기 변환 테이블 생성 모듈
326: 연산처리 영역 확장 모듈
330: 데이터 평균연산 모듈
340: 옵셋 적용 모듈
400: 어플리케이션 모듈
410: 탑승자 자세 판단 모듈
420: 탑승자 행동 패턴 판단 모듈
430: 탑승자 체온 판단 모듈
440: 동승자 탑승 판단 모듈
450: 공조 조절 패턴 판단 모듈
460: 시트 조절 패턴 판단 모듈
470: 주행 패턴 판단 모듈
480: 시동 패턴 판단 모듈
500: 차량 제어 모듈
510: 공조 제어 모듈
520: 시트 제어 모듈
530: DWD 경고 모듈100: Fusion sensor module 110: Thermal infrared sensor module
120: RGB sensor module 130: Depth sensor module
200: Image fusion module
210: Thermal infrared image generation module
220: RGB image generation module 230: depth image generation module
240: Image fusion module 300: Image processing module
310: Merge image table generation module
320: Convert Table Generation Module
321: Initial Merge Image Table Comparison Module
322: Operation processing area designation module
323: initial conversion table generation module
324: Late Merge Image Table Comparison Module
325: late conversion table generation module 326: operation processing area extension module
330: Data average operation module 340: Offset application module
400: Application module 410: Occupant attitude determination module
420: occupant behavior pattern judgment module 430: occupant body temperature judgment module
440: passenger boarding judging module 450: air conditioning control pattern judging module
460: Seat adjustment pattern determination module 470: Travel pattern determination module
480: Startup pattern determination module 500: Vehicle control module
510: air conditioning control module 520: seat control module
530: DWD Warning Module
Claims (5)
상기 융합 센서 모듈에서 획득된 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 융합하는 이미지 융합 모듈,
상기 이미지 융합 모듈에서 융합된 이미지를 처리하여 차량 실내 온도 정보와 탑승자 정보를 생성하는 이미지 처리 모듈,
상기 이미지 처리 모듈에서 생성된 차량 실내 온도 정보와 탑승자 정보를 기반으로 탑승자의 상태와 탑승자의 패턴 및 차량 실내 온도를 판단하는 어플리케이션 모듈, 및
상기 어플리케이션 모듈에서 판단된 결과에 따라 차량을 제어하는 차량 제어 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.A fusion sensor module including a thermal infrared sensor module, an RGB sensor module and a depth sensor module,
An image fusion module for fusing the thermal infrared image obtained from the fusion sensor module with the RGB image and the depth image,
An image processing module processing the fused image in the image fusion module to generate vehicle room temperature information and occupant information,
An application module for determining a state of a passenger, a pattern of a passenger and a vehicle interior temperature based on the vehicle interior temperature information and the occupant information generated by the image processing module,
And a vehicle control module that controls the vehicle according to the result determined by the application module.
상기 어플리케이션 모듈은,
상기 이미지 처리 모듈에서 탑승자를 검출하여 자세를 판단하는 탑승자 자세 판단 모듈과, 상기 탑승자의 행동패턴을 누적시켜 정상적인 행동패턴과 비정상적인 행동패턴을 판단하는 탑승자 행동 패턴 판단 모듈, 상기 탑승자의 체온을 검출하는 탑승자 체온 판단 모듈, 차량에 동승자가 있는지 판단하는 동승자 탑승 판단 모듈, 상기 탑승자가 수동으로 조절한 공조 조절 패턴을 판단하는 공조 조절 패턴 판단 모듈, 상기 탑승자가 수동으로 조절한 시트 조절 패턴을 판단하는 시트 조절 패턴 판단 모듈, 및 탑승자의 급격한 스티어링휠 조향을 판단하는 주행 패턴 판단 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.The method according to claim 1,
The application module comprising:
A passenger behavior pattern determination module for determining a normal behavior pattern and an abnormal behavior pattern by accumulating the behavior pattern of the passenger, and a vehicle occupant behavior pattern determination module for detecting a body temperature of the occupant A passenger temperature determination module, a passenger boarding determination module for determining whether a passenger is present in the vehicle, an air conditioning adjustment pattern determination module for determining an air conditioning adjustment pattern manually controlled by the passenger, An adjustment pattern determination module, and a driving pattern determination module for determining a steerable steering wheel steering of a passenger.
상기 이미지 처리 모듈은,
상기 병합 이미지 테이블 생성 모듈에서 생성된 병합 이미지의 시간의 흐름에 따른 다수개의 병합 이미지 테이블을 생성하는 병합 이미지 테이블 생성 모듈,
상기 병합 이미지 테이블 생성 모듈에서 생성된 다수개의 병합 이미지 테이블을 기반으로 변화된 픽셀 영역을 추출하여 변환 테이블을 생성하는 변환 테이블 생성 모듈,
상기 변환 테이블의 픽셀 데이터를 평균연산하는 데이터 평균연산 모듈, 및
상기 평균연산된 변환 테이블을 병합 이미지 테이블에 옵셋 적용하는 옵셋 적용 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.3. The method of claim 2,
The image processing module comprising:
A merged image table generation module for generating a plurality of merged image tables according to the flow of time of the merged image generated by the merged image table generation module,
A conversion table generation module for extracting the changed pixel area based on the plurality of merged image tables generated by the merged image table generation module to generate a conversion table,
A data average operation module for averaging pixel data of the conversion table, and
And an offset applying module for offsetting the averaged calculated conversion table to a merged image table.
상기 차량 제어 모듈은,
상기 탑승자 체온 판단 모듈에서 판단된 탑승자 체온과 차량 실내 온도 및 동승자 체온 중 적어도 어느 하나를 기반으로 차량 공조를 제어하는 공조 제어 모듈과,
상기 탑승자 자세 판단 모듈에서 판단된 탑승자의 자세와 탑승자의 체형 및 상기 탑승자 행동 패턴 판단 모듈에서 판단된 탑승자의 행동패턴을 기반으로 차량의 시트를 제어하는 시트 제어 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.The method of claim 3,
The vehicle control module includes:
An air conditioning control module for controlling the vehicle air conditioning based on at least any one of a passenger's body temperature, a vehicle room temperature, and a passenger's body temperature determined by the passenger's temperature determining module;
And a seat control module for controlling the seat of the vehicle based on the occupant's posture determined by the occupant's posture determination module, the body shape of the occupant, and the behavior pattern of the occupant determined by the occupant's behavior pattern determination module.
상기 차량 제어 모듈은,
상기 탑승자가 스티어링 휠을 손으로 잡고 있는 것을 판단하고, 상기 탑승자의 머리가 주행방향을 향하고 있는지 판단하며, 상기 탑승자가 외부자극에 반응을 하는지 판단하여 상기 탑승자의 주의를 환기시키는 DWD 경고 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.The method of claim 3,
The vehicle control module includes:
A DWD warning module for determining that the occupant is holding the steering wheel by hand, determining whether the head of the occupant is heading in the traveling direction, and determining whether the occupant is responsive to an external stimulus to call attention of the occupant A personalized active comfort system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170163179A KR102559163B1 (en) | 2017-11-30 | 2017-11-30 | Activity convenience system for personalized custom |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170163179A KR102559163B1 (en) | 2017-11-30 | 2017-11-30 | Activity convenience system for personalized custom |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190063971A true KR20190063971A (en) | 2019-06-10 |
KR102559163B1 KR102559163B1 (en) | 2023-07-26 |
Family
ID=66848408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170163179A KR102559163B1 (en) | 2017-11-30 | 2017-11-30 | Activity convenience system for personalized custom |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102559163B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200069585A (en) * | 2018-12-07 | 2020-06-17 | 전자부품연구원 | Appratus and method for intelligent vehicle convenience control |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010083204A (en) * | 2008-09-29 | 2010-04-15 | Denso Corp | Air conditioning device for vehicle |
KR20120046909A (en) | 2010-11-01 | 2012-05-11 | 현대모비스 주식회사 | Automatic control system for vehicle seat |
KR20130007870A (en) * | 2011-07-11 | 2013-01-21 | 현대모비스 주식회사 | Passenger sensing system based on image information and method thereof |
KR20150108138A (en) * | 2014-03-17 | 2015-09-25 | 엘에스산전 주식회사 | Apparatus for controlling vehcle and operating method thereof |
KR20160124334A (en) * | 2015-04-17 | 2016-10-27 | (주)보강하이텍 | Image diagnostic apparatus using multi-camera |
KR20170109275A (en) * | 2016-03-21 | 2017-09-29 | 현대자동차주식회사 | Vehicle and controlling method of the same |
-
2017
- 2017-11-30 KR KR1020170163179A patent/KR102559163B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010083204A (en) * | 2008-09-29 | 2010-04-15 | Denso Corp | Air conditioning device for vehicle |
KR20120046909A (en) | 2010-11-01 | 2012-05-11 | 현대모비스 주식회사 | Automatic control system for vehicle seat |
KR20130007870A (en) * | 2011-07-11 | 2013-01-21 | 현대모비스 주식회사 | Passenger sensing system based on image information and method thereof |
KR20150108138A (en) * | 2014-03-17 | 2015-09-25 | 엘에스산전 주식회사 | Apparatus for controlling vehcle and operating method thereof |
KR20160124334A (en) * | 2015-04-17 | 2016-10-27 | (주)보강하이텍 | Image diagnostic apparatus using multi-camera |
KR20170109275A (en) * | 2016-03-21 | 2017-09-29 | 현대자동차주식회사 | Vehicle and controlling method of the same |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200069585A (en) * | 2018-12-07 | 2020-06-17 | 전자부품연구원 | Appratus and method for intelligent vehicle convenience control |
Also Published As
Publication number | Publication date |
---|---|
KR102559163B1 (en) | 2023-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109866657B (en) | Systems, methods, and apparatus for providing automatic passenger seat adjustment in a vehicle | |
US10926773B2 (en) | Systems and methods for mitigating motion sickness in a vehicle | |
US20160368509A1 (en) | Method for adjusting a position of a component of a vehicle | |
JP6650032B2 (en) | Vehicle control system based on human face recognition | |
US11358470B2 (en) | Method for operating a display apparatus for a motor vehicle, and motor vehicle | |
EP3142902B1 (en) | Display device and vehicle | |
CN113276794A (en) | Controller, vehicle, and non-transitory computer readable medium | |
JP2017021651A (en) | Vehicle control device | |
JP6756174B2 (en) | Vehicle control device | |
EP4002301A1 (en) | Method, device and system for controlling at least one drive assistance system of a motor vehicle | |
US20210155122A1 (en) | Apparatus and method for controlling interior of vehicle | |
US20210188324A1 (en) | Autonomous controller, vehicle system including the same, and method thereof | |
KR102508511B1 (en) | System for automatic driving | |
KR20190063971A (en) | Activity convenience system for personalized custom | |
JP7268526B2 (en) | VEHICLE DISPLAY CONTROL DEVICE AND VEHICLE DISPLAY SYSTEM | |
EP4029716A1 (en) | Vehicle interactive system and method, storage medium, and vehicle | |
US20240051585A1 (en) | Information processing apparatus, information processing method, and information processing program | |
US20210237577A1 (en) | Method And System For Controlling Motor Vehicle Functions | |
WO2023145168A1 (en) | Vehicle integration control device and vehicle integration control method | |
US20220024459A1 (en) | Motion sickness reduction system and method for vehicle occupants | |
JP7322667B2 (en) | Driver state estimation device | |
US12026958B2 (en) | Vehicle camera mirror system with adjustable video feed | |
US20240025251A1 (en) | Vehicle human machine interface generating system and method for generating the same | |
JP7342635B2 (en) | Driver state estimation device and driver state estimation method | |
JP7276083B2 (en) | Driver state estimation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |