KR20190063971A - Activity convenience system for personalized custom - Google Patents

Activity convenience system for personalized custom Download PDF

Info

Publication number
KR20190063971A
KR20190063971A KR1020170163179A KR20170163179A KR20190063971A KR 20190063971 A KR20190063971 A KR 20190063971A KR 1020170163179 A KR1020170163179 A KR 1020170163179A KR 20170163179 A KR20170163179 A KR 20170163179A KR 20190063971 A KR20190063971 A KR 20190063971A
Authority
KR
South Korea
Prior art keywords
module
occupant
passenger
image
vehicle
Prior art date
Application number
KR1020170163179A
Other languages
Korean (ko)
Other versions
KR102559163B1 (en
Inventor
이창훈
황호훈
이선용
김영수
Original Assignee
주식회사 유니크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유니크 filed Critical 주식회사 유니크
Priority to KR1020170163179A priority Critical patent/KR102559163B1/en
Publication of KR20190063971A publication Critical patent/KR20190063971A/en
Application granted granted Critical
Publication of KR102559163B1 publication Critical patent/KR102559163B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60HARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00742Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to an active convenience system and, more specifically, relates to an active convenience system for personalized custom to provide convenience for personalized custom in accordance with a passenger state and an internal state of a vehicle. According to the present invention, a fusion sensor module having a thermal infrared sensor module, an RGB sensor module, and a depth sensor module is used to more accurately acquire passenger information and vehicle interior information. Moreover, according to the present invention, Moreover, according to the present invention, the fusion sensor module is used to accurately acquire passenger information and vehicle interior information different in accordance with a passenger and a situation to actively provide convenience for personalized custom.

Description

개인 맞춤형 능동 편의 시스템{ACTIVITY CONVENIENCE SYSTEM FOR PERSONALIZED CUSTOM}[0001] ACTIVITY CONVENIENCE SYSTEM FOR PERSONALIZED CUSTOM [0002]

본 발명은 능동 편의 시스템에 대한 것으로서, 특히 융합 센서를 이용하여 탑승자 상태 및 차량 내부 상태에 따라 개인 맞춤형으로 편의를 제공하는 개인 맞춤형 능동 편의 시스템에 관한 것이다.The present invention relates to an active component system, and more particularly, to a personalized active component system that provides personalized comfort based on occupant status and internal state of the vehicle using a fusion sensor.

자동차, 즉, 차량은 사람이나 화물을 운반하는 등에 사용되는 이동수단을 의미한다. 이러한 차량에는 이동하는데 필요한 동력원 외에도 탑승자가 착석하는 시트와 탑승자가 쾌적한 환경에서 주행할 수 있도록하는 공조 시스템 등을 구비한다.A car, that is, a vehicle, means a means of transportation used to carry people or cargo. Such a vehicle is provided with a seat on which the occupant sits and an air conditioning system for enabling the occupant to travel in a pleasant environment, in addition to the power source necessary for the movement.

기존에는 차량의 공조 시스템과 시트를 탑승자가 수동으로 조작해야 했으나, 최근에는 탑승자가 주행에만 신경쓸 수 있도록 공조 시스템과 시트를 자동으로 제어하는 기술이 적용되고 있다. 하지만, 이러한 공조 시스템과 시트는 탑승자의 개별적인 특성이 워낙 복잡하고 다양하기 때문에, 탑승자가 설정한 값을 저장하여 설정 하거나 탑승자가 선택할 수 있는 모드를 제공하는 수준의 편의서비스를 제공하는 수준이 머물러 있으며, 탑승자마다 자동으로 최적의 편의를 제공하는데에는 한계가 있다.Conventionally, the air conditioning system and the seat of the vehicle have to be manually operated by passengers. Recently, however, technology for automatically controlling the air conditioning system and the seat has been applied so that the occupant can only care about driving. However, these air conditioning systems and seats are so complicated and diverse that the individual characteristics of the passengers remain so that they provide a convenient level of service that provides a mode in which passengers can select and store the values set by the passengers , There is a limit to automatically providing the optimum convenience for each passenger.

대한민국 공개특허공보 제10-2012-0046909호(2012.05.11. 공개)Korean Patent Laid-Open Publication No. 10-2012-0046909 (published May 11, 2012)

본 발명의 목적은 탑승자에 따라 능동적으로 맞춤동작하는 편의 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a convenience system that actively fits in accordance with a passenger.

상술한 목적을 달성하기 위해서, 본 발명은 열적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈을 포함하는 융합 센서 모듈과, 상기 융합 센서 모듈에서 획득된 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 융합하는 이미지 융합 모듈, 상기 이미지 융합 모듈에서 융합된 이미지를 처리하여 차량 실내 온도 정보와 탑승자 정보를 생성하는 이미지 처리 모듈, 상기 이미지 처리 모듈에서 생성된 차량 실내 온도 정보와 탑승자 정보를 기반으로 탑승자의 상태와 탑승자의 패턴 및 차량 실내 온도를 판단하는 어플리케이션 모듈, 및 상기 어플리케이션 모듈에서 판단된 결과에 따라 차량을 제어하는 차량 제어 모듈을 포함하는 개인 맞춤형 능동 편의 시스템을 제공한다.According to an aspect of the present invention, there is provided a method of modifying a thermal image, the method comprising: (a) combining a thermal infrared sensor module, a RGB sensor module, and a depth sensor module; An image fusion module; an image processing module for processing the image fused in the image fusion module to generate vehicle interior temperature information and occupant information; and a control unit for controlling the state of the occupant based on the vehicle interior temperature information and the occupant information generated by the image processing module An application module for determining a pattern of a passenger and a vehicle interior temperature, and a vehicle control module for controlling the vehicle according to a result determined by the application module.

상기 어플리케이션 모듈은, 상기 이미지 처리 모듈에서 탑승자를 검출하여 자세를 판단하는 탑승자 자세 판단 모듈과, 상기 탑승자의 행동패턴을 누적시켜 정상적인 행동패턴과 비정상적인 행동패턴을 판단하는 탑승자 행동 패턴 판단 모듈, 상기 탑승자의 체온을 검출하는 탑승자 체온 판단 모듈, 차량에 동승자가 있는지 판단하는 동승자 탑승 판단 모듈, 상기 탑승자가 수동으로 조절한 공조 조절 패턴을 판단하는 공조 조절 패턴 판단 모듈, 상기 탑승자가 수동으로 조절한 시트 조절 패턴을 판단하는 시트 조절 패턴 판단 모듈, 및 탑승자의 급격한 스티어링휠 조향을 판단하는 주행 패턴 판단 모듈을 포함한다. The application module includes a passenger attitude determination module for determining an attitude by detecting an occupant in the image processing module, a passenger behavior pattern determination module for accumulating a behavior pattern of the passenger to determine a normal behavior pattern and an abnormal behavior pattern, A passenger's body temperature judging module for detecting the body temperature of the occupant, a passenger boarding judging module for judging whether a passenger is present in the vehicle, an air conditioning control pattern judging module for judging the air conditioning control pattern manually adjusted by the passenger, A seat adjustment pattern determination module for determining a pattern, and a driving pattern determination module for determining an abrupt steering wheel steering of a passenger.

상기 이미지 처리 모듈은, 상기 병합 이미지 테이블 생성 모듈에서 생성된 병합 이미지의 시간의 흐름에 따른 다수개의 병합 이미지 테이블을 생성하는 병합 이미지 테이블 생성 모듈, 상기 병합 이미지 테이블 생성 모듈에서 생성된 다수개의 병합 이미지 테이블을 기반으로 변화된 픽셀 영역을 추출하여 변환 테이블을 생성하는 변환 테이블 생성 모듈, 상기 변환 테이블의 픽셀 데이터를 평균연산하는 데이터 평균연산 모듈, 및 상기 평균연산된 변환 테이블을 병합 이미지 테이블에 옵셋 적용하는 옵셋 적용 모듈을 포함한다.Wherein the image processing module comprises: a merged image table generation module for generating a plurality of merged image tables according to a time flow of the merged image generated by the merged image table generation module, a plurality of merged images generated by the merged image table generation module, A conversion table generation module for extracting a pixel area changed based on the table to generate a conversion table, a data averaging module for averaging the pixel data of the conversion table, and an averaging module for applying the averaged conversion table to the merged image table And an offset application module.

상기 차량 제어 모듈은, 상기 탑승자 체온 판단 모듈에서 판단된 탑승자 체온과 차량 실내 온도 및 동승자 체온 중 적어도 어느 하나를 기반으로 차량 공조를 제어하는 공조 제어 모듈과, 상기 탑승자 자세 판단 모듈에서 판단된 탑승자의 자세와 탑승자의 체형 및 상기 탑승자 행동 패턴 판단 모듈에서 판단된 탑승자의 행동패턴을 기반으로 차량의 시트를 제어하는 시트 제어 모듈을 포함한다.The vehicle control module includes an air conditioning control module for controlling the vehicle air conditioning based on at least one of the passenger body temperature, the vehicle interior temperature, and the occupant temperature determined by the passenger body temperature determination module, And a seat control module for controlling the seat of the vehicle based on the posture, the body shape of the occupant, and the behavior pattern of the occupant determined by the occupant behavior pattern determination module.

상기 차량 제어 모듈은, 상기 탑승자가 스티어링 휠을 손으로 잡고 있는 것을 판단하고, 상기 탑승자의 머리가 주행방향을 향하고 있는지 판단하며, 상기 탑승자가 외부자극에 반응을 하는지 판단하여 상기 탑승자의 주의를 환기시키는 DWD 경고 모듈을 포함한다.The vehicle control module determines whether the occupant is holding the steering wheel by hand, determines whether the head of the occupant is heading in the traveling direction, determines whether the occupant is responsive to an external stimulus, And a DWD warning module.

본 발명은 열적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈을 포함하는 융합 센서 모듈을 이용하여 탑승자 정보와 차량 실내 정보를 보다 정확하게 획득할 수 있다.The present invention can more accurately acquire occupant information and vehicle interior information by using a fusion sensor module including a thermal infrared sensor module, an RGB sensor module, and a depth sensor module.

또한, 본 발명은 융합 센서 모듈을 이용하여 탑승자 및 상황에 따라 상이한 탑승자 정보와 차량 실내 정보를 정확하게 획득함으로써, 개인 맞춤형 편의를 능동적으로 제공할 수 있다.In addition, the present invention can actively provide personalized convenience by accurately acquiring different passenger information and vehicle interior information according to the occupant and the situation using the fusion sensor module.

도 1은 본 발명에 따른 개인 맞춤형 능동 편의 시스템의 블록도.
도 2는 본 발명에 따른 개인 맞춤형 능동 편의 시스템의 융합 센서 모듈의 사시도.
도 3은 본 발명에 따른 병합 이미지 테이블의 예시도.
도 4는 본 발명에 따른 초기 병합 이미지 테이블 비교 모듈을 설명하기 위한 개념도.
도 5 내지 도 7은 본 발명에 따른 연산처리 영역을 설명하기 위한 개념도.
도 8 및 도 9는 본 발명에 따른 후기 병합 이미지 테이블 비교 모듈을 설명하기 위한 개념도.
도 10은 본 발명에 따른 데이터 평균연산 모듈을 설명하기 위한 개념도.
도 11 및 도 12는 본 발명에 따른 옵셋 적용 모듈을 설명하기 위한 개념도.
1 is a block diagram of a personalized active comfort system in accordance with the present invention;
2 is a perspective view of a fusion sensor module of a personalized active component system in accordance with the present invention.
3 is an exemplary view of a merged image table according to the present invention;
4 is a conceptual diagram for explaining an initial merged image table comparison module according to the present invention;
5 to 7 are conceptual diagrams for explaining an arithmetic processing region according to the present invention.
8 and 9 are conceptual diagrams for explaining a later merged image table comparison module according to the present invention.
10 is a conceptual diagram for explaining a data averaging operation module according to the present invention;
11 and 12 are conceptual diagrams for explaining an offset application module according to the present invention.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의 동일 부호는 동일한 요소를 지칭한다.It will be understood by those of ordinary skill in the art that the present invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, It is provided to inform. Like reference numerals refer to like elements throughout.

도 1은 본 발명에 따른 개인 맞춤형 능동 편의 시스템의 블록도이다.1 is a block diagram of a personalized active pacing system in accordance with the present invention.

본 발명에 따른 개인 맞춤형 능동 편의 시스템은 도 1에 도시된 바와 같이, 융합 센서 모듈(100)과, 융합 센서 모듈(100)에서 획득된 이미지를 병합하여 병합 이미지를 생성하는 이미지 융합 모듈(200), 이미지 융합 모듈(200)에서 병합된 병합 이미지를 처리하여 차량 실내 온도 정보와 탑승자 정보를 생성하는 이미지 처리 모듈(300), 이미지 처리 모듈(300)에서 생성된 차량 실내 온도 정보와 탑승자 정보를 기반으로 탑승자의 상태와 탑승자의 패턴 및 차량 실내 온도를 판단하는 어플리케이션 모듈(400), 및 어플리케이션 모듈(400)에서 판단된 결과에 따라 차량을 제어하는 차량 제어 모듈(500)을 포함한다. 여기서, 탑승자 정보는 탑승자 자세 정보와 탑승자 행동 패턴 정보 및 탑승자 체온 정보를 포함한다. 또한, 동승자가 있을 경우, 탑승자 정보는 동승자 자세 정보와 동승자 행동 패턴 정보 및 동승자 체온 정보를 포함할 수 있다.1, the personalized active convenience system according to the present invention includes a fusion sensor module 100, an image fusion module 200 for merging images acquired by the fusion sensor module 100 to generate a fusion image, An image processing module 300 for processing the merged merged image in the image fusion module 200 to generate the vehicle interior temperature information and the occupant information, the vehicle interior temperature information and the occupant information generated by the image processing module 300, An application module 400 for determining a state of a passenger, a pattern of a passenger and a vehicle interior temperature, and a vehicle control module 500 for controlling the vehicle according to a result determined by the application module 400. Here, the occupant information includes occupant attitude information, occupant behavior pattern information, and occupant body temperature information. In addition, when there is a passenger, the passenger information may include passenger attitude information, passenger behavior pattern information, and passenger temperature information.

도 2는 본 발명에 따른 개인 맞춤형 능동 편의 시스템의 융합 센서 모듈의 사시도이다.2 is a perspective view of a fusion sensor module of a personalized active component system according to the present invention.

융합 센서 모듈(100)은 차량 내의 열과 빛을 획득하여 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 생성하도록 한다. 이를 위해서, 융합 센서 모듈(100)은 도 2에 도시된 바와 같이, 차량 내 온도 정보를 획득하는 열 적외선 센서 모듈(110)과, 차량 내 RGB 정보를 획득하는 RGB 센서 모듈(120), 및 차량 내 깊이 정보를 획득하는 깊이(3D-Depth) 센서 모듈(130)을 포함한다.The fusion sensor module 100 acquires heat and light in the vehicle to generate a thermal infrared image and an RGB image and a depth image. 2, the fusion sensor module 100 includes a thermal infrared sensor module 110 for acquiring temperature information on the vehicle, an RGB sensor module 120 for acquiring RGB information in the vehicle, And a depth (3D-Depth) sensor module 130 for acquiring depth information.

열 적외선 센서 모듈(110)은 차량 내에 열적외선을 조사하여 온도 정보를 획득한다. 여기서 획득되는 온도 정보는 탑승자 체온 정보와 차량 실내 온도 정보를 포함한다. 또한, 동승자가 있을 경우 동승자 체온 정보도 포함한다.The thermal infrared sensor module 110 irradiates infrared rays in the vehicle to obtain temperature information. The temperature information obtained here includes occupant temperature information and vehicle room temperature information. In addition, if there is a passenger, it also includes passenger temperature information.

RGB 센서 모듈(120)은 차량 내 RGB 정보를 획득한다. 이에 따라, RGB 정보는 탑승자 및 실내 밝기 정보를 포함한다.The RGB sensor module 120 acquires RGB information in the vehicle. Accordingly, the RGB information includes the occupant and the indoor brightness information.

깊이 센서 모듈(130)은 차량 내 깊이 정보를 획득하며, 깊이 정보는 탑승자 상태 정보와 탑승자 체형 정보 및 탑승자 자세 정보를 포함한다.The depth sensor module 130 acquires in-vehicle depth information, and the depth information includes occupant status information, occupant figure information, and occupant attitude information.

이미지 융합 모듈(200)은 열 적외선 센서 모듈(110)에서 획득된 열 적외선 이미지 생성 모듈(210)과, RGB 센서 모듈(120) RGB 이미지 생성 모듈(220), 깊이 이미지 생성 모듈(230), 및 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 병합하는 이미지 병합 모듈(240)을 포함한다.The image fusion module 200 includes the thermal infrared image generation module 210 obtained by the thermal infrared sensor module 110, the RGB sensor module 120, the RGB image generation module 220, the depth image generation module 230, And an image merge module 240 for merging the thermal infrared image with the RGB image and the depth image.

열 적외선 이미지 생성 모듈(210)은 열 적외선 센서 모듈(110)에서 획득된 온도 정보를 기반으로 열적외선 이미지를 생성한다. 이는 열 적외선 센서 모듈(110)에서 획득된 열적외선 정보를 디지털화하여 수행할 수 있다.The thermal infrared image generation module 210 generates a thermal infrared image based on the temperature information acquired by the thermal infrared sensor module 110. This can be performed by digitizing thermal infrared information obtained by the thermal infrared sensor module 110. [

RGB 이미지 생성 모듈(220)은 RGB 센서 모듈(120)에서 획득된 RGB 정보를 디지털화하여 RGB 이미지를 생성한다.The RGB image generation module 220 digitizes the RGB information obtained from the RGB sensor module 120 to generate an RGB image.

깊이 이미지 생성 모듈(230)은 깊이 센서 모듈(130)에서 획득된 깊이 정보를 기반으로 깊이 이미지를 생성한다. 여기서, 깊이 이미지 생성 모듈(230) 역시 깊이 센서 모듈(130)에서 획득된 깊이 정보를 디지털화하여 수행한다.The depth image generation module 230 generates a depth image based on the depth information acquired by the depth sensor module 130. Here, the depth image generation module 230 also performs the depth information obtained by the depth sensor module 130 by digitizing the depth information.

이미지 병합 모듈(240)은 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 병합한다.The image merge module 240 merges the thermal infrared image with the RGB image and the depth image.

이미지 처리 모듈(300)은 이미지 병합 모듈(240)에서 생성된 병합 이미지를 처리한다. 이러한 이미지 처리 모듈(300)은 병합 이미지 테이블 생성 모듈(310)과 변환 테이블 생성 모듈(320), 연산처리 영역 확장 모듈(326), 데이터 평균연산 모듈(330), 및 옵셋 적용 모듈(340)을 포함한다.The image processing module 300 processes the merged image generated by the image merging module 240. [ The image processing module 300 includes a merged image table generation module 310, a conversion table generation module 320, an operation processing area extension module 326, a data averaging operation module 330, and an offset application module 340 .

도 3은 본 발명에 따른 병합 이미지 테이블의 예시도이다.3 is an exemplary view of a merged image table according to the present invention.

병합 이미지 테이블 생성 모듈(310)은 병합 이미지 생성 모듈에서 생성된 병합 이미지를 기반으로 형성된 병합 이미지 테이블을 생성한다. 여기서, 병합 이미지 테이블은 이미지 병합 모듈(240)에서 병합된 병합 이미지에서 온도 정보와 RGB 정보 및 깊이 정보를 디지털화한 것으로서, 본 실시예는 도 3에 도시된 바와 같이, 병합 이미지 테이블의 픽셀에는 가로, 세로 위치에 따른 위치 정보가 표시되어 있으며, 해당 픽셀에는 병합된 온도 정보와 RGB 정보 및 깊이 정보가 포함된다. 또한, 하나의 병합 이미지 테이블에 가로로 32개의 픽셀이 구비되고 세로로 32개의 픽셀이 구비된 총 1024픽셀(pixel)이 포함되는 것을 예시한다. 하지만, 본 발명은 이에 한정되는 것은 아니며, 하나의 병합 이미지 테이블에 포함되는 픽셀의 개수는 필요에 따라 1024픽셀 미만이거나 1024픽셀을 초과할 수 있다. 또한, 병합 이미지 테이블 생성 모듈(310)은 시간의 흐름에 따라 다수개의 병합 이미지 테이블을 생성하며, 생성된 다수개의 병합 이미지 테이블은 후술될 변환 테이블 생성 모듈(320)에 전달된다. 여기서, 본 실시예는 설명의 편의상 병합 이미지 테이블 생성 모듈(310)에서 생성되는 연속된 4개의 병합 이미지 테이블, 즉, 제1 병합 이미지 테이블과 제2 병합 이미지 테이블, 제3 병합 이미지 테이블 및 제4 병합 이미지 테이블을 예시한다.The merged image table generation module 310 generates a merged image table formed based on the merged image generated by the merged image generation module. Here, the merged image table is obtained by digitizing the temperature information, the RGB information, and the depth information in the merged image merged by the image merging module 240. In this embodiment, as shown in FIG. 3, , Position information according to the vertical position is displayed, and the pixel includes the merged temperature information, RGB information, and depth information. It also illustrates that a single merged image table includes a total of 1024 pixels, with 32 pixels horizontally and 32 pixels vertically. However, the present invention is not limited to this, and the number of pixels included in one merged image table may be less than 1024 pixels or more than 1024 pixels as necessary. The merged image table generation module 310 generates a plurality of merged image tables in accordance with the passage of time, and the generated plurality of merged image tables are transferred to a conversion table generation module 320 to be described later. Here, in the present embodiment, for convenience of description, four consecutive merged image tables generated by the merged image table generation module 310, i.e., a first merged image table and a second merged image table, a third merged image table, A merge image table is illustrated.

변환 테이블 생성 모듈(320)은 시간에 따라 생성된 병합 이미지 테이블들을 서로 비교한다. 여기서, 변환 테이블 생성 모듈(320)은 제1 병합 이미지 테이블과 제2 병합 이미지 테이블을 비교하는 초기 병합 이미지 테이블 비교 모듈(321)과, 초기 병합 이미지 테이블 비교 모듈(321)에서 연산처리 영역을 지정하는 연산처리 영역 지정 모듈(322), 연산처리 영역 지정 모듈(322)에서 지정된 연산처리 영역으로 초기 변환 테이블을 생성하는 초기 변환 테이블 생성 모듈(323), 초기 변환 테이블을 기반으로 제2 병합 이미지 테이블 이후로 생성되는 병합 이미지 테이블들을 비교하여 변환 데이터를 추출하는 후기 병합 이미지 테이블 비교 모듈(324)과, 후기 병합 이미지 테이블 비교 모듈(324)에서 추출된 변환 데이터로 후기 변환 테이블을 생성하는 후기 변환 테이블 생성 모듈(325)을 포함한다.The conversion table generation module 320 compares the generated merged image tables with each other. Here, the conversion table generation module 320 includes an initial merged image table comparison module 321 for comparing the first merged image table and the second merged image table, and an initial merged image table comparison module 321 for specifying an operation processing area in the initial merged image table comparison module 321 An initial conversion table generation module 323 for generating an initial conversion table as an operation processing area designated by the operation processing area designation module 322, an initial conversion table generation module 323 for generating a second merging image table A late merged image table comparing module 324 for comparing the generated merged image tables and extracting the converted data, a late conversion table 323 for generating a late conversion table as the converted data extracted by the late merged image table comparison module 324, Generation module 325.

도 4는 본 발명에 따른 초기 병합 이미지 테이블 비교 모듈을 설명하기 위한 개념도이다.4 is a conceptual diagram for explaining an initial merged image table comparison module according to the present invention.

초기 병합 이미지 테이블 비교 모듈(321)은 도 4에 도시된 바와 같이, 제1 병합 이미지 테이블(T1)과 제2 병합 이미지 테이블(T2)을 비교하되, 제1 병합 이미지 테이블(T1)의 1024픽셀과 제2 병합 이미지 테이블(T2)의 1024픽셀을 모두 비교한다. 또한, 초기 병합 이미지 테이블 비교 모듈(321)은 제1 병합 이미지 테이블(T1)과 제2 병합 이미지 테이블(T2)을 비교하고, 제1 병합 이미지 테이블(T1)과 대비하여 제2 병합 이미지 테이블(T2)에서 변화된 픽셀, 즉, 변환 데이터가 있는지 판단한다. 여기서, 본 발명은 병합 이미지 테이블들 만을 비교하여 변환 데이터를 추출하고, 이를 기반으로 공조기를 제어할 수 있다. 하지만, 후술될 연산처리 영역 지정 모듈(322)을 통해 보다 빠르게 병합 이미지 변화를 탐지한다.The initial merged image table comparison module 321 compares the first merged image table T1 and the second merged image table T2 as shown in FIG. 4, and compares the first merged image table T1 with the 1024 pixels And the 1024 pixels of the second merged image table T2 are all compared. The initial merge image table comparison module 321 compares the first merged image table T1 and the second merged image table T2 and compares the first merged image table T1 with the second merged image table T1 T2, i.e., the converted data. Here, the present invention extracts conversion data by comparing only the merged image tables, and controls the air conditioner based on the extracted conversion data. However, the merged image change is detected more quickly through the operation processing area designation module 322 to be described later.

도 5 내지 도 7은 본 발명에 따른 연산처리 영역을 설명하기 위한 개념도이다.5 to 7 are conceptual diagrams for explaining an arithmetic processing region according to the present invention.

연산처리 영역 지정 모듈(322)은 초기 병합 이미지 테이블 비교 모듈(321)에서 변환 데이터가 있는 것으로 판단하면, 도 5 내지 도 7에 도시된 바와 같이, 해당 영역을 연산처리 영역(CS)으로 지정하고 추출한다. 즉, 도 5에 도시된 바와 같이, 제1 병합 이미지 테이블과 제2 병합 이미지 테이블을 비교하여 변환 데이터가 있는 영역을 연산처리 영역(CS)으로 지정하고, 도 6에 도시된 바와 같이 이를 추출한다. 또한, 도 7에 도시된 바와 같이, 추출된 변환 데이터를 확정한다. 이러한 연산처리 영역(CS)은 모든 변환 데이터와 모든 변환 데이터 사이에 위치한 비변환 데이터를 포함하는 사각형상으로 형성되거나, 모든 변환 데이터만을 포함하는 형상으로 형성될 수 있다. 여기서, 사각형상으로 형성될 경우, 도 6에 도시된 바와 같이, 변환 데이터의 가장 가장자리에 위치한 픽셀을 수직, 수평하게 연장하여 모든 변환 데이터와 변환 데이터 사이에 위치하는 비변환 데이터까지 포함되는 사각형상인 연산처리 영역을 형성한다.When the initial merged image table comparison module 321 determines that there is conversion data, the operation processing area designation module 322 designates the corresponding area as the operation processing area CS as shown in Figs. 5 to 7 . 5, the first merged image table and the second merged image table are compared to designate an area having the converted data as an operation processing area CS and extract it as shown in FIG. 6 . Further, as shown in Fig. 7, the extracted conversion data is determined. Such an operation processing area CS may be formed in a rectangular shape including non-converted data located between all converted data and all converted data, or may be formed into a shape including only all converted data. In this case, as shown in FIG. 6, when a pixel is formed in a rectangular shape, a pixel located at the edge of the transformed data is vertically and horizontally extended to form a rectangular transformed image including all transformed data and non- Thereby forming an arithmetic processing area.

초기 변환 테이블 생성 모듈(323)은 연산처리 영역 지정 모듈(322)에서 추출된 연산처리 영역으로 초기 변환 테이블인 제1 변환 테이블을 생성한다.The initial conversion table creation module 323 creates a first conversion table which is an initial conversion table into the operation processing area extracted by the operation processing area designation module 322. [

도 8 및 도 9는 본 발명에 따른 후기 병합 이미지 테이블 비교 모듈을 설명하기 위한 개념도이다.8 and 9 are conceptual diagrams for explaining a later merged image table comparison module according to the present invention.

후기 병합 이미지 테이블 비교 모듈(324)은 도 8에 도시된 바와 같이, 제N 변환 테이블과, 제2 병합 이미지 테이블 이후에 생성되는 병합 이미지 테이블, 즉, 제N+2 병합 이미지 테이블(여기서, N은 자연수)을 비교한다. 즉, 초기 변환 테이블 생성 모듈(323)에서 생성된 제1 변환 테이블과 제3 병합 이미지 테이블(T3)을 비교하고, 제1 변환 테이블과 제3 병합 이미지 테이블(T3)을 비교하여 생성된 제2 변환 테이블을 제4 병합 이미지 테이블과 비교한다. 여기서, 제2 변환 테이블은 제1 변환 테이블과 동일하게 변환 데이터를 연산처리 영역(CS)으로 지정하여 추출한 것이다. 즉, 본 발명은 제1 변환 테이블은 제1 병합 이미지 테이블과 제2 병합 이미지 테이블의 전체 영역을 비교하여 생성하나, 도 9에 도시된 바와 같이, 제2 변환 테이블부터는 병합 이미지 테이블의 전체 영역을 비교하지 않고 변화된 영역만을 비교한다.8, the late merged image table comparison module 324 includes an Nth conversion table and a merged image table generated after the second merged image table, that is, an (N + 2) Is a natural number). That is, the first conversion table generated by the initial conversion table generation module 323 is compared with the third merged image table T3, and the second merged image table T3 generated by comparing the first converted table and the third merged image table T3, The conversion table is compared with the fourth merged image table. Here, the second conversion table is obtained by designating conversion data as an operation processing area (CS) in the same manner as the first conversion table. That is, in the present invention, the first conversion table is generated by comparing the entire area of the first merged image table and the second merged image table, but as shown in FIG. 9, the entire area of the merged image table Only the changed areas are compared without comparing.

후기 변환 테이블 생성 모듈(325)은 제N+1 변환 테이블을 생성한다. 즉, 초기 변환 테이블 생성 모듈(323)은 제1 병합 이미지 테이블과 제2 병합 이미지 테이블, 즉, 초기 병합 이미지 테이블을 서로 비교하여 제1 변환 테이블을 생성하고, 후기 변환 테이블 생성 모듈(325)은 변환 테이블과 병합 이미지 테이블을 비교하여 변환 테이블을 생성한다. 예를 들어, 후기 변환 테이블 생성 모듈(325)은 제1 변환 테이블과 제3 병합 이미지 테이블을 비교하여 제2 변환 테이블을 생성하고, 제2 변환 테이블과 제4 병합 이미지 테이블을 비교하여 제3 변환 테이블을 생성한다.The late conversion table generation module 325 generates an (N + 1) conversion table. That is, the initial conversion table generation module 323 generates a first conversion table by comparing the first merged image table and the second merged image table, that is, the initial merged image table, and the latter conversion table generation module 325 The conversion table is compared with the merged image table to generate the conversion table. For example, the late conversion table generation module 325 generates a second conversion table by comparing the first conversion table and the third merging image table, compares the second conversion table and the fourth merging image table, Create a table.

여기서, 본 발명은 고정된 연산처리 영역으로 열 감지를 수행할 경우, 연산처리 영역 이외의 영역에서 발생되는 병합 이미지 변화를 감지할 수 없는 문제점을 해결하기 위해서 연산처리 영역 확장을 수행할 수 있다. 또한, 이를 위해서, 본 발명은 연산처리 영역 확장 모듈(326)을 포함할 수 있다.In the present invention, when thermal sensing is performed on a fixed arithmetic processing region, it is possible to expand the arithmetic processing region in order to solve the problem that a merged image change occurring in an area other than the arithmetic processing region can not be detected. In addition, for this purpose, the present invention may include a computation processing region extension module 326. [

연산처리 영역 확장 모듈(326)은 연산처리 영역으로 지정된 영역을 확장시킨다. 연산처리 영역은 병합 이미지에서 변화가 일어나는 영역이며, 변화가 발생될 경우 연산처리 영역, 즉, 변화되는 영역에서 주변으로 서서히 넓어지며 일어나게 된다. 따라서, 본 발명은 연산처리 영역 주변으로 소정픽셀의 영역을 확장하여 연산처리 영역을 확장하며, 여기서 소정픽셀은 예를 들어, 3픽셀일 수 있다. 하지만, 본 발명은 이에 한정되는 것은 아니며, 소정픽셀은 3픽셀 미만이거나, 3픽셀을 초과할 수 있다. 또한, 만약 1024픽셀 중 연산처리 영역 주변으로 남은 픽셀이 3픽셀 미만일 경우, 남은 픽셀만을 확장영역으로 지정한다.The operation processing area extension module 326 expands the area designated as the operation processing area. The arithmetic processing area is an area where a change occurs in the merged image, and when a change occurs, the arithmetic processing area widenes gradually to the periphery in the changed area. Thus, the present invention extends the area of a given pixel around an arithmetic processing region to extend the arithmetic processing region, where certain pixels may be, for example, three pixels. However, the present invention is not limited thereto, and a predetermined pixel may be less than three pixels or more than three pixels. In addition, if the number of pixels remaining around the arithmetic processing region out of 1024 pixels is less than 3 pixels, only the remaining pixels are designated as the extended region.

도 10은 본 발명에 따른 데이터 평균연산 모듈을 설명하기 위한 개념도이다.10 is a conceptual diagram for explaining a data averaging operation module according to the present invention.

데이터 평균연산 모듈(330)은 변환 테이블을 평균연산하여 최종 변환 테이블을 확정한다. 이는 도 10에 도시된 바와 같이, 변환 테이블에서 중복되는 픽셀에 한하여 픽셀 데이터 평균을 구한다.The data average operation module 330 averages the conversion table to determine a final conversion table. This, as shown in FIG. 10, obtains pixel data average only for overlapping pixels in the conversion table.

도 11 및 도 12는 본 발명에 따른 옵셋 적용 모듈을 설명하기 위한 개념도이다.11 and 12 are conceptual diagrams for explaining an offset application module according to the present invention.

옵셋 적용 모듈(340)은 최종 변환 테이블 확정 후 도 11에 도시된 연산처리 영역(CS)만큼 1024픽셀의 병합 이미지 테이블에 도 12에 도시된 바와 같이 옵셋을 적용하여 보정한 후 연산 처리를 수행한다. 여기서, 옵셋 적용 모듈(340)에서 생성된 테이블이 어플리케이션 모듈(400)에 출력될 최종 데이터가 된다. 예를 들어, 어플리케이션 모듈(400)은 수신한 최종 데이터를 기반으로 차량 내의 열 분포 변화를 파악하고, 온도가 높아지는 영역은 냉각시키는 등 차량 내를 쾌적하게 유지하도록 할 수 있다. 이때, 옵셋 적용 모듈(340)에서 생성된 테이블의 출력은 캔 버스(CAN BUS)를 통해 전송될 수 있다.After the final conversion table is finalized, the offset application module 340 applies the offset to the merged image table of 1024 pixels by the calculation processing area CS shown in FIG. 11, corrects the offset as shown in FIG. 12, . Here, the table generated by the offset application module 340 becomes the final data to be output to the application module 400. For example, the application module 400 can grasp the change in the heat distribution in the vehicle based on the received final data, and cool the area where the temperature is high, to keep the vehicle comfortably. At this time, the output of the table generated by the offset application module 340 can be transmitted through the CAN bus.

어플리케이션 모듈(400)은 이미지 처리 모듈에서 처리된 이미지의 변화에 따라 탑승자의 자세와 행동패턴, 체온, 시트 조절 패턴, 시동 패턴, 공조 조절 패턴, 동승자 탑승, 차량 내 온도, 주행 환경을 판단한다. 이에 따라, 어플리케이션 모듈(400)은 탑승자 자세 판단 모듈(410)과, 탑승자 행동 패턴 판단 모듈(420), 탑승자 체온 판단 모듈(430), 동승자 탑승 판단 모듈(440), 공조 조절 패턴 판단 모듈(450), 시트 조절 패턴 판단 모듈(460), 주행 패턴 판단 모듈(470), 및 시동 패턴 판단 모듈(480)을 포함한다.The application module 400 determines the posture of the occupant, the behavior pattern, the body temperature, the seat adjustment pattern, the starting pattern, the air conditioning adjustment pattern, the occupant boarding, the temperature in the vehicle, and the driving environment according to the change in the image processed in the image processing module. Accordingly, the application module 400 includes a passenger attitude determination module 410, a passenger behavior pattern determination module 420, a passenger body temperature determination module 430, a passenger boarding determination module 440, an air conditioning adjustment pattern determination module 450 A seat adjustment pattern determination module 460, a travel pattern determination module 470, and a start pattern determination module 480. [0052]

탑승자 자세 판단 모듈(410)은 이미지 처리 모듈에서 처리된 이미지에서 탑승자를 검출하고, 검출된 탑승자의 자세를 판단한다. 이는 인공지능 학습에 의해 수행될 수 있다. 또한, 탑승자 자세 판단 모듈(410)에서 판단된 탑승자의 자세는 후술될 시트 제어 모듈(520)과 DWD 경고 모듈(530)에서 이용된다.The occupant's posture determination module 410 detects the occupant in the image processed by the image processing module and determines the posture of the occupant detected. This can be done by artificial intelligence learning. The occupant's posture determined by the occupant's posture determination module 410 is used in the seat control module 520 and the DWD warning module 530, which will be described later.

탑승자 행동 패턴 판단 모듈(420)은 이미지 처리 모듈에서 처리된 이미지에서 탑승자를 검출하고, 검출된 탑승자의 움직임 변화를 연속적으로 감지하여 행동패턴을 판단한다. 여기서, 탑승자 행동 패턴 판단 모듈(420)은 검출된 탑승자의 움직임 변화를 연속적으로 감지하여 행동패턴을 판단하되, 이를 누적시켜 탑승자의 정상적인 행동패턴과 비정상적인 행동패턴을 구분한다. 이는 비율이 높은 탑승자 행동패턴을 정상적인 행동패턴으로 판단함으로써 수행할 수 있다. 물론, 탑승자 행동 패턴 판단 모듈(420)은 해당 탑승자가 이전 탑승자와 동일한 탑승자인지 체형 등을 통해 판단해야 한다. 또한, 탑승자 행동 패턴 판단 모듈(420)에서 판단된 탑승자 행동패턴은 후술될 시트 제어 모듈(520)과 DWD 경고 모듈(530)에 이용된다.The occupant behavior pattern determination module 420 detects the occupant in the image processed by the image processing module, and continuously senses the change in the motion of the occupant to determine the behavior pattern. Here, the occupant behavior pattern determination module 420 continuously detects the change in the motion of the occupant, determines the behavior pattern, and accumulates the same to distinguish the normal behavior pattern of the occupant from the abnormal behavior pattern. This can be done by determining the rider's behavior pattern as a normal behavior pattern. Of course, the occupant behavior pattern determination module 420 should determine whether the occupant is the same occupant as the previous occupant or not, through the body shape or the like. Also, the occupant behavior pattern determined by the occupant behavior pattern determination module 420 is used in the seat control module 520 and the DWD warning module 530, which will be described later.

탑승자 체온 판단 모듈(430)은 이미지 처리 모듈에서 처리된 이미지에서 탑승자를 검출하고, 탑승자의 체온을 판단한다. 이는 전술된 옵셋 적용 모듈(340)에서 옵셋을 적용하여 보정한 후 온도 연산 처리를 수행하여 판단할 수 있다. 탑승자 체온 판단 모듈(430)에서 판단된 탑승자 체온은 후술될 공조 제어 모듈(510)에서 이용된다. 한편, 탑승자 체온 판단 모듈(430)은 탑승자의 체온 뿐만 아니라 차량의 실내 온도도 판단한다. 더욱이, 탑승자 체온 판단 모듈(430)은 동승자 탑승 판단 모듈(440)에서 동승자를 검출하면, 동승자의 체온도 판단할 수 있다.The occupant temperature determining module 430 detects the occupant in the image processed by the image processing module and determines the body temperature of the occupant. This can be determined by applying the offset in the above-described offset application module 340 and correcting it by performing temperature arithmetic processing. The body temperature of the passenger judged by the passenger body temperature judging module 430 is used in the air conditioning control module 510 to be described later. On the other hand, the occupant temperature determining module 430 determines not only the body temperature of the passenger but also the indoor temperature of the vehicle. Furthermore, if the occupant temperature determination module 430 detects the passenger in the passenger boarding determination module 440, the body temperature of the passenger can be determined.

동승자 탑승 판단 모듈(440)은 이미지 처리 모듈에서 처리된 이미지에서 동승자를 검출한다. 옵셋 적용된 이미지에서 열적외선과 RGB 및 깊이 정보를 기반으로 검출할 수 있다. 즉, 전술된 정보를 통해 동승자의 아웃라인, 즉, 경계를 판단하여 동승자 탑승 여부를 판단할 수 있다.The passenger boarding determination module 440 detects the passenger in the image processed by the image processing module. Offset Based on thermal infrared and RGB and depth information in the applied image. That is, the outline of the passenger, that is, the boundary, can be determined through the above-described information to determine whether or not the passenger is boarding the passenger.

공조 조절 패턴 판단 모듈(450)은 탑승자가 수동으로 공조 조절한 패턴을 판단한다. 또한, 공조 조절 패턴 판단 모듈(450)은 시간과 온도 및 세기를 평균값하고 탑승자에게 바람이 직분사 되는지 간접분사되는 패턴도 판단한다. 이는 탑승자의 체온 및 차량 실내 온도를 기반으로 자동으로 차량 공조 시스템을 작동시키더라도 탑승자에게 맞지 않을 수 있기 때문이다. 따라서, 본 발명은 탑승자가 수동으로 조절한 패턴을 판단하여 추후 공조 시스템 작동 시 이를 반영한다.The air conditioning adjustment pattern determination module 450 determines the air conditioning adjustment pattern manually operated by the passenger. In addition, the air conditioning adjustment pattern determination module 450 determines an average value of the time, the temperature, and the intensity, and determines whether the wind is directly blown or indirectly sprayed to the passenger. This is because even if the vehicle air conditioning system is automatically operated based on the occupant's body temperature and the vehicle interior temperature, it may not fit the passenger. Therefore, the present invention judges the manually adjusted pattern and reflects it when the air conditioning system is operated later.

시트 조절 패턴 판단 모듈(460)은 공조 조절 패턴 판단 모듈(450)과 유사하게, 탑승자가 수동으로 시트를 조절한 패턴을 판단한다. 즉, 탑승자의 체형에 맞춰 시트가 자동으로 조절되더라도 탑승자가 불편할 수 있다. 이 경우, 탑승자는 자동 조절된 시트를 수동으로 조절하는데, 시트 조절 패턴 판단 모듈(460)은 이러한 시트 조절 패턴을 판단하여 추후 해당 탑승자의 시트를 조절할 때 이를 적용하여 해당 탑승자에게 최적화된 상태로 시트를 조절한다.Similar to the air conditioning adjustment pattern determination module 450, the seat adjustment pattern determination module 460 determines a pattern in which the occupant manually adjusts the seat. That is, even if the seat is automatically adjusted in accordance with the body shape of the occupant, the occupant may be uncomfortable. In this case, the occupant manually adjusts the automatically adjusted seat, and the seat adjustment pattern determination module 460 determines the seat adjustment pattern so as to adjust the seat of the occupant, .

주행 패턴 판단 모듈(470)은 탑승자의 차량 주행 패턴을 판단한다. 이는 후술될 DWD 경고 모듈(530)이 DWD 경고 수행 여부를 결정하는데 이용된다. 특정 탑승자의 경우 차량 주행 패턴이 특이할 수 있다. 이는 예를 들어, 급격한 스티어링휠 조향을 수반하는 난폭운전이 포함될 수 있으며, 급격한 스티어링휠 조향은 소정시간 내에 소정각도 이상의 스티어링휠 조향이 기준횟수 이상 수행되는 것으로 판단할 수 있다. 주행 패턴 판단 모듈(470)은 해당 경우를 판단하여 해당 탑승자의 주행 패턴에 적용하여 DWD 경고 모듈(530)에서 핸들조작 DWD 판단 시 이를 반영하도록 한다.The travel pattern determination module 470 determines the vehicle travel pattern of the passenger. This is used to determine whether or not the DWD warning module 530, which will be described later, performs the DWD warning. For certain passengers, the vehicle driving pattern may be unusual. This may include, for example, an abrupt operation accompanied by a sudden steering wheel steering, and the abrupt steering wheel steering may determine that steering wheel steering of a predetermined angle or more within a predetermined time is performed by a reference number of times or more. The driving pattern determination module 470 determines the corresponding case and applies it to the traveling pattern of the occupant so that the DWD warning module 530 reflects the steering operation DWD when determining the steering operation DWD.

시동 패턴 판단 모듈(480)은 시동 패턴을 판단하여 탑승자가 탑승하는 시간을 예측하여 공조, 시트 등을 자동으로 미리 조절할 수 있다.The start-up pattern determination module 480 determines the start pattern and predicts the time when the occupant boarding the vehicle, and automatically adjusts air conditioning, seat, and the like in advance.

차량 제어 모듈(500)은 어플리케이션 모듈(400)을 통해 판단된 탑승자의 자세와 행동패턴, 체온, 시트 조절 패턴, 시동 패턴, 공조 조절 패턴, 동승자 탑승, 차량 내 온도, 주행 환경을 기반으로 차량의 공조와 시트를 제어하며, DWD 경고를 수행한다. 이를 위해서, 차량 제어 모듈(500)은 공조 제어 모듈(510)과 시트 제어 모듈(520), 및 DWD 경고 모듈(530)을 포함한다.The vehicle control module 500 determines whether or not the vehicle is traveling on the basis of the posture and behavior pattern of the occupant determined through the application module 400, the body temperature, the seat adjustment pattern, the starting pattern, the air conditioning adjustment pattern, Controls air conditioning and seats, and performs DWD warnings. To this end, the vehicle control module 500 includes an air conditioning control module 510, a seat control module 520, and a DWD warning module 530.

공조 제어 모듈(510)은 탑승자 체온 판단 모듈(430)에서 판단된 탑승자 체온(동승자 체온 및 차량 실내 온도 포함)과, 공조 조절 패턴 판단 모듈(450)에서 판단된 공조 조절 패턴을 기반으로 차량의 공조 시스템을 제어한다.The air conditioning control module 510 controls the air conditioning of the vehicle based on the occupant body temperature (including the occupant temperature and the vehicle interior temperature) determined by the occupant body temperature determination module 430 and the air conditioning adjustment pattern determined by the air conditioning adjustment pattern determination module 450 And controls the system.

시트 제어 모듈(520)은 탑승자 자세 판단 모듈(410)에서 판단된 탑승자 자세(탑승자 체형 포함)와 탑승자 행동 패턴 판단 모듈(420)에서 판단된 탑승자 행동패턴을 기반으로 차량의 시트를 제어한다. 여기서, 탑승자 행동패턴에 따른 차량 시트 자동 조절은 탑승자가 특정 행동, 예를 들어, 한쪽팔을 팔걸이 또는 차량 도어에 걸쳐서 주행하는 행동을 반영하여 시트를 조절하거나, 탑승자 자세 판단 모듈(410)에서 판단된 탑승자의 착석 자세를 판단하여 수행할 수 있다.The seat control module 520 controls the seat of the vehicle based on the occupant's posture determined by the occupant's posture determination module 410 (including the occupant's body type) and the occupant's behavior pattern determined by the occupant's behavior pattern determination module 420. [ Here, the automatic adjustment of the vehicle seat according to the occupant behavior pattern may be performed by adjusting the seat by reflecting the behavior of the occupant traveling the specific action, for example, the one arm across the armrest or the vehicle door, The sitting position of the occupant can be determined and performed.

DWD 경고 모듈(530)은 탑승자의 시각적 DWD와 물리적 DWD를 판단하여 탑승자의 주의를 환기시킨다. 여기서, 각각의 판단 항목에 따른 운전 중 주의분산 요소 및 레벨은 아래의 표 1과 같다.The DWD warning module 530 judges the visual DWD and the physical DWD of the occupant, and calls attention to the occupant. Here, the dispersion factor and level during operation according to each judgment item are as shown in Table 1 below.

DWDDWD 단계 step 판단 우선순위Judgment priority 설 명Explanation 1. 시각적 주의분산1. Distraction of visual attention 2. 물리적2. Physical
주의분산Dispersion of attention
3.주의분산3. Distraction of attention 누적시간 Cumulative time
레벨0Level 0 없음none 없음none -- 운전에 집중 중인 상태Focusing on driving 레벨1Level 1 2초
이내
2 seconds
Within
2초
이내
2 seconds
Within
-- 손을 이용한 간단한 행위, 라디오 조작(Adjusting the radio), 뚜껑 없는 음료수 섭취(Drinking from open container)Simple manipulation with the hand, adjusting the radio, drinking from the open container,
레벨2Level 2 2초
이상
2 seconds
More than
12초
이내
12 seconds
Within
손을 이용한 조금은 복잡한 행위, 휴대폰을 들고 통화(Talking/listing to a hand-held device), 고정된 물체를 향해 움직이는 행동(Reaching for non-moving object), 음식물 섭취(Eating) 등A handful of complicated behaviors, hand-held phone calls (Reaching for non-moving objects), eating (Eating), etc.
레벨3Level 3 12초
이상
12 seconds
More than
여러 단계로 수행하는 행위가 지속되고 있는 중, 미디어 컨트롤러 조작(Inserting and / or retrieving CD), 화장(Applying makeup) 등In the process of performing several steps, media controller manipulation (Inserting and / or retrieving CD), makeup (makeup) etc.
레벨4Level 4 2초
이상
2 seconds
More than
2초
이내
2 seconds
Within
-- 장시간 정면 응시를 하지 않는 상황, 무엇인가를 읽는 중(Reading), 외부 물체를 쳐다보는 상황(Looking at external object) 등Reading situations, looking at external objects, etc., which do not take long time frontal gazing, etc.
레벨5Level 5 2초
이상
2 seconds
More than
-- 몸을 이용한 복잡한 행위가 지속 되고있는 중, 벌레를 쫓는 중(Insect in vechicle), 움직이는 물체를 향해 움직이는 행동(Reaching for a moving object) 등Insect in vechicle, Reaching for a moving object, etc., while continuing with complicated actions using the body.
레벨6Level 6 운전자의 상체 움직임과 시야, 그리고 핸들 조향각 패턴 등을 분석하여 일반적이지 않은 운전불가상태(수면)로 전방 주시 및 운전대 조작이 불가능하지만 경고를 통해 다시 정상으로 복귀할 수 있는 단계The driver can analyze the upper body motion and vision, and the steering angle pattern of the steering wheel, so that it is impossible to operate the steering wheel and the steering wheel in unusual non-driving state (sleep) 레벨7Level 7 운전자의 자세가 완전히 무너지고 핸들을 조작할 수 없는 상태가 되었으며 경고에도 반응하지 않는 심각한 상태(혼절이나 심장마비 등) 운전이 불가능하며 운전 상태로 회복이 불가능하다고 판단되는 상태If the driver's posture is completely collapsed, the handle becomes inoperable, and the driver is unable to operate in a serious condition (such as a sickness or heart attack) that does not respond to a warning. 요 소Element 설 명Explanation 예 시example 시각적 주의분산Distraction of visual attention 운전 중 운전자가 차량 내에서 2차 과제를 수행하기 위해서 도로상황 전방을 지속적으로 주시하지 않는 행동A behavior in which the driver does not constantly monitor the road ahead to perform secondary tasks in the vehicle 공조기, 편의장치, 내비게이션, 스마트폰 조작 등으로 인한 시선이동Movement of eyes due to air conditioner, convenience device, navigation, smartphone operation, etc. 물리적 주의분산Distributing physical attention 운전 중 운전자가 차량 내에서 2차 과제를 수행하기 위해서 한 손 혹은 두 손을 모두 이용하여 안전운전에 방해가 되는 행동During the driving, the driver uses one or both hands to perform the secondary task in the vehicle, 음식섭취, 차내장치 조작, 지갑이나 가방에서 무언가를 꺼내는 행위 등Food intake, operation of in-vehicle devices, removal of something from a purse or bag, etc.

이를 토대로 표 1을 살펴보면, 레벨 0은 탑승자가 핸들을 조작하고 있어 핸들조작에 문제가 없고, 주행방향을 응시하는 등 머리움직임에 문제가 없는 경우로서 운전에 집중 중인 상태인 것을 의미한다. 따라서, 레벨 0은 정상적인 주행상태이므로 경고가 필요없다. 레벨 1 내지 레벨 5의 경우 조건에 해당하면 탑승자에게 경고하여 주의를 환기시키며, 레벨 6 및 레벨 7의 경우 탑승자가 차량을 제어할 수 있는 상황이 아니므로 자율주행에 의해 차량을 갓길 등 보다 안전한 지역으로 이동시킨다. 여기서, 탑승자에 대한 경고는 시트/스티어링 휠 진동, 클러스터 경고등, AVN(오디오/비디오/내비게이션, 내비게이션 통합 모듈) 소리 경고 등을 통해 수행할 수 있다. 또한, 표 1에서 주의분산 누적시간은 시각적 주의분산 시간과 물리적 주의분산 시간을 합산한 시간을 의미한다.Based on this, Level 1 means that the occupant is operating the steering wheel, so that there is no problem in handling the steering wheel, and there is no problem in the head movement, such as gazing at the driving direction. Therefore, since level 0 is a normal running state, no warning is required. In the case of level 1 to level 5, warning is given to the passengers when the conditions are met. In the case of level 6 and level 7, the occupant can not control the vehicle. Therefore, a safer area . Here, the warning to the passenger can be performed through seat / steering wheel vibration, cluster warning light, AVN (audio / video / navigation, navigation integration module) sound warning, and the like. Also, in Table 1, the cumulative cumulative cumulative cumulative time means a sum of the cumulative visual distraction time and the physical attention cumulative time.

한편, 본 발명은 차량 내에 구비된 어플리케이션 모듈(400)을 통해 판단을 수행하는 것을 예시하였으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, 본 발명에서 영상 데이터는 스마트기기 앱을 통해 클라우드 서버로 전송하고, 인공지능 학습엔진으로 개인화 학습 후, 학습된 값을 다시 스마트기기 앱을 통해 어플리케이션 모듈(400)에 전송하여 시간이 흐를수록 학습에 의해 더욱 정확성이 높아지도록 할 수 있다.In the meantime, the present invention is exemplified to perform judgment through the application module 400 provided in the vehicle, but the present invention is not limited thereto. For example, in the present invention, the image data is transmitted to the cloud server through the smart device application, and after the personalization learning by the artificial intelligence learning engine, the learned value is transmitted to the application module 400 through the smart device application again, The more accurate the learning can be achieved.

이상에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been fully described by way of example with reference to the accompanying drawings, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims.

100: 융합 센서 모듈 110: 열 적외선 센서 모듈
120: RGB 센서 모듈 130: 깊이 센서 모듈
200: 이미지 융합 모듈
210: 열 적외선 이미지 생성 모듈
220: RGB 이미지 생성 모듈 230: 깊이 이미지 생성 모듈
240: 이미지 융합 모듈 300: 이미지 처리 모듈
310: 병합 이미지 테이블 생성 모듈
320: 변환 테이블 생성 모듈
321: 초기 병합 이미지 테이블 비교 모듈
322: 연산처리 영역 지정 모듈
323: 초기 변환 테이블 생성 모듈
324: 후기 병합 이미지 테이블 비교 모듈
325: 후기 변환 테이블 생성 모듈 326: 연산처리 영역 확장 모듈
330: 데이터 평균연산 모듈 340: 옵셋 적용 모듈
400: 어플리케이션 모듈 410: 탑승자 자세 판단 모듈
420: 탑승자 행동 패턴 판단 모듈 430: 탑승자 체온 판단 모듈
440: 동승자 탑승 판단 모듈 450: 공조 조절 패턴 판단 모듈
460: 시트 조절 패턴 판단 모듈 470: 주행 패턴 판단 모듈
480: 시동 패턴 판단 모듈 500: 차량 제어 모듈
510: 공조 제어 모듈 520: 시트 제어 모듈
530: DWD 경고 모듈
100: Fusion sensor module 110: Thermal infrared sensor module
120: RGB sensor module 130: Depth sensor module
200: Image fusion module
210: Thermal infrared image generation module
220: RGB image generation module 230: depth image generation module
240: Image fusion module 300: Image processing module
310: Merge image table generation module
320: Convert Table Generation Module
321: Initial Merge Image Table Comparison Module
322: Operation processing area designation module
323: initial conversion table generation module
324: Late Merge Image Table Comparison Module
325: late conversion table generation module 326: operation processing area extension module
330: Data average operation module 340: Offset application module
400: Application module 410: Occupant attitude determination module
420: occupant behavior pattern judgment module 430: occupant body temperature judgment module
440: passenger boarding judging module 450: air conditioning control pattern judging module
460: Seat adjustment pattern determination module 470: Travel pattern determination module
480: Startup pattern determination module 500: Vehicle control module
510: air conditioning control module 520: seat control module
530: DWD Warning Module

Claims (5)

열적외선 센서 모듈과 RGB 센서 모듈 및 깊이 센서 모듈을 포함하는 융합 센서 모듈과,
상기 융합 센서 모듈에서 획득된 열적외선 이미지와 RGB 이미지 및 깊이 이미지를 융합하는 이미지 융합 모듈,
상기 이미지 융합 모듈에서 융합된 이미지를 처리하여 차량 실내 온도 정보와 탑승자 정보를 생성하는 이미지 처리 모듈,
상기 이미지 처리 모듈에서 생성된 차량 실내 온도 정보와 탑승자 정보를 기반으로 탑승자의 상태와 탑승자의 패턴 및 차량 실내 온도를 판단하는 어플리케이션 모듈, 및
상기 어플리케이션 모듈에서 판단된 결과에 따라 차량을 제어하는 차량 제어 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.
A fusion sensor module including a thermal infrared sensor module, an RGB sensor module and a depth sensor module,
An image fusion module for fusing the thermal infrared image obtained from the fusion sensor module with the RGB image and the depth image,
An image processing module processing the fused image in the image fusion module to generate vehicle room temperature information and occupant information,
An application module for determining a state of a passenger, a pattern of a passenger and a vehicle interior temperature based on the vehicle interior temperature information and the occupant information generated by the image processing module,
And a vehicle control module that controls the vehicle according to the result determined by the application module.
제1항에 있어서,
상기 어플리케이션 모듈은,
상기 이미지 처리 모듈에서 탑승자를 검출하여 자세를 판단하는 탑승자 자세 판단 모듈과, 상기 탑승자의 행동패턴을 누적시켜 정상적인 행동패턴과 비정상적인 행동패턴을 판단하는 탑승자 행동 패턴 판단 모듈, 상기 탑승자의 체온을 검출하는 탑승자 체온 판단 모듈, 차량에 동승자가 있는지 판단하는 동승자 탑승 판단 모듈, 상기 탑승자가 수동으로 조절한 공조 조절 패턴을 판단하는 공조 조절 패턴 판단 모듈, 상기 탑승자가 수동으로 조절한 시트 조절 패턴을 판단하는 시트 조절 패턴 판단 모듈, 및 탑승자의 급격한 스티어링휠 조향을 판단하는 주행 패턴 판단 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.
The method according to claim 1,
The application module comprising:
A passenger behavior pattern determination module for determining a normal behavior pattern and an abnormal behavior pattern by accumulating the behavior pattern of the passenger, and a vehicle occupant behavior pattern determination module for detecting a body temperature of the occupant A passenger temperature determination module, a passenger boarding determination module for determining whether a passenger is present in the vehicle, an air conditioning adjustment pattern determination module for determining an air conditioning adjustment pattern manually controlled by the passenger, An adjustment pattern determination module, and a driving pattern determination module for determining a steerable steering wheel steering of a passenger.
제2항에 있어서,
상기 이미지 처리 모듈은,
상기 병합 이미지 테이블 생성 모듈에서 생성된 병합 이미지의 시간의 흐름에 따른 다수개의 병합 이미지 테이블을 생성하는 병합 이미지 테이블 생성 모듈,
상기 병합 이미지 테이블 생성 모듈에서 생성된 다수개의 병합 이미지 테이블을 기반으로 변화된 픽셀 영역을 추출하여 변환 테이블을 생성하는 변환 테이블 생성 모듈,
상기 변환 테이블의 픽셀 데이터를 평균연산하는 데이터 평균연산 모듈, 및
상기 평균연산된 변환 테이블을 병합 이미지 테이블에 옵셋 적용하는 옵셋 적용 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.
3. The method of claim 2,
The image processing module comprising:
A merged image table generation module for generating a plurality of merged image tables according to the flow of time of the merged image generated by the merged image table generation module,
A conversion table generation module for extracting the changed pixel area based on the plurality of merged image tables generated by the merged image table generation module to generate a conversion table,
A data average operation module for averaging pixel data of the conversion table, and
And an offset applying module for offsetting the averaged calculated conversion table to a merged image table.
제3항에 있어서,
상기 차량 제어 모듈은,
상기 탑승자 체온 판단 모듈에서 판단된 탑승자 체온과 차량 실내 온도 및 동승자 체온 중 적어도 어느 하나를 기반으로 차량 공조를 제어하는 공조 제어 모듈과,
상기 탑승자 자세 판단 모듈에서 판단된 탑승자의 자세와 탑승자의 체형 및 상기 탑승자 행동 패턴 판단 모듈에서 판단된 탑승자의 행동패턴을 기반으로 차량의 시트를 제어하는 시트 제어 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.
The method of claim 3,
The vehicle control module includes:
An air conditioning control module for controlling the vehicle air conditioning based on at least any one of a passenger's body temperature, a vehicle room temperature, and a passenger's body temperature determined by the passenger's temperature determining module;
And a seat control module for controlling the seat of the vehicle based on the occupant's posture determined by the occupant's posture determination module, the body shape of the occupant, and the behavior pattern of the occupant determined by the occupant's behavior pattern determination module.
제3항에 있어서,
상기 차량 제어 모듈은,
상기 탑승자가 스티어링 휠을 손으로 잡고 있는 것을 판단하고, 상기 탑승자의 머리가 주행방향을 향하고 있는지 판단하며, 상기 탑승자가 외부자극에 반응을 하는지 판단하여 상기 탑승자의 주의를 환기시키는 DWD 경고 모듈을 포함하는 개인 맞춤형 능동 편의 시스템.
The method of claim 3,
The vehicle control module includes:
A DWD warning module for determining that the occupant is holding the steering wheel by hand, determining whether the head of the occupant is heading in the traveling direction, and determining whether the occupant is responsive to an external stimulus to call attention of the occupant A personalized active comfort system.
KR1020170163179A 2017-11-30 2017-11-30 Activity convenience system for personalized custom KR102559163B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170163179A KR102559163B1 (en) 2017-11-30 2017-11-30 Activity convenience system for personalized custom

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170163179A KR102559163B1 (en) 2017-11-30 2017-11-30 Activity convenience system for personalized custom

Publications (2)

Publication Number Publication Date
KR20190063971A true KR20190063971A (en) 2019-06-10
KR102559163B1 KR102559163B1 (en) 2023-07-26

Family

ID=66848408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170163179A KR102559163B1 (en) 2017-11-30 2017-11-30 Activity convenience system for personalized custom

Country Status (1)

Country Link
KR (1) KR102559163B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069585A (en) * 2018-12-07 2020-06-17 전자부품연구원 Appratus and method for intelligent vehicle convenience control

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010083204A (en) * 2008-09-29 2010-04-15 Denso Corp Air conditioning device for vehicle
KR20120046909A (en) 2010-11-01 2012-05-11 현대모비스 주식회사 Automatic control system for vehicle seat
KR20130007870A (en) * 2011-07-11 2013-01-21 현대모비스 주식회사 Passenger sensing system based on image information and method thereof
KR20150108138A (en) * 2014-03-17 2015-09-25 엘에스산전 주식회사 Apparatus for controlling vehcle and operating method thereof
KR20160124334A (en) * 2015-04-17 2016-10-27 (주)보강하이텍 Image diagnostic apparatus using multi-camera
KR20170109275A (en) * 2016-03-21 2017-09-29 현대자동차주식회사 Vehicle and controlling method of the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010083204A (en) * 2008-09-29 2010-04-15 Denso Corp Air conditioning device for vehicle
KR20120046909A (en) 2010-11-01 2012-05-11 현대모비스 주식회사 Automatic control system for vehicle seat
KR20130007870A (en) * 2011-07-11 2013-01-21 현대모비스 주식회사 Passenger sensing system based on image information and method thereof
KR20150108138A (en) * 2014-03-17 2015-09-25 엘에스산전 주식회사 Apparatus for controlling vehcle and operating method thereof
KR20160124334A (en) * 2015-04-17 2016-10-27 (주)보강하이텍 Image diagnostic apparatus using multi-camera
KR20170109275A (en) * 2016-03-21 2017-09-29 현대자동차주식회사 Vehicle and controlling method of the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069585A (en) * 2018-12-07 2020-06-17 전자부품연구원 Appratus and method for intelligent vehicle convenience control

Also Published As

Publication number Publication date
KR102559163B1 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
CN109866657B (en) Systems, methods, and apparatus for providing automatic passenger seat adjustment in a vehicle
US10926773B2 (en) Systems and methods for mitigating motion sickness in a vehicle
US20160368509A1 (en) Method for adjusting a position of a component of a vehicle
JP6650032B2 (en) Vehicle control system based on human face recognition
US11358470B2 (en) Method for operating a display apparatus for a motor vehicle, and motor vehicle
EP3142902B1 (en) Display device and vehicle
CN113276794A (en) Controller, vehicle, and non-transitory computer readable medium
JP2017021651A (en) Vehicle control device
JP6756174B2 (en) Vehicle control device
EP4002301A1 (en) Method, device and system for controlling at least one drive assistance system of a motor vehicle
US20210155122A1 (en) Apparatus and method for controlling interior of vehicle
US20210188324A1 (en) Autonomous controller, vehicle system including the same, and method thereof
KR102508511B1 (en) System for automatic driving
KR20190063971A (en) Activity convenience system for personalized custom
JP7268526B2 (en) VEHICLE DISPLAY CONTROL DEVICE AND VEHICLE DISPLAY SYSTEM
EP4029716A1 (en) Vehicle interactive system and method, storage medium, and vehicle
US20240051585A1 (en) Information processing apparatus, information processing method, and information processing program
US20210237577A1 (en) Method And System For Controlling Motor Vehicle Functions
WO2023145168A1 (en) Vehicle integration control device and vehicle integration control method
US20220024459A1 (en) Motion sickness reduction system and method for vehicle occupants
JP7322667B2 (en) Driver state estimation device
US12026958B2 (en) Vehicle camera mirror system with adjustable video feed
US20240025251A1 (en) Vehicle human machine interface generating system and method for generating the same
JP7342635B2 (en) Driver state estimation device and driver state estimation method
JP7276083B2 (en) Driver state estimation device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant