KR20200069585A - 지능형 차량 편의 제어 장치 및 방법 - Google Patents

지능형 차량 편의 제어 장치 및 방법 Download PDF

Info

Publication number
KR20200069585A
KR20200069585A KR1020180156798A KR20180156798A KR20200069585A KR 20200069585 A KR20200069585 A KR 20200069585A KR 1020180156798 A KR1020180156798 A KR 1020180156798A KR 20180156798 A KR20180156798 A KR 20180156798A KR 20200069585 A KR20200069585 A KR 20200069585A
Authority
KR
South Korea
Prior art keywords
occupant
information
vehicle
image information
convenience
Prior art date
Application number
KR1020180156798A
Other languages
English (en)
Other versions
KR102125756B1 (ko
Inventor
김승훈
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180156798A priority Critical patent/KR102125756B1/ko
Publication of KR20200069585A publication Critical patent/KR20200069585A/ko
Application granted granted Critical
Publication of KR102125756B1 publication Critical patent/KR102125756B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G06K9/00832—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/50—Magnetic or electromagnetic sensors
    • B60W2420/506—Inductive sensors, i.e. passive wheel sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 발명은 차량 내의 편의장치 또는 안전장치를 능동적으로 제어하고 탑승자에게 맞춤형 서비스를 제공하는 지능형 차량 편의 제어 장치 및 방법에 관한 것으로, 일 실시 예에 따른 지능형 차량 편의 제어 장치는, 차량 내 하나 이상의 영상 정보를 획득하는 영상 정보 획득부; 상기 획득한 영상 정보로부터 차량 내 탑승자를 인식하고 상기 탑승자의 상태 정보 및 행동 패턴을 분석하는 탑승자 정보 학습부;　및 상기 차량 내 환경 정보를 추출하고 상기 학습된 탑승자 정보에 기초하여 서비스 제공 여부를 판단하고 상기 편의 장치를 제어하는 편의장치 제어부;를 포함할 수 있다.

Description

지능형 차량 편의 제어 장치 및 방법{APPRATUS AND METHOD FOR INTELLIGENT VEHICLE CONVENIENCE CONTROL}
본 발명은 지능형 차량 편의 제어 장치 및 방법에 관한 것이며, 더욱 상세하게는, 차량 내의 편의장치 또는 안전장치를 능동적으로 제어하고 탑승자에게 맞춤형 서비스를 제공하는 지능형 차량 편의 제어 장치 및 방법에 관한 것이다.
한국공개특허 제10-2012-0024225호는 자동차시트 자동조절시스템에 관한 것으로, 차량에 탑승하는 탑승자의 신체 조건을 영상 촬영부로 습득하고 이 영상 정보를 이용하여 자동차의 운행시 안전성과 편의성을 고려한 시트의 최적 위치를 도출할 후 자동차 시트를 자동으로 최적인 상태로 조절하도록 함에 따라 차량에 탑승자의 안전성과 편의성을 더욱 향상시킬 수 있게 한 영상 정보를 이용한 탑승자 신체조건에 적응하는 자동차시트 자동조절시스템에 관한 것이다.
그러나, 종래기술은 단지 자동차시트 자동 조절 한가지 서비스에 대한 내용만을 개시하고 있어, 본 발명에서 제공하고자 하는 차량 환경 정보에 따른 지능형 차량 편의 제어 장치와는 차이가 있다.
본 발명은 딥러닝을 이용해 차량 내 탑승자 정보 및 실내외 환경 정보를 분석하고 차량 내 탑승자에게 맞춤형 편의 서비스 제공을 통해 지능형 차량 편의 제어 장치를 구현할 수 있다.
일 실시 예에 따르면, 본 발명의 지능형 차량 편의 제어 장치는, 차량 내 하나 이상의 영상 정보를 획득하는 영상 정보 획득부, 획득한 영상 정보로부터 차량 내 탑승자를 인식하고 탑승자의 상태 정보 및 행동 패턴을 분석하는 탑승자 정보 학습부,　및 차량 내 환경 정보를 추출하고 학습된 탑승자 정보에 기초하여 서비스 제공 여부를 판단하고 편의 장치를 제어하는 편의장치 제어부를 포함할 수 있다.
영상 정보 획득부는 차량 내 룸미러 근방에 배치되어 앞좌석 및 뒷자석의 객체를 촬영한 영상 정보를 획득하고, 영상 정보 획득부는 RGB　카메라, 3D Depth　센서 및　Thermal IR　센서 중 하나 이상을 포함할 수 있다.
탑승자 정보 학습부는 하나 이상의 영상 정보로부터 운전자를 포함한 탑승 인원,　성별 및 체형 정보 중 하나 이상을 탑승자 정보로 학습할 수 있다.
탑승자 정보 학습부는 하나 이상의 영상 정보로부터 차량 내 탑승자의 얼굴 및 윤곽을 인식하고 딥러닝 모델을 통해 탑승자의 상태 정보 및 행동 패턴을 추정할 수 있다.
딥러닝 모델은 탑승자의 골격정보를 산출하고, 산출한 탑승자의 골격 정보를 기초로 탑승자의 입력 신호를 판단하는 것을 더 포함할 수 있다.
또한, 딥러닝 모델은 하나 이상의 영상 정보로부터 탑승자의 특징 정보 및 윤곽 정보를 추출하여 탑승자의 상태 정보를 분석하고, 여기서 탑승자의 상태 정보는 탑승자가 착용한 의복 정보, 탑승자의 체온 추정 정보 및 탑승자 중 운전자의 운전 집중도 중 하나 이상을 포함할 수 있다.
또한, 딥러닝 모델은 기 학습된 탑승자의 행동 패턴 정보를 기초로 탑승자 맞춤형 서비스를 판단하고, 여기서 탑승자의 행동 패턴 정보는 탑승자의 컨텐츠 재생 취향 정보, 탑승자의 목적지 패턴 정보, 탑승자의 운전습관, 탑승자의 서비스 제어 명령 중 하나 이상을 포함할 수 있다.
편의장치 제어부는 차량 내 미디어 장치 제어, 시트 배치 조정, 에어컨 가동 여부 결정, 공조 장치 제어, 에어백 전개 압력 제어, 운전자 알림, 차량 운행 제어 중 하나 이상의 탑승자 맞춤형 서비스를 제어할 수 있다.
본 발명은 RGB 카메라, Depth 센서, thermal IR 센서 등 비교적 저가의 카메라 또는 센서들을 이용하여 차량내 최적화된 편의 장치 제어 프로세스를 구현할 수 있다.
또한, 차량 내 영상 정보를 기초로 운전자 이외에 동승자에 관한 정보 분석을 통해 차량에 필요한 맞춤형 서비스에 대한 구현 정확도를 높이고, 하나 이상의 탑승자 각각에 대한 딥러닝 학습을 통해 다수의 구성원이 사용하는 차량에도 탑승자 맞춤형 차량 편의 서비스를 제공할 수 있다.
또한, 본 발명에 따르면 탑승자 정보 및 상태 정보, 행동 패턴 등은 딥러닝 학습 및 분석을 통해 시스템적으로 업그레이드가 가능하고, 소프트웨어적으로 간단한 처리를 통해 버전 업이 가능하다.
본 발명에 따르면 탑승자 인식 및 탑승자의 골격 정보에 따른 탑승자의 입력 신호 분석 등 탑승자의 현재 상태 및 탑승자의 의도를 판단하여 보다 적절한 차량 내 편의 서비스를 제공할 수 있다.
본 발명에 따르면 탑승자의 의복 정보 및 체온 추정 정보 등을 통해 차량 내 실내 환경(에어컨디셔너, 공조장치)의 적절한 제어가 가능하다.
본 발명에 따르면 딥러닝 모델을 외부의 클라우드 서버에서 구현하여 차량 내 컴퓨팅 파워 문제 및 비용 부담을 절감할 수 있다.
도 1은 본 발명에 일 실시 예에 따른 지능형 차량 편의 제어 장치의 블럭도이다.
도 2a 내지 2c는 본 발명의 영상 정보 획득부가 차량내 룸미러 부근에 배치된 일 실시 예이다.
도 3은 본 발명의 영상 정보 획득부가 인식할 수 있는 차량 내 좌석 공간에 대한 개념도이다.
도 4는 본 발명의 영상 정보 획득부에서 획득한 하나 이상의 영상 정보에 관한 일 예이다.
도 5 및 도 6은 본 발명의 딥러닝 모델이 탑승자의 골격 정보를 추출하고 추출한 골격 정보 좌표로부터 탑승자의 행동 패턴 및 입력 정보를 분석하는 일 예이다.
도 7은 본 발명의 딥러닝 모델을 학습시키는 과정에 대한 일 예이다.
도 8은 차량 내 편의장치의 세부 구성에 대한 개념도의 일 예이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예들에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예들에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 본 실시예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
또한, 이하에 첨부되는 도면들은 본 발명의 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
이하의 실시예들에서 개시되는 탑승자 편의제공을 위한 장치에 대해 각 도면을 참조하여 보다 구체적으로 살펴보기로 한다.
도 1은 본 발명에 일 실시 예에 따른 지능형 차량 편의 제어 장치(100)의 블럭도이다. 일 실시 예에 따르면, 지능형 차량 편의 장치(100)는 영상 정보 획득부(110), 탑승자 정보 학습부(120), 편의 장치 제어부(140) 및 통신부(130)를 포함할 수 있다.
일 예로, 영상 정보 획득부(110)는 차량 내 하나 이상의 영상 정보를 획득할 수 있다. 이때, 영상 정보 획득부(110)는 RGB　카메라, Depth　센서 및　Thermal IR　센서를 포함할 수 있다. 그러나 그 이외에 다양한 종류의 카메라, 예를 들어 단안(모노) 카메라, 양안(스테레오) 카메라, 적외선 카메라, 라이다, LRF 센서 중 하나 이상의 카메라가 활용될 수 있으며, 전술한 카메라를 복수 개 포함하는 하나의 모듈로서 차량내 탑재될 수 있다.
이때, 영상 정보 획득부(110)는 차량 내 룸미러 근방에 배치되어 앞좌석 및 뒷자석의 객체를 촬영한 영상 정보를 획득할 수 있다. 도 2a 내지 2c는 본 발명의 영상 정보 획득부가 차량내 룸미러 부근에 배치된 일 실시 예이다.
도 3은 본 발명의 영상 정보 획득부(110)가 인식할 수 있는 차량 내 좌석 공간에 대한 개념도이고, 일 실시 예에 따른 영상 정보 획득부(110)가 룸미러 근방에 배치되는 경우 차량의 중앙에서 운전석, 동승자석, 뒷좌석 등을 모두 촬영하여 하나의 영상으로부터 각 좌석별 사람 탑승 여부를 확인할 수 있는 이점이 있다.
여기서, 도 4는 본 발명의 영상 정보 획득부에서 획득한 하나 이상의 영상 정보에 관한 일 예이다. 전술한 RGB 카메라, Depth 센서 및 Thermal 센서는 각각 영상 정보를 획득할 수 있고, 본 발명의 영상 정보 획득부(110)는 상기 각각의 영상 정보를 전처리하고 필터링하여 색 또는 윤곽 정보, 깊이 정보, 온도 정보 등을 획득할 수 있다.
도 4를 참고하면, 영상 정보 획득부(110)는 Thermal 센서 또는 적외선 카메라, 또는 열화상 카메라 등을 이용하여 촬영한 영상 정보로부터 운전석, 조수석, 뒷좌석(좌), 뒷자석(우)에 해당하는 영역에 대한 온도 정보를 획득할 수 있고, 탑승자 정보 학습부(120)는 온도 정보로부터 차량내 사람 탑승 여부, 탑승 인원 등을 판단할 수 있다. 나아가, 탑승자 정보 학습부(120)는 영상 내 차량 내부 온도 정보와 탑승자의 온도 정보 및 탑승자의 특징 정보를 딥러닝 모델을 통해 비교하여 체온 추정 정보, 탑승자가 입고 있는 의복의 두께, 종류 등의 탑승자 정보를 학습할 수 있다. 다른 예로, 의복의 두께는 RGB 영상 정보의 색상 차이나 깊이 영상 정보의 깊이(체적) 값으로부터 추정할 수 있다.
한편, 지능형 차량 편의 제공 장치(100)는 외부 서버에 학습 데이터 셋 및 딥러닝 결과를 송수신하는 통신부(130)를 더 포함할 수 있다. 이때 외부 서버는 클라우드 서버일 수 있다. 통신부(130)는 유무선 통신 네트워크를 이용하여 외부 클라우드 서버와 연결되거나, 차량 내 통신이 가능한 스마트폰 등과 블루투스 연결 등을 통해 학습 데이터 셋 및 딥러닝 결과를 송수신 할 수 있다. 이 경우 탑승자에 대한 실질적인 분석 및 판단은 외부의 딥러닝 모델에 의해 이루어질 수 있다.
딥러닝 모델은 영상 정보 획득부(110)에서 획득한 하나 이상의 영상 정보를 전처리하여 탑승자 분석에 필요한 기초 데이터들을 추출할 수 있다.
다른 실시 예에 따르면, 탑승자 정보 학습부(120)는 획득한 영상 정보로부터 차량 내 탑승자를 인식하고 탑승자의 상태 정보 및 행동 패턴을 분석할 수 있다. 예를 들어, 탑승자 정보 학습부(120)는 하나 이상의 영상 정보로부터 운전자를 포함한 탑승 인원,　성별 및 체형 정보 중 하나 이상을 탑승자 정보로 학습할 수 있다. 예를 들어, 탑승자 정보 학습부(120)는 영상 정보 획득부(110)에서 획득한 온도 정보 등으로부터 차량 내 운전석, 보조석(동승자석), 뒷좌석(좌), 뒷좌석(우)에 탑승자가 탑승하였는지 여부를 판단할 수 있고, 탑승자에 대한 얼굴 인식, 골격 정보 추출 결과로부터 차량내 탑승 인원, 탑승자의 성별, 연령대 등 탑승자 관련 정보를 학습할 수 있다.
예를 들어, 안면을 기준으로 탑승자를 식별하는 경우 탑승자의 특징 정보는 안면의 윤곽, 눈, 코, 입 간 거리 등에 해당할 수 있고, 체형을 기준으론 탑승자를 식별하는 경우 탑승자의 특징 정보는 깊이 값 또는 부피 값이나 골격 정보 등이 해당할 수 있다.
다른 예로, 지능형 차량 편의 제어 장치(100)는 탑승자가 아이인 경우 사고 발생시 에어백 전개 압력, 방향 등을 적응적으로 변경시킬 수 있도록 에어백 설정을 변경해 놓을 수 있다.
도 5 및 도 6은 본 발명의 딥러닝 모델이 탑승자의 골격 정보를 추출하고 추출한 골격 정보 좌표로부터 탑승자의 행동 패턴 및 입력 정보를 분석하는 일 예이다.
일 예로, 탑승자 정보 학습부(120)는 하나 이상의 영상 정보로부터 차량 내 탑승자의 얼굴 및 윤곽을 인식하고 딥러닝 모델을 통해 탑승자의 상태 정보 및 행동 패턴을 추정할 수 있다. 예를 들어, 딥러닝 모델은 영상 정보로부터 탑승자의 관절위치를 추출하여 탑승자의 골격정보를 산출할 수 있다.
여기서, 관절위치란 관절의 종류별 2차원 또는 3차원 위치 좌표를 의미할 수 있고 골격정보는 뼈대 별로 양 끝 관절위치(좌표)로 나타낼 수 있으므로, 뼈대 양끝 관절의 종류 및 관절위치(좌표)를 기초로 골격정보를 산출할 수 있다. 다만, 골격정보는 관절위치(좌표) 외에 뼈대의 양 끝의 관절을 연결한 뼈대의 길이나 각도 등의 다양한 방법으로 표현될 수도 있다.
도 5를 참조하면, 핸들(A)을 잡고 차량을 운전하는 탑승자는 어깨관절(J1, J4), 팔꿈치관절(J2, J5), 무릎관절(J8, J11), 발목관절(J9, J12) 등의 관절을 포함할 수 있고 딥러닝 모델은 상부팔뼈대(B1, B2)는 상부팔뼈대(B1, B2)의 양 끝에 있는 어깨관절(J1, J4)과 팔꿈치관절(J2, J5)을 연결함으로써 관절위치로부터 골격(뼈대)정보를 산출할 수 있다.
도 6을 참고하면, 관절위치는 관절(J1 내지 J14)의 종류별 3차원 위치 좌표(X, Y, Z)에 해당한다. 여기에서, X 및 Y는 가시 영상정보의 하나의 프레임에서 각 관절이 위치하는 픽셀의 X축 및 Y축의 좌표값이고 및 Z는 동일한 시간에 해당하는 깊이 영상정보의 프레임에서 각 관절이 위치하는 픽셀의 깊이 값일 수 있다.
탑승자의 골격을 구성하는 각 뼈대의 양 끝의 관절의 종류를 알고 있다면 관절(J1 내지 J14)의 종류별 3차원 위치 좌표를 이용하여 각 뼈대의 양 끝의 관절위치(좌표)를 알 수 있으므로 도 9의 관절종류 별 관절위치(좌표)를 통해 골격정보를 산출할 수 있다.
한편 다른 실시 예로, 영상 정보 획득부(100)가 깊이 카메라를 포함하지 않는 경우 딥러닝 모델은 RGB 영상 정보로부터 2차원 위치좌표(X, Y)에 해당하는 관절위치를 계산하여 골격정보를 산출할 수 있다.
또 다른 실시 예로, 딥러닝 모델은 2차원 관절위치(좌표)로 구성된 골격정보를 산출한 후 2차(서브) 딥러닝 모델을 이용하여 3차원 관절위치(좌표)로 변경할 수 있다.
탑승자의 골격 정보를 산출하는 경우, 골격 정보로부터 탑승자에 관한 다양한 정보를 판단하고 학습할 수 있다. 딥러닝 모델은 탑승자가 운전을 하고 있는 상황인지 또는 탑승자가 입력 정보로 어떤 동작을 수행하는 지 등에 관하여 탑승자의 행동 패턴을 학습할 수 있다.
예를 들어, 딥러닝 모델은 탑승자가 운전에 집중하고 있는 경우의 행동 패턴과 탑승자의 동작이 많은 경우 또는 탑승자 얼굴 인식 결과 탑승자가 일정시간 이상 눈을 감고 있는 경우 등을 비교하여 탑승자의 운전 집중도를 분석할 수 있다. 만일 탑승자 정보 학습부(120)가 현재 탑승자의 상태 정보를 졸음이라고 파악하는 경우, 편의 장치 제어부(140)는 탑승자를 깨우기 위한 알림 서비스 등을 시작할 수 있다.
또한, 딥러닝 모델은 하나 이상의 영상 정보로부터 탑승자의 특징 정보 및 윤곽 정보를 추출하여 상기 탑승자의 상태 정보를 분석할 수 있고, 여기서 탑승자의 상태 정보는 탑승자가 착용한 의복 정보, 탑승자의 체온 추정 정보 및 탑승자 중 운전자의 운전 집중도 중 하나 이상을 포함할 수 있다.
또 다른 에로, 딥러닝 모델은 기 학습된 탑승자의 행동 패턴 정보를 기초로 탑승자 맞춤형 서비스를 판단하고, 탑승자의 행동 패턴 정보는 탑승자의 컨텐츠 재생 취향 정보, 탑승자의 목적지 패턴 정보, 탑승자의 운전습관, 탑승자의 서비스 제어 명령 중 하나 이상을 포함할 수 있다.
도 7은 본 발명의 딥러닝 모델을 학습시키는 과정에 대한 일 예이다. 일 실시예에 따른 딥러닝 모델은 입력층에 n*m 개의 뉴런을 구비하여 각 뉴런에는 n행 m열의 이미지의 각 픽셀(
Figure pat00001
)의 RGB 값, 깊이 값 또는 온도 값이 입력되고 출력층에 k개의 뉴런을 구비하여 각 뉴런에는 k개의 분류(
Figure pat00002
) 중 어떤 분류에 해당하는지를 판단할 수 있는 정보가 출력될 수 있다. (1<=i<=n, 1<=j<=m, 1<=l<=k)
한편, 딥러닝 모델의 입력층에 n행 m열의 이미지의 각 픽셀(
Figure pat00003
)의 RGB 값, 깊이 값 및 온도 값이 모두 입력될 수 있는데 이 때에는 입력은 3*n*m 개의 뉴런을 구비해야 한다.
다만, 도 7과 달리,
Figure pat00004
는 영상정보 외에 특징정보 또는 골격정보에 해당할 수 있고
Figure pat00005
는 탑승자, 조작대상 및 조작방법, 운전부주의 상태인지 여부, 탑승위치, 인원수, 어린이나 어른, 의복 두께, 체온, 탑승자, 입력신호를 k개의 분류로 나눈 것에 해당할 수 있다.
일 실시 예에 따르면, 편의 장치 제어부(140)는 차량 내 환경 정보를 추출하고 학습된 탑승자 정보에 기초하여 서비스 제공 여부를 판단하고 편의 장치를 제어할 수 있다.
도 8은 차량 내 편의장치의 세부 구성에 대한 개념도의 일 예이다. 도 8을 참고하면, 차량(200)은 내부에 에어백(212, 214), 공조장치(222, 224, 226, 228), 컨텐츠 제공장치(232, 234), 구동장치(240), 좌석(250), 운전주의장치(미도시), 촬영부(300) 및 탑승자 편의제공제어장치(400)를 구비할 수 있다. 여기서, 컨텐츠 제공장치(232, 234)는 오디오, 비디오 등의 컨텐츠를 제공할 수도 있고 네비게이션 기능을 제공할 수도 있으며 운전자에게 소리 또는 영상을 통해 주의를 주는 운전주의장치(미도시)의 역할을 할 수도 있다. 즉 네비게이션 또는 운전주의장치는 컨텐츠 제공장치에 해당할 수 있다.
편의 장치 제어부(140)는 차량 내 미디어 장치 제어, 시트 배치 조정, 공조 장치 제어, 에어백 전개 압력 제어, 운전자 알림, 차량 운행 제어 중 하나 이상의 탑승자 맞춤형 서비스를 제어할 수 있다.
일 예로, 탑승자 정보 학습부(120)가 운전자석에 있는 탑승자 1인만을 탑승자 정보로 학습하면, 편의 장치 제어부(140)는 동승자석에 있는 에어백을 오프시키거나, 뒷좌석의 공조장치를 오프시킬 수 있다.
또한, 편의 장치 제어부(140)는 탑승자가 1인인 경우 네비게이션에서 탑승자의 기 설정 패턴에 기초한 추천 목적지를 제공하거나, 탑승자가 2인 이상인 경우 네비게이션에서 근처 추천 맛집 또는 인식된 탑승자의 선호도에 따른 추천 맛집 등을 추천 목적지로 제공할 수 있다
다른 예로, 탑승자 정보 학습부(120)가 동승자석에 있는 탑승자가 체형이 작은 아이인 것을 탑승자 정보로 학습하면, 편의 장치 제어부(140)는 에어컨 또는 히터 가동시 아이를 향해 직접적인 바람이 전달되지 않도록 에어컨 또는 히터 송출 방향을 조정하거나, 동승자석의 에어컨 전개 설정을 아이에 맞게 변경해놓을 수 있다.
다른 예로, 탑승자 정보 학습부(120)가 탑승자가 입은 의복의 종류와 두께를 딥러닝을 통해 학습하면, 편의 장치 제어부(140)는 실내 적정 온도와 탑승자의 체온 추정 정보를 비교하여 에어컨 또는 히터를 온/오프 시키는 등 공조장치를 제어할 수 있다.
또 다른 예로, 탑승자 정보 학습부(120)가 탑승자의 골격 정보를 산출하여 탑승자의 자세나 위치를 학습하면, 편의 장치 제어부(140)는 탑승자가 앉은 좌석의 시트 각도를 조정할 수 있다. 이때, 탑승자 정보 학습부(120)가 딥러닝을 통해 탑승자가 그동안 조정을 수행했던 시트 각도 조정값 등을 기초로 탑승자 행동 패턴을 분석하면, 편의장치 제어부는(130) 탑승자 행동 패턴에 기초하여 시트 각도를 조정할 수 있다. 또한, 이때 편의장치 제어부는(130) 탑승자가 착용한 의복의 종류와 두께 등을 고려하여 시트 각도 조정을 수행할 수 있다.
또 다른 예로, 탑승자 정보 학습부(120)가 탑승자의 상태를 운전 부주의 상태로 학습한 경우, 편의 장치 제어부(140)는 탑승자에게 경각심을 주는 알림을 제공할 수 있다.
한편, 다른 실시 예에 따르면, 지능형 차량 편의 제공 장치(100)는 사용자와 인터랙션하는 인터페이스(150)를 더 포함할 수 있고(미도시), 여기서 인터페이스(150)는 탑승자 영상 정보 분석을 통해 탑승자가 차량을 제어하기 위해 입력하는 입력신호로 입출력 할 수 있다.
다른 양상에 따르면, 지능형 차량 편의 제공 장치(100)를 이용하여 지능형 차량 편의 제공 방법을 아래와 같이 설명할 수 있다.
먼저, 지능형 차량 편의 제공 방법은 차량 내 하나 이상의 영상 정보를 획득하는 단계, 획득한 영상 정보로부터 차량 내 탑승자를 인식하는 단계, 탑승자의 상태 정보 및 행동 패턴을 분석하는 단계, 차량 내 환경 정보를 추출하고 학습된 탑승자 정보에 기초하여 서비스 제공 여부를 판단하는 단계, 및 편의 장치를 제어하는 단계를 포함할 수 있다.
또한, 지능형 차량 편의 제공 방법은 하나 이상의 영상 정보로부터 차량 내 탑승자의 얼굴 및 윤곽을 인식하고 딥러닝 모델을 통해 탑승자의 상태 정보 및 행동 패턴을 추정하는 단계를 포함하고, 딥러닝 모델은 하나 이상의 영상 정보로부터 탑승자의 특징 정보 및 윤곽 정보를 추출하여 탑승자의 상태 정보를 분석하고, 탑승자의 상태 정보는 탑승자가 착용한 의복 정보, 탑승자의 체온 추정 정보 및 탑승자 중 운전자의 운전 집중도 중 하나 이상을 포함하는 단계일 수 있다.
이상에서와 같이, 본 출원의 바람직한 실시예 들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 지능형 차량 편의 제어 장치 110 : 영상 획득부 120 : 탑승자 정보 학습부 130 : 편의장치 제어부
140 : 통신부 150 : 인터페이스

Claims (10)

  1. 차량 내 하나 이상의 영상 정보를 획득하는 영상 정보 획득부;
    상기 획득한 영상 정보로부터 차량 내 탑승자를 인식하고 상기 탑승자의 상태 정보 및 행동 패턴을 분석하는 탑승자 정보 학습부;　및
    상기 차량 내 환경 정보를 추출하고 상기 학습된 탑승자 정보에 기초하여 서비스 제공 여부를 판단하고 상기 편의 장치를 제어하는 편의장치 제어부;를 포함하는, 지능형 차량 편의 제어 장치.　
  2. 제1항에 있어서,
    상기 영상 정보 획득부는 차량 내 룸미러 근방에 배치되어 앞좌석 및 뒷자석의 객체를 촬영한 영상 정보를 획득하고,
    상기 영상 정보 획득부는 RGB　카메라, Depth　센서 및　Thermal IR　센서 중 하나 이상을 포함하는, 지능형 차량 편의 제어 장치.　
  3. 제1항에 있어서,
    상기 탑승자 정보 학습부는 상기 하나 이상의 영상 정보로부터 운전자를 포함한 탑승 인원,　성별 및 체형 정보 중 하나 이상을 탑승자 정보로 학습하는,　지능형 차량 편의 제어 장치.
  4. 제1항에 있어서,
    상기 탑승자 정보 학습부는 상기 하나 이상의 영상 정보로부터 차량 내 탑승자의 얼굴 및 윤곽을 인식하고 딥러닝 모델을 통해 상기 탑승자의 상태 정보 및 행동 패턴을 추정하는,　지능형 차량 편의 제어 장치.
  5. 제4항에 있어서,
    상기 딥러닝 모델은 상기 탑승자의 골격정보를 산출하고, 상기 산출한 탑승자의 골격 정보를 기초로 상기 탑승자의 입력 신호를 판단하는 것을 더 포함할 수 있다.
  6. 제4항에 있어서,
    상기 딥러닝 모델은 상기 하나 이상의 영상 정보로부터 상기 탑승자의 특징 정보 및 윤곽 정보를 추출하여 상기 탑승자의 상태 정보를 분석하고,
    상기 탑승자의 상태 정보는 상기 탑승자가 착용한 의복 정보, 상기 탑승자의 체온 추정 정보 및 상기 탑승자 중 운전자의 운전 집중도 중 하나 이상을 포함하는, 지능형 차량 편의 제어 장치.
  7. 제4항에 있어서,
    상기 딥러닝 모델은 기 학습된 탑승자의 행동 패턴 정보를 기초로 상기 탑승자 맞춤형 서비스를 판단하고,
    상기 탑승자의 행동 패턴 정보는 상기 탑승자의 컨텐츠 재생 취향 정보, 상기 탑승자의 목적지 패턴 정보, 상기 탑승자의 운전습관, 상기 탑승자의 서비스 제어 명령 중 하나 이상을 포함하는, 지능형 차량 편의 제어 장치.
  8. 제1항에 있어서,
    상기 편의장치 제어부는 상기 차량 내 미디어 장치 제어, 시트 배치 조정, 공조 장치 제어, 에어백 전개 설정 제어, 운전자 알림, 차량 운행 제어 중 하나 이상의 탑승자 맞춤형 서비스를 제어하는, 지능형 차량 편의 제어 장치.
  9. 차량 내 하나 이상의 영상 정보를 획득하는 단계;
    상기 획득한 영상 정보로부터 차량 내 탑승자를 인식하는 단계;
    상기 탑승자의 상태 정보 및 행동 패턴을 분석하는 단계;
    상기 차량 내 환경 정보를 추출하고 상기 학습된 탑승자 정보에 기초하여 서비스 제공 여부를 판단하는 단계; 및
    상기 편의 장치를 제어하는 단계를 포함하는, 지능형 차량 편의 제어 방법.　
  10. 제9항에 있어서,
    상기 하나 이상의 영상 정보로부터 차량 내 탑승자의 얼굴 및 윤곽을 인식하고 딥러닝 모델을 통해 상기 탑승자의 상태 정보 및 행동 패턴을 추정하는 단계를 포함하고,
    상기 딥러닝 모델은 상기 하나 이상의 영상 정보로부터 상기 탑승자의 특징 정보 및 윤곽 정보를 추출하여 상기 탑승자의 상태 정보를 분석하고,
    상기 탑승자의 상태 정보는 상기 탑승자가 착용한 의복 정보, 상기 탑승자의 체온 추정 정보 및 상기 탑승자 중 운전자의 운전 집중도 중 하나 이상을 포함하는 단계인, 지능형 차량 편의 제어 방법.
KR1020180156798A 2018-12-07 2018-12-07 지능형 차량 편의 제어 장치 및 방법 KR102125756B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180156798A KR102125756B1 (ko) 2018-12-07 2018-12-07 지능형 차량 편의 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180156798A KR102125756B1 (ko) 2018-12-07 2018-12-07 지능형 차량 편의 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200069585A true KR20200069585A (ko) 2020-06-17
KR102125756B1 KR102125756B1 (ko) 2020-06-23

Family

ID=71137801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180156798A KR102125756B1 (ko) 2018-12-07 2018-12-07 지능형 차량 편의 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102125756B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115384363A (zh) * 2022-09-23 2022-11-25 上海展酷信息科技有限公司 基于体态识别的汽车座椅智能调节系统
WO2023016696A1 (en) * 2021-08-12 2023-02-16 Continental Automotive Technologies GmbH Vehicle cabin sensing system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190063971A (ko) * 2017-11-30 2019-06-10 주식회사 유니크 개인 맞춤형 능동 편의 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190063971A (ko) * 2017-11-30 2019-06-10 주식회사 유니크 개인 맞춤형 능동 편의 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023016696A1 (en) * 2021-08-12 2023-02-16 Continental Automotive Technologies GmbH Vehicle cabin sensing system
GB2609913A (en) * 2021-08-12 2023-02-22 Continental Automotive Gmbh Vehicle cabin sensing system
CN115384363A (zh) * 2022-09-23 2022-11-25 上海展酷信息科技有限公司 基于体态识别的汽车座椅智能调节系统

Also Published As

Publication number Publication date
KR102125756B1 (ko) 2020-06-23

Similar Documents

Publication Publication Date Title
WO2020078461A1 (zh) 车辆座椅智能调节方法和装置、车辆、电子设备、介质
WO2017219319A1 (zh) 车辆自动驾驶方法和车辆自动驾驶系统
JP2022547479A (ja) 車載デジタル人に基づくインタラクション
EP4112372A1 (en) Method and system for driver posture monitoring
CN113335146B (zh) 自动调节驾驶员相关车载设备的调节方法、装置和系统
US11891002B1 (en) Determining comfort settings in vehicles using computer vision
JP2020185378A (ja) 乗り物酔いを軽減するためのシステムおよび方法
CN111311963A (zh) 驾驶员的驾驶不能状态检测装置
WO2018047392A1 (ja) モビリティ及びモビリティシステム
CN113524234A (zh) 移动体控制系统以及控制方法
KR102125756B1 (ko) 지능형 차량 편의 제어 장치 및 방법
JP6673415B2 (ja) 適合度判定装置および適合度判定方法
CN103128736A (zh) 机器人装置、其控制方法和计算机程序
CN213423969U (zh) 基于姿态识别的智能座椅控制装置
US10882478B2 (en) Movement-based comfort adjustment
JP2010058631A (ja) 車両用情報表示装置
CN110135447B (zh) 根据识别的人员信息调整车辆内人员坐姿的系统
CN109948672A (zh) 一种轮椅控制方法及系统
CN108791119A (zh) 车辆控制系统及方法
CN206664342U (zh) 步态识别系统式记忆功能座椅
CN115635890A (zh) 用于运载工具的方法和系统以及非暂时性存储介质
JP2024019213A (ja) 運転評価モデル適合装置、端末装置、制御方法、プログラム及び記憶媒体
JP2020075570A (ja) 車両用制御装置
KR20150046889A (ko) 카메라 영상을 이용한 테일 게이트 개방 각도 제어 장치 및 그 방법
KR20150067679A (ko) 차량용 제스처 인식 시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant