KR20200074489A - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR20200074489A
KR20200074489A KR1020180162923A KR20180162923A KR20200074489A KR 20200074489 A KR20200074489 A KR 20200074489A KR 1020180162923 A KR1020180162923 A KR 1020180162923A KR 20180162923 A KR20180162923 A KR 20180162923A KR 20200074489 A KR20200074489 A KR 20200074489A
Authority
KR
South Korea
Prior art keywords
vehicle
users
image
boarding
user
Prior art date
Application number
KR1020180162923A
Other languages
English (en)
Other versions
KR102570058B1 (ko
Inventor
박세영
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180162923A priority Critical patent/KR102570058B1/ko
Priority to US16/560,800 priority patent/US11027649B2/en
Priority to DE102019125025.0A priority patent/DE102019125025A1/de
Priority to CN201910927549.8A priority patent/CN111319578B/zh
Publication of KR20200074489A publication Critical patent/KR20200074489A/ko
Application granted granted Critical
Publication of KR102570058B1 publication Critical patent/KR102570058B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B60R1/062—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B60R1/062—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position
    • B60R1/07—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators
    • B60R1/074—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators for retracting the mirror arrangements to a non-use position alongside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/0043—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means for integrated articles, i.e. not substantially protruding from the surrounding parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/24—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Power-Operated Mechanisms For Wings (AREA)

Abstract

본 발명은 차량에 구비된 카메라 및 카메라가 획득한 영상을 처리하여 후석 승객의 탑승 및 하차 여부를 판단하고 운전자에게 판단한 정보를 전달하는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은, 차량 주변의 영상을 획득하는 영상획득부; 및 스마트 키와 상기 차량에 위치 관계 및 차량에 마련된 적어도 하나의 도어의 개방 여부에 기초하여 영상 획득부가 미리 결정된 영역의 영상을 획득하도록 제어하고, 미리 결정된 영역의 영상을 기초로 상기 차량의 탑승 사용자 수를 판단하는 제어부;를 포함한다.

Description

차량 및 그 제어방법{VEHICLE AND CONTROLLING METHOD FOR THE SAME}
본 기술은 카메라를 이용하여 뒷좌석으로 승차 또는 하차하는 승객을 감지하는 기능을 포함한 차량 및 그 제어방법에 관한 것이다.
최근에 운전자 부주의로 차량 뒷좌석에 유아를 남겨두고 하차하는 사고가 빈번하게 발생하고 있다.
이러한 사고를 방지하기 위하여 차량 시동 전에 또는 시동이 걸려 있는 동안 뒷좌석 도어 여닫음이 발생하고, 주행 후 시동을 끄면 경고 메시지를 출력하여 운전자에게 뒷좌석 확인을 가이드 하는 기술이 사용되고 있다.
그러나 이러한 기술은 구체적으로 뒷 자석에 탑승한 승객 수를 확인 할 수 없는 문제점이 존재하여 초음파 센서를 이용하여 뒷 좌석의 승객의 수를 확인 할 수 있는 기술이 대두되고 있으나, 초음파 센서의 특성상 실내 움직임이 지나치게 미세한 경우 승객의 감지가 어려운 문제점이 있다.
또한 초음파 센서를 이용하면 윈도우가 열린 경우, 시트 포지션 등 초음파 방사 경로 주변 환경에 따라 감지 성능이 변화할 수 있는 문제점이 발생할 수 있다.
본 발명은 차량에 구비된 카메라 및 카메라가 획득한 영상을 처리하여 후석 승객의 탑승 및 하차 여부를 판단하고 운전자에게 판단한 정보를 전달하는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은, 차량 주변의 영상을 획득하는 영상획득부; 및 스마트 키와 상기 차량에 위치 관계 및 상기 차량에 마련된 적어도 하나의 도어의 개방 여부에 기초하여 상기 영상 획득부가 미리 결정된 영역의 영상을 획득하도록 제어하고, 상기 미리 결정된 영역의 영상을 기초로 상기 차량의 탑승 사용자 수를 판단하는 제어부;를 포함할 수 있다.
상기 제어부는, 상기 차량에 마련된 적어도 하나의 후석 도어가 개방되면, 상기 미리 결정된 영역의 영상에 포함된 사용자 수를 판단할 수 있다.
상기 제어부는, 상기 후석 도어가 개방된 뒤의 시점에서, 상기 후석 도어가 폐쇄되면, 상기 미리 결정된 영역의 영상에 포함된 미 탑승 사용자 수를 판단할 수 있다.
상기 제어부는, 상기 사용자 수와 상기 미 탑승 사용자 수의 차이에 기초하여 상기 차량에 탑승 사용자 수를 결정할 수 있다.
일 실시예에 다른 차량은 출력부;를 더 포함하고,
상기 제어부는, 상기 차량의 시동이 오프(Off)되면, 상기 출력부에 상기 탑승 사용자의 하차 여부 확인 메시지를 출력할 수 있다.
상기 제어부는, 상기 차량의 시동이 오프 된 영상 획득 시점 이후에, 상기 차량에 마련된 적어도 하나의 후석 도어가 개방되면, 상기 미리 결정된 영역에서 이탈하는 이탈 사용자 수를 판단하고, 상기 탑승 사용자 및 상기 이탈 사용자의 차이에 기초하여 상기 출력부에 잔여 사용자 메시지를 출력할 수 있다.
상기 영상 획득부는, 상기 차량에 마련된 아웃 사이드 미러에 마련되고,
상기 제어부는, 상기 차량에 마련된 적어도 하나의 프론트 도어의 개방에 기초하여, 상기 프론트 도어와 대응되는 상기 사이드 미러를 폴딩(folding)할 수 있다.
상기 제어부는 상기 도어 개방 이전에 스마트 키와 상기 차량의 위치 관계에 기초하여 상기 아웃 사이드 미러를 언폴딩(unfolding)하여 미리 결정된 영역의 영상 획득을 시작할 수 있다.
상기 제어부는, 상기 차량이 미리 결정된 속도를 초과하여 주행하면, 상기 주행 시점의 상기 탑승 사용자 수를 최종 탑승 사용자 수로 결정할 수 있다.
상기 제어부는, 상기 차량의 주행중 추가 탑승 사용자가 발생하면, 상기 영상 획득부를 통해 탑승 사용자 수를 업데이트 할 수 있다.
일 실시예에 따른 차량 제어방법은, 스마트 키와 상기 차량에 위치 관계 및 상기 차량에 마련된 적어도 하나의 도어의 개방 여부에 기초하여 영상 획득부가 미리 결정된 영역의 영상을 획득하고, 상기 미리 결정된 영역의 영상을 기초로 상기 차량의 탑승 사용자 수를 판단하는 것을 포함할 수 있다.
상기 차량의 탑승 사용자 수를 판단하는 것은, 상기 차량에 마련된 적어도 하나의 후석 도어가 개방되면, 상기 미리 결정된 영역의 영상에 포함된 사용자 수를 판단하는 것을 포함할 수 있다.
상기 차량의 탑승 사용자 수를 판단하는 것은, 상기 후석 도어가 개방된 뒤의 시점에서, 상기 후석 도어가 폐쇄되면, 상기 미리 결정된 영역의 영상에 포함된 미 탑승 사용자 수를 판단하는 것을 포함할 수 있다.
상기 차량의 탑승 사용자 수를 판단하는 것은, 상기 사용자 수와 상기 미 탑승 사용자 수의 차이에 기초하여 상기 차량에 탑승 사용자 수를 결정하는 것을 포함할 수 있다.
일 실시예에 따른 차량 제어방법은, 상기 차량의 시동이 오프(Off)되면, 출력부에 상기 탑승 사용자의 하차 여부 확인 메시지를 출력하는 것을 더 포함할 수 있다.
일 실시예에 따른 차량 제어방법은, 상기 차량의 영상 획득 시점 이후에, 상기 차량에 마련된 적어도 하나의 후석 도어가 개방되면, 상기 미리 결정된 영역에서 이탈하는 이탈 사용자 수를 판단하고, 상기 탑승 사용자 및 상기 이탈 사용자의 차이에 기초하여 상기 출력부에 잔여 사용자 메시지를 출력하는 것을 더 포함할 수 있다.
일 실시예에 따른 차량 제어방법은, 상기 차량에 마련된 적어도 하나의 프론트 도어의 개방에 기초하여, 상기 프론트 도어와 대응되는 상기 아웃 사이드 미러를 폴딩(folding)하는 것을 더 포함할 수 있다.
상기 영상 획득부가 미리 결정된 영역의 영상을 획득하는 것은, 상기 도어 개방 이전에 상기 스마트 키와 상기 차량의 위치 관계에 기초하여 상기 아웃 사이드 미러를 언폴딩(unfolding)하여 미리 결정된 영역의 영상 획득을 시작하는 것을 포함할 수 있다.
상기 차량의 탑승 사용자 수를 판단하는 것은, 상기 차량이 미리 결정된 속도를 초과하여 주행하면, 상기 주행 시점의 상기 탑승 사용자 수를 최종 탑승 사용자 수로 결정하는 것을 포함할 수 있다.
일 실시예에 따른 차량 제어방법은, 상기 차량의 주행중 추가 탑승 사용자가 발생하면, 상기 영상 획득부를 통해 탑승 사용자 수를 업데이트하는 것을 더 포함할 수 있다.
일 실시예에 따른 차량 및 그 제어방법은 차량에 구비된 카메라 및 카메라가 획득한 영상을 처리하여 후석 승객의 탑승 및 하차 여부를 판단하고 운전자에게 판단한 정보를 전달할 수 있다.
도1은 일 실시예에 따른 차량의 외관도이다.
도2는 일 실시예에 따른 차량에 마련된 영상획득부를 설명하기 위한 도면이다.
도3은 일 실시예에 따른 차량의 제어 블록도이다.
도4는 차량이 탑승 사용자를 결정하기 위하여 영상을 획득하는 동작을 설명하기 위한 도면이다.
도5 및 도6은 일 실시예에 따른 탑승 사용자의 수를 결정하는 동작을 설명하기 위한 도면이다.
도7은 일 실시예 따른 차량의 사이드 미러가 폴딩(folding)되는 것을 설명하기 위한 도면이다.
도8내지 10은 일 실시예에 따른 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도1은 일 실시예에 따른 차량의 외관도이고, 도2는 일 실시예에 따른 차량에 마련된 영상획득부를 설명하기 위한 도면이다.
도1은 일 실시예에 따른 차량의 외관도이고, 도 2는 일 실시예에 따른 차량의 내부 구성을 나타낸 도면이다.
도1을 참조하면, 일 실시예에 따른 차량(1)의 외관은 차량(1)을 이동시키는 차륜(12,13), 차량(1) 내부를 외부로부터 차폐시키는 도어(15L), 차량(1) 내부의 운전자에게 차량(1) 전방의 시야를 제공하는 전면 유리(18), 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(14L,14R)를 포함한다.
차륜(12,13)은 차량의 전방에 마련되는 전륜(12), 차량의 후방에 마련되는 후륜(13)을 포함하며, 차량(1) 내부에 마련되는 구동 장치(미도시)는 차량(1)이 전방 또는 후방으로 이동하도록 전륜(12) 또는 후륜(13)에 회전력을 제공한다. 이와 같은 구동 장치는 화석 연료를 연소시켜 회전력을 생성하는 엔진 또는 축전기로부터 전원을 공급받아 회전력을 생성하는 모터를 채용할 수 있다.
프론트 도어(15L,15R) 및 후석 도어(16L, 16R)는 차량(1)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자 또는 동승자가 차량(1)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(1)의 내부를 외부로부터 차폐시킨다. 또한, 차량(1) 외부에는 도어(15L,15R)를 개폐할 수 있는 손잡이(17L)가 마련될 수 있고, 손잡이(17L)에는 LF(Low Frequency) 신호를 송신할 수 있는 LF 안테나(미도시)가 장착될 수 있다.
전면 유리(18)는 본체의 전방 상측에 마련되어 차량(1) 내부의 운전자가 차량(1) 전방의 시각 정보를 획득할 수 있도록 하는 것으로서, 윈드쉴드 글래스(windshield glass)라고도 한다.
또한, 사이드 미러(14L,14R)는 차량(1)의 좌측에 마련되는 좌측 사이드 미러(14L) 및 우측에 마련되는 우측 사이드 미러(14R)를 포함하며, 차량(1) 내부의 운전자가 차량(1)의 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.
이외에도 차량(1)은 후면 또는 측면의 장애물 내지 다른 차량을 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서 등의 감지 장치를 포함할 수 있다.
도2를 참고하면 영상획득부가 획득하는 차량 주변의 범위(S1)를 표시하고 있다. 영상 획득부(100-1, 100-2)는 차량의 사이드 미러(14L, 14R)에 마련되어 차량(1)의 좌측 및 우측 범위에 영상을 획득할 수 있다. 한편 영상 획득부(100-1, 100-2)에 포함된 카메라는 차량의 사이드 미러(14L, 14R)의 일부에 마련될 수 있다. 차량(1)의 좌측 또는 우측의 영상을 획득할 수 있는 위치면 카메라의 위치의 제한은 없다.
도3은 일 실시예에 따른 차량(1)의 제어 블록도이다.
도3을 참고하면, 일 실시예에 따른 차량(1)은 출력부(300), 제어부(200) 및 영상 획득부(100)를 포함할 수 있다.
영상 획득부(100)는 차량(1) 주변의 영상을 획득할 수 있다. 영상 획득부(100)는 카메라(101)를 포함할 수 있다.
카메라(100)는 차량(1)의 측면 영상을 촬영하여 촬영된 영상을 제어부(200)(110)에 송신 할 수 있다. 일 실시예에 따르면 카메라(101)는 차량(1)에 마련된 사이드 미러(14R, 14L)에 마련되어 차량(1) 주변 영상을 획득할 수 있다.
차량(1)에 설치된 카메라(101) 는 CCD(Charge-Coupled Device) 카메라(101) 또는 CMOS 컬러 이미지 센서를 포함할 수 있다. 여기서 CCD 및 CMOS는 모두 카메라(101)의 렌즈를 통해 들어온 빛을 전기 신호로 바꾸어 저장하는 센서를 의미한다. 구체적으로 CCD(Charge-Coupled Device) 카메라(101)는 전하 결합 소자를 사용하여 영상을 전기 신호로 변환하는 장치이다. 또한, CIS(CMOS Image Sensor)는 CMOS 구조를 가진 저소비, 저전력형의 촬상소자를 의미하며, 디지털 기기의 전자 필름 역할을 수행한다. 일반적으로 CCD는 CIS보다 감도가 좋아 차량(1)에 많이 쓰이지만, 반드시 이에 한정되는 것은 아니다. 즉, 개시된 발명에서 카메라(101)는 위치와 장치에 제한이 없으며, 차량(1) 주변의 탑승 사용자가 포함된 영상을 획득할 수 있으면 마련된 위치의 제한은 없다.
제어부(200)는 스마트 키(400)와 상기 차량(1)에 위치 관계 및 상기 차량(1)에 마련된 적어도 하나의 도어의 개방 여부에 기초하여 상기 영상 획득부(100)가 미리 결정된 영역의 영상을 획득하도록 제어할 수 있다.
제어부(200)는 스마트 키 및 영상 획득부(100)와 통신하기 위한 통신 모듈(201)을 포함할 수 있다.
통신 모듈(201)은 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈(201), WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈(201), 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈(201)뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
스마트 키는 차량(1)과 유선 또는 무선 신호의 송수신을 통해 연결될 수 있다.
스마트 키는 차량(1)에 유선 또는 무선으로 연결되어 도어 락을 해제하거나, 시동과 주행을 가능하게 하는 포브 키(FOB key)로 마련될 수 있다.
스마트 키와 차량(1)은 LF통신망 및 RF통신망을 통해 상호 간 신호를 송수신할 수 있다.
LF통신망은 차량(1)이 스마트 키(400)를 스캐닝하기 위한 LF신호를 송신하기 위하여 이용되는 저주파수 대역의 통신망으로서, 예를 들어, 20kHz 이상 135kHz 이하의 주파수 대역을 갖는 통신망일 수 있다. LF통신망을 통해 LF신호를 송수신하는 경우, 저주파수 대역으로 인한 특성 때문에 신호의 송수신 가능 거리는 고주파수 대역을 갖는 RF통신망의 송수신 가능 거리에 비하여 짧다. 예를 들어, LF신호 송수신 가능 거리는 약 12m이고, RF신호 송수신 가능 거리는 약 100m일 수 있다.
따라서, 차량(1)은 LF통신망을 통해 LF신호를 송신함으로써, 차량(1)에 근접한 스마트 키를 스캐닝할 수 있다.
RF통신망은 차량(1)이LF신호를 수신한 스마트 키로부터 RF신호를 수신하기 위한 고 주파수 대역의 통신망으로서, 예를 들어, 315MHz 이상433MHz 이하의 주파수 대역을 갖는 통신망일 수 있다. RF통신망을 통해 RF신호를 송수신하는 경우, 신호의 송수신 가능 거리는 저 주파수 대역을 갖는 LF통신망 송수신 가능 거리에 비하여 길다.
LF신호는 차량(100) 주변(즉, LF신호 송수신 가능 거리 이내)의 스마트키를 탐색하기 위한 스캐닝 신호를 포함한다. RF신호는 스마트키가 스캐닝 신호에 응답하는 신호로서 생성하는 스캐닝 응답 신호를 포함한다. 상술한 스마트 키의 동작 및 구성에 기초하여, 제어부(200)는 사용자가 스마트 키를 소지하고 미리 결정된 거리 이내에 접근하였는지 또는, 사용자가 차량(1)을 언 락(Unlock)하는 동작 등의 입력을 받을 수 있으며, 이를 기초로 사용자의 추후 운전 의지를 판단할 수 있다. 이와 관련된 자세한 동작은 후술한다.
제어부(200)는 상술한 영상획득부가 획득한 영상을 처리하는 ISP(Image Signal Processing), 처리된 영상을 디지털 신호로 변환하고 제어하는 DSP(Digital signal processing), DSP가 처리하는 데이터를 저장하는 구성 및 처리된 이미지를 증폭시키는 AMP(Amplifier)를 포함할 수 있다.
ISP는 카메라(101)가 전달하는 영상에서 휘도 또는 색 처리를 담당하는 반도체 칩을 의미한다. 또한, ISP는 추가적으로 포커스, 반전, 모자익, DIS, 영상 포멧 같은 기능을 지원할 수 있다.
DSP는 디지털 신호를 처리하는 칩을 의미한다. 즉, 제어부(200)(110)에서 DSP는 제어부(200) 전반의 제어를 수행하는 프로세서(Processor)의 일종이다. DSP는 ISP를 제어하고, ISP가 오프 되는 경우 카메라(101)가 전달하는 영상을 디지털 처리하여 디스플레이로 표시하도록 출력하는 역할을 한다.
AMP는 DSP가 처리한 이미지를 증폭시켜 디스플레이(120)로 전달하는 역할을 수행한다. AMP는 일반적인 이미지 처리를 수행하는 모듈에서 설치된 증폭 장치이면 충분하고, 제한은 없다.
제어부(200)는 차량(1)에 마련된 적어도 하나의 후석 도어(16L, 16R)가 개방되면, 상기 미리 결정된 영역의 영상에 포함된 사용자 수를 판단할 수 있다. 또한 제어부(200)는 후석 도어(16L, 16R)가 개방된 후, 차량(1)의 주행을 위하여 후석 도어(16L, 16R)가 폐쇄되면, 미리 결정된 영역의 영상에 포함된 미 탑승 사용자 수를 판단할 수 있다. 상술한 동작은 영상 획득부(100)가 획득한 영상을 제어부(200)가 처리하여 판단할 수 있다. 한편 제어부(200)는 상기 사용자 수와 상기 미 탑승 사용자 수의 차이에 기초하여 상기 차량(1)에 탑승 사용자 수를 판단할 수 있다.
제어부(200)는 차량(1)의 시동이 오프(Off)되면, 출력부(300)에 탑승 사용자의 하차 여부 확인 메시지를 출력할 수 있다. 탑승 사용자의 하차 여부는 확인적 메시지로 운전자가 후석 탑승객의 탑승 여부를 확인하는 것을 의도하는 형태라면 그 메시지의 형태는 제한하지 않는다.
제어부(200)는, 차량(1)의 영상 획득이 시작 된 시점 이후에, 차량(1)에 마련된 적어도 하나의 후석 도어가 개방되면, 미리 결정된 영역에서 이탈하는 이탈 사용자 수를 판단하고, 탑승 사용자 및 상기 이탈 사용자의 차이에 기초하여 상기 출력부(300)에 잔여 사용자 메시지를 출력할 수 있다.
영상이 획득이 시작된 시점은 시동이 오프된 시점을 포함하는 미리 결정된 영역의 영상의 획득을 개시하는 시점으로 정의될 수 있다.
구체적으로 이탈 사용자는 차량(1)을 중심으로 미리 결정된 영역에서 차량(1)을 이탈하는 것이고 이러한 동작은 차량(1)을 떠나는 것으로 판단할 수 있으므로 제어부(200)는 기존 탑승 사용자에서 이탈 사용자의 차이에 기초하여 차량(1)에 잔여 사용자의 수를 판단할 수 있다.
또한 제어부(200)는 운전자가 잔여 자용자를 확인하도록 의도하는 잔여 사용자 확인 신호를 출력할 수 있다.
상술한 하차 여부 확인 메시지 및 잔여 사용자 확인 신호는 출력부(300)에 출력될 수 있는데 출력부(300)에 출력되는 형태는 차량(1)에 마련된 클러스터, AVN 등의 디스플레이에 시각적으로 출력될 수 있고, 차량(1)에 마련된 스피커를 통하여 소리형태로 출력될 수 있으며, 차량(1)에 마련된 램프, 외장부저 및 혼등을 통하여 출력될 수도 있다. 즉, 출력의 형태는 제한을 두지 않는다.
제어부(200)는 차량(1)에 마련된 적어도 하나의 프론트 도어(15L, 15R)의 개방에 기초하여, 상기 프론트 도어(15L, 15R)와 대응되는 상기 사이드 미러(14L, 14R)를 폴딩(folding)할 수 있다. 차량(1)의 영상획득부는 차량(1)의 프론트 도어(15L, 15R)에 부착된 사이드 미러(14L, 14R)에 마련될 수 있는데, 차량(1)의 프론트 도어(15L, 15R)가 오픈 되면 영상 획득부(100)에 마련된 카메라(101)의 시야 각이 변경될 수 있으므로 차량(1)의 프론트 도어(15L, 15R)의 개방에 대응하여 영상 획득부(100)가 미리 결정된 영상을 지속적으로 획득할 수 있도록 제어할 수 있다.
또한 제어부(200)는 차량(1)이 미리 결정된 속도를 초과하여 주행하면, 더 탑승하거나 하차할 의지가 없는 것으로 판단하고 해당 주행 시점의 상기 탑승 사용자 수를 최종 탑승 사용자 수로 결정할 수 있다.
다만, 차량의 주행 중 추가 탑승자가 발생하면, 상기 영상 획득부를 통해 탑승 사용자 수를 업데이트할 수 있다.
이렇게 결정된 최종 사용자는 후에 차량(1)이 정차하고 후석 도어(16L, 16R)를 개방하여 이탈 사용자를 판단하는데 기준 탑승 사용자 수로 이용될 수 있다.
제어부(200)는 차량(1) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
도 3에 도시된 차량(1)의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 3에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도4는 차량이 탑승 사용자를 결정하기 위하여 영상을 획득하는 동작을 설명하기 위한 도면이다.
도4를 참고하면, 차량의 영상 획득부(100-1, 100-2)는 차량의 측면의 영역(S41, S42)의 영상을 획득할 수 있다. 또한 제어부는 차량의 측면의 영역(S41)과 미리 결정된 영역(S43)를 구별 할 수 있다. 미리 결정된 영역(S43)는 차량의 탑승자가 후석에 탑승하는데 필요한 영역으로 결정될 수 있다. 즉, 영상 획득부가 획득한 영상은 차량의 측면의 영역(S41)의 영상을 획득할 수 있지만, 제어부는 차량의 측면의 영역(S41)과 사용자의 탑승에 관련된 미리 결정된 영역(S43)를 구별 할 수 있다.
일 실시예에 따르면 차량이 정차 중 미리 결정된 영역(S43)에 포함된 사용자(P1, P2)는 차량에 예비적인 탑승자로 후술하는 바와 같이 제어부가 최종 탑승자를 판단하는데 기초가 될 수 있으나, 미리 결정된 영역(S43) 밖에 위치하는 사용자(P3)는 차량에 탑승할 의지가 크다고 보기 어려우므로 제어부는 해당 사용자는 최종 탑승자의 수를 결정하는데 무시할 수 있다.
도5 는 일 실시예에 따른 탑승 사용자의 수를 결정하는 동작을 설명하기 위한 도면이다.
도5를 참고하면, 운전자가 스마트 키를 소지하고 차량에 미리 결정된 거리 이내로 접근하거나 차량의 주행을 위하여 차량을 언락(unlock)한 경우 영상 획득부는 차량의 측면의 영상을 획득 할 수 있다. 이 경우 차량은 상술한 바와 같이 차량의 측면의 영상을 획득할 수 있고 영상에 포함된 사용자(P51, P52, P53)의 수를 결정할 수 있다. 또한, 제어부는 영상에 포함된 사용자가 미리 결정된 영역에 포함되는지 여부도 결정할 수 있다. 도5에서는 차량에 근접한 사용자(P51, P52)는 미리 결정된 영역에 포함된 것으로 판단할 수 있다. 상술한 바와 같이 미리 결정된 영역은 사용자가 승차의 의지가 있을 때 위치하는 것으로 P51사용자 및 P52사용자는 승차가 있는 사용자로, P53사용자는 단순히 차량의 후면을 지나가는 사용자일 수 있다.
한편, 차량의 후석 도어(16L, 16R)가 개방되면, 사용자가 탑승할 의지가 있는 것이고, 제어부는 미리 결정된 영역에 있었던 사용자(P51, P52)의 수를 판단할 수 있다. 일 실시예에 따르면 차량의 측면 영상에는 3명의 사용자(P51, P52, P53)가 포함되어 있으나, 미리 결정된 영역에 포함된 사용자(P51, P52)는 2명인 것으로 판단할 수 있다.
이후, 사용자가 차량의 후석 도어(16L, 16R) 닫으면, 제어부는 후석 도어(16L, 16R)가 닫힌 이후 시점의 미리 결정된 영역의 사용자의 수를 판단할 수 있다.
도5에서 제어부는 두 사용자(P51, P52)가 모두 탑승하여 후석 도어(16L, 16R)가 닫힌 이후 시점에서 미 탑승 사용자는 0명으로 판단할 수 있다. 제어부는 후석 도어(16L, 16R)가 개방된 시점에서 미리 결정된 영역의 사용자가 2명이고 이후 후석 도어(16L, 16R)가 닫힌 이후 시점에서 미리 결정된 영역에 남은 미 탑승 사용자가 0명이므로 차량에 탑승한 사용자를 2명으로 판단할 수 있다. 또한 제어부는 카메라 감지 활성화 조건에서 위의 동작을 반복하여 후석에 승차한 사용자를 감지할 수 있다.
도6는 일 실시예에 따른 잔여 사용자의 수를 결정하는 동작을 설명하기 위한 도면이다.
도6을 참고하면, 도5와 마찬가지로 제어부는 차량에 마련된 적어도 하나의 후석 도어(16L, 16R)가 개방되면, 미리 결정된 영역의 영상에 포함된 사용자 수를 판단하고, 후석 도어가 개방된 뒤의 시점에서, 후석 도어가 폐쇄되면, 미리 결정된 영역의 영상에 포함된 미 탑승 사용자 수를 판단하여 최종 차량에 탑승한 사용자 수를 판단할 수 있다. 도6에서는 처음에 미리 결정된 영역에 포함된 사용자(P61, P62)수가 2명이고, 후석 도어가 폐쇄된 시점에서 미 탑승 사용자가 0명이므로 제어부는 차량에 탑승한 탑승 사용자가 2명인 것으로 판단할 수 있다.
한편 차량의 주행 중 정차를 위해 차량의 시동이 오프 된 시점 이후에, 차량에 마련된 적어도 하나의 후석 도어(16L, 16R)가 개방되면, 미리 결정된 영역에서 이탈하는 이탈 사용자 수를 판단할 수 있다. 구체적으로 도6에서는 한 사용자가 시동을 오프 한 시점에서 미리 결정된 시점에 나타난 것을 나타내고 있다. 즉, 제어부는 차량에 탑승한 사용자(P61, P62)는 2명이지만, 차량의 하차 시점에서 미리 결정된 영역에 나타난 사용자(P61-1)는 1명으로 판단할 수 있다. 사용자(P61-1)이 후에 미리 결정된 영역을 이탈하면, 제어부는 차량의 이탈 사용자를 1명으로 판단할 수 있다. 제어부는 주행 시작 이후 시동을 오프하고 차량의 모든 도어를 락(Lock)하는 시점 까지 영상 획득부로 하차 승객을 감지하는 동작을 지속적으로 반복할 수 있다.
제어부(200)는 탑승 사용자 및 상기 이탈 사용자의 차이에 기초하여 상기 출력부(300)에 잔여 사용자 확인 신호를 출력할 수 있다. 제어부(200)는 운전자가 시동을 끄면, 탑승 사용자의 하차 여부 확인을 가이드하는 가이드 신호를 출력부(300)를 통하여 출력할 수 있고, 상술한 이탈 사용자 수를 이용하여 기존 탑승 사용자 수와의 차이를 기초로 출력부(300)에 잔여 사용자 확인 신호를 출력할 수 있다.
한편, 도5및 6에서 설명한 동작은 본 발명의 일 실시예에 불과하며 차량 도어의 개방 및 폐쇄에 기초하여 제어부가 탑승자의 수를 결정하고 하차 사용자를 판단할 수 있는 동작이면, 동작의 형태는 한정하지 않는다.
도7은 일 실시예 따른 차량의 사이드 미러가 폴딩(folding)되는 것을 설명하기 위한 도면이다.
도7을 참고하면 차량의 프론트 도어가 닫힌 경우 영상 획득부는 차량의 측면의 영상을 획득할 수 있다. 차량의 프론트 도어가 개방된 경우 카메라가 마련된 사이드 미러(14R)의 각도가 미리 결정된 영역의 영상을 획득하는데 적절하지 않을 수 있다. 차량의 승차와 관련 있는 미리 결정된 영역(S72)은 차량의 후측으로 차량의 측면에 밀착된 영역이지만, 차량의 프론트 도어가 개방되면서 차량의 사이드 미러의 각도(14R)가 변하므로, 제어부는 차량의 프론트 도어의 개방에 기초하여 사이드 미러가 폴딩(folding)되도록 제어할 수 있다.
또한, 영상 획득부는 도어 열림 이전에 스마트키와 상기 차량의 위치 관계에 기초하여 미러를 언폴딩(unfolding)하여 미리 결정된 영역의 영상 획득을 시작할 수 있다.
구체적으로 차량의 아웃 사이드 미러는 차량의 출발 전, 폴딩(folding)되어 있을 수 있는데, 스마트 키가 차량에 접근하면 아웃 사이드 미러의 폴딩 상태를 해제하여 미리 결정된 영역의 영상 획득을 시작할 수 있다.
언폴딩된 사이드 미러(14L, 14R)에 마련된 카메라는 프론트 도어가 개방되기 이전의 미리 결정된 영역의 영상을 획득할 수 있다. 제어부는 상술한 동작을 기초로 프론트 도어의 개방 여부와 관계 없이 미리 결정된 영역의 영상을 획득할 수 있으며, 이를 기초로 탑승 사용자 및 잔여 사용자의 수를 판단할 수 있다.
한편, 제어부는 사이드 미러의 각도를 프론트 도어가 개방되는 정도 기초하여 연속적으로 변경시킬 수도 있고, 프론트 도어의 상태를 개방 상태와 폐쇄 상태로 분류하여 사이드 미러를 폴딩(folding)상태로 변경 시킬 수도 있다. 즉, 프론트 도어의 개방에도 불구하고 영상 획득부가 미리 결정된 영역의 영상을 획득할 수 있으면, 사이드 미러가 폴딩되는 동작은 제한하지 않는다.
도8내지 도 10은 일 실시예에 따른 순서도이다.
도8을 참고하면 스마트 키가 차량에 접근하거나, 사용자가 스마트 키를 이용하여 차량의 도어를 언락(Unlock)하면(1001), 영상 획득부는 미리 결정된 영역의 영상을 획득할 수 있다(1002). 그 후 도어가 개방되면(1003) 제어부는 획득한 영상을 기초로 미리 결정된 영역의 사용자의 수를 판단할 수 있다(1003). 후에 도어가 다시 폐쇄(1005)되면 제어부는 획득한 영상을 기초로 미리 결정된 영역에 미 탑승 사용자의 수를 판단할 수 있다(1006). 제어부는 도어가 폐쇄되고 차량이 미리 결정된 속도를 초과해서 운행하는 경우(1007), 출발전 미리 결정된 영역의 사용자 및 미 탑승 사용자의 차이에 기초하여 최종 사용자의 수를 판단할 수 있다(1008). 또한 제어부는 추가 탑승자가 발생한 경우(1009), 탑승자 수를 업데이트 할 수 있다(1010).
도8에 이어서, 차량의 주행을 마치고 시동이 오프되면(1011), 제어부는 탑승 사용자의 하차 여부를 확인하는 하차 여부 확인 메시지를 출력할 수 있다(1012). 후석 도어가 개방되면(1013), 제어부는 획득한 영상을 기초로 차량을 이탈하는 사용자의 수를 판단할 수 있다(1014). 제어부는 도8에서 판단한 최종 사용자와 이탈 사용자의 차이를 기초로 차량에 남은 잔여 사용자의 존재를 판단할 수 있다(1015). 최종 사용자가 이탈 사용자 보다 많아 잔여 사용자가 존재하는 것으로 판단되는 경우 제어부는 잔여 사용자 메시지를 출력할 수 있다(1016).
도10은 도8및 도9의 동작에 있어서 제어부는 아웃 사이드 미러를 언폴딩하여 미리 결정된 영역의 영상을 획득할 수 있다(1021).
제어부는 프론트 도어가 개방되면(1022), 사이드 미러를 폴딩(folding)하여(1023) 영상 획득부가 차량 측면의 미리 결정된 영역의 영상을 획득 할 수 있도록 제어할 수 있다(1024).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1 :차량
100 : 영상 획득부
200 : 제어부
300 : 출력부

Claims (20)

  1. 차량 주변의 영상을 획득하는 영상획득부; 및
    스마트 키와 상기 차량에 위치 관계 및 상기 차량에 마련된 적어도 하나의 도어의 개방 여부에 기초하여 상기 영상 획득부가 미리 결정된 영역의 영상을 획득하도록 제어하고,
    상기 미리 결정된 영역의 영상을 기초로 상기 차량의 탑승 사용자 수를 판단하는 제어부;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 차량에 마련된 적어도 하나의 후석 도어가 개방되면,
    상기 미리 결정된 영역의 영상에 포함된 사용자 수를 판단하는 차량.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 후석 도어가 개방된 뒤의 시점에서,
    상기 후석 도어가 폐쇄되면,
    상기 미리 결정된 영역의 영상에 포함된 미 탑승 사용자 수를 판단하는 차량.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 사용자 수와 상기 미 탑승 사용자 수의 차이에 기초하여 상기 차량에 탑승 사용자 수를 결정하는 차량.
  5. 제4항에 있어서,
    출력부;를 더 포함하고,
    상기 제어부는,
    상기 차량의 시동이 오프(Off)되면,
    상기 출력부에 상기 탑승 사용자의 하차 여부 확인 메시지를 출력하는 차량.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 차량의 시동이 오프 된 영상 획득 시점 이후에,
    상기 차량에 마련된 적어도 하나의 후석 도어가 개방되면,
    상기 미리 결정된 영역에서 이탈하는 이탈 사용자 수를 판단하고,
    상기 탑승 사용자 및 상기 이탈 사용자의 차이에 기초하여 상기 출력부에 잔여 사용자 메시지를 출력하는 차량.
  7. 제1항에 있어서,
    상기 영상 획득부는,
    상기 차량에 마련된 아웃 사이드 미러에 마련되고,
    상기 제어부는,
    상기 차량에 마련된 적어도 하나의 프론트 도어의 개방에 기초하여,
    상기 프론트 도어와 대응되는 상기 사이드 미러를 폴딩(folding)하는 차량.
  8. 제7항에 있어서,
    상기 제어부는
    상기 도어 개방 이전에 스마트 키와 상기 차량의 위치 관계에 기초하여 상기 아웃 사이드 미러를 언폴딩(unfolding)하여 미리 결정된 영역의 영상 획득을 시작하는 차량.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 차량이 미리 결정된 속도를 초과하여 주행하면,
    상기 주행 시점의 상기 탑승 사용자 수를 최종 탑승 사용자 수로 결정하는 차량.
  10. 제1항에 있어서,
    상기 차량의 주행중 추가 탑승 사용자가 발생하면, 상기 영상 획득부를 통해 탑승 사용자 수를 업데이트 하는 차량.
  11. 스마트 키와 상기 차량에 위치 관계 및 상기 차량에 마련된 적어도 하나의 도어의 개방 여부에 기초하여 영상 획득부가 미리 결정된 영역의 영상을 획득하고,
    상기 미리 결정된 영역의 영상을 기초로 상기 차량의 탑승 사용자 수를 판단하는 것을 포함하는 차량 제어방법.
  12. 제11항에 있어서,
    상기 차량의 탑승 사용자 수를 판단하는 것은,
    상기 차량에 마련된 적어도 하나의 후석 도어가 개방되면,
    상기 미리 결정된 영역의 영상에 포함된 사용자 수를 판단하는 것을 포함하는 차량 제어방법.
  13. 제12항에 있어서,
    상기 차량의 탑승 사용자 수를 판단하는 것은,
    상기 후석 도어가 개방된 뒤의 시점에서,
    상기 후석 도어가 폐쇄되면,
    상기 미리 결정된 영역의 영상에 포함된 미 탑승 사용자 수를 판단하는 것을 포함하는 차량 제어방법.
  14. 제13항에 있어서,
    상기 차량의 탑승 사용자 수를 판단하는 것은,
    상기 사용자 수와 상기 미 탑승 사용자 수의 차이에 기초하여 상기 차량에 탑승 사용자 수를 결정하는 것을 포함하는 차량 제어방법.
  15. 제14항에 있어서,
    상기 차량의 시동이 오프(Off)되면,
    출력부에 상기 탑승 사용자의 하차 여부 확인 메시지를 출력하는 것을 더 포함하는 차량 제어방법.
  16. 제15항에 있어서,
    상기 차량의 영상 획득 시점 이후에,
    상기 차량에 마련된 적어도 하나의 후석 도어가 개방되면,
    상기 미리 결정된 영역에서 이탈하는 이탈 사용자 수를 판단하고,
    상기 탑승 사용자 및 상기 이탈 사용자의 차이에 기초하여 상기 출력부에 잔여 사용자 메시지를 출력하는 것을 더 포함하는 차량 제어방법.
  17. 제11항에 있어서,
    상기 차량에 마련된 적어도 하나의 프론트 도어의 개방에 기초하여,
    상기 프론트 도어와 대응되는 상기 아웃 사이드 미러를 폴딩(folding)하는 것을 더 포함하는 차량 제어방법.

  18. 제 17항에 있어서,
    상기 영상 획득부가 미리 결정된 영역의 영상을 획득하는 것은,
    상기 도어 개방 이전에 상기 스마트 키와 상기 차량의 위치 관계에 기초하여 상기 아웃 사이드 미러를 언폴딩(unfolding)하여 미리 결정된 영역의 영상 획득을 시작하는 것을 포함하는 차량 제어방법.
  19. 제12항에 있어서,
    상기 차량의 탑승 사용자 수를 판단하는 것은,
    상기 차량이 미리 결정된 속도를 초과하여 주행하면,
    상기 주행 시점의 상기 탑승 사용자 수를 최종 탑승 사용자 수로 결정하는 것을 포함하는 차량 제어방법.
  20. 제11항에 있어서,
    상기 차량의 주행중 추가 탑승 사용자가 발생하면, 상기 영상 획득부를 통해 탑승 사용자 수를 업데이트하는 것을 더 포함하는 차량 제어방법.
KR1020180162923A 2018-12-17 2018-12-17 차량 및 그 제어방법 KR102570058B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180162923A KR102570058B1 (ko) 2018-12-17 2018-12-17 차량 및 그 제어방법
US16/560,800 US11027649B2 (en) 2018-12-17 2019-09-04 Vehicle with controller configured to acquire images to determine a number of boarding passengers, and method therefor
DE102019125025.0A DE102019125025A1 (de) 2018-12-17 2019-09-17 Fahrzeug und steuerverfahren davon
CN201910927549.8A CN111319578B (zh) 2018-12-17 2019-09-27 车辆及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180162923A KR102570058B1 (ko) 2018-12-17 2018-12-17 차량 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20200074489A true KR20200074489A (ko) 2020-06-25
KR102570058B1 KR102570058B1 (ko) 2023-08-23

Family

ID=70859192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180162923A KR102570058B1 (ko) 2018-12-17 2018-12-17 차량 및 그 제어방법

Country Status (4)

Country Link
US (1) US11027649B2 (ko)
KR (1) KR102570058B1 (ko)
CN (1) CN111319578B (ko)
DE (1) DE102019125025A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7094929B2 (ja) * 2019-09-20 2022-07-04 本田技研工業株式会社 車両点検装置、及び車両点検システム
DE102021000598A1 (de) * 2021-02-05 2022-08-11 Daimler Truck AG Verfahren zur Prävention von Ladungsdiebstahl für ein autonom agierendes Nutzfahrzeug
US11807258B2 (en) 2021-06-08 2023-11-07 Toyota Connected North America, Inc. Radar detection of unsafe seating conditions in a vehicle
CN115402259B (zh) * 2022-09-09 2024-04-19 浙江吉利控股集团有限公司 控制方法、控制装置、汽车和存储介质
JP2024068008A (ja) 2022-11-07 2024-05-17 株式会社ユピテル システム等

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014054899A (ja) * 2012-09-12 2014-03-27 Saxa Inc 監視システム、撮影装置及びデータ管理装置
KR101459491B1 (ko) * 2013-11-13 2014-11-07 현대자동차 주식회사 차량용 아웃 사이드 미러 제어장치 및 방법
JP2018142760A (ja) * 2017-02-24 2018-09-13 日本精機株式会社 車両周辺視認システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59774A (ja) * 1982-06-28 1984-01-05 Mitsubishi Electric Corp 需要推定装置
KR100999084B1 (ko) * 2006-01-12 2010-12-07 오티스 엘리베이터 컴파니 엘리베이터 제어를 위한 비디오 지원 시스템
US8093987B2 (en) * 2006-02-24 2012-01-10 Denso International America, Inc. Vehicle electronic key system
JP2008261749A (ja) * 2007-04-12 2008-10-30 Takata Corp 乗員検出装置、作動装置制御システム、シートベルトシステム、車両
US8200022B2 (en) * 2008-03-24 2012-06-12 Verint Systems Ltd. Method and system for edge detection
CN201255897Y (zh) * 2008-09-23 2009-06-10 长安大学 一种公交车人流量监测装置
JP5360491B2 (ja) * 2009-11-13 2013-12-04 アイシン精機株式会社 多機能カメラシステム
US9477881B2 (en) * 2012-10-19 2016-10-25 Nec Corporation Passenger counting system, passenger counting method and passenger counting program
CN105243420B (zh) * 2015-10-16 2018-03-20 郑州天迈科技股份有限公司 公交客流精确统计方法
GB2544297A (en) * 2015-11-11 2017-05-17 Gm Global Tech Operations Llc Vehicle communication system, vehicle communication system and method for processing vehicle crash data
CA3010922C (en) * 2016-03-17 2020-06-30 Nec Corporation Passenger counting device, system, method and program
US20170291792A1 (en) * 2016-04-06 2017-10-12 Otis Elevator Company Destination dispatch dynamic tuning
JP6399064B2 (ja) * 2016-09-07 2018-10-03 トヨタ自動車株式会社 ユーザ特定システム
US10043396B2 (en) * 2016-09-13 2018-08-07 Ford Global Technologies, Llc Passenger pickup system and method using autonomous shuttle vehicle
US20180075565A1 (en) * 2016-09-13 2018-03-15 Ford Global Technologies, Llc Passenger validation systems and methods
CN108805252A (zh) * 2017-04-28 2018-11-13 西门子（中国）有限公司 一种乘客计数方法、装置和系统
CN109279461B (zh) * 2017-07-20 2022-05-27 奥的斯电梯公司 电梯轿厢中的乘客人流的无缝跟踪
KR102058050B1 (ko) * 2017-08-16 2019-12-20 엘지전자 주식회사 운행 보조 시스템 및 차량
US10740632B2 (en) * 2018-02-19 2020-08-11 Robert Bosch Gmbh Occupant detection system and method for transportation vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014054899A (ja) * 2012-09-12 2014-03-27 Saxa Inc 監視システム、撮影装置及びデータ管理装置
KR101459491B1 (ko) * 2013-11-13 2014-11-07 현대자동차 주식회사 차량용 아웃 사이드 미러 제어장치 및 방법
JP2018142760A (ja) * 2017-02-24 2018-09-13 日本精機株式会社 車両周辺視認システム

Also Published As

Publication number Publication date
KR102570058B1 (ko) 2023-08-23
CN111319578A (zh) 2020-06-23
DE102019125025A1 (de) 2020-06-18
US11027649B2 (en) 2021-06-08
CN111319578B (zh) 2023-10-24
US20200189460A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
KR20200074489A (ko) 차량 및 그 제어방법
US9834142B2 (en) Driving assist system for vehicle
CN107251120B (zh) 具有单摄像头停车辅助的可训练收发器
KR102506860B1 (ko) 차량 내 객체 검출 장치 및 방법
CN108933936B (zh) 用于摄像头校准的方法和装置
CN110154949B (zh) 防止尾门与联结附件碰撞的方法和装置
US10713501B2 (en) Focus system to enhance vehicle vision performance
US10829978B2 (en) System and method for operating vehicle door
KR20170108643A (ko) 차량용 도어 제어 장치 및 차량
US9956911B2 (en) Object detection for vehicles
CN111550145A (zh) 用以指示可用于开启汽车门的空间的系统和方法
CN108664883B (zh) 用于启动挂接视图的方法和装置
JP2003320898A (ja) 車両用サイドミラー装置
WO2018056104A1 (ja) 車両制御装置、車両制御方法、および移動体
US11987207B2 (en) Vehicles and vehicle systems for operating powered running boards in an alarm deterrent mode
US11381764B2 (en) Sensor element and electronic device
WO2017145818A1 (ja) 信号処理装置、および信号処理方法、並びにプログラム
WO2021256411A1 (ja) 信号処理装置、調光制御方法、信号処理プログラム、及び調光システム
JP2018043728A (ja) 車両用情報表示装置及び車両用情報表示システム
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
US20240140310A1 (en) Vehicle
US20230331223A1 (en) Vehicle and control method thereof
US20240067085A1 (en) Apparatus for controlling vehicle convenience equipment, and vehicle having the same
KR102291720B1 (ko) 주행보조장치
US10791287B2 (en) Imaging control apparatus and method, and vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right