KR20230151141A - 차량의 안전 하차 보조 장치 및 그 방법 - Google Patents

차량의 안전 하차 보조 장치 및 그 방법 Download PDF

Info

Publication number
KR20230151141A
KR20230151141A KR1020220050246A KR20220050246A KR20230151141A KR 20230151141 A KR20230151141 A KR 20230151141A KR 1020220050246 A KR1020220050246 A KR 1020220050246A KR 20220050246 A KR20220050246 A KR 20220050246A KR 20230151141 A KR20230151141 A KR 20230151141A
Authority
KR
South Korea
Prior art keywords
vehicle
door
processor
camera
dangerous situation
Prior art date
Application number
KR1020220050246A
Other languages
English (en)
Inventor
함정훈
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020220050246A priority Critical patent/KR20230151141A/ko
Priority to US17/983,798 priority patent/US20230339401A1/en
Priority to DE102022212276.3A priority patent/DE102022212276A1/de
Priority to CN202211524425.3A priority patent/CN116927611A/zh
Publication of KR20230151141A publication Critical patent/KR20230151141A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B60R1/007—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle specially adapted for covering the lateral blind spot not covered by the usual rear-view mirror
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N5/00—Arrangements or devices on vehicles for entrance or exit control of passengers, e.g. turnstiles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/10—Conjoint control of vehicle sub-units of different type or different function including control of change-speed gearings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/40—Safety devices, e.g. detection of obstructions or end positions
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Type of wing
    • E05Y2900/531—Doors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

본 발명은 차량의 안전 하차 보조 장치 및 그 방법에 관한 것으로, 본 발명에 의하면, 차량의 측방영상을 촬영하는 카메라 및 상기 카메라와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라를 통해 상기 차량의 측방영상을 획득하고, 상기 획득된 측방영상에 기반하여, 상기 차량의 도어와 관련된 위험상황의 발생 여부를 판단하고, 상기 위험상황이 발생한 것으로 판단되는 것에 대응하여, 상기 차량의 도어 또는 차량의 동작 중 적어도 하나를 제어할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예들이 가능하다.

Description

차량의 안전 하차 보조 장치 및 그 방법{DEVICE FOR ASSISTING SAFETY EXIT OF VEHICLE AND METHOD THEREFOR}
본 발명은 차량의 안전 하차 보조 장치 및 그 방법에 관한 것으로, 보다 상세하게는 CMS(camera monitoring system)를 활용하여 차량의 도어를 열거나 닫을 때 발생할 수 있는 사고를 예방하는 기술에 관한 것이다.
종래 전동 도어들에 적용된 기술들은 모션 센서, 압력 센서 등을 이용하여 전동 도어를 닫을 때 움직임이 있거나 문에 힘이 가해지면 도어 클로징을 멈추는 기술이 적용되었다. 하지만, 센서를 장착하는데 추가적인 HW(hardware)가 필요하고, 모션 센서의 경우 차량 내부의 움직임만을 감지하여 외부에서의 옷 끼임, 손가락 끼임 감지가 제한될 수 있다. 또한, 압력 센서의 경우 도어 클로징 시 이를 방해하는 힘을 감지하는데, 센서가 압력을 감지하는 임계점이 낮을 경우 센서의 오감지가 발생하고, 임계점이 높을 경우 압력이 강하지 않은 옷 끼임 혹은 어린 아이의 손가락 끼임으로 인해 사고가 발생할 수 있다.
현재 기술들은 전동 도어로 인한 사고를 예방하는 것이 제한적이다. 전동 도어들이 지속적으로 확대 적용됨에 따라, 발생할 수 있는 안전 문제점 예방이 필수적이다.
본 발명의 실시 예는, CMS 영상을 기반으로 전동 도어에서 발생 가능한 옷 끼임, 인체의 끼임 등 안전 사고를 예방하는 차량의 안전 하차 보조 장치 및 그 방법을 제공하고자 한다.
본 발명의 다른 실시 예는, 센서의 사용 없이 기존의 CMS 영상을 사용하여 원가 절감이 가능한 차량의 안전 하차 보조 장치 및 그 방법을 제공하고자 한다.
본 발명의 다른 실시 예는, 차량의 도어 화면이 완전하게 확보될 경우에만 전동 도어 클로징을 실시하여 안전사고를 예방하는 차량의 안전 하차 보조 장치 및 그 방법을 제공하고자 한다.
본 발명의 다른 실시 예는, 전동 도어 및 일반 도어에 끼임이 발생하는 경우 경고하는 기능 또는 차량의 움직임을 멈추는 기능을 추가하여 안전사고를 예방하는 차량의 안전 하차 보조 장치 및 그 방법을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시 예에 따른 차량의 안전 하차 보조 장치는, 차량의 측방영상을 촬영하는 카메라 및 상기 카메라와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라를 통해 상기 차량의 측방영상을 획득하고, 상기 획득된 측방영상에 기반하여, 상기 차량의 도어와 관련된 위험상황의 발생 여부를 판단하고, 상기 위험상황이 발생한 것으로 판단되는 것에 대응하여, 상기 차량의 도어 또는 차량의 동작 중 적어도 하나를 제어할 수 있다.
일 실시 예에 있어서, 상기 적어도 하나의 프로세서는, 상기 획득된 측방영상에서 상기 차량의 도어의 적어도 일부가 식별되지 않는 경우, 상기 위험상황이 발생한 것으로 판단할 수 있다.
일 실시 예에 있어서, 메모리를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 획득된 측방영상에서 상기 차량의 도어의 적어도 일부가 식별되지 않는 경우, 상기 차량이 주차된 상태에서 획득되어 상기 메모리에 기저장된 측방영상, 및 상기 획득된 측방영상을 비교한 결과에 기반하여, 상기 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 있어서, 상기 차량의 도어가 전동 도어인 경우, 상기 적어도 하나의 프로세서는, 상기 전동 도어 작동 시 상기 카메라의 각도를 기설정된 각도로 조정한 후, 상기 카메라를 통해 상기 측방영상을 획득하고, 상기 전동 도어 작동이 완료되는 것에 대응하여, 상기 카메라의 각도를 조정 전 각도로 변경할 수 있다.
일 실시 예에 있어서, 상기 차량의 도어가 전동 도어인 경우, 상기 적어도 하나의 프로세서는, 상기 차량의 프론트 도어(front door)가 열린 상태에서, 상기 획득된 측방영상에서 상기 차량의 도어의 적어도 일부가 식별되지 않는 경우, 상기 프론트 도어를 닫은 후, 상기 카메라를 통해 상기 측방영상을 획득하고, 상기 획득된 측방영상에서 상기 위험상황이 발생된 것으로 판단되지 않는 경우, 리어 도어(rear door)의 개폐를 제어할 수 있다.
일 실시 예에 있어서, 상기 차량의 도어가 전동 도어인 경우, 상기 적어도 하나의 프로세서는, 상기 전동 도어의 닫힘 조건이 만족되는 경우, 상기 획득된 측방영상에 기반하여, 상기 위험상황의 발생 여부를 판단하고, 상기 위험상황이 발생하지 않은 것으로 판단되는 것에 대응하여, 상기 전동 도어를 클로즈(close)할 수 있다.
일 실시 예에 있어서, 상기 차량의 도어가 전동 도어인 경우, 상기 적어도 하나의 프로세서는, 상기 차량의 전동 도어의 열림 조건이 만족되는 경우, 상기 획득된 측방영상에 기반하여, 상기 전동 도어로부터 임계 거리 내 물체를 감지하고, 상기 물체가 감지될 때까지 상기 전동 도어를 오픈(open)할 수 있다.
일 실시 예에 있어서, 상기 적어도 하나의 프로세서는, 상기 획득된 측방영상에서 상기 차량과 이어지는 객체가 있는 것으로 판단되는 경우, 상기 객체 및 상기 차량의 이동 방향 또는 상기 객체 및 상기 차량의 이동 변화량 중 적어도 하나를 기반으로 상기 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 있어서, 상기 적어도 하나의 프로세서는, 상기 위험상황이 발생한 것으로 판단된 후, 특정 영역에 대한 운전자의 시선, 지정된 음성 명령, 터치 입력, 지정된 도어 동작 또는 변속단 변경 중 적어도 하나를 감지하는 것에 대응하여, 상기 위험상황이 해제된 것으로 판단할 수 있다.
일 실시 예에 있어서, 출력 장치를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 획득된 측방영상에 기반하여, 상기 위험상황이 발생한 것으로 판단되는 경우, 상기 출력 장치를 통해 경고 메시지 또는 경고음 중 적어도 하나를 출력하거나, 상기 차량의 이동을 제한하여 상기 차량의 동작을 제어할 수 있다.
일 실시 예에 있어서, 상기 카메라는, CMS(camera monitoring system) 카메라 또는 SVM(surround view monitor) 카메라 중 적어도 하나를 포함하고, 상기 차량의 도어는, 고스트 도어, 전동 파워 도어, 슬라이드 도어 또는 폴딩 도어 중 적어도 하나를 포함할 수 있다.
본 발명의 다른 일 실시 예에 따른 차량의 안전 하차 보조 방법은, 적어도 하나의 프로세서가, 카메라를 통해 차량의 측방영상을 획득하는 단계, 상기 적어도 하나의 프로세서가, 상기 획득된 측방영상에 기반하여, 상기 차량의 도어와 관련된 위험상황의 발생 여부를 판단하는 단계 및 상기 적어도 하나의 프로세서가, 상기 위험상황이 발생한 것으로 판단되는 것에 대응하여, 상기 차량의 도어 또는 차량의 동작 중 적어도 하나를 제어하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 위험상황의 발생 여부를 판단하는 단계는, 상기 적어도 하나의 프로세서가, 상기 획득된 측방영상에서 상기 차량의 도어의 적어도 일부가 식별되지 않는 경우, 상기 위험상황이 발생한 것으로 판단하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 위험상황의 발생 여부를 판단하는 단계는, 상기 적어도 하나의 프로세서가, 상기 획득된 측방영상에서 상기 차량의 도어의 적어도 일부가 식별되지 않는 경우, 상기 차량이 주차된 상태에서 획득되어 메모리에 기저장된 측방영상, 및 상기 획득된 측방영상을 비교한 결과에 기반하여, 상기 위험상황의 발생 여부를 판단하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 차량의 측방영상을 획득하는 단계는, 상기 차량의 도어가 전동 도어인 경우, 상기 적어도 하나의 프로세서가, 상기 전동 도어 작동 시 상기 카메라의 각도를 기설정된 각도로 조정한 후, 상기 카메라를 통해 상기 측방영상을 획득하는 단계 및 상기 적어도 하나의 프로세서가, 상기 전동 도어 작동이 완료되는 것에 대응하여, 상기 카메라의 각도를 조정 전 각도로 변경하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 차량의 측방영상을 획득하는 단계는, 상기 차량의 도어가 전동 도어인 경우, 상기 적어도 하나의 프로세서가, 상기 차량의 프론트 도어(front door)가 열린 상태에서, 상기 획득된 측방영상에서 상기 차량의 도어의 적어도 일부가 식별되지 않는 경우, 상기 프론트 도어를 닫은 후, 상기 카메라를 통해 상기 측방영상을 획득하는 단계를 포함하고, 상기 적어도 하나의 프로세서가, 상기 획득된 측방영상에서 상기 위험상황이 발생된 것으로 판단되지 않는 경우, 리어 도어(rear door)의 개폐를 제어하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 상기 위험상황의 발생 여부를 판단하는 단계는, 상기 차량의 도어가 전동 도어인 경우, 상기 적어도 하나의 프로세서가, 상기 전동 도어의 닫힘 조건이 만족되는 경우, 상기 획득된 측방영상에 기반하여, 상기 위험상황의 발생 여부를 판단하는 단계를 포함하고, 상기 적어도 하나의 프로세서가, 상기 위험상황이 발생하지 않은 것으로 판단되는 것에 대응하여, 상기 전동 도어를 클로즈(close)하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 상기 차량의 도어가 전동 도어인 경우, 상기 적어도 하나의 프로세서가, 상기 차량의 전동 도어의 열림 조건이 만족되는 경우, 상기 획득된 측방영상에 기반하여, 상기 전동 도어로부터 임계 거리 내 물체를 감지하는 단계 및 상기 적어도 하나의 프로세서가, 상기 물체가 감지될 때까지 상기 전동 도어를 오픈(open)하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 상기 위험상황의 발생 여부를 판단하는 단계는, 상기 적어도 하나의 프로세서가, 상기 획득된 측방영상에서 상기 차량과 이어지는 객체가 있는 것으로 판단되는 경우, 상기 객체 및 상기 차량의 이동 방향 또는 상기 객체 및 상기 차량의 이동 변화량 중 적어도 하나를 기반으로 상기 위험상황의 발생 여부를 판단하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 적어도 하나의 프로세서가, 상기 위험상황이 발생한 것으로 판단된 후, 특정 영역에 대한 운전자의 시선, 지정된 음성 명령, 터치 입력, 지정된 도어 동작 또는 변속단 변경 중 적어도 하나를 감지하는 것에 대응하여, 상기 위험상황이 해제된 것으로 판단하는 단계를 더 포함할 수 있다.
본 발명에 따른 차량의 안전 하차 보조 장치 및 그 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 차량 외부의 CMS 측방 카메라를 활용하여, 도어 오픈/클로즈 시 발생할 수 있는 안전 사고를 예방할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 기존의 카메라를 활용하여 추가적인 센서의 부착 없이 적용할 수 있어, 차량에 적용이 용이할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 전동식 도어 및 일반 도어에서도 경고음 출력 및 차량 운행 제한을 통해 운전자의 안전을 확보할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서의 CMS의 차량 측방영상을 활용하여 차량을 제어하는 예를 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량 측방영상을 이용하여 위험상황의 발생 여부를 판단하는 예를 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 위험상황의 발생 여부를 판단하기 위해 차량 측방영상을 이용하는 예를 나타낸다.
도 6a는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량 측방영상을 이용하여 위험상황의 발생 여부를 판단하는 제1 실시 예를 나타낸다.
도 6b는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량 측방영상을 이용하여 위험상황의 발생 여부를 판단하는 제2 실시 예를 나타낸다.
도 6c는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량 측방영상을 이용하여 위험상황의 발생 여부를 판단하는 제3 실시 예를 나타낸다.
도 6d는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량 측방영상을 이용하여 위험상황의 발생 여부를 판단하는 제4 실시 예를 나타낸다.
도 7은 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 위험상황이 발생하는 경우 경고를 출력하거나 차량의 이동을 제어하는 예를 나타내는 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량의 측방영상을 이용하여 차량의 전동 도어를 제어하는 예를 나타내는 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량의 측방영상을 이용하여 차량의 도어를 제어하는 예를 나타내는 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량의 측방영상에 기반하여, 차량의 도어와 관련된 위험상황의 발생 여부를 판단하고, 차량의 도어 또는 차량의 동작을 제어하는 예를 나타내는 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 이용되는 SVM(surround view monitor) 카메라를 나타낸다.
도 12는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에 관한 컴퓨팅 시스템을 도시한다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도 1 내지 도 12를 참조하여, 본 발명의 실시 예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치(100)의 블록도이다.
도 1을 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치(100)는 프로세서(110), 카메라(120), 출력 장치(130) 및 메모리(140)를 포함할 수 있다. 다양한 실시 예들에서, 차량의 안전 하차 보조 장치(100)는 도 1에 도시된 구성요소 외에 추가적인 구성요소를 포함하거나, 도 1에 도시된 구성요소 중 적어도 하나를 생략할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 카메라(120), 출력 장치(130) 및 메모리(140)와 전기적으로 연결될 수 있고, 각 구성들을 전기적으로 제어할 수 있으며, 소프트웨어의 명령을 실행하는 전기 회로가 될 수 있으며, 이에 의해 후술하는 다양한 데이터 처리 및 계산을 수행할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 예를 들어, 차량에 탑재되는 ECU(electronic control unit), MCU(micro controller unit) 또는 다른 하위 제어기를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 메모리(140)에 저장된 인스트럭션들(instructions)을 이용하여 차량의 안전 하차 보조 장치(100)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 프로세서(110)의 동작과 관련된 구체적인 내용은 도 2 및 도 7 내지 도 11을 참조하여 후술한다.
일 실시 예에 따르면, 카메라(120)는 차량에 탑재되어 차량의 주변영상을 촬영하는 모듈로서, 전방카메라, 후방카메라, 제1 후측방카메라, 및 제2 후측방카메라를 포함할 수 있다.
일 실시 예에 따르면, 출력 장치(130)는 프로세서(110)의 지시에 따라 정보를 출력할 수 있다. 예를 들어, 출력 장치(130)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT-LCD), 유기 발광 다이오드(organic light-emitting diode, OLED) 디스플레이, 플렉시블 디스플레이 (flexible display), 3차원 디스플레이(3D display), 투명디스플레이, 헤드업 디스플레이(HUD: head-up display), 터치스크린 및 클러스터(cluster) 중에서 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 출력 장치(130)는 오디오 데이터를 출력할 수 있는 스피커(speaker)와 같은 음향 출력 모듈을 포함할 수도 있다.
일 실시 예에 따르면, 출력 장치(130)는 터치 센서와 결합된 터치 스크린으로 구현되어 입력장치로도 사용될 수 있다. 예를 들어, 터치 센서로는 터치 필름 또는 터치 패드 등이 사용될 수 있다.
일 실시 예에 따르면, 메모리(140)는 프로세서(110)의 제어에 따라 카메라(120)에 의해 촬영된 영상을 저장할 수 있다.
일 실시 예에 따르면, 메모리(140)는 CMS(camera monitoring system)와 연동하여 차량의 후측방영상을 획득하고, 획득한 후측방영상에 기초하여 차량의 위험상황을 검출하며, 검출한 위험상황에서 차량의 후측방영상을 기록하는 과정에서 요구되는 각종 로직과 알고리즘 및 프로그램을 저장할 수 있다.
일 실시 예에 따르면, 메모리(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 방법을 나타내는 흐름도이다.
이하 실시 예에서 S210 내지 S230의 동작은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 2를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 프로세서는 카메라를 통해 차량의 측방영상을 획득할 수 있다(S210).
일 실시 예에 따르면, 카메라는 CMS(camera monitoring system)에 구비된 제1 후측방카메라와 제2 후측방카메라로 구현될 수 있다.
예를 들어, 제1 후측방카메라는 차량의 좌측 사이드미러 위치에 장착되어 차량의 제1 후측방영상을 촬영하고, 제2 후측방카메라는 차량의 우측 사이드미러 위치에 장착되어 차량의 제2 후측방영상을 촬영할 수 있다.
CMS는 차량의 좌측 사이드 미러를 대체하는 시스템으로서, 좌측 사이드 미러 대신 제1 후측방카메라를 구비하고, 우측 사이드 미러 대신 제2 후측방카메라를 구비하며, 차량의 실내 좌측에 제1 후측방카메라에 의해 촬영된 영상을 디스플레이하는 좌측 디스플레이 기기를 구비하고, 차량의 실내 우측에 제2 후측방카메라에 의해 촬영된 영상을 디스플레이하는 우측 디스플레이 기기를 구비할 수 있다. 이러한 CMS는 사각지대 없이 차량의 후측방영상을 제공하기 때문에 차선변경 시 사고의 위험을 방지하고, 우천시 도어 윈도우에 맺힌 빗물로 인해 운전자가 후측방 시야를 확보하기 어려운 단점을 해소할 뿐만 아니라, 문 끼임과 같은 차량의 도어와 관련된 위험상황을 검출할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 차량의 좌측 도어가 포함된 제1 후측방영상 및/또는 차량의 우측 도어가 포함된 제2 후측방영상을 획득할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 차량의 좌측 도어가 포함된 제1 후측방영상 및/또는 차량의 우측 도어가 포함된 제2 후측방영상을 차량 실내에 구비된 디스플레이에 표시할 수 있다.
일 실시 예에 따르면, 프로세서는 획득된 측방영상에 기반하여, 차량의 도어와 관련된 위험상황의 발생 여부를 판단할 수 있다(S220).
일 실시 예에 따르면, 프로세서는 차량의 도어를 포함하는 측방영상에 기반하여, 도어와 관련된 위험상황의 발생 여부를 판단할 수 있다.
예를 들어, 도어는 고스트 도어, 전동 파워 도어, 슬라이드 도어 또는 폴딩 도어 중 적어도 하나를 포함할 수 있으며, 이에 한정되지 아니한다.
또한 예를 들어, 도어와 관련된 위험상황은 도어에 옷이 끼이는 상황 또는 도어에 손가락이 끼이는 상황 등을 포함할 수 있다.
일 실시 예에 따르면, 프로세서는 측방영상에서 도어를 식별하는 것에 기반하여, 도어와 관련된 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 획득된 측방영상에서 차량의 도어의 적어도 일부가 식별되지 않는 경우, 위험상황이 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 획득된 측방영상에서 차량의 도어의 적어도 일부가 식별되지 않는 경우, 차량이 주차된 상태에서 획득되어 메모리에 기저장된 측방영상, 및 획득된 측방영상을 비교한 결과에 기반하여, 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량의 도어가 전동 도어인 경우, 전동 도어의 닫힘 조건 또는 열림 조건이 만족되는 경우, 차량의 측방영상에 기반하여, 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 획득된 측방영상에서 상기 차량과 이어지는 객체가 있는 것으로 판단되는 경우, 객체 및 차량의 이동 방향 또는 객체 및 차량의 이동 변화량 중 적어도 하나를 기반으로 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 위험상황이 발생한 것으로 판단되는 것에 대응하여, 차량의 도어 또는 차량의 동작 중 적어도 하나를 제어할 수 있다(S230).
일 실시 예에 따르면, 프로세서는 획득된 측방영상에 기반하여, 위험상황이 발생한 것으로 판단되는 경우, 출력 장치를 통해 경고 메시지 또는 경고음 중 적어도 하나를 출력할 수 있다.
예를 들어, 프로세서는 획득된 측방영상에 기반하여, 위험상황이 발생한 것으로 판단되는 경우, 오디오를 통해 경고음을 출력할 수 있다.
또한 예를 들어, 프로세서는 획득된 측방영상에 기반하여, 위험상황이 발생한 것으로 판단되는 경우, CMS 모니터, AVN(audio, video, navigation), 또는 클러스터를 통해 위험상황을 알리는 경고 메시지(또는 경고 문구)를 출력할 수 있다.
일 실시 예에 따르면, 프로세서는 획득된 측방영상에 기반하여, 위험상황이 발생한 것으로 판단되는 경우, 차량의 이동을 제한할 수 있다.
일 실시 예에 따르면, 프로세서는 획득된 측방영상에 기반하여, 위험상황이 발생한 것으로 판단되는 경우, 자동으로 변속기를 P단으로 변경 또는 유지할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서의 CMS의 차량 측방영상을 활용하여 차량을 제어하는 예를 나타낸다. 도 3의 내용과 관련하여 전술한 내용과 중복되거나 대응되는 내용은 간략히 설명하거나 생략할 수 있다.
일 실시 예에 따르면, 차량의 안전 하차 보조 장치 및 방법에서의 동작은 인지부(310), 제어부(320) 및 구동부(330)를 이용하여 수행될 수 있다. 다양한 실시 예들에서, 차량의 경로 안내 장치 및 방법에서의 차량의 경로 안내는 도 3에 도시된 구성요소 외에 추가적인 구성요소를 이용하거나, 도 3에 도시된 구성요소 중 적어도 하나를 생략하여 수행될 수 있다. 본 문서에서, 제어부(320)는 영상 분석 제어기로 참조될 수 있다.
일 실시 예에 따르면, 인지부(310)는 카메라로부터 차량의 주위의 영상 데이터를 수집할 수 있다. 예를 들어, 인지부(310)는 카메라로부터 차량의 측면영상 데이터를 수집할 수 있다.
일 실시 예에 따르면, 인지부(310)는 CMS 카메라 또는 SVM 카메라로부터 차량의 측면영상 데이터를 획득할 수 있다. 일 실시 예에 따르면, 차량의 측면영상에는 차량의 도어가 포함될 수 있다.
일 실시 예에 따르면, 인지부(310)는 카메라로부터 수집한 차량의 측면영상 데이터를 제어부(320)로 전달할 수 있다.
일 실시 예에 따르면, 제어부(320)는 전달받은 차량의 측면영상 데이터를 기반으로 차량의 도어와 관련된 안전 사고(또는 위험상황)가 발생했는지 여부를 판단할 수 있다.
일 실시 예에 따르면, 제어부(320)는 전달받은 차량의 측면영상 데이터를 기반으로 안전 사고(또는 위험상황)가 발생했는지 여부를 판단한 것에 기반하여, 구동부(330)에 명령 신호를 전달할 수 있다.
일 실시 예에 따르면, 제어부(320)는 안전 사고와 연관된 동작을 수행하도록 구동부(330)에 요청할 수 있다.
예를 들어, 안전 사고와 연관된 동작은, 도어 클로징을 중단하는 동작, 경고음 및/또는 경고 메시지를 출력하는 동작, 차량의 움직임을 제한하는 동작 등을 포함할 수 있다.
일 실시 예에 따르면, 구동부(330)는 제어부(320)로부터 수신한 명령 신호에 따라 전동 도어의 동작을 제어할 수 있다.
일 실시 예에 따르면, 차량의 도어가 전동 도어인 경우, 구동부(330)는 제어부(320)로부터 수신한 명령 신호에 기반하여, 차량의 도어와 관련된 안전 사고가 감지된 것으로 판단되는 경우, 도어 클로징을 중단할 수 있다.
일 실시 예에 따르면, 구동부(330)는 안전 사고의 감지가 해제될 때까지 차량의 움직임을 제한할 수 있다.
일 실시 예에 따르면, 차량의 도어가 전동 도어가 아닌 경우, 구동부(330)는 안전 사고의 감지가 해제될 때까지 차량의 움직임을 제한할 수 있다.
일 실시 예에 따르면, 차량의 도어가 전동 도어가 아닌 경우, 구동부(330)는 출력 장치를 통해, 안전 사고를 알리는 경고음 또는 경고 메시지 중 적어도 하나를 출력할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량 측방영상을 이용하여 위험상황의 발생 여부를 판단하는 예를 나타낸다.
도 4의 (a)를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서, 프로세서는 카메라를 통해 획득된 제1 측방영상(410)에서 차량 도어(401)의 화면이 모두 확보되지 않는 경우 위험상황이 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득된 제1 측방영상(410)에서 차량 도어(401)의 적어도 일부가 식별되지 않는 경우, 위험상황이 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 제1 측방영상(410)에서, 차량의 도어에 옷 끼임 또는 신체(예: 손가락) 끼임 등으로 인해 차량 도어(401)의 적어도 일부가 식별되지 않는 경우, 위험상황이 발생한 것으로 판단할 수 있다.
도 4의 (b)를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서, 프로세서는 카메라를 통해 획득된 제2 측방영상(420)에서 차량 도어(403)의 화면이 모두 확보되는 경우 위험상황이 발생하지 않은 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득된 제2 측방영상(420)에서 차량 도어(403)의 전체가 식별되는 경우, 위험상황이 발생하지 않은 것으로 판단할 수 있다.
도 4의 (c)를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서, 프로세서는 카메라를 통해 획득된 제3 측방영상(430)에서 차량에 부착된 물체(431)로 인해 차량 도어(405)의 화면이 모두 확보되지 않는 경우 위험상황이 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득된 제3 측방영상(430)에서 차량에 부착된 물체(431)(예: 도어 가드(door guard))로 인해 차량 도어(405)의 적어도 일부가 식별되지 않는 경우, 위험상황이 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 제3 측방영상(430)에서, 차량에 부착된 물체(431)로 인해 차량 도어(405)의 적어도 일부가 식별되지 않는 경우, 차량이 주차된 상태에서 획득되어 기저장된 측방영상과 제3 측방영상(430)을 비교한 결과에 기반하여, 위험상황의 발생 여부를 판단할 수 있다.
예를 들어, 차량이 주차된 상태는, 차량의 변속 기어가 P단이고 시동이 꺼진 상태를 포함할 수 있다.
일 실시 예에 따르면, 프로세서는 제3 측방영상(430)에서, 차량에 부착된 물체(431)로 인해 차량 도어(405)의 적어도 일부가 식별되지 않는 경우, 차량이 주차된 상태에서 획득되어 기저장된 측방영상과 제3 측방영상(430)을 비교한 결과에 기반하여, 기저장된 측방영상과 제3 측방영상(430)이 상이한 것으로 판단되는 경우 위험상황이 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 제3 측방영상(430)에서, 차량에 부착된 물체(431)로 인해 차량 도어(405)의 적어도 일부가 식별되지 않는 경우, 차량이 주차된 상태에서 획득되어 기저장된 측방영상과 제3 측방영상(430)을 비교한 결과에 기반하여, 기저장된 측방영상과 제3 측방영상(430)이 동일 또는 유사한 것으로 판단되는 경우 위험상황이 발생하지 않은 것으로 판단할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 위험상황의 발생 여부를 판단하기 위해 차량 측방영상을 이용하는 예를 나타낸다.
도 5의 (a)를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서, 프로세서는 전동 도어 작동 시 카메라의 각도를 기설정된 각도로 조정한 후, 카메라를 통해 제1 영상(510)을 획득하고, 전동 도어 작동이 완료되는 것에 대응하여, 카메라의 각도를 조정 전 각도로 변경할 수 있다.
일 실시 예에 따르면, 프로세서는 위험상황이 발생하였는지 여부를 확인하기 위해 카메라를 통해 차량의 도어를 포함하는 제1 영상(510)을 획득할 수 있다.
일 실시 예에 따르면, 프로세서는, 카메라 각도가 차량 외부로 설정되어 차량 도어의 영상이 식별(또는 확보)되지 않는 경우, 카메라의 각도를 기설정된 각도로 조정할 수 있다.
예를 들어, 기설정된 각도는 카메라가 도어 영상을 획득할 수 있는 각도를 의미하는 것으로, 도어로부터 특정 각도(예: 110도) 이내의 각도를 의미할 수 있다.
일 실시 예에 따르면, 프로세서는 전동 도어가 작동할 시점에 카메라의 각도를 기설정된 각도로 변경(또는 조정)할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 기설정된 각도로 변경한 후, 카메라를 통해 차량의 도어가 포함된 영상을 획득할 수 있다.
일 실시 예에 따르면, 프로세서는 차량의 도어가 포함된 영상에 기반하여, 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량의 도어가 포함된 영상에 기반하여, 위험상황이 발생하지 않은 것으로 판단되는 경우, 차량의 도어가 열리거나 완전히 닫히도록 제어할 수 있다.
일 실시 예에 따르면, 프로세서는 전동 도어의 작동이 완료되는 것에 대응하여, 카메라의 각도를 조정 전 각도로 변경할 수 있다.
도 5의 (b)를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서, 프로세서는 차량의 프론트 도어(front door)(521)가 열린 상태에서, 카메라로부터 획득된 측방영상에서 차량의 도어의 적어도 일부가 식별되지 않는 경우, 프론트 도어(521)를 닫은 후, 카메라를 통해 측방영상을 획득하고, 획득된 측방영상에서 위험상황이 발생하는지 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 획득된 측방영상에서 위험상황이 발생하지 않은 것으로 판단되지 않는 경우, 리어 도어(rear door)(523)의 개폐를 제어할 수 있다.
일 실시 예에 따르면, 프로세서는 리어 도어(523)가 열린 상태에서, 차량의 프론트 도어(521)가 열려있어, 카메라로부터 획득된 측방영상에서 차량의 리어 도어(523)의 적어도 일부가 식별되지 않는 경우, 프론트 도어(521)부터 리어 도어(523) 순서로 닫히도록 제어할 수 있다.
일 실시 예에 따르면, 프론트 도어(521) 및 리어 도어(523)가 모두 열린 상태에서, 프로세서는 프론트 도어(521)를 닫는 신호를 수신하지 않는 경우, 리어 도어(523)가 닫히지 않도록 제어할 수 있다.
일 실시 예에 따르면, 프론트 도어(521) 및 리어 도어(523)가 모두 열린 상태에서, 프로세서는 프론트 도어(521)를 닫는 신호를 수신하는 경우, 프론트 도어(521)가 닫힌 후에 카메라를 통해 차량의 측방영상을 획득할 수 있다.
일 실시 예에 따르면, 프로세서는 프론트 도어(521)가 닫힌 후에 카메라를 통해 획득한 차량의 측방영상에 기반하여, 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 프론트 도어(521)가 닫힌 후에 카메라를 통해 획득한 차량의 측방영상에 기반하여, 위험상황이 발생하지 않은 것으로 판단되는 경우, 리어 도어(523)가 닫히도록 제어할 수 있다.
도 5의 (c)를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서, 프로세서는 카메라를 통해 획득한 제2 영상(530)에서 영상 전체 분석이 불가능한 경우, 차량의 모서리를 매핑(mapping)하여 라인의 연속성을 판단한 것을 기반으로 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 제2 영상(530)에서, 차량에 부착된 물체 등으로 인해 차량의 도어 전체에 대한 분석이 불가능한 경우, 차량의 모서리를 매핑하여 라인의 연속성을 판단한 것을 기반으로 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량의 모서리를 매핑하여, 라인이 연속적인 것으로 판단되는 경우 위험상황이 발생하지 않은 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량의 모서리를 매핑하여 라인이 연속적인 것으로 판단되지 않는 경우, 위험상황이 발생한 것으로 판단할 수 있다.
도 6a는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량 측방영상을 이용하여 위험상황의 발생 여부를 판단하는 제1 실시 예를 나타낸다.
도 6a를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 프로세서는, 기저장된 영상(610)과 차량 측방영상(620)을 비교하여 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량 도어가 정상적으로 닫힌 상태에서, 차량 도어가 포함된 영상을 저장할 수 있다.
예를 들어, 프로세서는 차량 도어가 정상적으로 닫힌 상태에서, 차량 도어가 포함된 영상을 획득하여 메모리에 저장할 수 있다.
일 실시 예에 따르면, 프로세서는, 정상적으로 닫힌 상태에서 획득되어 기저장된 영상(610) 및 카메라를 통해 획득된 차량 측방영상(620)을 비교한 것에 기반하여, 차량 측방영상(620)에 차량 도어의 적어도 일부가 식별되지 않는 것으로 판단되는 경우, 위험상황이 발생한 것으로 판단할 수 있다.
도 6b는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량 측방영상을 이용하여 위험상황의 발생 여부를 판단하는 제2 실시 예를 나타낸다.
도 6b를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서, 프로세서는 차량 주위 영역을 모니터링하여 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량(600)에 구비된 측방 카메라(605)를 통해 제1 영역(607)에 있는 적어도 하나의 객체를 감지할 수 있다. 본 문서에서, 제1 영역(607)은 카메라 감지 영역(607)으로 참조될 수 있다.
일 실시 예에 따르면, 프로세서는 카메라(605)를 통해 제2 영역(601)을 모니터링할 수 있다. 본 문서에서, 제2 영역(601)은 모니터링 영역(601)으로 참조될 수 있다.
일 실시 예에 따르면, 프로세서는 모니터링 영역(601) 내에서 적어도 하나의 객체가 차량(600) 방향으로 접근할 경우, 위험상황이 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 모니터링 영역(601) 내의 적어도 하나의 객체의 움직임 변화량이 임계 값 초과 또는 이상인 경우, 위험상황이 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 제2 영역(601)에 포함된 제3 영역(603) 내에서 물체가 감지되는 경우, 위험상황이 발생한 것으로 판단할 수 있다. 본 문서에서, 제3 영역(603)은 위험 영역(603)으로 참조될 수 있다.
일 실시 예에 따르면, 프로세서는 카메라(605)를 통해 차량 주위를 모니터링 하는 동안, 위험 영역(603) 내에서 물체가 감지되는 경우, 위험상황이 발생한 것으로 판단할 수 있다.
도 6c는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량 측방영상을 이용하여 위험상황의 발생 여부를 판단하는 제3 실시 예를 나타낸다.
도 6c의 (a)를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서, 프로세서는 차량의 측방영상에서 차량(630)과 연결된 객체(640)가 있는 것으로 판단되는 경우, 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량의 측방영상에서 차량(630)과 연결된 객체(640)가 있는 것으로 판단되는 경우, 차량(630)과 객체(640) 각각의 움직임 변화량 및/또는 움직임 방향을 기준으로 위험상황의 발생 여부를 판단할 수 있다.
도 6c의 (b)를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서, 프로세서는 차량의 측방영상에서 차량(650)과 연결된 객체(660)가 있는 것으로 판단되는 경우, 차량(650)의 이동 방향과 객체(660)의 이동 방향을 비교하는 것에 기반하여, 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량(650)의 이동 방향과 객체(660)의 이동 방향이 일치하는 경우, 위험상황이 발생하지 않은 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량(650)의 이동 방향과 객체(660)의 이동 방향이 일치하지 않는 경우, 위험상황이 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량의 측방영상에서 차량(650)과 연결된 객체(660)가 있는 것으로 판단되는 경우, 차량(650)의 이동(또는 움직임) 변화량과 객체(660)의 이동 변화량을 비교하는 것에 기반하여, 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량(650)과 객체(660)가 함께 움직이지 않는 경우 위험상황이 발생한 것으로 판단할 수 있다.
구체적으로, 프로세서는 차량(650)의 이동 변화량이 임계 값 이상이되, 객체(660)의 이동 변화량이 임계 값 미만인 경우, 위험상황이 발생한 것으로 판단할 수 있다.
또한, 프로세서는 객체(660)의 이동 변화량이 임계 값 이상이되, 차량(650)의 이동 변화량이 임계 값 미만인 경우, 위험상황이 발생한 것으로 판단할 수 있다.
도 6d는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량 측방영상을 이용하여 위험상황의 발생 여부를 판단하는 제4 실시 예를 나타낸다.
도 6d를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서, 프로세서는 AI(artificial intelligence) 및/또는 딥러닝(deep learning) 학습에 기반하여, 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량(609)의 사용자(예: 승객)(601a, 601b)가 승하차 하는 경우, 도어의 오픈/클로즈에 대응되는 신호에 따른 사용자(601a, 601b)의 동작을 학습할 수 있다.
일 실시 예에 따르면, 프로세서는 사용자(601a, 601b)가 승차 전 또는 하차 후에 차량(609) 주위에서의 동작을 할 때의 움직임 변화량을 학습할 수 있다.
일 실시 예에 따르면, 프로세서는 사용자(601a, 601b)가 승차 전 또는 하차 후에 차량(609) 주위에서의 동작을 할 때의 움직임 변화량을 학습한 것에 기반하여, 위험상황의 발생 여부를 판단할 수 있다.
예를 들어, 프로세서는 사용자(601a, 601b)가 승하차 시, 차량(609) 옆에서 옷을 입거나, 핸드폰을 하는 등의 동작에 대응되는 움직임(또는 움직임 변화량)을 학습하여, 사용자(601a, 601b)가 승하차 시 학습되지 않은 동작(예: 차량 쪽으로 넘어지는 행위 등)에 대응되는 움직임(또는 움직임 변화량)과 비교하여 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 사용자(601a, 601b)가 승하차 시 학습되지 않은 동작(예: 차량 쪽으로 넘어지는 행위 등)에 대응되는 움직임(또는 움직임 변화량)이 감지되는 경우, 위험상황이 발생한 것으로 판단할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 위험상황이 발생하는 경우 경고를 출력하거나 차량의 이동을 제어하는 예를 나타내는 흐름도이다.
이하 실시 예에서 S701 내지 S715의 동작은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 7을 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 프로세서는 사고 상황(또는 위험상황 또는 사고 조건)의 발생을 감지할 수 있다(S701).
일 실시 예에 따르면, 프로세서는 차량의 도어와 관련된 사고 상황의 발생을 감지(또는 검출)할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득된 차량의 측방영상에 기반하여, 사고 상황의 발생을 감지할 수 있다.
예를 들어, 사고 상황(또는 차량의 도어와 관련된 위험상황)은 차량의 사용자가 승하차 시 차량의 도어에 옷이 끼이거나 신체의 일부가 끼이는 상황 등을 포함할 수 있다.
일 실시 예에 따르면, 프로세서는 사고 상황이 발생한 것으로 판단되는 경우, CMS 모니터, 클러스터, AVN에 경고음 및/또는 경고 문구를 출력할 수 있다(S703).
일 실시 예에 따르면, 프로세서는 사고 상황이 발생한 것으로 판단되는 경우, CMS 모니터, AVN(audio, video, navigation), 또는 클러스터 중 적어도 하나를 통해 위험상황을 알리는 경고 메시지(예: 조수석 문이 정상적으로 닫히지 않았습니다.)를 출력할 수 있다.
일 실시 예에 따르면, 프로세서는 사고 상황이 발생한 것으로 판단되는 경우, 오디오를 통해 경고음을 출력할 수 있다.
일 실시 예에 따르면, 프로세서는 사고 상황이 발생한 것으로 판단되는 경우, P(parking)단으로 기어를 변경하도록 제어하는 신호를 변속기에 전송하고, 기어가 P단으로 변경된 상태에서, 사고 상황이 해제될 때까지 기어 변경을 제한할 수 있다(S713).
일 실시 예에 따르면, 프로세서는 사고 상황이 발생한 것으로 판단되는 경우, 변속 기어 단을 확인할 수 있다.
일 실시 예에 따르면, 프로세서는 사고 상황이 발생한 것으로 판단되는 경우, 변속 기어 단이 D(drive)단, R(reverse)단 또는 N(neutral)단 중 하나일 경우, 자동으로 P단으로 기어를 변경할 수 있다.
일 실시 예에 따르면, 프로세서는 사고 상황이 발생한 것으로 판단되는 경우, 변속 기어 단이 P단일 경우, P단으로 기어를 유지할 수 있다.
일 실시 예에 따르면, 프로세서는 사고 상황의 발생을 감지한 이후, 다양한 실시 예들에 따라 사고 상황이 해제된 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 운전자의 시선을 감지하는 것에 기반하여, 사고 상황이 해제된 것으로 판단할 수 있다.
예를 들어, 프로세서는 사고 상황이 발생된 이후, 아이 트래킹(eye-tracking)을 통해 운전자가 특정 시간 이상 CMS 모니터(예: 위험상황이 발생된 도어가 포함된 영상이 출력되는 CMS 모니터)를 주시하는 것으로 판단되는 경우, 사고 상황이 해제된 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 음성 명령을 인식하는 것에 기반하여, 사고 상황이 해제된 것으로 판단할 수 있다.
예를 들어, 프로세서는 사고 상황이 발생된 이후, AVN의 음성 인식 기능을 이용하여, 특정 음성 명령(예: 운행 시작)을 인식하는 경우, 사고 상황이 해제된 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 사용자 입력을 수신하는 것에 기반하여, 사고 상황이 해제된 것으로 판단할 수 있다.
예를 들어, 프로세서는 사고 상황이 발생된 이후, 차량 내 특정 버튼(예: 센터페시아) 또는 화면 터치 입력을 수신하는 경우, 사고 상황이 해제된 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 도어의 동작을 감지하는 것에 기반하여, 사고 상황이 해제된 것으로 판단할 수 있다.
예를 들어, 프로세서는 사고 상황이 발생된 이후, 사고 상황이 발생한 도어가 열린 후 다시 닫히는 동작을 수행하는 경우, 사고 상황이 해제된 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 변속단 변경을 감지하는 것에 기반하여, 사고 상황이 해제된 것으로 판단할 수 있다.
예를 들어, 프로세서는 사고 상황이 발생된 이후, 변속단 기어가 D단, R단 또는 N단 중 하나인 상태에서, 경고가 출력된 이후 P단으로 변경되는 경우, 사고 상황이 해제된 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 사고 상황이 해제된 것으로 판단되는 경우, 경고음 및 경고 메시지의 출력을 중단할 수 있다(S705).
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득된 차량의 측방영상에 기반하여, 사고 상황이 해제된 것으로 판단되는 경우, 경고음 및 경고 메시지의 출력을 중단할 수 있다.
일 실시 예에 따르면, 프로세서는 사고 상황이 해제된 것으로 판단되는 경우, 기어를 P단으로 유지할 수 있다(S715).
일 실시 예에 따르면, 프로세서는 사고 상황이 해제된 것으로 판단되는 경우에도, 안전을 위해 기어를 P단으로 유지할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량의 측방영상을 이용하여 차량의 전동 도어를 제어하는 예를 나타내는 흐름도이다.
이하 실시 예에서 S801 내지 S825의 동작은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 8의 (a)를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 프로세서는 전동 도어 닫힘 조건이 발생하는 것을 감지할 수 있다(S801).
예를 들어, 전동 도어는 고스트 도어, 버튼식 전동 도어, 전동식 슬라이딩 도어 또는 전동식 폴딩 도어 등을 포함할 수 있다.
일 실시 예에 따르면, 프로세서는 CMS 카메라를 통해 획득한 영상을 기반으로 전동 도어의 동작 가능 여부를 확인할 수 있다(S803).
일 실시 예에 따르면, 프로세서는 CMS 카메라를 통해 획득한 영상 데이터를 분석하여, 전동 도어를 닫을 수 있는지 여부를 판단할 수 있다.
예를 들어, 프로세서는 CMS 카메라를 통해 획득한 영상 데이터를 분석하여, 위험상황이 발생하지 않은 것으로 판단되는 경우, 전동 도어를 닫을 수 있는 것으로 판단할 수 있다. 또한 예를 들어, CMS 카메라를 통해 획득한 영상 데이터를 분석하여, 위험상황이 발생한 것으로 판단되는 경우, 전동 도어를 닫을 수 없는 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 CMS 카메라를 통해 획득한 영상을 기반으로 전동 도어의 클로징이 가능한 것으로 판단되는 경우, 도어를 닫을 수 있다(S805).
일 실시 예에 따르면, 프로세서는 CMS 카메라를 통해 획득한 영상을 기반으로 위험상황이 발생하지 않은 것으로 판단되는 경우, 구동부로 신호를 전달하여 전동 도어를 닫을 수 있다.
도 8의 (b)를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 프로세서는 전동 도어 열림 조건이 발생하는 것을 감지할 수 있다(S811).
일 실시 예에 따르면, 프로세서는 CMS 카메라를 통해 획득한 영상을 기반으로, 전동 도어의 오픈 시 적어도 하나의 객체와의 충돌 여부를 확인할 수 있다(S813).
일 실시 예에 따르면, 프로세서는 CMS 카메라를 통해 획득한 영상을 기반으로, 전동 도어로부터 특정 거리 내 객체가 감지되는지 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 전동 도어를 오픈할 수 있는 것으로 판단되는 정도까지 오픈할 수 있다(S815).
일 실시 예에 따르면, 프로세서는 전동 도어의 가장자리로부터 특정 거리에 물체가 감지 될 경우 도어 오픈을 중단할 수 있다.
일 실시 예에 따르면, 프로세서는 도어 가장자리 내 특정 거리에 물체가 감지 되지 않을 경우 도어를 최대 정도로 오픈할 수 있다.
도 8의 (c)를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 프로세서는 전동 도어 열림 조건이 발생하는 것을 감지할 수 있다(S821).
일 실시 예에 따르면, 프로세서는 CMS 카메라가 차량 도어를 촬영할 수 있도록 CMS 카메라의 각도를 사전 설정된 각도로 이동할 수 있다(S823).
일 실시 예에 따르면, 프로세서는 CMS 카메라로부터 촬영되는 영상에서 차량 도어의 영상이 식별(또는 확보)되지 않는 경우, 카메라의 각도를 사전 설정된 각도로 조정할 수 있다.
예를 들어, 일 실시 예에 따르면, 프로세서는, 카메라 각도가 차량 외부로 설정되어 차량 도어의 영상이 식별(또는 확보)되지 않는 경우, 카메라의 각도를 사전 설정된 각도로 조정할 수 있다.
일 실시 예에 따르면, 프로세서는 CMS 카메라가 차량 도어를 촬영할 수 있도록 CMS 카메라의 각도를 사전 설정된 각도로 이동한 후, CMS 카메라를 통해 획득한 영상을 기반으로 위험상황의 발생 여부를 판단하고, 도어를 제어할 수 있다(S825).
도 9는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량의 측방영상을 이용하여 차량의 도어를 제어하는 예를 나타내는 흐름도이다.
이하 실시 예에서 S901 내지 S905의 동작은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 9를 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 프로세서는 일반 도어가 닫힌 것을 감지할 수 있다(S901). 예를 들어, 일반 도어는 전동식 도어가 아닌 차량의 도어로, 버스의 폴딩 도어, 슬라이딩 도어 등을 포함할 수 있다.
일 실시 예에 따르면, 프로세서는 일반 도어가 닫힌 것을 감지하는 경우, 일반 도어의 클로징에 대응하는 신호를 수신할 수 있다.
일 실시 예에 따르면, 프로세서는 일반 도어의 클로징에 대응하는 신호를 수신하는 것에 대응하여, CMS 영상을 기반으로 위험상황의 발생 여부를 판단할 수 있다(S903). 예를 들어, 위험상황은 도어에 신체, 소지품, 의류 등이 끼인 상황을 포함할 수 있다.
일 실시 예에 따르면, 프로세서는 CMS 영상을 기반으로 위험상황이 발생하지 않은 것으로 판단되는 경우, 차량의 이동을 허용할 수 있다(S905).
일 실시 예에 따르면, CMS 영상을 기반으로 위험상황이 발생하지 않은 것으로 판단되는 경우, 경고음 또는 경고 메시지의 출력 없이 차량의 움직임을 허용할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 차량의 측방영상에 기반하여, 차량의 도어와 관련된 위험상황의 발생 여부를 판단하고, 차량의 도어 또는 차량의 동작을 제어하는 예를 나타내는 흐름도이다.
도 10을 참조하면, 차량의 도어가 전동 도어인 경우 S1000, S1001, S1003, S1005, S1007, S1009, S1011 및 S1013의 동작이 수행될 수 있다.
도 10을 참조하면, 차량의 도어가 일반 도어인 경우 S1000, S1021, S1023, S1025, S1027, S1029, S1031 및 S1033의 동작이 수행될 수 있다.
이하 실시 예에서 S1000 내지 S1033의 동작은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 10의 내용과 관련하여, 전술한 내용과 중복되거나 대응되는 내용은 간략히 설명하거나 생략한다.
도 10을 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서, 차량의 도어가 전동 도어인 경우 프로세서는 위험상황과 연관된 동작을 요청하는 신호를 감지할 수 있다(S1000).
일 실시 예에 따르면, 프로세서는 차량의 도어와 관련된 위험상황이 발생한 것으로 판단되는 경우, 위험상황과 연관된 동작을 요청하는 신호를 수신할 수 있다.
일 실시 예에 따르면, 프로세서는 CMS 카메라 각도를 확인(또는 식별)할 수 있다(S1001).
일 실시 예에 따르면, 프로세서는 CMS 카메라가 차량 도어의 영상이 확보될 수 있는 각도에 위치해 있는지 판단할 수 있다. 구체적으로, 프로세서는 CMS 카메라가 차량 도어의 영상을 촬영할 수 있는 각도에 위치해 있는지 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 사전에 설정된 각도로 카메라를 이동할 수 있다(S1003).
일 실시 예에 따르면, 프로세서는 CMS 카메라가 차량 도어의 영상을 촬영할 수 있는 각도에 위치해 있는 것으로 판단되지 않는 경우, 차량 도어가 촬영되도록 사전에 설정된 각도로 카메라를 이동할 수 있다.
예를 들어, CMS 카메라가 차량 도어의 영상을 촬영할 수 있는 각도에 위치해 있는 것으로 판단되지 않는 경우는, 카메라가 차량의 외부를 향하고 있어 차량 도어를 촬영하지 않는 경우를 포함할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로 사고 발생 여부를 판단할 수 있다(S1005).
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로, 차량 도어와 관련된 사고의 발생 여부를 판단할 수 있다. 예를 들어, 프로세서는 차량의 측방영상에서 차량 도어의 전체가 식별되는지 여부를 통해, 사고의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로 사고가 발생하지 않은 것으로 판단되는 경우, 전동 도어를 작동시킬 수 있다(S1007).
일 실시 예에 따르면, 프로세서는 차량의 측방영상에서 차량 도어의 전체가 식별되는 경우, 사고가 발생하지 않은 것으로 판단하여 전동 도어의 개폐를 제어할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로 사고가 발생한 것으로 판단되는 경우, 경고를 출력하고, 차량의 동작을 제한할 수 있다(S1009).
일 실시 예에 따르면, 프로세서는 차량의 측방영상에서 차량 도어의 적어도 일부가 식별되지 않는 경우 사고가 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량의 측방영상에 기반하여, 사고가 발생한 것으로 판단되는 경우, 출력 장치를 통해 경고음 또는 경고 메시지 중 적어도 하나를 출력할 수 있다.
일 실시 예에 따르면, 프로세서는 차량의 측방영상에 기반하여, 사고가 발생한 것으로 판단되는 경우, 차량의 움직임을 제한할 수 있다.
일 실시 예에 따르면, 프로세서는 차량의 측방영상에 기반하여, 사고가 발생한 것으로 판단되는 경우, 차량 도어의 개폐를 제한할 수 있다.
일 실시 예에 따르면, 프로세서는 사고의 발생을 감지한 후에도, 지속적으로 사고의 발생이 감지되는지 여부를 판단할 수 있다. 예를 들어, 프로세서는 CMS 카메라를 통해 차량 주위 영역을 모니터링하여 사고의 발생이 계속하여 감지되는지 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로 사고 발생 해제 조건이 감지되는 경우, 카메라를 통해 획득한 영상을 기반으로 사고 발생 여부를 판단할 수 있다(S1011).
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로 사고 발생이 해제된 것으로 판단된 후에도, 카메라를 통해 획득한 영상을 기반으로 사고의 발생 여부를 판단할 수 있다. 예를 들어, 프로세서는 사고 발생이 해제된 것으로 판단된 후에도, CMS 카메라를 통해 차량 주위 영역을 모니터링하여 사고의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로, 사고 발생이 해제되지 않은 것으로 판단되는 경우, 동작 S1009로 돌아가 경고를 출력하고, 차량의 구동 및 차량 도어의 동작을 제한할 수 있다.
일 실시 예에 따르면, 프로세서는 사고 상황이 종료된 것으로 판단되는 경우, 경고를 해제하고 차량의 동작을 정상상태로 복귀할 수 있다(S1013).
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로, 사고 상황이 종료된 것으로 판단되는 경우, 경고 출력을 중단할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로, 사고 상황이 종료된 것으로 판단되는 경우, 차량의 이동을 허용할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로, 사고 상황이 종료된 것으로 판단되는 경우, 전동 도어의 개폐를 허용할 수 있다.
도 10을 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서, 차량의 도어가 일반 도어인 경우 프로세서는 위험상황과 연관된 동작을 요청하는 신호를 감지할 수 있다(S1000).
일 실시 예에 따르면, 프로세서는 차량의 도어와 관련된 위험상황이 발생한 것으로 판단되는 경우, 위험상황과 연관된 동작을 요청하는 신호를 수신할 수 있다.
일 실시 예에 따르면, 프로세서는 CMS 카메라 각도를 확인(또는 식별)할 수 있다(S1021).
일 실시 예에 따르면, 프로세서는 CMS 카메라가 차량 도어의 영상이 확보될 수 있는 각도에 위치해 있는지 판단할 수 있다. 구체적으로, 프로세서는 CMS 카메라가 차량 도어의 영상을 촬영할 수 있는 각도에 위치해 있는지 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 사전에 설정된 각도로 카메라를 이동할 수 있다(S1023).
일 실시 예에 따르면, 프로세서는 CMS 카메라가 차량 도어의 영상을 촬영할 수 있는 각도에 위치해 있는 것으로 판단되지 않는 경우, 차량 도어가 촬영되도록 사전에 설정된 각도로 카메라를 이동할 수 있다.
예를 들어, CMS 카메라가 차량 도어의 영상을 촬영할 수 있는 각도에 위치해 있는 것으로 판단되지 않는 경우는, 카메라가 차량의 외부를 향하고 있어 차량 도어를 촬영하지 않는 경우를 포함할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로 사고 발생 여부를 판단할 수 있다(S1025).
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로, 차량 도어와 관련된 사고의 발생 여부를 판단할 수 있다. 예를 들어, 프로세서는 차량의 측방영상에서 차량 도어의 전체가 식별되는지 여부를 통해, 사고의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로 사고가 발생하지 않은 것으로 판단되는 경우, 차량의 운행을 허용할 수 있다(S1027).
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로 사고가 발생하지 않은 것으로 판단되는 경우, 차량이 주행하도록 허용할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로 사고가 발생한 것으로 판단되는 경우, 경고를 출력하고, 차량의 동작을 제한할 수 있다(S1029).
일 실시 예에 따르면, 프로세서는 차량의 측방영상에서 차량 도어의 적어도 일부가 식별되지 않는 경우 사고가 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 차량의 측방영상에 기반하여, 사고가 발생한 것으로 판단되는 경우, 출력 장치를 통해 경고음 또는 경고 메시지 중 적어도 하나를 출력할 수 있다.
일 실시 예에 따르면, 프로세서는 차량의 측방영상에 기반하여, 사고가 발생한 것으로 판단되는 경우, 차량의 움직임을 제한할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로 사고 발생 해제 조건이 감지되는 경우, 카메라를 통해 획득한 영상을 기반으로 사고 발생 여부를 판단할 수 있다(S1031).
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로 사고 발생이 해제된 것으로 판단된 후에도, 카메라를 통해 획득한 영상을 기반으로 사고의 발생 여부를 판단할 수 있다. 예를 들어, 프로세서는 사고 발생이 해제된 것으로 판단된 후에도, CMS 카메라를 통해 차량 주위 영역을 모니터링하여 사고의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로, 사고 발생이 해제되지 않은 것으로 판단되는 경우, 동작 S1029로 돌아가 경고를 출력하고, 차량의 구동을 제한할 수 있다.
일 실시 예에 따르면, 프로세서는 사고 상황이 종료된 것으로 판단되는 경우, 경고를 해제하고 차량의 동작을 정상상태로 복귀할 수 있다(S1033).
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로, 사고 상황이 종료된 것으로 판단되는 경우, 경고 출력을 중단할 수 있다.
일 실시 예에 따르면, 프로세서는 카메라를 통해 획득한 영상을 기반으로, 사고 상황이 종료된 것으로 판단되는 경우, 차량의 이동을 허용할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 이용되는 SVM(surround view monitor) 카메라를 나타낸다.
도 11에서 SVM(surround view monitor) 카메라(1110)를 이용하여 위험상황 발생 여부를 판단하는 구체적인 내용은, 도 1 내지 도 10에서 전술한 카메라 또는 CMS 카메라를 이용하여 위험상황 발생 여부를 판단하는 내용으로 갈음한다.
도 11을 참조하면, 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에서 카메라는 SVM(surround view monitoring) 시스템에 구비된 전방카메라, 후방카메라, 제1 후측방카메라, 및 제2 후측방카메라로 구현될 수 있다.
일 실시 예에 따르면, 전방카메라는 차량 내부에 장착된 룸미러의 배면에 장착되어 차량의 전방영상을 촬영하고, 후방카메라는 차량의 내부 또는 외부 후방에 장착되어 차량의 후방영상을 촬영하며, 제1 후측방카메라는 차량의 좌측 사이드미러 위치에 장착되어 차량의 제1 후측방영상을 촬영하고, 제2 후측방카메라는 차량의 우측 사이드미러 위치에 장착되어 차량의 제2 후측방영상을 촬영할 수 있다.
일 실시 예에 따르면, 프로세서는 SVM 카메라(1110)를 통해 차량의 측방영상을 획득할 수 있다.
일 실시 예에 따르면, 프로세서는 SVM 카메라(1110)를 통해 획득된 측방영상에 기반하여, 차량의 도어와 관련된 위험상황의 발생 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서는 SVM 카메라(1110)를 통해 획득된 측방영상에 기반하여, 위험상황이 발생한 것으로 판단되는 것에 대응하여, 차량의 도어 또는 차량의 동작 중 적어도 하나를 제어할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 차량의 안전 하차 보조 장치 및 방법에 관한 컴퓨팅 시스템을 도시한다.
도 12를 참조하면, 충전소 추천 장치 및 방법에 관한 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(read only memory) 및 RAM(random access memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 차량의 측방영상을 촬영하는 카메라; 및
    상기 카메라와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 카메라를 통해 상기 차량의 측방영상을 획득하고,
    상기 획득된 측방영상에 기반하여, 상기 차량의 도어와 관련된 위험상황의 발생 여부를 판단하고,
    상기 위험상황이 발생한 것으로 판단되는 것에 대응하여, 상기 차량의 도어 또는 차량의 동작 중 적어도 하나를 제어하는, 차량의 안전 하차 보조 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 획득된 측방영상에서 상기 차량의 도어의 적어도 일부가 식별되지 않는 경우, 상기 위험상황이 발생한 것으로 판단하는, 차량의 안전 하차 보조 장치.
  3. 청구항 1에 있어서,
    메모리를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 획득된 측방영상에서 상기 차량의 도어의 적어도 일부가 식별되지 않는 경우,
    상기 차량이 주차된 상태에서 획득되어 상기 메모리에 기저장된 측방영상, 및 상기 획득된 측방영상을 비교한 결과에 기반하여, 상기 위험상황의 발생 여부를 판단하는, 차량의 안전 하차 보조 장치.
  4. 청구항 1에 있어서,
    상기 차량의 도어가 전동 도어인 경우,
    상기 적어도 하나의 프로세서는,
    상기 전동 도어 작동 시 상기 카메라의 각도를 기설정된 각도로 조정한 후, 상기 카메라를 통해 상기 측방영상을 획득하고,
    상기 전동 도어 작동이 완료되는 것에 대응하여, 상기 카메라의 각도를 조정 전 각도로 변경하는, 차량의 안전 하차 보조 장치.
  5. 청구항 1에 있어서,
    상기 차량의 도어가 전동 도어인 경우,
    상기 적어도 하나의 프로세서는,
    상기 차량의 프론트 도어(front door)가 열린 상태에서, 상기 획득된 측방영상에서 상기 차량의 도어의 적어도 일부가 식별되지 않는 경우,
    상기 프론트 도어를 닫은 후, 상기 카메라를 통해 상기 측방영상을 획득하고,
    상기 획득된 측방영상에서 상기 위험상황이 발생된 것으로 판단되지 않는 경우, 리어 도어(rear door)의 개폐를 제어하는, 차량의 안전 하차 보조 장치.
  6. 청구항 1에 있어서,
    상기 차량의 도어가 전동 도어인 경우,
    상기 적어도 하나의 프로세서는,
    상기 전동 도어의 닫힘 조건이 만족되는 경우, 상기 획득된 측방영상에 기반하여, 상기 위험상황의 발생 여부를 판단하고,
    상기 위험상황이 발생하지 않은 것으로 판단되는 것에 대응하여, 상기 전동 도어를 클로즈(close)하는, 차량의 안전 하차 보조 장치.
  7. 청구항 1에 있어서,
    상기 차량의 도어가 전동 도어인 경우,
    상기 적어도 하나의 프로세서는,
    상기 차량의 전동 도어의 열림 조건이 만족되는 경우, 상기 획득된 측방영상에 기반하여, 상기 전동 도어로부터 임계 거리 내 물체를 감지하고,
    상기 물체가 감지될 때까지 상기 전동 도어를 오픈(open)하는, 차량의 안전 하차 보조 장치.
  8. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 획득된 측방영상에서 상기 차량과 이어지는 객체가 있는 것으로 판단되는 경우, 상기 객체 및 상기 차량의 이동 방향 또는 상기 객체 및 상기 차량의 이동 변화량 중 적어도 하나를 기반으로 상기 위험상황의 발생 여부를 판단하는, 차량의 안전 하차 보조 장치.
  9. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 위험상황이 발생한 것으로 판단된 후, 특정 영역에 대한 운전자의 시선, 지정된 음성 명령, 터치 입력, 지정된 도어 동작 또는 변속단 변경 중 적어도 하나를 감지하는 것에 대응하여, 상기 위험상황이 해제된 것으로 판단하는, 차량의 안전 하차 보조 장치.
  10. 청구항 1에 있어서,
    출력 장치를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 획득된 측방영상에 기반하여, 상기 위험상황이 발생한 것으로 판단되는 경우, 상기 출력 장치를 통해 경고 메시지 또는 경고음 중 적어도 하나를 출력하거나, 상기 차량의 이동을 제한하여 상기 차량의 동작을 제어하는, 차량의 안전 하차 보조 장치.
  11. 청구항 1에 있어서,
    상기 카메라는,
    CMS(camera monitoring system) 카메라 또는 SVM(surround view monitor) 카메라 중 적어도 하나를 포함하고,
    상기 차량의 도어는,
    고스트 도어, 전동 파워 도어, 슬라이드 도어 또는 폴딩 도어 중 적어도 하나를 포함하는, 차량의 안전 하차 보조 장치.
  12. 적어도 하나의 프로세서가, 카메라를 통해 차량의 측방영상을 획득하는 단계;
    상기 적어도 하나의 프로세서가, 상기 획득된 측방영상에 기반하여, 상기 차량의 도어와 관련된 위험상황의 발생 여부를 판단하는 단계; 및
    상기 적어도 하나의 프로세서가, 상기 위험상황이 발생한 것으로 판단되는 것에 대응하여, 상기 차량의 도어 또는 차량의 동작 중 적어도 하나를 제어하는 단계를 포함하는, 차량의 안전 하차 보조 방법.
  13. 청구항 12에 있어서,
    상기 위험상황의 발생 여부를 판단하는 단계는,
    상기 적어도 하나의 프로세서가, 상기 획득된 측방영상에서 상기 차량의 도어의 적어도 일부가 식별되지 않는 경우, 상기 위험상황이 발생한 것으로 판단하는 단계를 포함하는, 차량의 안전 하차 보조 방법.
  14. 청구항 12에 있어서,
    상기 위험상황의 발생 여부를 판단하는 단계는,
    상기 적어도 하나의 프로세서가, 상기 획득된 측방영상에서 상기 차량의 도어의 적어도 일부가 식별되지 않는 경우, 상기 차량이 주차된 상태에서 획득되어 메모리에 기저장된 측방영상, 및 상기 획득된 측방영상을 비교한 결과에 기반하여, 상기 위험상황의 발생 여부를 판단하는 단계를 포함하는, 차량의 안전 하차 보조 방법.
  15. 청구항 12에 있어서,
    상기 차량의 측방영상을 획득하는 단계는,
    상기 차량의 도어가 전동 도어인 경우, 상기 적어도 하나의 프로세서가, 상기 전동 도어 작동 시 상기 카메라의 각도를 기설정된 각도로 조정한 후, 상기 카메라를 통해 상기 측방영상을 획득하는 단계; 및
    상기 적어도 하나의 프로세서가, 상기 전동 도어 작동이 완료되는 것에 대응하여, 상기 카메라의 각도를 조정 전 각도로 변경하는 단계를 포함하는, 차량의 안전 하차 보조 방법.
  16. 청구항 12에 있어서,
    상기 차량의 측방영상을 획득하는 단계는,
    상기 차량의 도어가 전동 도어인 경우, 상기 적어도 하나의 프로세서가, 상기 차량의 프론트 도어(front door)가 열린 상태에서, 상기 획득된 측방영상에서 상기 차량의 도어의 적어도 일부가 식별되지 않는 경우, 상기 프론트 도어를 닫은 후, 상기 카메라를 통해 상기 측방영상을 획득하는 단계를 포함하고,
    상기 적어도 하나의 프로세서가, 상기 획득된 측방영상에서 상기 위험상황이 발생된 것으로 판단되지 않는 경우, 리어 도어(rear door)의 개폐를 제어하는 단계를 더 포함하는, 차량의 안전 하차 보조 방법.
  17. 청구항 12에 있어서,
    상기 위험상황의 발생 여부를 판단하는 단계는,
    상기 차량의 도어가 전동 도어인 경우, 상기 적어도 하나의 프로세서가, 상기 전동 도어의 닫힘 조건이 만족되는 경우, 상기 획득된 측방영상에 기반하여, 상기 위험상황의 발생 여부를 판단하는 단계를 포함하고,
    상기 적어도 하나의 프로세서가, 상기 위험상황이 발생하지 않은 것으로 판단되는 것에 대응하여, 상기 전동 도어를 클로즈(close)하는 단계를 더 포함하는, 차량의 안전 하차 보조 방법.
  18. 청구항 12에 있어서,
    상기 차량의 도어가 전동 도어인 경우, 상기 적어도 하나의 프로세서가, 상기 차량의 전동 도어의 열림 조건이 만족되는 경우, 상기 획득된 측방영상에 기반하여, 상기 전동 도어로부터 임계 거리 내 물체를 감지하는 단계; 및
    상기 적어도 하나의 프로세서가, 상기 물체가 감지될 때까지 상기 전동 도어를 오픈(open)하는 단계를 더 포함하는, 차량의 안전 하차 보조 방법.
  19. 청구항 12에 있어서,
    상기 위험상황의 발생 여부를 판단하는 단계는,
    상기 적어도 하나의 프로세서가, 상기 획득된 측방영상에서 상기 차량과 이어지는 객체가 있는 것으로 판단되는 경우, 상기 객체 및 상기 차량의 이동 방향 또는 상기 객체 및 상기 차량의 이동 변화량 중 적어도 하나를 기반으로 상기 위험상황의 발생 여부를 판단하는 단계를 포함하는, 차량의 안전 하차 보조 방법.
  20. 청구항 12에 있어서,
    상기 적어도 하나의 프로세서가, 상기 위험상황이 발생한 것으로 판단된 후, 특정 영역에 대한 운전자의 시선, 지정된 음성 명령, 터치 입력, 지정된 도어 동작 또는 변속단 변경 중 적어도 하나를 감지하는 것에 대응하여, 상기 위험상황이 해제된 것으로 판단하는 단계를 더 포함하는, 차량의 안전 하차 보조 방법.
KR1020220050246A 2022-04-22 2022-04-22 차량의 안전 하차 보조 장치 및 그 방법 KR20230151141A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020220050246A KR20230151141A (ko) 2022-04-22 2022-04-22 차량의 안전 하차 보조 장치 및 그 방법
US17/983,798 US20230339401A1 (en) 2022-04-22 2022-11-09 Device for Assisting Safety Exit of Vehicle and Method Therefor
DE102022212276.3A DE102022212276A1 (de) 2022-04-22 2022-11-18 Vorrichtung zum unterstützen eines sicheren aussteigens aus einem fahrzeug und verfahren dafür
CN202211524425.3A CN116927611A (zh) 2022-04-22 2022-11-30 用于辅助车辆的安全下车的装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220050246A KR20230151141A (ko) 2022-04-22 2022-04-22 차량의 안전 하차 보조 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20230151141A true KR20230151141A (ko) 2023-11-01

Family

ID=88238369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220050246A KR20230151141A (ko) 2022-04-22 2022-04-22 차량의 안전 하차 보조 장치 및 그 방법

Country Status (4)

Country Link
US (1) US20230339401A1 (ko)
KR (1) KR20230151141A (ko)
CN (1) CN116927611A (ko)
DE (1) DE102022212276A1 (ko)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471503B2 (en) * 2010-07-09 2013-06-25 Honda Motor Co., Ltd. Vehicle door power assist
US9082021B2 (en) * 2011-11-01 2015-07-14 Aisin Seiki Kabushiki Kaisha Obstacle alert device
US9816308B2 (en) * 2016-02-17 2017-11-14 Ford Global Technologies, Llc Methods and systems for opening of a vehicle access point using audio or video data associated with a user
US10139827B2 (en) * 2016-06-28 2018-11-27 Ford Global Technologies, Llc Detecting physical threats approaching a vehicle
US10000172B2 (en) * 2016-06-28 2018-06-19 Ford Global Technologies, Llc Detecting hazards in anticipation of opening vehicle doors
EP3620332B1 (en) * 2018-09-05 2021-03-10 Volvo Car Corporation Driver assistance system and method for vehicle flank safety
KR20200040135A (ko) * 2018-10-08 2020-04-17 주식회사 만도 초음파 센서를 이용한 후측방 사각 지대의 차량 위치 추적 방법 및 시스템
US11001200B2 (en) * 2019-05-30 2021-05-11 Nissan North America, Inc. Vehicle occupant warning system
KR102610762B1 (ko) * 2019-07-08 2023-12-07 현대자동차주식회사 안전 하차 보조 시스템
KR20210030137A (ko) * 2019-09-09 2021-03-17 현대자동차주식회사 자동 주차 제어 장치 및 그 방법
US11267401B2 (en) * 2019-09-27 2022-03-08 GM Cruise Holdings, LLC Safe passenger disembarking for autonomous vehicles via audible signals
JP7298520B2 (ja) * 2020-03-10 2023-06-27 トヨタ自動車株式会社 降車支援装置
US11535246B2 (en) * 2020-03-30 2022-12-27 Denso Corporation Systems and methods for providing a warning to an occupant of a vehicle
US11624228B1 (en) * 2020-12-04 2023-04-11 Zoox, Inc. Vehicle door interface system
KR20220090130A (ko) * 2020-12-22 2022-06-29 현대자동차주식회사 탑승자 안전 하차 보조 장치 및 그 방법
JP7444133B2 (ja) * 2021-05-12 2024-03-06 株式会社デンソー 情報提示装置
WO2024046580A1 (en) * 2022-09-02 2024-03-07 Dream Chip Technologies Gmbh Vehicle, image processing unit for a vehicle and method for providing a safety signal

Also Published As

Publication number Publication date
DE102022212276A1 (de) 2023-10-26
CN116927611A (zh) 2023-10-24
US20230339401A1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
KR101950476B1 (ko) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
CN107972609B (zh) 用于门状态检测的方法和装置
JP3800172B2 (ja) 車両用周辺監視装置
US20150009010A1 (en) Vehicle vision system with driver detection
CN111267728A (zh) 车辆车门安全监控方法、系统、设备及存储介质
US20150178990A1 (en) System and method for in-vehicle interaction
WO2014188648A1 (ja) ドライバ確認装置
JP7138175B2 (ja) バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム
KR102050466B1 (ko) 차량 내에 위치하는 차량 탑승자를 지원하는 방법 및 장치
US10343681B2 (en) Apparatus and method for controlling stop of vehicle
CN113494229B (zh) 车辆控制装置、车辆控制方法及记录介质
KR20180012663A (ko) 차량용 오토 테일 게이트의 구동장치
KR101410182B1 (ko) 카메라를 이용한 승객 안전하차 감지시스템 및 그 방법
KR20230052719A (ko) 자율 주행 차량, 그를 원격 제어하는 시스템 및 그 방법
JP2022143854A (ja) 乗員状態判定装置および乗員状態判定方法
US20220161726A1 (en) Device for displaying lateral rear images of vehicle and method therefor
KR20230151141A (ko) 차량의 안전 하차 보조 장치 및 그 방법
KR102471006B1 (ko) 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법
KR20150075508A (ko) 카메라 모듈이 구비된 출입문 모니터링 및 제어시스템
WO2023108364A1 (zh) 驾驶员状态检测方法、装置及存储介质
CN114940124A (zh) 感知系统的分时复用方法、装置、电子设备和存储介质
CN106864368B (zh) 应用于车辆的警示方法及系统
KR102263153B1 (ko) 동작 인식 장치 및 그 동작 방법
KR20210018627A (ko) 자율주행차량의 거동 제어 장치 및 그 방법
JP5051364B2 (ja) 車輌ドアシステム