KR102471006B1 - 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법 - Google Patents

카메라를 활용한 차량 도어부 승객 안전 장치 및 방법 Download PDF

Info

Publication number
KR102471006B1
KR102471006B1 KR1020180008186A KR20180008186A KR102471006B1 KR 102471006 B1 KR102471006 B1 KR 102471006B1 KR 1020180008186 A KR1020180008186 A KR 1020180008186A KR 20180008186 A KR20180008186 A KR 20180008186A KR 102471006 B1 KR102471006 B1 KR 102471006B1
Authority
KR
South Korea
Prior art keywords
vehicle
camera
image
door
region
Prior art date
Application number
KR1020180008186A
Other languages
English (en)
Other versions
KR20190089536A (ko
Inventor
황성훈
이상헌
Original Assignee
현대자동차주식회사
기아 주식회사
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사, 에스엘 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180008186A priority Critical patent/KR102471006B1/ko
Publication of KR20190089536A publication Critical patent/KR20190089536A/ko
Application granted granted Critical
Publication of KR102471006B1 publication Critical patent/KR102471006B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/10—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle 
    • B60K28/12—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle  responsive to conditions relating to doors or doors locks, e.g. open door
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/11—Passenger cars; Automobiles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/14—Trucks; Load vehicles, Busses
    • B60Y2200/143—Busses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2306/00—Other features of vehicle sub-units
    • B60Y2306/13—Failsafe arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 카메라를 활용한 차량 도어부 승객 안전 방법은 차량 속도에 기초하여 차량의 주행 또는 정차 상태를 판단하는 단계; 차량 도어 개폐상태를 close 또는 open으로 판단하는 단계; 상기 차량 주행 또는 정차 상태, 상기 도어 개폐상태 중 적어도 하나에 기초하여 카메라 지향방향을 변경하는 단계; 상기 지향 방향이 변경된 카메라로부터 수신한 영상에 기초하여 위험을 감지하는 방법을 변경하는 단계; 상기 검출 방법에 기초하여 위험 요소를 판단하는 단계; 및 상기 위험 요소에 대응하여 알림을 제공하는 단계를 포함할 수 있다.

Description

카메라를 활용한 차량 도어부 승객 안전 장치 및 방법 {Apparatus and method for passenger safety using the camera door}
본 발명은 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법에 관한 것으로, 더욱 상세하게는 본 발명은 버스 및 승합 차량에서 승차 및 하차를 하는 승객들의 안전사고를 예방하기 위한 장치에 관한 것이다.
일반적으로 버스나 및 승합 차량에서 승객이 승차 및 하차 상황에서 차량 후방의 시야가 확보되지 않아 후방에서 진입하는 이륜차나 자전거를 피하지 못하고 사고가 나는 경우가 빈번하게 발생하고 있다.
종래의 기술은 미러나 다수의 카메라로 위험 요소 확인 후 출발하거나, 하차를 하는 승객이 완전히 내렸다고 판단하고 운전자가 도어를 닫을 경우, 승객의 가방이나 옷이 도어에 끼어 큰 사고가 발생하고 있다.
따라서, 도어에 다양한 센서가 부착되어 있지만 옷, 가방끈 등을 현재 부착된 센서로 감지하기 어려운 문제점이 있다.
본 발명에서는 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법에 대하여 제안한다.
더욱 상세하게, 카메라가 도어의 개폐 상태에 따라 차량의 후방 및 승차 및 하차로 발생할 수 있는 위험요소를 하나의 카메라로 감지하여 운전자 및 승차 및 하차 고객에게 알려주는 장치를 제공한다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 카메라를 활용한 차량 도어부 승객 안전 방법은 차량 속도에 기초하여 차량의 주행 또는 정차 상태를 판단하는 단계; 차량 도어 개폐상태를 close 또는 open으로 판단하는 단계; 상기 차량 주행 또는 정차 상태, 상기 도어 개폐상태 중 적어도 하나에 기초하여 카메라 지향방향을 변경하는 단계; 상기 지향 방향이 변경된 카메라로부터 수신한 영상에 기초하여 위험을 감지하는 방법을 변경하는 단계; 상기 검출 방법에 기초하여 위험 요소를 판단하는 단계; 및 상기 위험 요소에 대응하여 알림을 제공하는 단계를 포함할 수 있다.
실시예에 따라, 상기 차량 주행 또는 정차 상태, 상기 도어 개폐상태 중 적어도 하나에 기초하여 카메라 지향방향을 변경하는 단계는 상기 차량의 도어 개폐상태가 close 인 경우, 상기 카메라의 지향방향을 차량의 후방으로 변경할 수 있다.
실시예에 따라, 상기 지향 방향이 변경된 카메라로부터 수신한 영상에 기초하여 위험을 감지하는 방법을 변경하는 단계는 상기 카메라가 촬영한 차량 후방 영상 내에 물체가 위치하는 영역을 제1 관심영역으로 설정하는 단계; 및 상기 제1 관심영역 내에서 물체가 기설정된 속도 이상의 물체인지 검출하는 단계를 더 포함할 수 있다.
실시예에 따라, 상기 검출 방법에 기초하여 위험 요소를 판단하는 단계는 상기 제1 관심영역에서 검출된 물체가 차량으로부터 기설정된 거리 이내인지 판단할 수 있다.
실시예에 따라, 상기 제1 관심영역에서 검출된 물체가 차량으로부터 기설정된 거리 이내인지 판단하는 단계는 상기 영상의 연속된 프레임에서 상기 설정된 제1 관심영역 내 위험요소의 변화량을 계산하는 단계; 및 상기 계산된 변화량이 전체 관심영역의 변화량보다 큰 경우에 위험이 존재한다고 판단하는 단계를 더 포함할 수 있다.
실시예에 따라, 상기 차량 주행 또는 정차 상태, 상기 도어 개폐상태 중 적어도 하나에 기초하여 카메라 지향방향을 변경하는 단계는 상기 차량의 도어 개폐상태가 open 이고, 상기 차량의 속도가 0인 경우, 상기 카메라의 지향방향을 상기 차량의 탑뷰 방향으로 변경 할 수 있다.
실시예에 따라, 상기 지향 방향이 변경된 카메라로부터 수신한 영상에 기초하여 위험을 감지하는 방법을 변경하는 단계는 상기 카메라로부터 차량 탑뷰 영상 내에서 물체가 위치하는 영역을 제2 관심영역으로 설정하는 단계; 및 상기 제2 관심영역 내에서 모든 물체를 검출하는 단계를 더 포함 할 수 있다.
실시예에 따라, 상기 검출 방법에 기초하여 위험 요소를 판단하는 단계는 차속이 0일 때, 저장된 이미지를 기준 영상으로 생성하는 단계; 상기 기준 영상에 기초하여 차분 영상을 생성하는 단계; 및 상기 차분 영상에서 변화된 영역의 정도를 계산하는 단계; 상기 변화값이 기설정된 임계값보다 큰 경우, 상기 위험 요소가 존재한다고 판단하는 단계를 더 포함 할 수 있다.
실시예에 따라, 상기 차분 영상에서 변화된 영역의 정도를 계산하는 단계는 상기 제2 관심영역을 상기 카메라의 장착 위치와 각도를 고려하여 그리드(Grid)로 나누는 단계; 및 상기 그리드 영역의 이전 프레임과 현재 프레임의 변화값의 변화 정도를 비교하는 단계를 더 포함 할 수 있다.
상기와 같은 기술적 과제를 해결하기 위하여, 카메라를 활용한 차량 도어부 승객 안전 장치는 차량의 도어 상부에 배치되어 차량 주변을 촬영하는 카메라; 차량 속도에 기초하여 차량의 주행 또는 정차 상태를 판단하고 카메라 상태 판단부; 차량 도어 개폐상태를 close 또는 open으로 판단하는 차량상태 판단부; 상기 차량 주행 또는 정차 상태, 상기 도어 개폐상태 중 적어도 하나에 기초하여 카메라 지향방향을 변경하는 카메라 구동부; 상기 지향 방향이 변경된 카메라로부터 수신한 영상에 기초하여 위험을 감지하는 방법을 변경하는 제어부; 상기 검출 방법에 기초하여 위험 요소를 판단하는 위험인지 판단부; 및 상기 위험 요소에 대응하여 알림을 제공하는 위험 경고부;를 포함할 수 있다.
실시예에 따라, 상기 제어부는 상기 차량의 도어 개폐상태가 close 인 경우, 상기 카메라의 지향방향을 상기 차량의 후방으로 변경하도록 제어할 수 있다.
실시예에 따라, 상기 위험인지 판단부는 상기 카메라가 촬영한 차량 후방 영상 내에 물체가 위치하는 영역을 제1 관심영역을 설정하고, 상기 제1 관심영역 내에서 물체가 기설정된 속도 이상의 물체인지 검출 할 수 있다.
실시예에 따라, 상기 위험인지 판단부는 상기 제1 관심영역에서 검출된 물체가 차량으로부터 기설정된 거리 이내인지 판단 할 수 있다.
실시예에 따라, 상기 위험인지 판단부는 상기 영상의 연속된 프레임에서 상기 설정된 제1 관심영역 내 위험요소의 변화량을 계산하고, 상기 계산된 변화량이 전체 관심영역의 변화량보다 큰 경우에 위험이 존재한다고 판단 할 수 있다.
실시예에 따라, 상기 제어부는 상기 차량의 도어 개폐상태가 open 이고, 상기 차량의 속도가 0인 경우, 상기 카메라의 지향방향을 상기 차량의 탑뷰 방향으로 변경하도록 제어 할 수 있다.
실시예에 따라, 상기 위험인지 판단부는 상기 카메라가 촬영한 차량 탑뷰 영상 내에 물체가 위치하는 영역을 제2 관심영역을 설정하고, 상기 제2 관심영역 내에서 모든 물체를 검출 할 수 있다.
실시예에 따라, 상기 위험인지 판단부는 차속이 0일 때 저장된 이미지를 기준 영상으로 생성하고, 상기 기준 영상에 기초하여 차분 영상을 생성하고, 상기 차분 영상에서 변화된 영역의 정도를 계산하고, 상기 변화값이 기설정된 임계값보다 큰 경우, 상기 위험 요소가 존재 한다고 판단 할 수 있다.
실시예에 따라, 상기 위험인지 판단부는 상기 제2 관심영역을 상기 카메라의 장착 위치와 각도를 고려하여 그리드로 나누고, 상기 그리드 영역의 이전 프레임과 현재 프레임의 변화값의 변화 정도를 비교 할 수 있다.
본 발명에 따른 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법에 대한 효과를 설명하면 다음과 같다.
첫째, 승객 승차 및 하차 시 발생할 수 있는 위험요소를 사전에 경고하여, 기존 운전자가 카메라 또는 미러를 직접 보고 주변 상황을 판단하는 것보다 빠르게 경고하므로 안전사고를 미리 예방할 수 있는 장점이 있다.
둘째, 운전자의 시야 확보 차원에서도 미러에 비해 많은 부분의 영역 확인 가능하여 안전성 향상에 도움이 되는 장점이 있다.
셋째, 카메라 한대로 2가지의 기능 및 영상을 제공하여 비용이 절감되는 장점이 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량 위험 영역을 도시한 도면이다.
도 2는 본 본 발명의 일 실시예에 따른 카메라를 활용한 차량 도어부 승객 안전 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 후방 감지 모드에 따른 물체 인식 방법을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 후방 감지 모드에 따른 위험감지 방법을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 승하차 감지 모드에 따른 물체 인식 방법을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 승하차 감지 모드에 따른 위험감지 방법을 도시한 도면이다.
도 7 내지 8은 본 발명의 일 실시예에 따른 카메라를 활용한 차량 도어부 승객 안전 방법의 도시한 흐름도이다.
이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
실시예의 설명에 있어서, 각 구성 요소의 " 상(위) 또는 하(아래)", "전(앞) 또는 후(뒤)"에 형성되는 것으로 기재되는 경우에 있어, "상(위) 또는 하(아래)" 및"전(앞) 또는 후(뒤)"는 두 개의 구성 요소들이 서로 직접 접촉되거나 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 배치되어 형성되는 것을 모두 포함한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량 위험 영역을 도시한 도면이다.
도 1을 참조하면, 본 발명은 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법으로 카메라(110)가 도어의 개폐 상태에 따라 차량의 후방(20) 및 승차 및 하차로 발생할 수 있는 위험요소를 하나의 카메라(110)로 감지하여 운전자 및 승차 및 하차 고객에게 알려줄 수 있다.
이를 위해, 차량(10)의 주행 상태에 따라 승차 및 하차 승객에 대한 위험요소가 달라진다. 차량(10)이 주행 중에서 정차할 경우 후방(20)에서 접근하는 이륜차 및 자전거에 의해 승차 및 하차를 하는 승객에게 위험요소가 될 수 있다.
이에 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법은 차량의 후방(20)을 촬영하는 영상이 필요하며, 상기 촬영된 영상을 알고리즘을 통해 분석하고 감지하여 운전자 및 승객에게 위험을 경고하여 발생 가능한 사고를 미연에 예방할 수 있다.
또한, 차량(10)이 정차했다가 출발할 경우 안전하게 승객이 승차 및 하차를 하였는지 확인이 필요하다. 예를 들어, 차량(10)의 미러만으로 차량(10)의 도어 영역을 확인을 할 경우 전적으로 운전자의 판단으로만 승객의 안전 유무를 판단하게 되지만, 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법은 도어의 상부에서 입력된 영상을 알고리즘을 통해 분석하고 감지하여 승객의 끼임이 있을 경우 운전자에게 알려주고 출발을 못하게 하여 발생할 수 있는 사고를 예방할 수 있다.
도 2는 본 본 발명의 일 실시예에 따른 카메라를 활용한 차량 도어부 승객 안전 장치의 구성을 도시한 블록도이다.
카메라를 활용한 차량 도어부 승객 안전 장치는 카메라(110), 카메라 상태 판단부(120), 카메라 구동부(130), 차량상태 판단부(140), 위험인지 판단부(150), 위험 경고부(160), 상태저장부(170), 제어부(180)를 포함할 수 있다.
카메라(110)는 차량의 도어 상부에 배치될 수 있다. 카메라(110)는 차량의 주변을 촬영할 수 있다. 카메라(110)는 정지영상 또는 동영상을 처리할 수 있다. 카메라(110)는 획득된 정지영상 또는 동영상을 제어부(180)로 전달할 수 있다.
카메라 상태 판단부(120)는 제어부(180)로부터 수신한 차량 주변 영상을 수신할 수 있다. 카메라 상태 판단부(120)는 차량의 속도에 따라 차량 상태를 판단할 수 있다.
상기 차량 상태는 정차 상태, 주행 상태, 출발 상태 등을 포함할 수 있다.
카메라 구동부(130)는 차량 상태 및 도어 개폐상태 정보에 대응하여 카메라 지향방향을 변경 수 있다. 카메라 구동부(130)는 카메라(110)를 회전하여 지향 방향을 변경할 수 있다.
차량상태 판단부(140)는 차량의 속도 정보, 우천/야간 상황에 대한 정보, 도어 개폐상태 정보를 수신할 수 있다.
차량상태 판단부(140)는 차량 도어 개폐상태를 close 또는 open으로 판단할 수 있다.
위험인지 판단부(150)는 위험감지 알고리즘으로 후방 감지 모드 및 승하차 감지 모드를 포함할 수 있다.
예를 들어, 후방 감지 모드인 경우, 위험인지 판단부(150)는 후방 영상 내에 물체가 위치하는 영역을 제1 관심영역(310)을 설정할 수 있다. 위험인지 제1 관심영역(310) 내에서 물체가 기설정된 속도 이상의 물체인지 검출할 수 있다. 이때, 위험인지 판단부(150)는 제1 관심영역(310)에서 검출된 물체가 차량으로부터 기설정된 거리 이내인지 판단할 수 있다.
이후, 위험인지 판단부(150)는 영상의 연속된 프레임에서 상기 설정된 제1 관심영역(310) 내 위험요소의 변화량을 계산할 수 있다. 위험인지 판단부(150)는 상기 계산된 변화량이 전체 관심영역의 변화량보다 큰 경우에 위험이 존재한다고 판단할 수 있다.
예를 들어, 승하차 감지 모드인 경우, 위험인지 판단부(150)는 탑뷰(30) 영상 내에 물체가 위치하는 영역을 제2 관심영역(510)을 설정할 수 있다. 위험인지 판단부(150)는 상기 제2 관심영역(510) 내에서 모든 물체를 검출 할 수 있다.
위험인지 판단부(150)는 상기 탑뷰(30) 영상 중 차속이 0일 때 저장된 이미지를 기준영상으로 생성할 수 있다.
위험인지 판단부(150)는 상기 기준 영상에 기초하여 차분 영상을 생성할 수 있다. 위험인지 판단부(150)는 상기 차분 영상에서 변화된 영역의 정도를 계산할 수 있다.
위험인지 판단부(150)는 상기 제2 관심영역(510)을 상기 카메라(110)의 장착 위치와 각도를 고려하여 그리드(Grid)(520)로 나눌 수 있다. 위험인지 판단부(150)는 상기 그리드(520) 영역의 이전 프레임과 현재 프레임의 변화값의 변화 정도를 비교할 수 있다. 위험인지 판단부(150)는 상기 변화값이 기설정된 임계값보다 큰 경우, 상기 위험 요소가 존재 한다고 판단할 수 있다.
위험 경고부(160)는 제어부(180)로부터 수신한 위험인자에 대응하여 사운드를 외부로 출력할 수 있다. 이를 위해, 위험 경고부(160)는 적어도 하나의 스피커를 구비할 수 있다.
상태저장부(170)는 차량의 상태를 확인하기 위한 데이터를 저장할 수 있다.
제어부(180)는 카메라를 활용한 차량 도어부 승객 안전 장치 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(180)는 카메라(110)에 의해 획득된 차량 주변 영상을 처리할 수 있다.
제어부(180)는 차량 주행 또는 정차 상태, 상기 도어 개폐상태 중 적어도 하나에 기초하여 카메라 지향방향을 변경하도록 제어할 수 있다.
예를 들어, 제어부(180)는 차량의 도어 개폐상태가 close 인 경우, 상기 카메라의 지향방향을 차량의 후방으로 변경하도록 제어할 수 있다.
예를 들어, 제어부(180)는 상기 차량의 도어 개폐상태가 open 이고, 상기 차량의 속도가 0인 경우, 상기 카메라의 지향방향을 차량의 탑뷰(30) 방향으로 변경하도록 제어할 수 있다.
제어부(180)는 지향 방향이 변경된 카메라(110)로부터 수신한 영상에 기초하여 위험을 감지하는 방법을 변경할 수 있다.
예를 들어, 제어부(180)는 카메라(110)로부터 차량 후방 영상을 수신할 수 있다. 제어부(180)는 상기 차량 후방 영상을 수신하는 경우, 위험인지 판단부(150)가 후방 감지 모드에 따라 위험 요소를 판단하도록 제어할 수 있다. 상기 후방 감지 모드는 차량이 주행 상태에서 정지상태로 변경하는 경우를 포함할 수 있다.
예를 들어, 제어부(180)는 카메라(110)로부터 차량 탑뷰(30) 영상을 수신할 수 있다. 제어부(180)는 상기 탑뷰(30) 영상을 수신하는 경우, 위험인지 판단부(150)가 승하차 감지 모드에 따라 위험 요소를 판단하도록 제어할 수 있다. 상기 승하차 감지 모드는 차량이 주행 상태에서 정지상태로 변하는 경우를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 후방 감지 모드에 따른 물체 인식 방법을 도시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 후방 감지 모드에 따른 위험감지 방법을 도시한 도면이다.
도 3은 차량이 주행하는 상태에서 정지하는 경우를 도시하고 있다. 이때, 도어는 close 상태이다.
제어부(180)는 도 3(a)과 같이 도어에서 후방을 볼 수 있는 후방 영상을 수신할 수 있다. 상기 후방 영상은 차량이 주행하여 정차하기 위해 속도를 줄이는 10km에서부터 완전 정차 시까지 카메라(110)로 입력된 영상일 수 있다.
위험인지 판단부(150)는 상기 입력된 영상에 기초하여 물체를 검출할 수 있다. 이때, 검출하는 물체는 위험 요소인 이륜차 및 자전거 등을 포함할 수 있다.
위험인지 판단부(150)는 상기 검출된 물체가 위치하는 영역을 도 3(b)과 같이 제1 관심영역(310)으로 설정할 수 있다. 상기 제1 관심영역(310)의 설정은 차체에서부터 이륜차 및 자전거의 크기를 고려하여 설정할 수 있으며 제1 관심영역(310)은 카메라(110)의 장착위치에 따라 변경될 수 있다.
위험인지 판단부(150)는 상기 설정된 제1 관심영역(310)에서 물체를 검출하기 위해서 후방 영상 내에서 물체에 대응하는 픽셀의 이동 정도를 계산할 수 있다.
상기 이동 정도를 판단하는 방법은 광학 흐름을 볼 수 있는 Optical Flow 기법을 사용할 수 있다.
상기 광학 흐름은 두 개의 연속된 프레임 사이에 이미지 객체의 가시적인 동작 패턴일 수 이다.
도 4를 참조하면, 5개의 연속된 비디오 프레임에서 공의 움직임을 도시하고 있다. 이때, 화살표는 공이 화면상에서 움직인 거리 벡터를 나타낼 수 있다.
상기 프레임의 변화는 하기 수학식 1 내지 4에 의해 계산될 수 있다. 이때 하기 수학식 1 내지 4는 화소의 값은 변하지 않고 위치와 시간만 변한 경우일 수 있다.
[수학식 1]
Figure 112018007878597-pat00001
[수학식 2]
Figure 112018007878597-pat00002
[수학식 3]
Figure 112018007878597-pat00003
[수학식 4]
Figure 112018007878597-pat00004
이때, x, y는 이미지상의 위치 정보, t는 시간, δx/δt,　δy/δt　는　각각 x 방향의 속도　Vx,　Vy, δI/δx,　δI/δy,　δI/δt　는 각각 이미지　I에 대한 x 방향, 그리고 y방향의 편미분　Ix,　Iy,　It이다.
상기 수학식 1 내지 4를 결과는 하기 수학식 5와 같이 쓸 수 있다.
[수학식 5]
IxVx　+　IyVy　= -　It
상기 수학식 5를 매트릭스 식으로 나타내면 하기 수학식 6과같이 쓸 수 있다.
[수학식 6]
Figure 112018007878597-pat00005
따라서, Motion Vector (Vx,　Vy)를 구하는 것에 있어서, 영상을 x축으로 미분(Ix)하고, y축으로 미분(Iy)하고, 시간축으로 미분(It)해서 상기 수학식 6에 대입해서 Matrix를 계산할 수 있다.
위험인지 판단부(150)는 상기 Matrix의 계산값이 전체 관심영역의 변화량 보다 큰 경우에 해당 물체가 위험 요소라고 판단할 수 있다.
도 5는 본 발명의 일 실시예에 따른 승하차 감지 모드에 따른 물체 인식 방법을 도시한 도면이다. 도 6은 본 발명의 일 실시예에 따른 승하차 감지 모드에 따른 위험감지 방법을 도시한 도면이다.
제어부(180)는 승하차 감지 모드인 경우, 도어의 전체적인 상황을 볼 수 있다. 도 5(a)과 같이 있는 탑뷰(30) 영상을 수신할 수 있다.
위험인지 판단부(150)는 상기 탑뷰(30) 영상에서 물체를 판단하기 위하여 제2 관심영역(510)을 설정할 수 있다.
위험인지 판단부(150)는 물체의 움직임을 판단하기 위해 속도가 2km 미만일 때부터 완전 정차 시까지 도 6(a)와 같이 영상을 저장할 수 있다.
이때, 차량의 속도가 0km/h 이전의 영상은 버퍼 이미지로 저장되고, 0km/h 이후의 영상은 비교 이미지로 저장 될 수 있다.
위험인지 판단부(150)는 도 6(b)과 같이 버스가 멈추었을 때(0m/sec) 버퍼에 저장된 이미지를 이용하여 기준 영상을 생성할 수 있다. 이때, 기준 영상은 하기 수학식 7에 의하여 생성될 수 있다.
[수학식 7]
Figure 112018007878597-pat00006
이때, n은 이미지 버퍼의 수, fi는 이미지 강도, (x,y)는 이미지 색인 일 수 있다.
위험인지 판단부(150)는 도 6(c)과 같이 차분 영상 생성을 할 수 있다. 이때, 차분 영상은 하기 수학식 8에 의하여 생성될 수 있다.
[수학식 8]
Figure 112018007878597-pat00007
이때, fref는 기준 이미지 강도, fcur은 현재 이미지 강도, (x,y)는 이미지 색인 일 수 있다.
위험인지 판단부(150)는 제2 관심영역(510)을 카메라(110)의 장착 위치와 각도를 고려하여, 도 5(b)와 같이 그리드(520)로 나누어 차분 영상에서 변화된 영역에 대한 부분의 정도를 계산할 수 있다.
이전 과정에서 위험요소 판단은 실험치에 의해 설정하며, 계산식은 하기 수학식 9와 같다.
[수학식 9]
Figure 112018007878597-pat00008
이때, i는 영역 번호, Ri는 i번째 영역, d(x,y)는 차영상 일 수 있다.
위험인지 판단부(150)는 이전 프레임과 현재 프레임의 m(i) 값의 변화 정도를 비교하여 기설정된 임계값보다 크면 움직임이 있는 객체가 있다고 판단할 수 있다.
도 7 내지 8은 본 발명의 일 실시예에 따른 카메라를 활용한 차량 도어부 승객 안전 방법의 도시한 흐름도이다.
도 7을 참조하면, 카메라를 활용한 차량 도어부 승객 안전 방법은 차량 속도에 기초하여 차량의 주행 또는 정차 상태를 판단하는 단계를 수행할 수 있다. 차량 속도에 기초하여 차량의 속도가 0 이상인지 판단할 수 있다(S110).
차량이 주행중인 경우, 차량상태 판단부(140)는 차량 도어 개폐상태를 close 또는 open으로 판단하는 단계를 수행할 있다(S120).
상기 도어 개폐상태가 close 인 경우, 제어부(180)는 카메라 지향방향을 변경하는 단계를 수행할 수 있다. 이때, 카메라(110)의 방향이 차량 후방을 지향하도록 변경할 수 있다(S130).
제어부(180)는 상기 차량 후방 영상이 수신되는 경우, 지향 방향이 변경된 카메라(110)로부터 수신한 영상에 기초하여 위험을 감지하는 방법을 변경하는 단계를 수행할 수 있다. 제어부(180)는 위험인지 판단부(150)가 후방감지 모드를 수행하도록 제어할 수 있다(S140).
위험인지 판단부(150)는 상기 후방 감지 모드에 의하여 위험을 판단할 수 있다(S150).
상기 위험 판단 방법은 상기 카메라(110)가 촬영한 차량 후방 영상 내에 물체가 위치하는 영역을 제1 관심영역(310)으로 설정하는 단계; 상기 제1 관심영역(310) 내에서 물체가 기설정된 속도 이상의 물체인지 검출하는 단계; 상기 제1 관심영역(310)에서 검출된 물체가 차량으로부터 기설정된 거리 이내인지 판단하는 단계를 더 포함할 수 있다.
상기 후방 감지 모드에 의하여 위험이 존재한다고 판단되는 경우, 위험 경고부(160)는 상기 위험 요소에 대응하여 알림을 제공할 수 있다(S160).
도 8을 참조하면, 카메라를 활용한 차량 도어부 승객 안전 방법은 차량 속도에 기초하여 차량의 주행 또는 정차 상태를 판단하는 단계를 수행할 수 있다. 차량 속도에 기초하여 차량의 속도가 0 이상인지 판단할 수 있다(S110).
차량이 정차중인 경우, 차량상태 판단부(140)는 차량 도어 개폐상태가 close 또는 open으로 판단하는 단계를 수행할 있다(S210).
상기 도어 개폐상태가 open 이고 차량 속도가 0인 경우, 제어부(180)는 카메라 지향방향을 변경하는 단계를 수행할 수 있다. 이때, 카메라(110)의 방향이 차량 탑뷰(30)를 지향하도록 변경할 수 있다(S220).
제어부(180)는 상기 차량 탑뷰(30) 영상이 수신되는 경우, 지향 방향이 변경된 카메라(110)로부터 수신한 영상에 기초하여 위험을 감지하는 방법을 변경하는 단계를 수행할 수 있다. 제어부(180)는 위험인지 판단부(150)가 승하차 감지 모드를 수행하도록 제어할 수 있다(S230).
위험인지 판단부(150)는 상기 후방 감지 모드에 의하여 위험을 판단할 수 있다(S240).
상기 위험 판단 방법은 상기 카메라(110)로부터 차량 탑뷰(30) 영상 내에서 물체가 위치하는 영역을 제2 관심영역(510)으로 설정하는 단계; 및 상기 제2 관심영역(510) 내에서 모든 물체를 검출하는 단계; 차속이 0일 때, 저장된 이미지를 기준 영상으로 생성하는 단계; 상기 기준 영상에 기초하여 차분 영상을 생성하는 단계; 상기 차분 영상에서 변화된 영역의 정도를 계산하는 단계; 상기 제2 관심영역(510)을 상기 카메라(110)의 장착 위치와 각도를 고려하여 그리드(520)로 나누는 단계; 및 상기 그리드(520) 영역의 이전 프레임과 현재 프레임의 변화값의 변화 정도를 비교하는 단계; 상기 변화값이 기설정된 임계값보다 큰 경우, 상기 위험 요소가 존재한다고 판단하는 단계를 더 포함할 수 있다.
상기 승하차 감지 모드에 의하여 위험이 존재한다고 판단되는 경우, 위험 경고부(160)는 상기 위험 요소에 대응하여 알림을 제공할 수 있다(S250).
상술한 일 실시예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장시스템 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 상술한 방법을 구현하기 위한 기능적인(function)프로그램, 코드 및 코드 세그먼트들은 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
10: 차량
110: 카메라
120: 차량상태 판단부
130: 카메라 구동부
140: 차량상태 판단부
150: 위험인지 판단부
160: 위험 경고부
170: 상태저장부
180: 제어부

Claims (19)

  1. 차량 속도에 기초하여 차량의 주행 또는 정차 상태를 판단하는 단계;
    차량 도어 개폐상태를 close 또는 open으로 판단하는 단계;
    상기 차량 주행 또는 정차 상태, 상기 도어 개폐상태 중 적어도 하나에 기초하여 카메라 지향방향을 변경하는 단계;
    상기 지향 방향이 변경된 카메라로부터 수신한 영상에 기초하여 위험을 감지하는 방법을 변경하는 단계;
    검출 방법에 기초하여 위험 요소를 판단하는 단계; 및
    상기 위험 요소에 대응하여 알림을 제공하는 단계;
    를 포함하고,
    상기 검출 방법에 기초하여 위험 요소를 판단하는 단계는
    차속이 0일 때, 아래의 [수학식 1]로 저장된 이미지를 기준으로 영상을 생성하는 단계;
    상기 기준 영상에 기초하여 아래의 [수학식 2]로 차분 영상을 생성하는 단계; 및
    상기 차분 영상에서 변화된 영역의 정도를 계산하는 단계;
    상기 변화값이 기설정된 임계값보다 큰 경우, 상기 위험 요소가 존재한다고 판단하는 단계를 더 포함하는
    카메라를 활용한 차량 도어부 승객 안전 방법.
    [수학식 1]
    Figure 112022062353210-pat00017

    [수학식 2]
    Figure 112022062353210-pat00018
  2. 제 1항에 있어서,
    상기 차량 주행 또는 정차 상태, 상기 도어 개폐상태 중 적어도 하나에 기초하여 카메라 지향방향을 변경하는 단계는
    상기 차량의 도어 개폐상태가 close 인 경우,
    상기 카메라의 지향방향을 차량의 후방으로 변경하는
    카메라를 활용한 차량 도어부 승객 안전 방법.
  3. 제 2항에 있어서,
    상기 지향 방향이 변경된 카메라로부터 수신한 영상에 기초하여 위험을 감지하는 방법을 변경하는 단계는
    상기 카메라가 촬영한 차량 후방 영상 내에 물체가 위치하는 영역을 제1 관심영역으로 설정하는 단계;
    상기 제1 관심영역 내에서 물체가 기설정된 속도 이상의 물체인지 검출하는 단계;
    를 더 포함하는 카메라를 활용한 차량 도어부 승객 안전 방법.
  4. 제 3항에 있어서,
    상기 검출 방법에 기초하여 위험 요소를 판단하는 단계는
    상기 제1 관심영역에서 검출된 물체가 차량으로부터 기설정된 거리 이내인지 판단하는 단계를 더 포함하는 카메라를 활용한 차량 도어부 승객 안전 방법.
  5. 제 4항에 있어서,
    상기 제1 관심영역에서 검출된 물체가 차량으로부터 기설정된 거리 이내인지 판단하는 단계는
    상기 영상의 연속된 프레임에서 상기 설정된 제1 관심영역 내 위험요소의 변화량을 계산하는 단계; 및
    상기 계산된 변화량이 전체 관심영역의 변화량보다 큰 경우에 위험이 존재한다고 판단하는 단계; 를 더 포함하는
    카메라를 활용한 차량 도어부 승객 안전 방법.
  6. 제 1항에 있어서,
    상기 차량 주행 또는 정차 상태, 상기 도어 개폐상태 중 적어도 하나에 기초하여 카메라 지향방향을 변경하는 단계는
    상기 차량의 도어 개폐상태가 open이고, 상기 차량의 속도가 0인 경우,
    상기 카메라의 지향방향을 상기 차량의 탑뷰 방향으로 변경하는
    카메라를 활용한 차량 도어부 승객 안전 방법.
  7. 제 6항에 있어서,
    상기 지향 방향이 변경된 카메라로부터 수신한 영상에 기초하여 위험을 감지하는 방법을 변경하는 단계는
    상기 카메라로부터 차량 탑뷰 영상 내에서 물체가 위치하는 영역을 제2 관심영역으로 설정하는 단계; 및
    상기 제2 관심영역 내에서 모든 물체를 검출하는 단계를 더 포함하는
    카메라를 활용한 차량 도어부 승객 안전 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 차분 영상에서 변화된 영역의 정도를 계산하는 단계는
    상기 제2 관심영역을 상기 카메라의 장착 위치와 각도를 고려하여 그리드(Grid)로 나누는 단계; 및
    상기 그리드 영역의 이전 프레임과 현재 프레임의 변화값의 변화 정도를 비교하는 단계;
    를 더 포함하는 카메라를 활용한 차량 도어부 승객 안전 방법.
  10. 제 1, 2, 3, 4, 5, 6, 7, 9항 중 어느 한 항에 따른 카메라를 활용한 차량 도어부 승객 안전 방법을 실현하기 위한 프로그램이 기록된 컴퓨터 판독 가능 기록 매체.
  11. 차량의 도어 상부에 배치되어 차량 주변을 촬영하는 카메라;
    차량 속도에 기초하여 차량의 주행 또는 정차 상태를 판단하고 카메라 상태 판단부;
    차량 도어 개폐상태를 close 또는 open으로 판단하는 차량상태 판단부;
    상기 차량 주행 또는 정차 상태, 상기 도어 개폐상태 중 적어도 하나에 기초하여 카메라 지향방향을 변경하는 카메라 구동부;
    상기 지향 방향이 변경된 카메라로부터 수신한 영상에 기초하여 위험을 감지하는 방법을 변경하는 제어부;
    검출 방법에 기초하여 위험 요소를 판단하는 위험인지 판단부; 및
    상기 위험 요소에 대응하여 알림을 제공하는 위험 경고부;
    를 포함하고,
    상기 위험인지 판단부는
    차속이 0 일 때 아래의 [수학식 1]로 저장된 이미지를 기준 영상으로 생성하고,
    상기 기준 영상에 기초하여 아래의 [수학식 2]로 차분 영상을 생성하고,
    상기 차분 영상에서 변화된 영역의 정도를 계산하고,
    상기 변화값이 기설정된 임계값보다 큰 경우, 상기 위험 요소가 존재한다고 판단하는
    카메라를 활용한 차량 도어부 승객 안전 장치.
    [수학식 1]
    Figure 112022062353210-pat00019

    [수학식 2]
    Figure 112022062353210-pat00020
  12. 제 11항에 있어서,
    상기 제어부는
    상기 차량의 도어 개폐상태가 close 인 경우,
    상기 카메라의 지향방향을 상기 차량의 후방으로 변경하도록 제어하는
    카메라를 활용한 차량 도어부 승객 안전 장치.
  13. 제 12항에 있어서,
    상기 위험인지 판단부는
    상기 카메라가 촬영한 차량 후방 영상 내에 물체가 위치하는 영역을 제1 관심영역을 설정하고,
    상기 제1 관심영역 내에서 물체가 기설정된 속도 이상의 물체인지 검출하는
    카메라를 활용한 차량 도어부 승객 안전 장치.
  14. 제 13항에 있어서,
    상기 위험인지 판단부는
    상기 제1 관심영역에서 검출된 물체가 차량으로부터 기설정된 거리 이내인지 판단하는 카메라를 활용한 차량 도어부 승객 안전 장치.
  15. 제 14항에 있어서,
    상기 위험인지 판단부는
    상기 영상의 연속된 프레임에서 상기 설정된 제1 관심영역 내 위험요소의 변화량을 계산하고,
    상기 계산된 변화량이 전체 관심영역의 변화량보다 큰 경우에 위험이 존재한다고 판단하는
    카메라를 활용한 차량 도어부 승객 안전 장치.
  16. 제 11항에 있어서,
    상기 제어부는
    상기 차량의 도어 개폐상태가 open이고, 상기 차량의 속도가 0인 경우,
    상기 카메라의 지향방향을 상기 차량의 탑뷰 방향으로 변경하도록 제어하는
    카메라를 활용한 차량 도어부 승객 안전 장치.
  17. 제 16항에 있어서,
    상기 위험인지 판단부는
    상기 카메라가 촬영한 차량 탑뷰 영상 내에 물체가 위치하는 영역을 제2 관심영역으로 설정하고,
    상기 제2 관심영역 내에서 모든 물체를 검출하는 카메라를 활용한 차량 도어부 승객 안전 장치.
  18. 삭제
  19. 제 17항에 있어서,
    상기 위험인지 판단부는
    상기 제2 관심영역을 상기 카메라의 장착 위치와 각도를 고려하여 그리드로 나누고,
    상기 그리드 영역의 이전 프레임과 현재 프레임의 변화값의 변화 정도를 비교하는 카메라를 활용한 차량 도어부 승객 안전 장치.
KR1020180008186A 2018-01-23 2018-01-23 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법 KR102471006B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180008186A KR102471006B1 (ko) 2018-01-23 2018-01-23 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180008186A KR102471006B1 (ko) 2018-01-23 2018-01-23 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190089536A KR20190089536A (ko) 2019-07-31
KR102471006B1 true KR102471006B1 (ko) 2022-11-25

Family

ID=67473885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180008186A KR102471006B1 (ko) 2018-01-23 2018-01-23 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102471006B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102493296B1 (ko) * 2021-02-19 2023-01-31 주식회사 마노 차량의 승하차 안전 보조 시스템
KR102643149B1 (ko) * 2021-12-29 2024-03-05 오토아이티(주) 차량 내 승객 검출 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005014812A (ja) * 2003-06-27 2005-01-20 Denso Corp 車両後方表示装置
JP2011111070A (ja) * 2009-11-27 2011-06-09 Fujitsu Ten Ltd 接近物検知装置、接近物検知システム、および、接近物検知方法
KR101697520B1 (ko) * 2015-11-05 2017-02-02 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717080B1 (ko) * 2015-06-17 2017-03-16 경창산업주식회사 승객을 보호하기 위한 차량 제어 시스템 및 이를 이용한 차량 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005014812A (ja) * 2003-06-27 2005-01-20 Denso Corp 車両後方表示装置
JP2011111070A (ja) * 2009-11-27 2011-06-09 Fujitsu Ten Ltd 接近物検知装置、接近物検知システム、および、接近物検知方法
KR101697520B1 (ko) * 2015-11-05 2017-02-02 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템

Also Published As

Publication number Publication date
KR20190089536A (ko) 2019-07-31

Similar Documents

Publication Publication Date Title
US10140531B2 (en) Detection of brake lights of preceding vehicles for adaptation of an initiation of active safety mechanisms
US8933797B2 (en) Video-based warning system for a vehicle
US9834221B2 (en) Driver attentiveness detection method and device
US8140226B2 (en) Security system and a method to derive a security signal
US11223775B2 (en) Method and apparatus for the spatially resolved detection of an object outside a transportation vehicle with the aid of a sensor installed in a transportation vehicle
US20180304806A1 (en) Driver state sensing system, driver state sensing method, and vehicle including the same
WO2014188648A1 (ja) ドライバ確認装置
US9981598B2 (en) Alighting notification device
CN110466512A (zh) 一种车辆变道方法、装置及系统
US20170185763A1 (en) Camera-based detection of objects proximate to a vehicle
KR101546893B1 (ko) 졸음 운전 방지 시스템
WO2016157698A1 (ja) 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム
CN105818743A (zh) 用于车门开启时的防撞方法及系统
KR102471006B1 (ko) 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
CN205498764U (zh) 一种基于视觉的集成后部主动安全预警的adas系统
EP3330923B1 (en) Automotive system with motion detection capabilities
US10343681B2 (en) Apparatus and method for controlling stop of vehicle
US11039078B2 (en) Method and device for predictable exposure control of at least one first vehicle camera
JP3984863B2 (ja) 発進報知装置
KR101680833B1 (ko) 보행자 검출 경보 장치 및 방법
CN116118720A (zh) 一种基于车辆工况可变控制策略的aeb-p系统
US20220169176A1 (en) Attention Assist for Dynamic Blind Zone with Driver State in the Loop
JP4601376B2 (ja) 画像異常判定装置
KR102019288B1 (ko) 주차 보조 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant