KR102637561B1 - 이미지 분석 장치를 통해 가속 잠금 장치를 제어하여차량의 승하차에 관한 안전 사고를 예방하는 시스템 - Google Patents

이미지 분석 장치를 통해 가속 잠금 장치를 제어하여차량의 승하차에 관한 안전 사고를 예방하는 시스템 Download PDF

Info

Publication number
KR102637561B1
KR102637561B1 KR1020230107604A KR20230107604A KR102637561B1 KR 102637561 B1 KR102637561 B1 KR 102637561B1 KR 1020230107604 A KR1020230107604 A KR 1020230107604A KR 20230107604 A KR20230107604 A KR 20230107604A KR 102637561 B1 KR102637561 B1 KR 102637561B1
Authority
KR
South Korea
Prior art keywords
vehicle
driver
getting
acceleration
camera
Prior art date
Application number
KR1020230107604A
Other languages
English (en)
Inventor
임종국
Original Assignee
임종국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임종국 filed Critical 임종국
Priority to KR1020230107604A priority Critical patent/KR102637561B1/ko
Application granted granted Critical
Publication of KR102637561B1 publication Critical patent/KR102637561B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/10—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle 
    • B60K28/12—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle  responsive to conditions relating to doors or doors locks, e.g. open door
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N5/00—Arrangements or devices on vehicles for entrance or exit control of passengers, e.g. turnstiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량의 승하차와 관련된 안전 사고를 예방하기 위한 시스템이 개시된다, 본 시스템은, 가속 잠금 장치를 통해 정지된 차량의 가속을 방지하기 위한 잠금 기능이 수행된 경우, 차량의 승하차를 위한 문이 폐쇄되면 운전자를 촬영하는 카메라가 획득된 이미지를 이미지 분석 장치로 전송하고, 이미지 분석 장치가 운전자가 적어도 하나의 백미러를 주시하는지 여부를 식별하고, 임계 시간 이상 주시한 것으로 식별되면 차량의 가속에 대한 잠금 기능을 해제하는 차량의 승하차와 관련된 안전 사고를 예방하기 위한 시스템에 관한 것이다.

Description

이미지 분석 장치를 통해 가속 잠금 장치를 제어하여 차량의 승하차에 관한 안전 사고를 예방하는 시스템 { SYSTEM TO PREVENT ACCIDENTS RELATED TO GETTING ON AND OFF THE VEHICLE BY CONTROLLING ACCELERATION LOCKING DEVICE VIA IMAGE IDENTIFICATION DEVICE }
본 개시는 차량의 승하차에 관한 안전 사고를 예방하기 위한 시스템에 관한 것으로, 보다 상세하게는, 가속 잠금 장치, 카메라, 및 이미지 분석 장치를 통해 차량의 운전자가 일정 시간동안 후방을 확인하기 위한 적어도 하나의 백미러를 주시하면 차량의 가속에 대한 잠금이 해제되도록 하는 기술에 관한 것이다.
버스 등의 복수의 탑승객이 이용할 수 있는 차량의 경우 그 크기 및 복수의 탑승객이 승하차 하는 특성 때문에 안전 관리에는 한계가 존재해왔다.
구체적으로, 운전자가 인지하지 못한 상태로 승하차 도중 문이 닫히는 경우 운전자가 이를 인지하지 못하고 출발하여 탑승객이 끼인 상태로 출발하는 사고가 빈번하게 발생하고 있다.
이런 승하차 사고를 막기 위한 종래 기술로, 등록 특허 제10-1536127호 “차량용 문끼임 감지시스템”이 등록되어 있다. 상술한 특허는 물체의 두께에 따라 차량의 문 끼임 여부를 감지하여 사고 발생 시 운전자에게 경고를 제공하고 있으나, 운전자가경고를 확인하지 못하는 휴먼 에러, 또는 감지시스템이 작동하지 않거나, 오작동하여 끼임이 발생함에도 불구하고 이를 확인하지 못하고 그대로 차량이 출발하는 경우 등의 2차 사고의 방지가 불가능하다는 단점이 존재해왔다.
등록 특허 공보 제10-1536127호
본 개시는, 차량의 운전자를 촬영하는 카메라 및 카메라를 통해 촬영된 이미지를 수신하는 이미지 분석 장치를 통해 차량의 운전자가 정지 상태에서 차량의 문이 닫힌 이후로 승하차를 위한 문 방향의 후방을 확인하기 위한 적어도 하나의 백미러를 일정 시간 주시하여야, 차량의 가속에 대한 잠금이 해제될 수 있는 차량의 승하차와 관련된 안전 사고를 예방하기 위한 시스템을 제공하는 것을 목적으로 한다.
본 개시의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 차량의 승하차와 관련된 안전 사고를 예방하기 위한 시스템은, 정지된 차량의 가속을 방지하기 위한 잠금 기능을 수행하는 가속 잠금 장치, 상기 운전자를 촬영하는 적어도 하나의 카메라, 및 상기 차량의 승하차를 위한 문이 폐쇄되는 경우, 상기 카메라를 통해 촬영된 이미지를 통해 상기 운전자가 후방을 확인하기 위한 적어도 하나의 백미러를 주시하는지 여부를 식별하는, 이미지 분석 장치를 포함하고,
상기 가속 잠금 장치는, 상기 운전자가 상기 백미러를 제1 임계 시간 이상 주시한 것으로 식별되면, 상기 잠금 기능을 해제한다.
이때, 상기 가속 잠금 장치는, 상기 잠금 기능을 수행하기 위해 가속 페달의 작동을 제한하는 적어도 하나의 잠금 수단을 구동할 수 있다.
또한, 상기 이미지 분석 장치는, 개폐 감지 센서를 통해 상기 차량의 승하차를 위한 문이 폐쇄되는 것을 식별할 수 있다.
그리고, 상기 카메라는, 상기 차량의 승하차를 위한 문이 개방된 상태에서 폐쇄된 상태로 전환되는 경우, 운전자에 대한 촬영을 시작하여 이미지를 획득할 수 있다.
한편, 상기 카메라는, 상시 작동되어 상기 운전자를 촬영할 수 있고, 상기 이미지 분석 장치는, 상기 차량의 승하차를 위한 문이 개방된 상태에서 폐쇄된 상태로 전환되는 경우, 상기 문이 폐쇄된 상태에서 상기 카메라를 통해 촬영된 이미지를 통해 상기 운전자가 상기 백미러를 주시하는지 여부를 식별할 수 있다.
이때, 상기 시스템은, 상기 가속 잠금 장치가 상기 잠금 기능을 해제하기 전 상기 운전자에게 알림을 제공하는 출력부를 포함할 수 있다.
또한, 상기 시스템은, 차량 운행에 대한 적어도 하나의 경고등이 출력되는 디스플레이를 촬영하기 위한 내부 카메라를 포함할 수 있고, 상기 이미지 분석 장치는, 상기 내부 카메라에 의해 촬영된 이미지를 통해 상기 디스플레이에 상기 경고등이 출력된 것을 식별하면, 상기 차량의 승하차를 위한 문이 개방된 상태에서 폐쇄된 상태로 전환되어 상기 문이 폐쇄된 상태에서, 상기 카메라에 의해 촬영된 이미지를 통해 상기 운전자가 상기 경고등이 출력된 디스플레이를 주시하는지 여부를 식별할 수 있고, 상기 가속 잠금 장치는, 상기 디스플레이를 제2 임계 시간 동안 주시한 것으로 식별되면, 상기 잠금 기능을 해제할 수 있다.
본 개시에 따른 시스템은, 정지된 상태에서 차량의 승하차에 대한 문이 폐쇄되어 차량이 출발하는 경우, 운전자가 후방을 확인하기 위한 적어도 하나의 백미러를 주시하여야 차량의 가속에 대한 잠금이 해제되도록 제어할 수 있다.
본 개시에 따른 시스템은, 차량의 운전에 대한 경고등이 출력되는 경우, 운전자가 경고등을 출력하는 디스플레이를 주시하여야 차량의 가속에 대한 잠금이 해제되도록 제어할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 시스템의 구성을 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따라 개폐 감지 센서를 통해 가속 잠금 장치가 차량의 승하차를 위한 문의 상태를 식별하는 동작을 설명하기 위한 도면,
도 3은 본 개시의 일 실시 예에 따른 시스템의 동작을 설명하기 위한 알고리즘,
도 4a는 본 개시의 일 실시 예에 따라 이미지 분석 장치가 운전자가 사이드 미러를 주시하는 것을 식별하는 동작을 나타내는 도면,
도 4b는 본 개시의 일 실시 예에 따라 이미지 분석 장치가 운전자가 추가로 디스플레이를 주시하는 것을 식별하는 동작을 나타내는 도면,
도 5는 본 개시의 일 실시 예에 따른 이미지 분석 장치의 구성을 설명하기 위한 도면이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시의 일 실시 예에 따른 시스템의 구성을 설명하기 위한 도면이다.
도 1에 따르면, 차량의 승하차와 관련된 안전 사고를 예방하기 위한 시스템은, 가속 잠금 장치(100), 카메라(200), 및 이미지 분석 장치(300)를 포함할 수 있다.
또한, 본 구성들은 차량 내에서 각 구성이 서로 유/무선으로 연결된 전장 시스템 내에 포함될 수 있다. 구체적으로, CAN, LIN, Flex-ray, 이더넷, 블루투스, UWB(Ultra-WideBand), Wi-Fi 등의 다양한 유/무선 통신 방식이 사용될 수 있다. 그리고, 전장 시스템은 차량을 제어하기 위한 적어도 하나의 ECU(Electronic Control Unit)를 포함할 수도 있다.
ECU는 차량에서 사용되는 전자 제어 장치를 의미한다. 구체적으로, 엔진의 전반적인 제어, 자동 공조 장치, 센서 장치가 전송하는 데이터의 처리, 차량의 장치의 제어 등 전자적으로 제어되는 기능은 각각의 ECU에서 실행될 수 있다.
가속 잠금 장치(100)는 정지된 차량의 가속을 방지하기 위한 잠금 기능을 수행하거나, 잠금을 해제하기 위한 구성이다. 가속 잠금 장치(100)는 정지된 차량의 가속을 방지하기 위해 차량이 정지되어 있고, 승하차를 위한 문이 개방됨에 따라 잠금 기능을 수행할 수 있다.
또한, 잠금 기능이 수행되면, 가속 잠금 장치(100)는 승하차를 위한 문이 개방된 상태에서 폐쇄된 상태로 전환되더라도 잠금 상태를 유지할 수 있다. 다만, 후술할 이미지 분석 장치(300)의 동작을 통해 사용자가 후방을 확인하기 위한 적어도 하나의 백미러를 일정 시간 이상 주시한 것으로 식별되면, 차량의 가속에 대한 잠금을 해제할 수 있다.
여기서, 백미러는 사이드 미러, 룸 미러, 및 보조 미러 등을 포함할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 시스템이 가속 잠금 장치를 통해 차량의 승하차를 위한 문의 개폐 상태를 식별하는 동작을 설명하기 위한 도면이다.
도 2에 따르면, 차량의 승하차를 위한 문(210)이 폐쇄되어 있고, 가속 잠금 장치(100)는 승하차를 위한 문이 폐쇄된 상태임을 식별할 수 있다.
구체적으로, 가속 잠금 장치(100)는 차량의 승하차를 위한 문(210)의 개폐를 제어하는 ECU, 또는 승하차를 위한 문(210)의 개방 또는 폐쇄를 선택하는 스위치의 입력을 수신하는 ECU와 연결되어 차량의 승하차를 위한 문(210)의 개방 또는 폐쇄 상태를 식별할 수 있다.
또한, 가속 잠금 장치(100)는 문의 개방/폐쇄를 감지하기 위한 개폐 감지 장치와 직/간접적으로 연결될 수 있다. 구체적으로, 가속 잠금 장치(100)는 개폐 감지 장치의 센싱 데이터를 수신하여 문이 개방되었는지 폐쇄되었는지 식별할 수 있다.
카메라(200)는 적어도 하나의 피사체를 촬영하기 위한 구성이다. 이 경우, 카메라(200)는 RGB 카메라, 뎁스 카메라 등에 해당할 수 있다.
카메라(200)는 차량의 운전자를 촬영할 수 있고, 촬영된 이미지를 이미지 분석 장치(300)에 제공할 수 있다.
이미지 분석 장치(300)는, 카메라(200)에 의해 획득된 이미지를 분석하여 운전자가 적어도 하나의 백미러 또는 디스플레이 등을 주시하는지 여부를 식별하기 위한 구성이다. 구체적으로, 이미지 분석 장치(300)는 이미지에 포함된 적어도 하나의 객체(ex. 운전자)를 식별할 수 있으며, 식별된 객체의 시선 또는 움직임에 대한 정보를 획득할 수 있다. 이를 위해, 이미지 분석 장치(300)는 이미지 내 객체를 인식하기 위한 적어도 하나의 객체 인식 모델(ex. CNN 모델)을 활용할 수 있으며, 연속된 이미지에 포함된 객체의 시선 또는 위치의 변화를 바탕으로 객체의 움직임을 모니터링할 수 있다.
이미지 분석 장치(300)는 적어도 하나의 컴퓨터를 포함하는 장치 내지는 시스템에 해당할 수 있다. 예를 들어, 이미지 분석 장치(300)는 서버 장치에 해당할 수 있고, 또는 데스크탑 PC, 노트북 PC, 태블릿 PC, 스마트폰 등 단말 기기에 해당할 수도 있다.
또한, 이미지 분석 장치(300)는 식별 결과를 기초로 가속 잠금 장치(100)가 정지된 차량의 가속에 대한 잠금을 해제하도록 요청할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 시스템의 동작을 설명하기 위한 알고리즘이다.
도 3을 참조하면, 시스템은 차량의 정지 여부를 식별할 수 있다(S310).
이 경우, 시스템이 차량의 정지 여부를 식별하기 위해 가속 잠금 장치(100)와 차량의 구동을 제어하는 엔진 제어 장치(Engine Control Unit)가 연결될 수 있다. 또는, 차량 내부에 구비된 속도 측정기와 직/간접적으로 연계되어 차량의 정지 여부를 식별할 수도 있다.
또한, 시스템은 차량의 승하차를 위한 문이 개방되었는지를 식별할 수 있다(S320).
차량 승하차를 위한 문이 개방된 것이 식별되면(S320 - Y), 시스템은 가속 잠금 장치(100)를 통해 정지된 차량의 가속에 대한 잠금을 활성화할 수 있다(S330).
이 경우, 가속 잠금 장치(100)는 다양한 방식으로 잠금을 활성화할 수 있다. 예를 들어, 가속 잠금 장치(100)는 차량의 가속에 대한 잠금을 활성화하기 위해 가속 페달의 작동을 제한하는 적어도 하나의 잠금 수단을 구동할 수 있고, 가속 페달이 아닌 차량의 변속기의 작동을 제한하는 잠금 수단을 구동할 수도 있다.
한편, 시스템은 차량의 승하차를 위한 문이 개방된 상태에서 폐쇄되었음을 식별할 수 있다(S340).
이 경우, 이미지 분석 장치(300)는 스위치 또는 개폐 감지 센서와 직/간접적으로 연계되어 차량의 승하차를 위한 문이 폐쇄되었음을 식별할 수 있고, 또는, 가속 잠금 장치(100)와 연결되어 가속 잠금 장치(100)를 통해 식별된 승하차를 위한 문의 폐쇄 여부를 수신할 수도 있다.
정지된 차량에 대한 잠금이 유지된 상태에서, 차량의 승하차를 위한 문이 폐쇄되었음이 식별된 경우(S340 - Y), 시스템은 이미지 분석 장치(300)를 통해 운전자가 적어도 하나의 백미러를 제1 임계 시간 이상 주시하였는지 여부를 식별할 수 있다(S350). 도 4a는 본 개시의 일 실시 예에 따른 시스템이 이미지 분석 장치를 통해 운전자가 사이드 미러를 주시하는 것을 식별하는 동작을 나타내는 도면이다.
도 4a를 참조하면, 운전자(10)를 촬영하기 위한 카메라(200)가 설치될 수 있다. 카메라(200)가 설치되는 위치는 운전자(10) 및 운전자(10)의 얼굴 부분(420)을 포함하는 이미지가 획득될 수 있는 모든 구역에 해당할 수 있다.
카메라(200)를 통해 촬영된 이미지는 이미지 분석 장치(300)로 제공될 수 있다. 이미지 분석 장치(300)는 제공된 이미지에 기초하여 운전자(10)가 차량 승하차를 위한 문(410) 방향의 사이드 미러(430)를 주시하기 위한 시선의 변화를 식별할 수 있다.
구체적으로, 이미지 분석 장치(300)는 운전자(10)의 얼굴 부분(420)이 포함된 이미지에서, 코, 입, 이마, 및 턱 등에 해당하는 각 지점의 좌표를 식별할 수 있고, 좌표 간의 상대적인 위치를 계산하여 운전자(10)의 시선이 향하는 방향을 식별할 수 있다.
또는, 이미지 분석 장치(300)는 운전자(10)의 동공의 위치 변화를 식별하여 운전자가 사이드 미러를 주시하는지 식별할 수도 있다.
이를 위해, 이미지 분석 장치(300)는 시선의 변화를 식별하기 위한 적어도 하나의 인공지능 모델을 포함할 수 있다. 예를 들어, 본 인공지능 모델은 수신된 이미지의 프레임 별 운전자(10)의 얼굴 또는 동공을 검출해 각 지점의 좌표를 설정하고, 이미지의 이전 프레임, 현재 프레임, 및 다음 프레임에서 검출된 좌표를 비교하여 시선이 향하는 방향을 계산할 수 있다. 이에 따른 본 인공지능 모델은, CNN,YOLO,SSD 등 적어도 하나의 신경망 모델로 구성될 수 있다.
또 다른 실시 예로, 백미러가 사이드 미러(430)와 룸 미러를 포함하는 실시 예의 경우, 시스템은 운전자가 사이드 미러(430)를 주시하는 것뿐만 아니라, 룸 미러를 추가로 주시하여야 차량의 가속에 대한 잠금을 해제하도록 할 수 있다. 여기서, 운전자가 룸 미러를 먼저 주시하고 사이드 미러(430)를 주시하는 실시 예 또한 가능한 것은 당연하다.
그리고, 이미지 분석 장치(300)가 운전자가 적어도 하나의 백미러를 제1 임계 시간 이상 주시한 것으로 식별하면(S350 - Y), 가속 잠금 장치(100)는 차량의 가속에 대한 잠금을 해제할 수 있다(S360).
이때, 시스템은 적어도 하나의 모드를 통해 주시에 필요한 백미러와 제1 임계 시간을 설정하는 것이 가능하다. 예를 들어, 시스템은 제1 모드로 사이드 미러 하나를 주시하도록, 제1 임계 시간은 7초를 설정할 수 있고, 제2 모드로 사이드 미러와 룸 미러를 주시하도록, 제1 임계 시간은 각각 3초를 설정할 수도 있다. 각각의 모드는 운전자의 모드를 선택하는 입력을 통해 선택될 수도 있지만 밀집도가 높은 경우 또는 위험도가 높은 경우 등의 특정 상황에서 자동으로 모드가 변경될 수도 있다.
구체적으로, 시스템은 카메라, 차량에 설치된 무게 센서, 및 차량의 요금 결제를 위한 단말 등 중 적어도 하나를 통해 차량에 탑승한 인원을 식별할 수 있고, 임계 수치 이상의 인원이 탑승한 것으로 식별되면, 제1 모드를 제2 모드로 변경할 수 있다. 이를 통해 시스템은 인원이 많아지면서 사이드 미러가 가려지는 상황에도, 운전자가 룸 미러를 통해 차량의 승하차를 위한 문을 확인하도록 할 수 있다.
또한, 시스템은 조도센서 등을 통해 어두워진 상황을 식별하거나 또는 출퇴근 시간 및 일몰 시간 등의 기설정된 시간이 경과하면 제1 모드를 제2 모드로 변경할 수도 있다.
그리고, 시스템은 모드가 변경된 것에 대한 알림을 운전자에게 제공하기 위한 적어도 하나의 구성을 포함할 수 있다.
한편, 카메라(200)는 상시로 작동되어 운전자를 촬영할 수도 있고, 특정 상황에서만 카메라(200)가 작동되어 촬영을 시작할 수도 있다.
구체적으로, 승하차를 위한 문이 개방된 상태에서 폐쇄된 상태로 전환된 것이 식별되면, 이미지 분석 장치(300)는 카메라(200)를 활성화할 수 있고, 카메라(200)는 운전자에 대한 촬영을 시작해 이미지를 획득할 수 있다.
이 경우, 가속 잠금 장치(100)가 차량의 가속에 대한 잠금을 해제하면, 카메라(200)의 작동이 중단될 수 있다.
또는, 카메라(200)는 상시로 작동되고, 특정 상황에서만 이미지 분석 장치(300)로 이미지를 제공할 수도 있다.
예를 들어, 차량에 시동이 걸린 경우, 카메라(200)는 동작을 시작하여 운전자가 차량을 운전하는 전체 운전 시간동안 이미지를 지속적으로 획득할 수 있다.
이때, 승하차를 위한 문이 폐쇄된 것이 식별되면, 이미지 분석 장치(300)는 카메라(200)에 이미지를 요청할 수 있고, 카메라(200)는 촬영중인 이미지를 이미지 분석 장치(300)에 제공할 수 있다. 이 경우, 가속 잠금 장치(100)가 차량의 가속에 대한 잠금을 해제하면, 카메라(200)의 이미지 분석 장치(300)에 대한 이미지의 제공이 중단될 수 있다.
그리고, 전체 운전 시간 동안 카메라(200)에 의해 획득된 이미지는 카메라(200)와 연결된 저장 장치에 저장될 수 있다. 이때, 이미지가 저장된 저장 장치는 블랙 박스로 활용될 수도 있다.
한편, 본 개시의 일 실시 예에 따른 시스템은 알림을 제공하는 출력부(400)를 포함할 수도 있다.
출력부(400)가 제공하는 알림은 적어도 하나의 음성 알림, 시각적 알림, 진동 등을 포함하는 구성일 수 있고, 이에 따라 출력부(400)의 구성이 달라질 수 있다. 예를 들어, 출력부(400)는 음성 알림을 제공하기 위한 스피커, 시각적 알림을 제공하기 위한 디스플레이 등을 포함할 수 있다.
이 경우, 상술한 모드 변경에 대한 알림이 출력부(400)를 통해 운전자에게 제공될 수 있다.
또한, 출력부(400)는 가속 잠금 장치(100) 및 이미지 분석 장치(300) 중 적어도 하나와 연결되어 적어도 하나의 백미러를 제1 임계 시간 이상 주시한 것으로 식별된 경우, 가속 잠금 장치(100)가 차량의 가속에 대한 잠금을 해제하기 전 운전자에게 잠금이 해제됨을 의미하는 알림을 제공할 수 있다.
또한, 출력부(400)가 제공하는 알림은 운전자 외에 차량의 탑승자에게도 제공될 수 있다.
실시 예로, 시스템이 음성 알림을 제공하는 스피커가 포함된 출력부(400)를 포함할 수 있다. 스피커를 통해 출력되는 음성 알림은 차량의 운전자뿐 아니라 차량의 탑승자에게도 제공될 수 있어, 정지 상태의 차량이 가속될 때 발생할 수 있는 탑승자의 안전 사고를 예방할 수 있다는 장점이 존재한다.
한편, 본 개시의 일 실시 예에 따른 시스템은 적어도 하나의 디스플레이와 디스플레이를 촬영하기 위한 내부 카메라(500)를 포함하여 디스플레이에 경고등이 출력되는 경우, 운전자가 경고등을 확인하여야 가속 잠금 장치(100)에 의한 잠금이 해제되도록 할 수도 있다.
이에 따라, 차량의 가속에 대한 잠금이 활성화되고 차량의 승하차에 대한 문이 폐쇄된 상태에서, 운전자가 적어도 하나의 백미러를 제1 임계 시간 동안 주시했더라도, 디스플레이에 경고등이 켜져 있는 경우, 추가로 디스플레이를 일정 시간(제2 임계 시간) 동안 주시해야 차량의 가속에 대한 잠금이 해제될 수 있다.
도 4b는 본 개시의 일 실시 예에 따라 이미지 분석 장치가 운전자가 추가로 디스플레이를 주시하는 것을 식별하는 시스템의 동작을 나타내는 도면이다.
도 4b에 따르면, 디스플레이(440)는 차량의 계기판 또는 별도의 디스플레이 장치를 포함할 수 있고, 디스플레이(440)에 차량 운행에 대한 적어도 하나의 경고등이 출력될 수 있다.
이 경우, 디스플레이(440)에 경고등이 출력되면, 이미지 분석 장치(300)는 디스플레이(440)를 촬영 범위로 하여 설치된 내부 카메라(500)를 통해 이미지를 획득할 수 있고, 획득된 이미지를 기초로 차량 운행에 대한 적어도 하나의 경고등이 디스플레이(440)에 출력되었음을 식별할 수 있다.
이때, 차량의 가속에 대한 잠금이 활성화되고, 승하차를 위한 문이 폐쇄된 것이 식별되면, 이미지 분석 장치(300)는 카메라(200)에 의해 촬영된 이미지를 수신하여 운전자(10)가 디스플레이(440)를 주시하기 위한 시선의 변화를 식별할 수 있다.
그리고, 운전자(10)가 적어도 하나의 백미러를 제1 임계 시간 이상 주시한 것으로 식별된 상태에서, 이미지 분석 장치(300)가 운전자가 디스플레이(440)를 제2 임계 시간 이상 주시한 것으로 식별하면, 가속 잠금 장치(100)는 차량의 가속에 대한 잠금을 해제할 수 있다.
또는, 운전자(10)가 디스플레이(440)를 먼저 제2 임계 시간 이상 주시한 상태에서, 적어도 하나의 백미러를 제1 임계 시간 이상 주시한 경우에도 차량의 가속에 대한 잠금이 해제될 수도 있다.
도 5는 본 개시의 일 실시 예에 따른 이미지 분석 장치의 구성을 설명하기 위한 도면이다.
도시된 바와 같이, 이미지 분석 장치(300)는 메모리(310), 통신부(320) 및 프로세서(330)를 포함할 수 있다.
메모리(310)는 이미지 분석 장치(300)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 이미지 분석 장치(300)의 구성요소와 관련된 적어도 하나의 인스트럭션 또는 데이터를 저장하기 위한 구성이다.
메모리(310)는 ROM, 플래시 메모리 등의 비휘발성 메모리를 포함할 수 있으며, DRAM 등으로 구성된 휘발성 메모리를 포함할 수 있다. 또한, 메모리(310)는 하드 디스크, SSD(Solid state drive) 등을 포함할 수도 있다.
일 실시 예로, 메모리(310) 상에는 이미지 내 운전자를 인식하기 위한 적어도 하나의 객체 인식 모델(ex. CNN 모델)이 저장될 수 있다.
통신부(320)는 시스템 내 가속 잠금 장치(100), 카메라(200), 출력부(400), 및 내부 카메라(500)와 통신을 수행하기 위한 구성이다.
통신부(320)는 다양한 유무선 통신방식으로 적어도 하나의 시스템 내 구성 요소와 통신을 수행하기 위한 회로, 모듈, 칩 등을 포함할 수 있다.
프로세서(330)는 이미지 분석 장치(300)를 전반적으로 제어하기 위한 구성이다. 구체적으로, 프로세서(330)는 메모리(310)와 연결되는 한편 메모리(310)에 저장된 적어도 하나의 인스트럭션을 실행함으로써 본 개시의 다양한 실시 예들에 따른 동작을 수행할 수 있다.
프로세서(330)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit) 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서 등을 포함할 수 있다. 인공지능 전용 프로세서는, 특정 인공지능 모델의 훈련 내지는 이용에 특화된 하드웨어 구조로 설계될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 이미지 분석 장치
200: 카메라
300: 가속 잠금 장치
400: 출력부
500: 내부 카메라

Claims (7)

  1. 차량의 승하차와 관련된 안전 사고를 예방하기 위한 시스템에 있어서,
    정지된 차량의 가속을 방지하기 위한 잠금 기능을 수행하는 가속 잠금 장치;
    운전자를 촬영하는 적어도 하나의 카메라;
    차량 운행에 대한 적어도 하나의 경고등이 출력되는 디스플레이를 촬영하기 위한 내부 카메라; 및
    상기 차량의 승하차를 위한 문이 폐쇄되는 경우, 상기 카메라를 통해 촬영된 이미지를 통해 상기 운전자가 후방을 확인하기 위한 적어도 하나의 백미러를 주시하는지 여부를 식별하는, 이미지 분석 장치;를 포함하고,
    상기 이미지 분석 장치는,
    상기 내부 카메라에 의해 촬영된 이미지를 통해 상기 디스플레이에 상기 경고등이 출력된 것을 식별하면, 상기 차량의 승하차를 위한 문이 개방된 상태에서 폐쇄된 상태로 전환되어 상기 문이 폐쇄된 상태에서, 상기 카메라에 의해 촬영된 이미지를 통해 상기 운전자가 상기 경고등이 출력된 디스플레이를 주시하는지 여부를 추가로 식별하고,
    상기 가속 잠금 장치는,
    상기 운전자가 상기 백미러를 제1 임계 시간 이상 주시한 것으로 식별되며, 상기 디스플레이를 제2 임계 시간 동안 주시한 것으로 식별되면, 상기 잠금 기능을 해제하는, 안전 사고를 예방하기 위한 시스템.
  2. 청구항 1에 있어서,
    상기 가속 잠금 장치는,
    상기 잠금 기능을 수행하기 위해 가속 페달의 작동을 제한하는 적어도 하나의 잠금 수단을 구동하는, 안전 사고를 예방하기 위한 시스템.
  3. 청구항 1에 있어서,
    상기 이미지 분석 장치는,
    개폐 감지 센서를 통해 상기 차량의 승하차를 위한 문이 폐쇄되는 것을 식별하는, 안전 사고를 예방하기 위한 시스템.
  4. 청구항 1에 있어서,
    상기 카메라는,
    상기 차량의 승하차를 위한 문이 개방된 상태에서 폐쇄된 상태로 전환되는 경우, 운전자에 대한 촬영을 시작하여 이미지를 획득하는, 안전 사고를 예방하기 위한 시스템.
  5. 청구항 1에 있어서,
    상시 작동되어 상기 운전자를 촬영하고,
    상기 이미지 분석 장치는,
    상기 차량의 승하차를 위한 문이 개방된 상태에서 폐쇄된 상태로 전환되는 경우, 상기 문이 폐쇄된 상태에서 상기 카메라를 통해 촬영된 이미지를 통해 상기 운전자가 상기 백미러를 주시하는지 여부를 식별하는, 안전 사고를 예방하기 위한 시스템.
  6. 청구항 1에 있어서,
    상기 시스템은,
    상기 가속 잠금 장치가 상기 잠금 기능을 해제하기 전 상기 운전자에게 알림을 제공하는 출력부;를 포함하는, 안전 사고를 예방하기 위한 시스템.
  7. 삭제
KR1020230107604A 2023-08-17 2023-08-17 이미지 분석 장치를 통해 가속 잠금 장치를 제어하여차량의 승하차에 관한 안전 사고를 예방하는 시스템 KR102637561B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230107604A KR102637561B1 (ko) 2023-08-17 2023-08-17 이미지 분석 장치를 통해 가속 잠금 장치를 제어하여차량의 승하차에 관한 안전 사고를 예방하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230107604A KR102637561B1 (ko) 2023-08-17 2023-08-17 이미지 분석 장치를 통해 가속 잠금 장치를 제어하여차량의 승하차에 관한 안전 사고를 예방하는 시스템

Publications (1)

Publication Number Publication Date
KR102637561B1 true KR102637561B1 (ko) 2024-02-15

Family

ID=89899060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230107604A KR102637561B1 (ko) 2023-08-17 2023-08-17 이미지 분석 장치를 통해 가속 잠금 장치를 제어하여차량의 승하차에 관한 안전 사고를 예방하는 시스템

Country Status (1)

Country Link
KR (1) KR102637561B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0971240A (ja) * 1995-09-07 1997-03-18 Toshiba Corp 列車用ドア安全確認システム
KR200472653Y1 (ko) * 2014-02-17 2014-05-13 남상익 어린이 통학용 차량
JP2014226997A (ja) * 2013-05-21 2014-12-08 株式会社デンソー ドライバ確認装置
KR101536127B1 (ko) 2013-12-06 2015-07-14 선우기술 주식회사 차량용 문끼임 감지시스템
KR20190054318A (ko) * 2017-11-13 2019-05-22 현대자동차주식회사 차량의 승객 보호 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0971240A (ja) * 1995-09-07 1997-03-18 Toshiba Corp 列車用ドア安全確認システム
JP2014226997A (ja) * 2013-05-21 2014-12-08 株式会社デンソー ドライバ確認装置
KR101536127B1 (ko) 2013-12-06 2015-07-14 선우기술 주식회사 차량용 문끼임 감지시스템
KR200472653Y1 (ko) * 2014-02-17 2014-05-13 남상익 어린이 통학용 차량
KR20190054318A (ko) * 2017-11-13 2019-05-22 현대자동차주식회사 차량의 승객 보호 장치 및 그 방법

Similar Documents

Publication Publication Date Title
WO2017092097A1 (zh) 一种车内环境监控的方法及终端
EP3647129A1 (en) Vehicle, vehicle door unlocking control method and apparatus, and vehicle door unlocking system
ES2702762T3 (es) Activador automático para airbag de pasajero
CN100454329C (zh) 被拍体验证设备以及验证方法
EP1700761B1 (en) Apparatus for authenticating vehicle driver
KR100778060B1 (ko) 얼굴인식기술을 이용한 위난방지장치 및 이를 이용한위난방지장치 시스템
EP2075400B1 (en) Video monitoring system
US20120148117A1 (en) System and method for facial identification
EP3297278A1 (en) Vehicular visual recognition device
CN107016852B (zh) 具有防胁迫的智能停车出入控制系统及方法
CN113076856B (zh) 基于人脸识别的公交车安全保障系统
CN113752983A (zh) 一种基于人脸识别/人眼识别的车辆解锁控制系统和方法
WO2017203729A1 (ja) 画像情報照合システム
CN107633651B (zh) 野生动物园安全管理系统及方法
WO2016089918A1 (en) In-car digital video system with integrated alpr
JP2005108033A (ja) 運転者状況判定装置および運転者状況判定方法
Pawar et al. IoT based embedded system for vehicle security and driver surveillance
WO2017206152A1 (zh) 车辆人员的统计方法及装置
CN109532665A (zh) 一种车用防窒息系统及其方法
KR20130135637A (ko) 카메라를 이용한 승객 안전하차 감지시스템 및 그 방법
KR102637561B1 (ko) 이미지 분석 장치를 통해 가속 잠금 장치를 제어하여차량의 승하차에 관한 안전 사고를 예방하는 시스템
JP2006096316A (ja) 監視装置
Guksa et al. Smart phone application for drowsiness detection during driving
US11373447B2 (en) Systems including image detection to inhibit vehicle operation
KR20160005204A (ko) 사람의 얼굴 또는 사람의 형체 감지를 이용한 보안 시스템 및 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant