KR20230151416A - 차량의 시트벨트 장치 - Google Patents

차량의 시트벨트 장치 Download PDF

Info

Publication number
KR20230151416A
KR20230151416A KR1020220076660A KR20220076660A KR20230151416A KR 20230151416 A KR20230151416 A KR 20230151416A KR 1020220076660 A KR1020220076660 A KR 1020220076660A KR 20220076660 A KR20220076660 A KR 20220076660A KR 20230151416 A KR20230151416 A KR 20230151416A
Authority
KR
South Korea
Prior art keywords
seat belt
pattern
webbing
vehicle
belt device
Prior art date
Application number
KR1020220076660A
Other languages
English (en)
Inventor
방태영
김영록
이수철
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to US17/984,637 priority Critical patent/US20230339427A1/en
Priority to CN202211492361.3A priority patent/CN116946063A/zh
Priority to EP22210062.0A priority patent/EP4269184A1/en
Publication of KR20230151416A publication Critical patent/KR20230151416A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/12—Construction of belts or harnesses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4866—Displaying or indicating arrangements thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Textile Engineering (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Automotive Seat Belt Assembly (AREA)

Abstract

본 개시에 기재된 차량은 좌석에 결합되고, 적어도 하나의 패턴으로 도료가 코팅되어 있는 웨빙을 포함하는 시트벨트, 상기 좌석을 포함하는 시야 영역을 촬영하여 감시 영상을 생성하는 비전 센서, 및 상기 감시 영상에서 상기 적어도 하나의 도료가 코팅된 패턴을 바탕으로 웨빙의 길이를 감지하고, 상기 감지된 웨빙 길이에 기초하여 사용자가 상기 시트벨트를 착용했는지 여부 또는 시트벨트 오착용 여부를 결정하는 감시 시스템을 포함할 수 있다.

Description

차량의 시트벨트 장치{SEATBELT DEVICE OF VEHICLE}
본 개시는 차량의 시트벨트 장치에 관한 것으로, 구체적으로, 시트벨트 착용 감시 방법이 적용된 차량에 관한 것이다.
자율 주행 차량에 탑승한 승객을 보호하기 위해서, 승객은 시트벨트를 정상적으로 착용해야 한다. 승객이 시트벨트를 착용하지 않는 경우, 사고상황에서 승객은 보호받을 방법이 없다. 따라서, 승객이 시트벨트를 정상적으로 착용하도록 유도하기 위한 기술이 필요하다.
종래에는 시트벨트를 체결하기 위한 버클에 내장된 온/오프 스위치를 이용하여, 승객의 시트벨트 착용 여부를 감지하였다. 시트벨트가 버클에 체결되지 않을 경우, 시트벨트를 착용할 것을 경고하는 알람이 발생하였다. 그러나, 승객이 시트벨트를 착용하지 않고 Fake tongue을 버클에 체결하거나 비정상적으로 시트벨트를 버클에 체결하는 경우, 이를 감지할 수 없는 문제가 있다.
시트벨트를 정상적으로 착용하였는지를 감지할 수 있는 차량의 시트벨트 장치를 제공하고자 한다.
발명의 한 특징에 따른 차량은, 좌석에 결합되고, 적어도 하나의 패턴으로 도료가 코팅되어 있는 웨빙을 포함하는 시트벨트, 상기 좌석을 포함하는 시야 영역을 촬영하여 감시 영상을 생성하는 비전 센서, 및 상기 감시 영상에서 상기 적어도 하나의 도료가 코팅된 패턴을 바탕으로 웨빙의 길이를 감지하고, 상기 감지된 웨빙 길이에 기초하여 사용자가 상기 시트벨트를 착용했는지 여부 또는 시트벨트 오착용 여부를 결정하는 감시 시스템을 포함할 수 있다.
상기 웨빙은, 면적과 길이 정보를 가지는 규칙적인 순서를 가지고, 소정 범위 이상의 적외선 반사율을 가진 도료 코팅 패턴으로 구현된 웨빙을 포함할 수 있다.
상기 도료 코팅 패턴은 일정한 사이즈의 고유번호를 갖는 적외선 도료 코팅 패턴을 포함하는 웨빙 구조를 형성하고, 상기 차량의 시트벨트 장치는, 상기 도료 코팅 패턴에 의해 웨빙 인출량을 파악할 수 있다.
상기 도료 코팅 패턴은 후도색으로 구현되거나, 원사 선도색 코팅에 의해 구현될 수 있다.
상기 감시 시스템은, 상기 감시 영상에서 특정 패턴에 매칭되는 패턴을 검출하고, 상기 검출한 특정 패턴에 매칭되는 패턴 수에 따라 인출된 웨빙의 길이를 감지할 수 있다.
상기 감시 시스템은, 상기 감시 영상에서 적어도 두 개의 관심 영역을 도출하고, 상기 도출한 적어도 두 개의 관심 영역의 공통된 소정 영역에 기초하여 인출된 웨빙 길이를 계산할 수 있다.
상기 감시 시스템은, 상기 도출한 적어도 두 개의 관심 영역 중 비착용 관심 영역의 최상단에서 검출된 패턴의 번호와 착용 관심 영역의 최상단에서 검출된 패턴의 번호를 비교하여 인출된 웨빙 길이를 계산할 수 있다.
상기 감시 시스템은, 소정의 기준 웨빙 길이 범위와 상기 계산한 인출된 웨빙 길이를 비교하고, 상기 비교 결과에 기초하여 사용자의 시트벨트 착용 및 오착용 여부를 결정할 수 있다.
상기 감시 시스템은, 시트벨트 착용 후 상기 도출한 적어도 두 개의 관심 영역 중 착용 관심영역에서 검출되는 패턴의 개수를 검출할 수 있다.
상기 감시 시스템은, 상기 계산한 인출된 웨빙 길이가 상기 소정의 기준 웨빙 길이 범위 내이고, 상기 검출한 패턴의 개수가 기준 개수 범위 이상이면, 상기 사용자가 상기 시트벨트를 정상적으로 착용한 것으로 결정할 수 있다.
상기 감시 시스템은, 상기 오착용으로 결정할 때, 상기 비전 센서에 대한 재촬영 제어 명령을 생성하여 상기 비전 센서에 전송할 수 있다.
상기 비전 센서는, 상기 재촬영 제어 명령에 따라 상기 시야 영역을 재촬영하여 감시 영상을 생성하고, 상기 재촬영으로 생성한 감시 영상을 상기 감시 시스템에 전송할 수 있다.
상기 감시 시스템은, 상기 오착용으로 결정한 경우, 상기 차량의 스피커 또는 디스플레이가 재촬영 전에 사용자에게 시트벨트를 착용할 것을 경고하는 알림을 수행하도록 제어할 수 있다.
상기 감시 시스템은, 상기 감시 영상에서 상기 특정 패턴에 매칭되는 패턴을 도출하기 위해서, 이미지 매칭 또는 CNN(Convolution Neural Network) 알고리즘을 이용할 수 있다.
상기 감시 시스템은, 상기 감시 영상을 구성하는 복수의 프레임에서 복수의 패턴 중 하나를 선택하고, 복수의 프레임 각각에서의 상시 선택된 패턴의 변위를 추적하여 호흡수를 추정할 수 있다.
상기 감시 시스템은, 상기 선택된 패턴의 x 축 및 y 축 각각의 변위를 추적하고, 상기 x축 및 y축 각각의 길이가 증가 및 감소하는 횟수를 카운트하여 호흡수를 추정할 수 있다.
상기 적어도 하나의 패턴은, n X n 진법 방식에 따르는 패턴을 포함하고, 상기 n은 3 이상의 자연수일 수 있다.
상기 적어도 하나의 패턴은, 도형, 로고, 글자, 및 숫자 중 적어도 하나에 따른 규칙이 있는 패턴을 포함할 수 있다.
상기 적어도 하나의 패턴은, 규칙이 없는 복수의 패턴이 특정 순서에 따라 구성된 패턴을 포함할 수 있다.
시트벨트를 정상적으로 착용하였는지를 감지할 수 있는 차량 시트벨트 장치를 제공한다.
도 1은 차량의 내부에서 앞 유리를 바라보는 방향에서의 차량 내부를 나타낸 도면이다.
도 2는 차량의 앞 유리에서 내부를 바라보는 방향에서의 차량 내부를 나타낸 도면이다.
도 3은 일 실시예에 따른 도료가 코팅된 시트벨트의 웨빙을 나타낸 도면이다.
도 4A는 일 실시예에 따른 좌석, 시트벨트 장치, 감시 시스템, 및 비전 센서를 도식적으로 나타낸 도면이다.
도 4B는 일 실시예에 따른 비전 센서를 나타낸 블록도이다.
도 5A 및 도 5B는 일 실시예에 따른 감시 영상에서의 관심 영역을 나타낸 도면이다.
도 6은 일 실시예에 따른 웨빙에 코팅될 수 있는 복수의 패턴을 나타낸 도면이다.
도 7은 일 실시예에 따른 웨빙에 코팅될 수 있는 다양한 패턴을 나타낸 도면이다.
도 8은 일 실시예에 따른 웨빙에 코팅될 수 있는 규칙 없는 패턴을 나타낸 도면이다.
도 9는 일 실시예에 따른 CNN 알고리즘으로 구현된 감시 시스템의 구성을 도식적으로 나타낸 도면이다.
도 10은 일 실시예에 따른 시트벨트 착용 감시 방법을 나타낸 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일, 유사한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및/또는 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
일 실시예에 따른 구성들 중 특정 제어 조건에서 다른 구성을 제어하는 구성에는, 다른 구성을 제어하기 위해 필요한 제어 알고리즘을 구체화한 명령어의 집합으로 구현된 프로그램이 설치될 수 있다. 제어 구성은 설치된 프로그램에 따라 입력 데이터 및 저장된 데이터를 처리하여 출력 데이터를 생성할 수 있다. 제어 구성은 프로그램을 저장하는 비휘발성 메모리 및 데이터를 저장하는 메모리를 포함할 수 있다.
일 실시예에 따른 감시 시스템은, 비전 센서를 이용하여 시트벨트의 웨빙 경로를 파악하고, 파악한 웨빙 경로에 기초하여 착용 여부 및 비정상 착용(이하, 오착용) 여부를 판단할 수 있다. 비전 센서는 RGB 카메라와 IR(Infrared) 카메라를 포함할 수 있다. 감시 시스템은 AI(Artificial Intelligence) 알고리즘 예를 들어, CNN 알고리즘으로 구현된 분류 모듈을 포함할 수 있다. 나아가, 일 실시예에 따른 감시 시스템을 포함하는 차량은 웨빙 표면에 도료가 입혀진 시트벨트를 포함할 수 있다. 도료는 IR 고반사 도료로 구현될 수 있다. 나아가 웨빙에는 소정 패턴을 따라 도료가 코팅될 수 있다. 이를 통해 비전 센서에 의해 획득된 영상의 패턴이 감시 시스템에 의해 쉽게 빠른 시간내에 검출될 수 있다.
이하, 필요한 도면들을 참조하여 실시 예에 따른 시트벨트 착용 감지 장치 및 방법을 설명한다.
도 1 및 도 2는 일 실시 예에 따른 차량의 내부 일부를 나타낸 도면이다.
도 1은 차량의 내부에서 앞 유리를 바라보는 방향에서의 차량 내부를 나타낸 도면이다.
도 2는 차량의 앞 유리에서 내부를 바라보는 방향에서의 차량 내부를 나타낸 도면이다.
도 1 및 2에 도시된 바와 같이, 차량(1)은 운전석(11), 보조석(12), 시트벨트(111, 121), 및 비전 센서(20)를 포함한다. 도 1에서는 오버헤드 콘솔(30)에 하나의 비전 센서(20)가 위치하는 것으로 도시되어 있으나, 비전 센서(20)의 위치 및 개수는 이에 제한되지 않고, 운전석(11) 및 보조석(12)에 착석한 사용자에 대한 영상을 획득할 수 있는 위치 및 개수일 수 있다. 예를 들어, 두 개의 비전 센서가 차량(1)의 A 필라(31, 32)에 위치할 수 있다.
도 2에서는 설명의 편의를 위해서 사용자가 운전석(11)에 착석하여 시트벨트(111)를 착용한 것으로 도시되어 있다. 다만, 보조석(12) 뿐만 아니라 뒷 좌석에도 사용자가 탑승할 수 있고, 뒷 좌석에 탑승한 사용자가 시트벨트를 착용한 경우에도 일 실시예가 적용될 수 있다.
도 1에서는 앞 좌석에 대한 영상을 획득할 수 있는 비전 센서만 도시되어 있으나, 뒷 좌석에 대한 영상을 획득할 수 있는 비전 센서가 차량(1)에 구비될 수 있다. 이 경우, 뒷 좌석용 비전 센서의 위치 및 개수는 뒷 좌석에 착석한 사용자에 대한 선명한 영상을 획득할 수 있는 위치 및 개수일 수 있다. 예를 들어, 두 개의 비전 센서가 차량(1)의 B 필라에 위치할 수 있다.
비전 센서(20)는 시야(field of view) 영역에 대한 RGB 영상 및 IR(Infrared) 영상 중 적어도 하나를 생성할 수 있다. 비전 센서(20)는 IR 카메라 및 RGB 카메라를 포함할 수 있다. RGB 카메라는 CMOS 이미지 센서로 구현될 수 있고, IR 카메라는 양자형 적외선 센서 또는 열형 적외선 센서로 구현될 수 있다.
일 실시예에 따른 시트벨트(111, 121)를 구성하는 웨빙(webbing)에는 도료가 임의의 패턴에 따라 코팅되어 있을 수 있다. 이 때, 시트벨트(111, 121)의 웨빙에 코팅된 도료의 패턴은 적어도 한 종류일 수 있다. 도료는 소정 범위(예를 들어, 20~30%) 이상의 IR 반사율을 가질 수 있다. 어두운 밤이나 터널 등 가시광선이 부족한 경우(자연광이 소정의 임계치 미만인 경우), RGB 카메라에 의해 촬영된 영상에서 시트벨트를 인식하기 어려울 수 있다. 가시광선이 부족한 환경에서, IR 카메라가 시야 영역을 촬영하여 영상을 생성할 수 있다. 이때, 시트벨트(111, 121)의 웨빙에는 도료가 적어도 하나의 패턴으로 코팅되어 있으므로, IR 카메라에 생성된 영상에서 시트벨트(111, 121)의 웨빙이 식별될 수 있다.
웨빙의 표면에 도료로 패턴을 형성하는 방법은 후도색 방식 또는 원사 선도색 방식일 수 있다. 후도색 방식은 실크스크린이나 착색 도료 등을 이용해 제작 완료된 웨빙에 도료를 특정 패턴에 따라 도색하는 방식이다. 원사 선도색 방식은, 특정 패턴에 대응하는 위치의 원사(경사 또는 위사)에 도료를 먼저 도색하고, 경사와 위사를 직조하여 웨빙을 제작하는 방식이다. 선도색 방식이 후도색 방식에 비해 복잡하지만 코팅 내구성 측면에서 더 우수할 수 있다.
어떤 실시예에서는, 웨빙이 면적과 길이 정보를 가지는 규칙적인 순서를 가지고, 소정 범위 이상의 적외선 반사율을 가진 도료 코팅 패턴으로 구현된 웨빙을 포함할 수 있다. 도료 코팅 패턴은 일정한 사이즈의 고유번호를 갖는 적외선 도료 코팅 패턴을 포함하는 웨빙 구조를 형성할 수 있다. 감시 시스템(20)은 도료 코팅 패턴에 의해 웨빙 인출량을 파악할 수 있다. 도료 코팅 패턴은 후도색으로 구현되거나, 원사 선도색 코팅에 의해 구현될 수 있다. 또는, 도료 코팅 패턴은 후도색 및 원사 선도색 코팅에 의해 구현될 수 있다.
도 3은 일 실시예에 따른 도료가 코팅된 시트벨트의 웨빙을 나타낸 도면이다.
도 3에 도시된 패턴들은 일 예로 발명이 이에 한정되는 것은 아니다.
도 3의 (a)는 RGB 카메라에 의해 획득된 영상이고, 도 3의 (b)는 IR 카메라에 의해 획득된 영상이다. 도 3의 (a)에 도시된 바와 같이, 자연광의 광량이 임계치 이상인 조건에서는, RGB 카메라에 의해 생성된 영상에서 웨빙의 패턴들이 선명하게 인식될 수 있다. 자연광의 광량이 임계치 미만으로 RGB 카메라로 선명한 영상을 획득하기 어려운 조건에서는, IR 카메라에 의해 생성된 영상에서 웨빙의 패턴들이 선명하게 인식될 수 있다.
도 4A는 일 실시예에 따른 좌석, 시트벨트 장치, 감시 시스템, 및 비전 센서를 도식적으로 나타낸 도면이다.
도 4A에 도시된 좌석은 운전석(11)으로 사용자가 착석하지 않은 상태가 도시되어 있다.
도 4B는 일 실시예에 따른 비전 센서를 나타낸 블록도이다.
도 4A에 도시된 바와 같이, 시트벨트 장치(110)는 시트벨트(111), 시트벨트 텅 플레이브(tongue plate)(112), 버클(113), 및 시트벨트 뭉치(114)을 포함한다. 시트벨트(111)는 도료가 코팅된 웨빙을 포함할 수 있다. 사용자가 시트벨트를 착용했다는 것은, 사용자가 좌석(예를 들어, 도 4의 운전석, 11)에 착석하여 시트벨트(111)를 이동하여 시트벨트 텅 플레이트(112)를 버클(113)에 체결한 것을 의미할 수 있다.
비전 센서(20)는 좌석(예를 들어, 도 4A의 운전석, 11)을 포함하는 시야를 촬영하여 영상을 생성한다. 이하, 이 영상을 감시 영상이라 한다. 비전 센서(20)는 RGB 카메라(21), IR 카메라(22), 및 영상 프로세서(23)를 포함한다.
비전 센서(20)는 이그니션-온에 트리거되어 좌석에 대한 감시 영상을 생성할 수 있다. 감시 시스템(2)은 이그니션-온에 대한 정보를 차량(1)으로부터 획득한 후, 이그니션-온에 동기되어 비전 센서(20)를 제어하여 감시 영상을 생성하도록 할 수 있다. 구체적으로, 감시 시스템(2)으로부터 영상 프로세서(23)에 트리거 신호가 전송되면, 영상 프로세서(23)는 RGB 카메라(21) 및 IR 카메라(22) 중 적어도 하나에 촬영을 지시하는 신호(이하, 촬영 지시 신호)를 전송할 수 있다. RGB 카메라(21) 및 IR 카메라(22) 중 적어도 하나는 시야 영역에 대한 촬영을 수행하여 감시 영상을 획득하고, 영상 프로세서(23)에 전송할 수 있다. 감시 영상은 RGB 영상 및 IR 영상 중 적어도 하나를 포함할 수 있다.
영상 프로세서(23)는 수신한 RGB 영상 및 IR 영상 중 적어도 하나를 감시 시스템(2)에 전송할 수 있다. 이때, 영상 프로세서(23)는 감시 시스템(2)의 요청에 따라 RGB 영상 및 IR 영상 중 하나를 감시 시스템(2)으로 전송할 수 있다. 감시 시스템(2)은 자연광의 광량에 따라 RGB 카메라(21) 및 IR 카메라(22) 중 하나를 선택하는 제어 명령을 영상 프로세서(23)에 전송할 수 있다. 영상 프로세서(23)는 제어 명령에 따라 RGB 카메라(21) 및 IR 카메라(22) 중 하나를 동작시킬 수 있다. 이와 달리, 영상 프로세서(23)는 트리거 신호에 따라 RGB 카메라(21) 및 IR 카메라(22)를 모두 동작시키고, 제어 명령에 따라 RGB 영상 및 IR 영상 중 하나를 선택하여 감시 시스템(20)에 전송할 수 있다.
트리거 신호가 이그니션-온에 동기되지 않고, 사용자의 착석에 동기되어 발생할 수도 있다. 좌석에 구비된 압력 센서에 의해 사용자의 착석이 감지될 수 있다. 차량(1)은 각 좌석의 압력 센서로부터 감지 신호를 수신하고, 수신한 감지 신호에 기초하여 사용자가 착석한 좌석을 감지할 수 있다. 예를 들어, 운전석(11)에 사용자의 착석이 감지되면, 차량(1)은 감시 시스템(2)에 이를 알리고, 감시 시스템(2)은 트리거 신호를 생성하여 비전 센서(20)에 전송할 수 있다. 이후의 동작은 앞서 설명과 동일하므로 생략한다.
웨빙에 특정 패턴을 도료로 코팅함으로써, 감시 시스템(2)은 감시 영상을 이용하여 인출된 웨빙의 길이를 감지하고, 사용자가 시트벨트를 착용했는지 여부를 결정할 수 있다. 인출된 웨빙이란, 사용자가 시트벨트(111)를 착용했을 때, 시트벨트(111)의 웨빙 중 시인 가능하도록 외부로 드러난 웨빙을 의미한다.
감시 시스템(2)은 감시 영상에서 특정 패턴에 매칭되는 패턴을 검출하면, 인출된 웨빙의 길이를 감지할 수 있다. 감시 시스템(2)은 감시 영상에서 특정 패턴에 매칭되는 패턴을 검출하고, 검출한 특정 패턴에 매칭되는 패턴 수를 추정하며, 추정된 패턴 수에 따라 시트벨트(111)에서 인출된 웨빙의 길이를 계산하고, 인출된 웨빙의 길이에 기초하여 사용자가 시트벨트를 착용하였는지 여부를 결정할 수 있다. 특정 패턴은 기 설정된 복수의 패턴 중 하나일 수 있다. 일 실시예에는 시트벨트 착용 또는 오착용 여부를 판단하기 위한 복수의 특정 패턴이 미리 설정되어 감시 시스템(2)에 저장될 수 있다.
감시 시스템(2)은 감시 영상에서 관심 영역(Region of Interest, ROI)을 도출할 수 있다.
도 5A 및 도 5B는 일 실시예에 따른 감시 영상에서의 관심 영역을 나타낸 도면이다.
도 5A 및 도 5B에 도시된 바와 같이, 감시 영상에는 적어도 두 개의 관심 영역(ROI1, ROI2)이 존재할 수 있다. 도 5A에 도시된 바와 같이, 사용자가 좌석에 착석하지 않고 시트벨트를 착용하지 않는 경우, 감시 영상에서 시트벨트는 관심영역(ROI2)에 위치하게 된다. 관심영역(ROI2)은, 사용자가 시트벨트를 착용하지 않았을 때에 시트벨트가 위치하는 영역(이하, 비착용 영역)이다.
도 5B에 도시된 바와 같이, 사용자가 좌석에 착석한 경우, 감시 영상에서 시트벨트는 관심영역(ROI1)에 위치하게 된다. 관심영역(ROI1)은 사용자가 시트벨트를 착용했을 때에 시트벨트가 위치하는 영역(이하, 착용 영역)이다.
감시 시스템(2)은 감시 영상에서 적어도 두 개의 관심 영역을 도출하고, 도출한 적어도 관심 영역 중 어느 관심 영역에 시트벨트가 위치하는 지에 따라 패턴 검출 여부를 결정할 수 있다. 예를 들어, 감시 시스템(2)은 비착용 영역인 관심영역(ROI2)에 시트벨트가 위치하는 경우에는 착용 영역인 관심영역(ROI1)에서 패턴 검출을 수행하지 않고, 관심영역(ROI2)에서 검출된 패턴만을 저장한다. 이와 달리, 감시 시스템(2)은 착용 영역인 관심영역(ROI1)에 시트벨트가 위치하는 경우에는 관심영역(ROI1)에 대한 패턴 검출을 수행할 수 있다.
도 6은 일 실시예에 따른 웨빙에 코팅될 수 있는 복수의 패턴을 나타낸 도면이다.
도 6에서는, 3진법 방식의 복수의 패턴이 도시되어 있으나, 발명이 이에 한정되는 것은 아니고, 다른 진법(예를 들어, 4X4, 5X5,…) 방식이 일 실시예에 적용될 수 있다.
또한, 특정 문양, 로고, 그림, 글 등이 소정 순서에 따라 웨빙에 코팅되는 방식이 일 실시예에 적용될 수 있다. 즉, 도 6에서는 패턴의 예로 네모 모양이 사용되었으나, 발명이 이에 한정되는 것은 아니고 다른 도형, 로고, 글자, 숫자 등이 사용될 수 있다.
도 7은 일 실시예에 따른 웨빙에 코팅될 수 있는 다양한 패턴을 나타낸 도면이다.
도 7에 도시된 바와 같이, 검은 색 네모 모양 이외에도 한글(가, 나, 다, 일, 이 삼, …), 영문, 한자글자, 다른 도형(원형, 도넛형), 로고() 등이 패턴으로 사용될 수 있다.
또한, 특별한 규칙이 없는 패턴이라도 특정 순서에 따라 웨빙에 코팅되어 있다면 감시 시스템(2)이 감시 영상에서 해당 패턴들을 감지할 수 있다.
도 8은 일 실시예에 따른 웨빙에 코팅될 수 있는 규칙 없는 패턴을 나타낸 도면이다.
도 8에 도시된 바와 같이, 규칙이 없는 복수의 패턴이 특정 순서에 따라 코팅된 경우, 감시 시스템(2)은 복수의 패턴의 코팅 순서를 인식하여 웨빙의 길이를 감지할 수 있다.
이와 같이, 규칙이 없는 패턴이 코팅된 순서가 감시 시스템(2)에 기준 패턴으로 설정되어 있으면, 감시 시스템(2)은 감시 영상에서 기준 패턴에 부합하는 영역을 도출하여 웨빙 길이를 감지할 수 있다.
도 6에서, 한 패턴의 길이는 구분선 포함 64mm이다. 도 6에서 y 방향의 길이를 패턴 길이라 한다. 구분선의 역할은 인접한 패턴 간에 간격을 두어 인접한 패턴들이 오인식 되는 것을 방지하는 것이다. 패턴의 형식과 모양에 따라 구분선의 y 방향 길이(이하, 구분선 길이라 함.)은 적절하게 설정될 수 있다. 예를 들어, 패턴에 대한 오인식의 가능성이 매우 낮은 경우, 구분선이 없을 수 있다. 또는 패턴에 대한 오인식 가능성이 높을수록, 구분선 길이가 최대 한 패턴의 길이까지 증가할 수 있다. 도 6에서는, 구분선이 빈칸으로 도시되어 있으나, 특정 색상으로 구분선에 해당하는 웨빙 영역이 코팅되거나, 구분선용 패턴이나 문양이 구분선에 해당하는 웨빙 영역에 코팅될 수 있다.
웨빙 영역에 코팅되는 복수의 패턴들은 행렬 형태로 구현될 수 있다. 예를 들어, OpenCV(Open Source Computer Vision) grayscale 기준으로, 행렬 형태의 패턴에서 흰색 픽셀의 계조 값은 255이고, 검정색 픽셀의 계조값은 0으로 표현될 수 있다. 행렬 형태의 패턴이 흰색 픽셀과 검정색 픽셀만 포함하고, 흰색과 검정색은 계조에 있어서, 서로 가장 먼 값이다. 따라서 감시 시스템(2)은 도 6에 도시된 패턴을 쉽게 검출할 수 있다. 감시 시스템(2)은 감시 영상에서 특정 패턴에 매칭되는 패턴을 도출하기 위해서, 이미지 매칭 방식, 또는 CNN(Convolution Neural Network) 알고리즘일 수 있다. 이미지 매칭 방식은 평균 해시 매칭(average hash matching), 템플릿 매칭(template matching), 특징점 매칭(feature matching) 등 공지된 다양한 방식 중 하나가 일 실시예에 적용될 수 있다.
도 6에서는 3진법 방식의 복수의 패턴 중 패턴 1 내지 7이 도시되어 있다. 3진법 방식에서 도출 가능한 패턴의 수는 총 27개로, 도 6에 도시되어 있지 않으나, 나머지 21개의 패턴이 시트벨트(111)에 코팅될 수 있다. 다만, 발명이 이에 한정되는 것은 아니고 총 27개의 패턴 중 일부 패턴(예를 들어, 패턴 1 내지 7)이 반복될 수 있다.
한 패턴의 웨빙 길이 및 폭은 48mm이고, 구분선의 길이는 16mm이다. 따라서, 시트벨트(111)에 적용된 패턴 종류가 27개인 경우, 시트벨트(111)에서 27개 패턴이 코팅된 웨빙의 길이는 1728mm[27*(48+16)]이다. 웨빙에는 27개의 패턴 단위가 반복적으로 패턴될 수 있다. 일반적으로 시트벨트에서, 외부로 인출되는 웨빙의 최대 길이는 1600~1800mm이고, 시트벨트가 사용자의 어깨로부터 몸통을 가로질러 인출되는 웨빙의 길이는 BIS(Belt In Seat) 기준으로 900mm 정도일 수 있다. 인출되는 웨빙의 길이에 기초하여 기준 웨빙 길이 범위가 설정될 수 있다.
감시 시스템(2)은 비착용 영역인 관심영역(ROI2) 최상단에서 검출된 패턴을 저장하고, 시트벨트 착용 후 착용 영역인 관심영역(ROI1)에서 검출된 패턴 중 비착용 영역인 관심영역(ROI2) 최상단과 동일한 위치에서 검출된 패턴의 번호와 관심영역(ROI2)의 최상단에서 검출된 패턴의 번호를 비교하여 인출된 웨빙 길이를 계산할 수 있다. 예를 들어, 도 6에 도시된 3진법 방식 패턴의 경우, 비착용 영역인 관심영역(ROI2) 최상단에서 검출된 패턴의 번호가 1번이고, 시트벨트 착용 후 착용 영역인 관심영역(ROI1)에서 비착용 영역인 관심영역(ROI2) 최상단과 동일한 위치에서 검출된 패턴의 번호가 14번이라면, 인출된 웨빙의 길이는 832mm(=|1-14|X64mm)로 계산할 수 있다.
감시 시스템(2)은 기준 웨빙 길이 범위와 계산한 인출 웨빙 길이를 비교하고, 비교 결과에 기초하여 사용자의 시트벨트 착용 또는 오착용 여부를 결정할 수 있다.
최종적으로 사용자가 시트벨트를 정상적으로 착용 또는 오착용 여부를 결정하기 위해서, 감시 시스템(2)은 계산한 웨빙 인출 길이와 더불어 시트벨트 착용 후 착용 영역인 관심영역(ROI1)에서 검출되는 패턴의 개수를 검출한다. 예를 들어, 도 6에 도시된 3진법 패턴의 경우, 감시 시스템(2)은 5개 이상의 패턴이 시트벨트 착용 후 착용 영역인 관심영역(ROI1)에서 검출되는지 판단할 수 있다. 계산한 인출 웨빙 길이가 기준 웨빙 길이 범위 내이고, 시트벨트 착용 후 착용 영역인 관심영역(ROI1)에서 검출된 패턴의 개수가 기준 개수 범위 이상일 때, 감시 시스템(2)은 사용자가 시트벨트를 정상적으로 착용한 것으로 결정할 수 있다.
반대로, 감시 시스템(2)은 계산한 인출 웨빙 길이가 기준 웨빙 길이 범위를 벗어나거나, 시트벨트 착용 후 착용 영역인 관심영역(ROI1)에서 검출한 패턴의 개수가 기준 개수 범위 보다 작으면, 사용자가 시트벨트를 착용하지 않았거나 오착용한 것으로 결정할 수 있다. 사용자가 시트벨트를 착용하지 않았거나, 오착용한 것을 포함하여 착용 감지 실패라 지칭한다. 감시 시스템(2)은 착용 감지 실패를 결정한 경우, 비전 센서(20)에 대한 재촬영 제어 명령을 생성하고 비전 센서(20)에 전송할 수 있다. 감시 시스템(2)은 착용 감지 실패를 결정한 경우, 차량(1)에 구비된 스피커 및 디스플레이가 재촬영 전에 사용자에게 시트벨트를 착용할 것을 경고하는 알림을 수행하도록 제어할 수 있다.
재촬영 제어 명령에 따라 비전 센서(20)는 시야 영역을 재촬영하여 감시 영상을 생성한다. 비전 센서(20)는 재촬영으로 생성한 감시 영상을 감시 시스템(2)에 전송하고, 감시 시스템(2)은 감시 영상에 대한 패턴 검출을 다시 수행하여 사용자의 시트벨트 착용 또는 오착용 여부를 다시 한 번 더 결정한다.
감시 시스템(2)은 재촬영에 의해 생성된 감시 영상(이하, 재촬영 감시 영상)에 기초하여 사용자의 시트벨트 착용 또는 오착용 여부 결정을 적어도 1회 반복할 수 있다. 감시 시스템(2)은 재촬영 감시 영상에 기초한 결정이 착용 감지 실패인 경우, 최종적으로 사용자의 시트벨트 착용 여부를 착용 감지 실패로 결정할 수 있다.
일 실시예에서는 OpenCV 라이브러리를 이용하였으나, 발명이 이에 한정되는 것은 아니다. 일 실시예에서 웨빙에 코팅되는 패턴은 인식에 유리한 단순한 패턴일 수 있고, 단순한 패턴에 대한 다른 프로그래밍 라이브러리가 OpenCV 대신 이용될 수 있으며, 다른 프로그래밍 언어가 이용될 수도 있다. 이용되는 라이브러리 또는 언어에 따라 웨빙에 코팅될 패턴의 형태가 설정될 수 있다.
감시 시스템(2)은 감시 영상을 구성하는 복수의 프레임에서 복수의 패턴 중 하나(이하, 대표 패턴)를 선택하고, 복수의 프레임 각각에서의 대표 패턴의 변위를 추적하여 호흡수를 추정할 수 있다. 감시 시스템(2)은 x 축 및 y 축 각각의 변위를 추적하고, x축 및 y축 각각의 길이가 증가 및 감소하는 횟수를 카운트하여 호흡수를 추정할 수 있다. 들숨이면 x축 및 y축 길이가 증가하고, 날숨이면 x축 및 y축 길이가 감소할 수 있다. 감시 시스템(2)은 인출된 웨빙의 길이에 기초하여 사용자의 시트벨트 착용 또는 오착용 여부를 결정할 수 있고, 추가적으로 사용자의 호흡수를 추정함으로써, 사용자의 시트벨트 착용 또는 오착용 여부를 더욱 정확하게 결정할 수 있다.
나아가, 감시 시스템(2)은 사용자의 분당 호흡수를 추정할 수 있다. 예를 들어, 감시 시스템(2)은 감시 영상의 복수의 프레임에서 사용자가 n회 호흡한 경우, 수학식 1을 이용하여 분당 호흡수를 추정할 수 있다.
[수학식 1]
분당 호흡수=(초당 프레임수)*60/(n회 호흡 동안의 복수의 프레임수)*(n회)
앞서 언급한 바와 같이, 감시 시스템(2)은 CNN 알고리즘을 통해 구현될 수 있다. 감시 시스템(2)에 적용된 CNN 알고리즘은 웨빙에 코팅된 패턴들을 인식하기 위하여 훈련되므로, 웨빙에 코팅된 패턴들에 기초한 훈련 데이터가 이용될 수 있다.
규칙이 있는 패턴이 웨빙에 코팅된 경우, 규칙에 따른 전체 패턴의 종류 및 수가 정해지고, 전체 패턴의 종류 및 수에 기초하여 훈련 데이터도 결정될 수 있다. 또한, 규칙이 없는 패턴의 경우에도, 특정 순서에 따라 패턴이 코팅되어 있을 경우, 특정 순서에 따라 배열된 복수의 패턴에 기초하여 훈련 데이터도 결정될 수 있다.
이와 같이, 웨빙에 코팅되는 패턴 종류 및 수에 따라 훈련 데이터가 결정될 수 있으므로, 훈력 데이터의 양이 크지 않다.
도 9는 일 실시예에 따른 CNN 알고리즘으로 구현된 감시 시스템의 구성을 도식적으로 나타낸 도면이다.
감시 시스템(2)은 감시 영상에 대한 복수의 특징값을 추출하기 위한 특징 추출 모듈(210) 및 복수의 특징값에 기초하여 시트벨트 착용 또는 오착용 여부를 결정하는 분류 모듈(220)을 포함할 수 있다.
감시 시스템(2)은 특징 추출 모듈(210) 및 분류 모듈(220)을 포함한다. 특징 추출 모듈(210)은 적어도 하나의 컨볼루션 레이어((convolutional layer), 적어도 하나의 풀링 레이어(pooling layer), 및 플래튼 레이어(flatten layer)를 포함할 수 있다. 도 7에서는 일 예로 특징 추출 모듈(210)이 두 개의 컨볼루션 레이어(211, 213) 및 두 개의 풀링 레이어(212, 214)를 포함하는 것으로 도시되어 있다.
컨볼루션 레이어(211)에 감시 영상이 입력되면, 컨볼루션 레이어(211)는 입력 영상에 행렬 형태의 필터를 적용하여 제1 특징맵을 획득한다. 필터의 구조(크기, 개수, 값 등), 스트라이드(stride) 값 및 패딩(padding) 방식에 대한 정보는 특징 추출 모듈(210)에 기 설정되어 있을 수 있다. 아울러, 제1 특징맵에 활성 함수(activation function)가 적용될 수도 있다.
풀링 레이어(212)는 제1 특징맵을 다운 샘플링하여 제1 특징맵의 차수를 감소시켜 제2 특징맵을 획득할 수 있다. 다운 샘플링 방법으로 최대 풀링(max pooling), 평균 풀링(average pooling) 등이 있을 수 있다.
컨볼루션 레이어(213)는 풀링 레이어(212)에 의해 획득된 제2 특징맵을 대상으로 필터를 적용하여 제3 특징맵을 획득할 수 있다.
풀링 레이어(213)는 제3 특징맵을 다운 샘플링하여 제3 특징맵의 차수를 감소시켜 제4 특징맵을 획득할 수 있다.
분류 모듈(220)은 플래튼 레이어(221), 적어도 하나의 FC(Fully Connected) 레이어(222), 및 분류 레이어(223)를 포함할 수 있다. 도 7에서는 분류 모듈(220)이 하나의 FC 레이어(222)를 포함하는 것으로 도시되어 있으나, 발명이 이에 한정되는 것은 아니다.
플래튼 레이어(221)는 제4 특징맵을 구성하는 데이터를 펼쳐 복수의 1차원 벡터 데이터로 변형한다. 복수의 1차원 벡터 데이터는 FC 레이어(222)에 입력된다.
FC 레이어(222)에 복수의 입력에 가중치를 적용하고, 가중치가 적용된 복수의 입력을 활성 함수에 적용하여 출력을 생성한다. FC 레이어(222)의 복수의 출력은 분류 레이어(223)에 입력된다.
분류 레이어(223)는 FC 레이어(222)의 복수의 출력에 기초하여 분류 라벨에 대한 최종 확률(LB1, LB2)을 제공할 수 있다. 일 실시예에 따른 분류 라벨은 사용자가 시트벨트를 정상적으로 착용한 여부를 지시하는 두 개로 정상 착용 감지를 지시하는 라벨 1과 착용 감지 실패를 지시하는 라벨 2일 수 있다.
감시 시스템(2)은 라벨 1의 확률(LB1)이 라벨 2의 확률(LB2) 보다 높을 때 정상 착용으로 결정할 수 있다. 반대로, 감시 시스템(2)은 라벨 2의 확률(LB2)이 라벨 1의 확률(LB1) 보다 높을 때 착용 감지 실패로 결정할 수 있다.
도 10은 일 실시예에 따른 시트벨트 착용 감시 방법을 나타낸 순서도이다.
비전 센서(20)가 좌석을 포함하는 시야 영역을 촬영하여 감시 영상을 생성한다(S1).
감시 시스템(2)은 감시 영상에서 적어도 하나의 패턴으로 코팅된 시트벨트(111)의 웨빙의 길이를 감지하고, 감지된 웨빙 길이에 기초하여 사용자가 시트벨트(111)를 착용했는지 여부를 결정할 수 있다.
먼저, 감시 시스템(2)은, 감시 영상에서 특정 패턴에 매칭되는 패턴을 검출하고, 검출한 특정 패턴에 매칭되는 패턴 수에 따라 인출된 웨빙의 길이를 감지할 수 있다(S2).
감시 시스템(2)은, 소정의 기준 웨빙 길이와 상기 감지된 인출 웨빙 길이를 비교하고, 비교 결과에 기초하여 사용자의 시트벨트 착용 또는 오착용 여부를 결정할 수 있다(S3).
예를 들어, 감시 시스템(2)은, 인출 웨빙 길이가 기준 웨빙 길이 범위 내이면 사용자가 시트벨트(111)를 정상적으로 착용한 것으로 결정할 수 있다(S4). 이와 달리, 감시 시스템(2)은, 인출 웨빙 길이가 기준 웨빙 길이 범위를 벗어나면 착용 감지 실패라고 결정할 수 있다(S5).
감시 시스템(2)은, 착용 감지 실패를 결정하면, 비전 센서(20)에 대한 재촬영 제어 명령을 생성하여 비전 센서(20)에 전송할 수 있다(S6).
비전 센서(20)가, 재촬영 제어 명령에 따라 상기 시야 영역을 재촬영하여 감시 영상을 생성하고, 재촬영으로 생성한 감시 영상을 감시 시스템(2)에 전송할 수 있다(S7). 이후 S2 단계부터 반복될 수 있다. 착용 감지 실패에 따른 반복 횟수는 적어도 2회로 설정될 수 있다.
선택적으로, 감시 시스템(2)은 감시 영상에서 적어도 두 개의 관심 영역을 도출하고, 도출한 적어도 두 개의 관심 영역 중 어느 관심 영역에 시트벨트(111)가 위치하는 지에 따라 패턴 검출 여부를 결정할 수 있다(S8). 예를 들어, 감시 시스템(2)은 관심 영역(ROI1)에 시트벨트(111)가 위치하는 경우 단계 S2를 수행할 수 있다.
일 실시예를 통해 자연광 도는 적외선을 이용하여 웨빙에 코팅된 패턴을 쉽고 빠르게 감지할 수 있다.
웨빙에 패턴이 코팅되어 있지 않은 경우, 감시 영상에서 시트벨트를 인식하기 위해 감시 시스템의 용량이 일 실시예에 비해 매우 크다. 예를 들어, 감시 시스템을 AI 알고리즘으로 구현할 경우, 분류 정확도를 증가시키기 위해 매우 많은 양의 영상 데이터를 학습해야 한다. 이와 달리 일 실시예에 따른 감시 시스템은 설정된 복수의 패턴에 대해서만 학습을 수행하면 된다. 또한, 웨빙에 패턴이 코팅되어 있지 않은 경우, AI 알고리즘을 구현하기 위해 일 실시예와 비교해 더 많은 컨볼루션 레이어 및 풀링 레이어가 필요하고, 이에 따라 일 실시예에 비해 처리 속도가 느릴 수 있다. 그리고, 일 실시예는 웨빙의 길이를 바로 감지할 수 있으나, 웨빙에 패턴이 코팅되어 있지 않은 경우에는 감시 영상에서 인식된 웨빙의 경로에 따라 시트벨트 정상 착용여부를 결정하기 위한 별도의 알고리즘이 더 필요하다. 즉, 웨빙에 패턴이 코팅되어 있지 않은 종래 기술에서는, 시트벨트의 오착용의 경우 정상 착용과 비교하여 웨빙의 총 인출 길이가 달라져도 이를 감지하지 못하거나, 이를 감지하기 위한 별도의 보조 센서가 필요하였다. 예를 들어, 웨빙에 패턴이 코팅되어 있지 않은 경우에는 보빈 센서(bobbin sensor) 등과 같은 보조 센서가 시트벨트 정상 착용 여부를 판단하기 위해 추가적으로 이용되었다. 그러나, 일 실시예 따른 감지 시스템은 웨빙의 길이를 감지할 수 있으므로, 별도의 보조 센서 없이 정상 착용 및 오착용 여부를 판단할 수 있다.
일 실시예에 따른 감시 시스템은, 특정 패턴이 코팅된 웨빙에 대한 감시 영상에 기초하여 시트벨트의 정상 착용 여부를 결정하므로, 적은 양의 데이터만 학습하더라도, 웨빙과 웨빙이 아닌 영역 간의 특징 값 차이가 매우 크다. 특히, 패턴이 행렬 형식으로 표현될 경우 인접한 행간의 특징값 차이와 인접한 열간의 특징값 차이가 매우 크다. 사용자가 착용한 옷 등과 같이 좌석에 위치할 수 있는 사물의 패턴과 매우 다르게 특정 패턴을 설정함으로써, 감시 시스템의 정상 착용 여부 결정의 정확도를 향상시킬 수 있다. 더구나, 일 실시예의 도료는 IR 고반사 도류로 구현될 수 있어, 자연광이 부족한 경우에도 감시 시스템의 정확도를 높게 유지할 수 있다. AI 알고리즘으로 감시 시스템을 구현할 경우, 특정 패턴에 의해 그 특징값이 명확하게 드러나므로 레이어 수가 적고, 이에 따라 처리 속도도 빠르다.
전술한 일 실시 예에 따른 시트벨트의 감시 방법은 소프트웨어를 통해 실행될 수 있다. 소프트웨어로 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 기능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는, ROM, RAM, CD-ROM, DVD_ROM, DVD_RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 학습 DB 등이 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 용이하게 선택하여 대체할 수 있다. 또한 당업자는 본 명세서에서 설명된 구성요소 중 일부를 성능의 열화 없이 생략하거나 성능을 개선하기 위해 구성요소를 추가할 수 있다. 뿐만 아니라, 당업자는 공정 환경이나 장비에 따라 본 명세서에서 설명한 방법 단계의 순서를 변경할 수도 있다. 따라서 본 발명의 범위는 설명된 실시형태가 아니라 특허청구범위 및 그 균등물에 의해 결정되어야 한다.
1: 차량
2: 감시 시스템
20: 비전 센서

Claims (19)

  1. 좌석에 결합되고, 적어도 하나의 패턴으로 도료가 코팅되어 있는 웨빙을 포함하는 시트벨트;
    상기 좌석을 포함하는 시야 영역을 촬영하여 감시 영상을 생성하는 비전 센서; 및
    상기 감시 영상에서 상기 적어도 하나의 도료가 코팅된 패턴을 바탕으로 웨빙의 길이를 감지하고, 상기 감지된 웨빙 길이에 기초하여 사용자가 상기 시트벨트를 착용했는지 여부 또는 시트벨트 오착용 여부를 결정하는 감시 시스템을 포함하는, 차량의 시트벨트 장치.
  2. 제1항에 있어서
    상기 웨빙은,
    면적과 길이 정보를 가지는 규칙적인 순서를 가지고, 소정 범위 이상의 적외선 반사율을 가진 도료 코팅 패턴으로 구현된 웨빙을 포함하는, 차량의 시트벨트 장치.
  3. 제2항에 있어서,
    상기 도료 코팅 패턴은 일정한 사이즈의 고유번호를 갖는 적외선 도료 코팅 패턴을 포함하는 웨빙 구조를 형성하고,
    상기 도료 코팅 패턴에 의해 웨빙 인출량을 파악하는, 차량의 시트벨트 장치.
  4. 제2항에 있어서,
    상기 도료 코팅 패턴은 후도색으로 구현되거나, 원사 선도색 코팅에 의해 구현되는, 차량의 시트벨트 장치.
  5. 제1항에 있어서,
    상기 감시 시스템은,
    상기 감시 영상에서 특정 패턴에 매칭되는 패턴을 검출하고, 상기 검출한 특정 패턴에 매칭되는 패턴 수에 따라 인출된 웨빙의 길이를 감지하는, 차량의 시트벨트 장치.
  6. 제5항에 있어서,
    상기 감시 시스템은,
    상기 감시 영상에서 적어도 두 개의 관심 영역을 도출하고, 상기 도출한 적어도 두 개의 관심 영역의 공통된 소정 영역에 기초하여 인출된 웨빙 길이를 계산하는, 차량의 시트벨트 장치.
  7. 제6항에 있어서,
    상기 감시 시스템은,
    상기 도출한 적어도 두 개의 관심 영역 중 비착용 관심 영역의 최상단에서 검출된 패턴의 번호와 착용 관심 영역의 최상단에서 검출된 패턴의 번호를 비교하여 인출된 웨빙 길이를 계산하는, 차량의 시트벨트 장치.
  8. 제5항에 있어서,
    상기 감시 시스템은,
    소정의 기준 웨빙 길이 범위와 상기 계산한 인출된 웨빙 길이를 비교하고, 상기 비교 결과에 기초하여 사용자의 시트벨트 착용 및 오착용 여부를 결정하는, 차량의 시트벨트 장치.
  9. 제8항에 있어서,
    상기 감시 시스템은,
    시트벨트 착용 후 상기 도출한 적어도 두 개의 관심 영역 중 착용 관심영역에서 검출되는 패턴의 개수를 검출하는, 차량의 시트벨트 장치.
  10. 제9항에 있어서,
    상기 감시 시스템은,
    상기 계산한 인출된 웨빙 길이가 상기 소정의 기준 웨빙 길이 범위 내이고, 상기 검출한 패턴의 개수가 기준 개수 범위 이상이면, 상기 사용자가 상기 시트벨트를 정상적으로 착용한 것으로 결정하는, 차량의 시트벨트 장치.
  11. 제10항에 있어서,
    상기 감시 시스템은,
    상기 오착용으로 결정할 때, 상기 비전 센서에 대한 재촬영 제어 명령을 생성하여 상기 비전 센서에 전송하는, 차량의 시트벨트 장치.
  12. 제11항에 있어서,
    상기 비전 센서는,
    상기 재촬영 제어 명령에 따라 상기 시야 영역을 재촬영하여 감시 영상을 생성하고, 상기 재촬영으로 생성한 감시 영상을 상기 감시 시스템에 전송하는, 차량의 시트벨트 장치.
  13. 제12항에 있어서,
    상기 감시 시스템은,
    상기 오착용으로 결정한 경우, 상기 차량의 스피커 또는 디스플레이가 재촬영 전에 사용자에게 시트벨트를 착용할 것을 경고하는 알림을 수행하도록 제어하는, 차량의 시트벨트 장치.
  14. 제5항에 있어서,
    상기 감시 시스템은,
    상기 감시 영상에서 상기 특정 패턴에 매칭되는 패턴을 도출하기 위해서, 이미지 매칭 또는 CNN(Convolution Neural Network) 알고리즘을 이용하는, 차량의 시트벨트 장치.
  15. 제5항에 있어서,
    상기 감시 시스템은,
    상기 감시 영상을 구성하는 복수의 프레임에서 복수의 패턴 중 하나를 선택하고, 복수의 프레임 각각에서의 상시 선택된 패턴의 변위를 추적하여 호흡수를 추정하는, 차량의 시트벨트 장치.
  16. 제15항에 있어서,
    상기 감시 시스템은,
    상기 선택된 패턴의 x 축 및 y 축 각각의 변위를 추적하고, 상기 x축 및 y축 각각의 길이가 증가 및 감소하는 횟수를 카운트하여 호흡수를 추정하는, 차량의 시트벨트 장치.
  17. 제1항에 있어서,
    상기 적어도 하나의 패턴은,
    n X n 진법 방식에 따르는 패턴을 포함하고, 상기 n은 3 이상의 자연수인, 차량의 시트벨트 장치.
  18. 제1항에 있어서,
    상기 적어도 하나의 패턴은,
    도형, 로고, 글자, 및 숫자 중 적어도 하나에 따른 규칙이 있는 패턴을 포함하는, 차량의 시트벨트 장치.
  19. 제1항에 있어서,
    상기 적어도 하나의 패턴은,
    규칙이 없는 복수의 패턴이 특정 순서에 따라 구성된 패턴을 포함하는, 차량의 시트벨트 장치.


KR1020220076660A 2022-04-25 2022-06-23 차량의 시트벨트 장치 KR20230151416A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/984,637 US20230339427A1 (en) 2022-04-25 2022-11-10 Seatbelt device of vehicle
CN202211492361.3A CN116946063A (zh) 2022-04-25 2022-11-25 车辆的安全带装置
EP22210062.0A EP4269184A1 (en) 2022-04-25 2022-11-29 Seatbelt device of vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220050538 2022-04-25
KR20220050538 2022-04-25

Publications (1)

Publication Number Publication Date
KR20230151416A true KR20230151416A (ko) 2023-11-01

Family

ID=88746370

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220076660A KR20230151416A (ko) 2022-04-25 2022-06-23 차량의 시트벨트 장치

Country Status (1)

Country Link
KR (1) KR20230151416A (ko)

Similar Documents

Publication Publication Date Title
US20040220705A1 (en) Visual classification and posture estimation of multiple vehicle occupants
CN113147664B (zh) 检测车辆中是否使用了安全带的方法和系统
US8581983B2 (en) Vehicle interior classification system and method
US7636479B2 (en) Method and apparatus for controlling classification and classification switching in a vision system
US7379559B2 (en) Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US7940962B2 (en) System and method of awareness detection
WO2003073359A2 (en) Method and apparatus for recognizing objects
JP2019527448A (ja) 車両の運転者の状態を監視するための方法及びシステム
US20070195990A1 (en) Vision-Based Seat Belt Detection System
US20050185845A1 (en) Method and apparatus for arbitrating outputs from multiple pattern recognition classifiers
US9646215B2 (en) Eye part detection apparatus
KR20210142177A (ko) 어린이 상태 검출 방법 및 장치, 전자 기기, 메모리
US20200169678A1 (en) Driver's eye position detecting device and method, imaging device having image sensor with rolling shutter driving system, and illumination control method thereof
CN102024263B (zh) 用于检测运动的装置和方法
US20130163825A1 (en) Head movement detection apparatus
US8560179B2 (en) Adaptive visual occupant detection and classification system
EP1798688A2 (en) Method of locating a human eye in a video image
Owechko et al. Vision-based fusion system for smart airbag applications
KR20230151416A (ko) 차량의 시트벨트 장치
US20060030988A1 (en) Vehicle occupant classification method and apparatus for use in a vision-based sensing system
Baltaxe et al. Marker-less vision-based detection of improper seat belt routing
EP4269184A1 (en) Seatbelt device of vehicle
CN116946063A (zh) 车辆的安全带装置
KR20230090556A (ko) 차량의 시트 벨트 검출 방법 및 그 검출 장치
EP4276768A2 (en) Vehicle occupant monitoring system and method