KR20230099103A - 안전벨트 착용 판단 장치 및 방법 - Google Patents

안전벨트 착용 판단 장치 및 방법 Download PDF

Info

Publication number
KR20230099103A
KR20230099103A KR1020210188194A KR20210188194A KR20230099103A KR 20230099103 A KR20230099103 A KR 20230099103A KR 1020210188194 A KR1020210188194 A KR 1020210188194A KR 20210188194 A KR20210188194 A KR 20210188194A KR 20230099103 A KR20230099103 A KR 20230099103A
Authority
KR
South Korea
Prior art keywords
image
seat belt
pelvis
occupant
unit
Prior art date
Application number
KR1020210188194A
Other languages
English (en)
Other versions
KR102616328B1 (ko
Inventor
이철우
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020210188194A priority Critical patent/KR102616328B1/ko
Priority to US17/652,858 priority patent/US20230202425A1/en
Priority to DE102022202994.1A priority patent/DE102022202994A1/de
Priority to CN202210389167.6A priority patent/CN116353540A/zh
Publication of KR20230099103A publication Critical patent/KR20230099103A/ko
Application granted granted Critical
Publication of KR102616328B1 publication Critical patent/KR102616328B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01544—Passenger detection systems detecting seat belt parameters, e.g. length, tension or height-adjustment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/02—Semi-passive restraint systems, e.g. systems applied or removed automatically but not both ; Manual restraint systems
    • B60R22/023—Three-point seat belt systems comprising two side lower and one side upper anchoring devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B60R2022/485—Sensing means arrangements therefor for sensing belt anchor position, belt orientation, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4866—Displaying or indicating arrangements thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

실시예에 따르면, 차량 탑승자의 정면 이미지를 촬영하는 이미지 센서부; 상기 이미지를 이용하여 상기 탑승자의 가슴 부분 및 골반 부분을 검출하는 부분 검출부; 상기 탑승자의 가슴 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제1타겟 영역을 획득하고, 상기 골반 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 상기 안전 벨트에 관련된 제2타겟 영역을 획득하는 이미지 세그멘테이션부; 및 상기 제1타겟 영역의 제1면적값이 기 설정된 제1기준값 보다 크고, 상기 제2타겟 영역의 제2면적값이 기 설정된 제2기준값 보다 큰 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단하는 제어부를 포함하는 안전벨트 착용 판단 장치를 제공한다.

Description

안전벨트 착용 판단 장치 및 방법{Apparatus and method for judging seat belt wearing}
본 발명의 일실시예는 안전벨트 착용 판단 장치 및 방법에 관한 것으로, 보다 구체적으로는 차량용 3점식 안전벨트에 적용될 수 있는 안전벨트 착용 판단 장치 및 방법에 관한 것이다.
일반적으로 차량의　안전벨트　경고 시스템(SBR: Seat Belt Reminder)은 승객의 탑승 여부 및　안전벨트　착용여부를 확인하고, 이 정보(즉, 승객의 탑승 여부 및　안전벨트　착용여부)를 ECU(Electronic Control Unit)에 전달하는 시스템이다. ECU는 SBR에서 제공된 정보를 이용하여 승객이 탑승하여　안전벨트를 착용하지 않을 경우 알람을 통하여 경고를 한다.
예컨대 안전벨트　경고 시스템은, 차량 내의 좌석에 센서가 구비된 SBR 매트가 장착되어 있어 승객의 탑승 여부를 판단하고, 버클 스위치를 이용해　안전벨트　착용 여부를 판단하여, 판단 결과를 ECU로 전달한다. 이에 따라 ECU에서는 전달된 결과를 통해 승객이 탑승하였으나　안전벨트를 착용하지 않은 것으로 판단되는 경우 경고등이나 차임벨 등을 통해 경고한다.
또는, 차량 시트 상단의 백 프레임에 매트 형태의 구조물을 장착하여, 탑승자의 탑승시 성인/유아/미탑승 여부를 인식하고, 탑승자의 유형 구분에 따라 버클 스위치를 이용해　안전벨트　착용 여부를 판단하고 판단 결과를 ECU로 전달한다. 이에 따라 ECU에서는 전달된 결과를 통해 승객이 탑승하였으나　안전벨트를 착용하지 않은 것으로 판단되는 경우 경고등이나 차임벨 등을 통해 경고한다.
그러나, 장시간 운전하는 버스나 택시와 같은 여객/운송업의 운전자들은 안전벨트에 불편함을 느껴 페이크(fake) 버클을 착용하거나 등 뒤로 벨트를 착용하는 등 부정확한 방법으로 안전벨트를 착용하는 경우가 있다.
전술한 방식은 이러한 페이크 버클센서 또는 부정확한 벨트 착용시에도 실제 탑승자가 탑승한 상태로 인식하고, 벨트 장착부의 버클 센서 또한 온 상태로 인식된다는 문제가 있다.
또한, 딥러닝 방식을 활용하여 탑승자를 촬영한 영상에 노출된 시트벨트의 면적에 비례하여 승객의 벨트 착용 여부를 결정하느 방식이 활용되고 있다. 그러나, 이러한 방식은 안전벨트가 파킹(Parking) 되어있는 상태(Unbelted)임에도 불구하고, 벨트가 노출되는 면적이 넓기 때문에 벨트 착용으로 오인될 수 있다는 문제가 있다. 또한, 3점식 벨트의 대각선 장착 부분을 등뒤로 돌려 착용했을 때 랩벨트의 전체 영역이 노출되기 때문에 벨트를 착용한 것으로 판단할 수 있다는 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는 벨트 착용 여부에 대한 판단의 정확도 및 신뢰도를 크게 향상시킬 수 있는 안전벨트 착용 판단 장치 및 방법을 제공하는데 있다.
또한, 페이크(Fake) 버클센서 또는 부정확한 벨트 착용에 따른 안전벨트 착용 오인(misunderstanding)을 방지할 수 있는 안전벨트 착용 판단 장치 및 방법을 제공하는데 있다.
실시예에 따르면, 차량 탑승자의 정면 이미지를 촬영하는 이미지 센서부; 상기 이미지를 이용하여 상기 탑승자의 가슴 부분 및 골반 부분을 검출하는 부분 검출부; 상기 탑승자의 가슴 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제1타겟 영역을 획득하고, 상기 골반 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 상기 안전 벨트에 관련된 제2타겟 영역을 획득하는 이미지 세그멘테이션부; 및 상기 제1타겟 영역의 제1면적값이 기 설정된 제1기준값 보다 크고, 상기 제2타겟 영역의 제2면적값이 기 설정된 제2기준값 보다 큰 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단하는 제어부를 포함하는 안전벨트 착용 판단 장치를 제공한다.
상기 부분 검출부는 인체 자세 추정(Human Pose Estimation)방식을 이용하여 상기 탑승자의 가슴 부분 및 골반 부분을 검출할 수 있다.
상기 이미지 센서부는 기 설정된 주기에 따라 상기 차량 탑승자의 정면 이미지를 촬영하여 상기 부분 검출부로 전달할 수 있다.
상기 제어부는 상기 기 설정된 주기별로 상기 제1면적값 및 상기 제2면적값을 각각 상기 제1기준값 및 상기 제2기준값과 비교하고, 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 이상인 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단할 수 있다.
상기 제어부는 상기 제1타겟 영역의 제1면적값 및 상기 제2면적값 중 적어도 하나가 각각의 기준값 이하인 경우 안전벨트 착용이 비정상적으로 이루어진 것으로 판단할 수 있다.
안전벨트 착용이 비정상적으로 이루어진 경우, 상기 제어부의 제어에 따라 경고 신호를 출력하는 알림부를 더 포함할 수 있다.
상기 안전벨트는 3점식 안전벨트일 수 있다.
상기 이미지 센서부는 숄더 벨트 부분을 촬영하기 위한 제1촬영부; 및 랩 벨트 부분을 촬영하기 위한 제2촬영부를 포함할 수 있다.
상기 부분 검출부는 인체 자세 추정 방식을 이용하여 상기 제1촬영부에서 촬영한 이미지로부터 아웃 보드측 어깨 이미지, 인보드측 골반 이미지 및 상기 아웃 보드측 어깨와 상기 인보드측 골반을 연결하는 중앙 이미지를 크롭(crop)하여 상기 탑승자의 가슴 부분을 검출할 수 있다.
상기 부분 검출부는 인체 자세 추정 방식을 이용하여 상기 제2촬영부에서 촬영한 이미지로부터 인보드측 골반 이미지, 아웃보드측 골반 이미지 및 상기 인보드측 골반과 상기 아웃보드측 골반을 연결하는 중앙 이미지를 크롭하여 상기 탑승자의 골반 부분을 검출할 수 있다.
다른 실시예에 따르면, 이미지 센서부가 차량 탑승자의 정면 이미지를 촬영하는 단계; 부분 검출부가 상기 이미지를 이용하여 상기 탑승자의 가슴 부분 및 골반 부분을 검출하는 단계; 이미지 세그멘테이션부가 상기 탑승자의 가슴 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제1타겟 영역을 획득하고, 상기 골반 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 상기 안전 벨트에 관련된 제2타겟 영역을 획득하는 단계; 및 제어부가 상기 제1타겟 영역의 제1면적값이 기 설정된 제1기준값 보다 크고, 상기 제2타겟 영역의 제2면적값이 기 설정된 제2기준값 보다 큰 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단하는 단계를 포함하는 안전벨트 착용 판단 방법을 제공한다.
상기 안전벨트 착용이 정상적으로 이루어진 것으로 판단하는 단계는, 상기 제어부가 기 설정된 주기별로 촬영된 이미지에 대하여, 상기 제1면적값 및 상기 제2면적값을 각각 상기 제1기준값 및 상기 제2기준값과 비교하는 단계; 및 비교 결과, 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 이상인 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단하는 단계를 더 포함할 수 있다.
상기 제어부가 상기 제1타겟 영역의 제1면적값 및 상기 제2면적값 중 적어도 하나가 각각의 기준값 이하인 경우 안전벨트 착용이 비정상적으로 이루어진 것으로 판단하는 단계를 더 포함할 수 있다.
안전벨트 착용이 비정상적으로 이루어진 경우, 알림부가 상기 제어부의 제어에 따라 경고 신호를 출력하는 단계를 더 포함할 수 있다.
상기 안전벨트는 3점식 안전벨트이며, 상기 이미지 센서부는 숄더 벨트 부분을 촬영하기 위한 제1촬영부; 및 랩 벨트 부분을 촬영하기 위한 제2촬영부를 포함할 수 있다.
상기 탑승자의 가슴 부분 및 골반 부분을 검출하는 단계는, 인체 자세 추정 방식을 이용하여 상기 제1촬영부에서 촬영한 이미지로부터 아웃 보드측 어깨 이미지, 인보드측 골반 이미지 및 상기 아웃 보드측 어깨와 상기 인보드측 골반을 연결하는 중앙 이미지를 크롭(crop)하여 상기 가슴 부분을 검출하는 단계를 포함할 수 있다.
상기 탑승자의 가슴 부분 및 골반 부분을 검출하는 단계는, 인체 자세 추정 방식을 이용하여 상기 제2촬영부에서 촬영한 이미지로부터 인보드측 골반 이미지, 아웃보드측 골반 이미지 및 상기 인보드측 골반과 상기 아웃보드측 골반을 연결하는 중앙 이미지를 크롭하여 상기 골반 부분을 검출하는 단계를 포함할 수 있다.
본 발명인 안전벨트 착용 판단 장치 및 방법은 벨트 착용 여부에 대한 판단의 정확도 및 신뢰도를 크게 향상시킬 수 있다.
또한, 페이크 버클센서 또는 부정확한 벨트 착용에 따른 안전벨트 착용 오인을 방지할 수 있다.
도1은 실시예에 따른 안전벨트 착용 판단 장치의 구성 블록도이다.
도2 내지 도5는 실시예에 따른 안전벨트 착용 판단 장치의 동작을 설명하기 위한 도면이다.
도6 내지 도9는 실시예예 따른 안전벨트 착용 판단 방법의 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도1은 실시예에 따른 안전벨트 착용 판단 장치의 구성 블록도이고, 도2 내지 도5는 실시예에 따른 안전벨트 착용 판단 장치의 동작을 설명하기 위한 도면이다.
도1 내지 도5를 참조하면, 실시예에 따른 안전벨트 착용 판단 장치(10)는 이미지 센서부(11), 부분 검출부(12), 이미지 세그멘테이션부(13), 제어부(14), 알림부(15) 및 데이터 베이스(16)를 포함할 수 있다.
실시예에서 안전벨트는 차량 탑승자의 어깨와 허리, 복부를 감싸는 3점식 안전벨트일 수 있다.
이미지 센서부(11)는 차량 탑승자의 정면 이미지를 촬영할 수 있다.
이미지 센서부(11)는 기 설정된 주기에 따라 차량 탑승자의 정면 이미지를 촬영하여 부분 검출부(12)로 전달할 수 있다. 실시예에서, 탑승자의 정면 이미지는 도2와 같이 차량 탑승자의 상반신이 전체적으로 포함되도록 촬영될 수 있다.
이미지 센서부(11)는COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 이미지 센서일 수 있다. 이때, 입력되는 영상 프레임은 렌즈를 통해 이미지 센서부(11) 내의 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(영상 데이터)로 변환하여 출력한다.
이미지 센서부(11)는 시야각이 넓은 어안렌즈 또는 광각렌즈를 포함할 수 있다. 이에 따라, 이미지 센서부(11)가 탑승자의 상반신 전체를 촬영하는 것이 가능하다.
또는, 이미지 센서부(11)는 숄더 벨트 부분을 촬영하기 위한 제1촬영부(111) 및 랩 벨트 부분을 촬영하기 위한 제2촬영부(112)를 포함할 수 있다. 제1촬영부(111) 및 제2촬영부(112)는 차량의 센터페시아에 배치될 수 있다. 제1촬영부(111)의 렌즈는 숄더 벨트 부분을 지향하도록 설정되어 있으며, 제2촬영부(112)의 렌즈는 랩 벨트 부분을 지향하도록 설정될 수 있다. 제1촬영부(111)의 렌즈 및 제2촬영부(112)의 렌즈의 지향 방향은 제어부(14)의 제어에 따라 조정될 수 있다.
제1촬영부(111) 및 제2 촬영부(112)는 순차적으로 촬영되는 복수개의 이미지를 이용하여 복수개의 이미지를 생성할 수 있다. 예를 들면, 제1촬영부(111)는 탑승자의 숄더 벨트 부분을 포함하는 제1이미지를 촬영하고, 제2촬영부(112)는 랩 벨트 부분을 포함하는 제2이미지를 촬영할 수 있다. 각각의 촬영부는 기 설정된 주기에 따라 순차적으로 촬영되는 제1이미지 및 제2이미지를 부분 검출부(12)로 전달할 수 있다.
실시예에서 이미지는 N X M(N, M은 자연수)의 픽셀로 구성되는 영상 데이터일 수 있다.
부분 검출부(12)는 이미지를 이용하여 탑승자의 가슴 부분 및 골반 부분을 검출할 수 있다.
도3 내지 도4를 참조하면, 부분 검출부(12)는 인체 자세 추정(Human Pose Estimation)방식을 이용하여 탑승자의 가슴 부분 및 골반 부분을 검출할 수 있다.
예를 들면, 부분 검출부(12)는 인체 자세 추정 방식을 이용하여 제1촬영부(111)에서 촬영한 이미지로부터 아웃 보드측 어깨 이미지, 인보드측 골반 이미지 및 아웃 보드측 어깨와 인보드측 골반을 연결하는 중앙 이미지를 크롭(crop)하여 탑승자의 가슴 부분을 검출할 수 있다.
또는, 예를 들면, 부분 검출부(12)는 인체 자세 추정 방식을 이용하여 제2촬영부(112)에서 촬영한 이미지로부터 인보드측 골반 이미지, 아웃보드측 골반 이미지 및 인보드측 골반과 아웃보드측 골반을 연결하는 중앙 이미지를 크롭하여 탑승자의 골반 부분을 검출할 수 있다.
실시예에서, 인체 자세 추정 방식이란 컴퓨터 비전에서 객체의 위치(Position)와 방향(Orientation)을 탐지하는 알고리즘으로, 사람의 신체 관절인 키포인트(Keypoint)가 어떻게 구성되어있는지 위치를 측정(Localization)하고 추정(Estimation)할 수 있다. 신체의 주요 키포인트는 머리(Head), 목(Neck), 어깨(Sholder), 팔꿈치(Elbow), 손목(Wrist), 엉덩이(Hip), 골반(Pelvis), 무릎(Knee), 발목(Ankle) 등이 포함될 수 있다. 부분 검출부(12)는 영상에서 사람을 감지하고, 바운딩 박스(Bounding Box) 내부에서 포즈를 추정한 후, 탑승자의 가슴 부분 및 골반 부분을 키 포인트 부분으로 크롭(Crop)할 수 있다.
운전석의 경우를 예로 들어 설명하면, 도4에서 부분 검출부(12)는 숄더 벨트Shoulder belt detecting은 운전석의 경우 17-6-1번 좌표를 이어주는 이미지를 크롭하고, 이미지 세그멘테이션부(13)는 이를 이용하여 숄더 벨트를 감지하기 위한 제1타겟 영역을 획득할 수 있다. 또한, 부분 검출부(12)는 1-3-2번 좌표를 이어주는 이미지 또는 1-0-2번 좌표를 이어주는 이미지를 크롭하고, 이미지 세그멘테이션부(13)는 이를 이용하여 랩 벨트를 감지하기 위한 제2타겟 영역을 획득할 수 있다.
조수석의 경우에는, 부분 검출부(12)는 16-6-2번 좌표를 이어주는 이미지를 크롭하여 제1타겟 영역을 획득할 수 있으며, 또한, 부분 검출부(12)는 1-3-2번 좌표를 이어주는 이미지 또는 1-0-2번 좌표를 이어주는 이미지를 크롭하고, 이미지 세그멘테이션부(13)는 이를 이용하여 랩 벨트를 감지하기 위한 제2타겟 영역을 획득할 수 있다.
또한, 다른 예시로 숄더의 양끝인 16,17번 좌표를 활용하지 않고, 12번 또는 13번 좌표 등 숄더의 중앙 부분 좌표를 추정하여 숄더 벨트 부분을 크롭할 수 있다. 이 경우 부분 검출부(12)는 1,2 번의 X 좌표를 차용하고, Y좌표를 숄더의 중앙 부분 좌표에서 차용하여 프로젝션함으로써 가상의 16,17번 좌표를 생성할 수 있다. 이와 유사하게 1,2번 좌표가 아닌 0번 좌표 등 복부의 중앙 부분을 추정하여 랩 벨트 부분을 크롭할 수 있다. 이 경우 부분 검출부(12)는 16,17번의 x 좌표를 차용하고, Y좌표를 복부 중앙 부분 좌표에서 차용하여 프로젝션함으로써 가상의 1,2 번 좌표를 생성할 수 있다.
또는, 부분 검출부(12)는 이미지에서 오브젝트의 외곽선을 검출하고, 검출된 외곽선과 데이터 베이스(16)에 미리 저장된 사람의 가슴 부분 및 골반 부분을 비교하여 미리 저장된 사람의 가슴 부분 및 골반 부분과 매칭되는 외곽선을 가진 영역을 탑승자의 가슴 부분 및 골반으로 검출할 수 있다.
또한, 예를 들면, 부분 검출부(12)는 이미지 내의 오브젝트의 특징점을 추출하고, 추출된 특징점이 데이터 베이스(16)에 미리 저장된 사람의 가슴 부분 및 골반 부분의 특징점에 임계치 이상의 근접도로 매칭되면, 해당 영역을 탑승자의 가슴 부분 및 골반 부분으로 검출할 수 있다. 이때, 부분 검출부(12)는 비교 대상이 되는 두 오브젝트의 이미지에서 특징점을 추출하고, 추출된 두 오브젝트의 특징점 기술자(descriptor)를 매칭하는 SIFT(Scale Invariant Feature Transform) 또는SURF(Speeded Up Robust Features) 알고리즘을 사용할 수 있다.
또한, 예를 들면, 부분 검출부(12)는 이미지에서 오브젝트들의 윤곽을 기초로 탑승자의 가슴 부분 및 골반 부분을 검출할 수 있다. 보다 구체적으로, 부분 검출부(12)는 이미지에서 오브젝트들의 윤곽을 검출하여 에지 영상을 생성하고, 데이터 베이스(16)에 미리 저장된 차량 내부 이미지인 전경 영상 데이터로부터 윤곽을 검출하여 배경 에지 영상을 생성하며, 에지 영상에서 배경 에지 영상을 뺀 차 영상(different image)에서 탑승자의 가슴 부분 및 골반 부분을 검출할 수 있다. 이때, 부분 검출부(12)는 영상 데이터 프레임의 그래디언트(gradient) 정보를 이용하여 프레임 내에 나타나는 오브젝트의 윤곽을 에지로 검출하여 에지 영상을 생성한다. 여기서, 그래디언트 정보는 프레임에서 소정의 화소들 중 인접하는 화소들 간의 차이값으로부터 생성된 값으로서 차이의 절대값의 합을 의미하고, 에지는 그래디언트 정보를 이용한 오브젝트 간의 경계선을 의미한다.
또한, 부분 검출부(12)는 오브젝트 검출 분류기를 이용하여 이미지에서 탑승자의 가슴 부분 및 골반 부분을 검출할 수 있다. 이때, 오브젝트 검출 분류기는 탑승자의 자세나 외부 환경을 달리하여 기 촬영한 이미지들로부터 훈련 DB 를 구축하여 학습된 것으로서, 이러한 오브젝트 검출 분류기는 SVM(Support Vector Machine), 신경망, AdaBoost 알고리즘 등을 포함하는 다양한 학습 알고리즘을 통해 탑승자의 가슴 부분 및 골반 부분에 대한 DB 를 생성한다. 구체적으로, 부분 검출부(12)는 기 촬영된 차량 내 배경 이미지에서 전경에 해당하는 오브젝트의 에지를 검출하고, 영상 데이터에서 검출된 전경 오브젝트의 에지를 적용하고, 전경 오브젝트의 에지가 적용된 영상 데이터의 영역에 오브젝트 검출 분류기를 적용하여 탑승자의 가슴 부분 및 골반 부분을 검출할 수 있다.
또한, 부분 검출부(12)는 이미지 센서부(11)에서 촬영한 이미지에서 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 메트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 부분 검출부(12)는 색채 처리, 블러처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 수행할 수 있다.
이미지 세그멘테이션부(13)는 탑승자의 가슴 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제1타겟 영역을 획득하고, 골반 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제2타겟 영역을 획득할 수 있다. 각 타겟 영역은 적어도 하나의 픽셀로 구성될 수 있으며, 각 영역의 크기는 동일하거나 또는 상이할 수 있다.
실시예에서, 제1타겟 영역은 탑승자의 가슴 부분, 즉 탑승자의 아웃 보드측 어깨로부터 인보드측 골반으로 이어지는 부분에서 안전벨트를 구성하는 픽셀의 집합을 의미할 수 있다.
또한, 제2타겟 영역은 탑승자의 골반 부분 즉, 탑승자의 인보드측 골반으로부터 아웃보드측 골반으로 이어지는 부분에서 안전벨트를 구성하는 픽셀의 집합을 의미할 수 있다.
실시예에서 제어부(14)는 ECU(Electronic Control Unit)일 수 있다. 제어부(14)는 제1타겟 영역의 제1면적값이 기 설정된 제1기준값 보다 크고, 제2타겟 영역의 제2면적값이 기 설정된 제2기준값 보다 큰 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단할 수 있다. 제어부(14)는 제1타겟 영역의 면적이 기 설정된 일정 면적보다 크고, 동시에 제2타겟 영역의 면적이 기 설정된 일정 면적보다 큰 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단할 수 있다.
이 때, 제어부(14)는 제1타겟 영역의 제1면적값 및 제2면적값 중 적어도 하나가 각각의 기준값 이하인 경우 안전벨트 착용이 비정상적으로 이루어진 것으로 판단할 수 있다.
즉, 제어부(14)는 촬영된 이미지에서 숄더 벨트가 탑승자의 어깨 및 가슴 영역에 오버랩되는 부분의 면적과, 랩 벨트가 탑승자의 골반 영역에 오버랩되는 부분의 면적이 각각의 기준치를 동시에 만족할 경우에만 안전벨트가 정상적으로 착용된 것으로 판단할 수 있다.
또한, 제어부(14)는 기 설정된 주기별로 제1면적값 및 제2면적값을 각각 제1기준값 및 제2기준값과 비교하고, 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 이상인 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단할 수 있다. 도5를 참조하면, 제어부(14)는 기 설정된 주기에 따라 연속적으로 촬영된 탑승자의 이미지를 이용하여 안전벨트 착용 여부를 반복하여 판단한다. 이 때, 제어부(14)는 복수개의 연속된 이미지를 이용하여 제1면적값 및 제2면적값을 각각 제1기준값 및 제2기준값과 비교할 수 있다. 제어부(14)는 복수개의 연속된 이미지의 제1면적값 및 제2면적값이 각각 제1기준값 및 제2기준값 보다 큰 경우, 즉 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 이상인 경우에만 안전벨트 착용이 정상적으로 이루어진 것으로 판단할 수 있다
이 때, 제어부(14)는 즉 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 미만인 경우에는 안전벨트 착용이 비정상적으로 이루어진 것으로 판단할 수 있다.
알림부(15)는 안전벨트 착용이 비정상적으로 이루어진 경우, 제어부(14)의 제어에 따라 경고 신호를 출력할 수 있다. 알림부(15)는 음성 출력 장치로 구성될 수 있으며, 제어부(14)의 제어에 따라 소정 시간 동안 음성 경고 신호를 차량 내부로 출력할 수 있다.
데이터 베이스(16)는, 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
데이터 베이스(16)는 이미지 센서부(11)에서 촬영한 이미지를 저장할 수 있으며, 과거 일정 기간 동안의 이미지를 저장할 수 있다.
또한, 데이터 베이스(16)는, 안전벨트 착용 판단 장치가 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있다.
도6은 실시예에 따른 안전벨트 착용 판단 방법의 순서도이다.
도6을 참조하면, 먼저, 이미지 센서부는 차량 탑승자의 정면 이미지를 촬영한다. 이 때, 탑승자의 정면 이미지는 차량 탑승자의 상반신이 전체적으로 포함되도록 촬영될 수 있다(S601).
다음으로, 부분 검출부는 이미지 센서부에서 촬영한 탑승자의 정면 이미지를 이용하여 탑승자의 가슴 부분 및 골반 부분을 검출한다. 이 때, 부분 검출부는 인체 자세 추정방식을 이용하여 탑승자의 가슴 부분 및 골반 부분을 검출할 수 있다. 부분 검출부는 탑승자의 가슴 부분 및 골반 부분을 이미지상에서 크롭하여 이미지 세그멘테이션부로 전달한다(S602).
다음으로, 이미지 세그멘테이션부는 탑승자의 가슴 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제1타겟 영역을 획득한다. 동시에, 이미지 세그멘테이션부는 골반 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제2타겟 영역을 획득한다. 실시예에서, 제1타겟 영역은 탑승자의 가슴 부분, 즉 탑승자의 아웃 보드측 어깨로부터 인보드측 골반으로 이어지는 부분에서 안전벨트를 구성하는 픽셀의 집합을 의미할 수 있다. 또한, 제2타겟 영역은 탑승자의 골반 부분 즉, 탑승자의 인보드측 골반으로부터 아웃보드측 골반으로 이어지는 부분에서 안전벨트를 구성하는 픽셀의 집합을 의미할 수 있다(S603~604).
다음으로, 제어부는 제1타겟 영역의 제1면적값을 기 설정된 제1기준값과 비교하고, 동시에 제2타겟 영역의 제2면적값을 기 설정된 제2기준값과 비교한다(S605~606).
제어부는 제1타겟 영역의 제1면적값이 기 설정된 제1기준값 보다 크고, 제2타겟 영역의 제2면적값이 기 설정된 제2기준값 보다 큰 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단한다(S607~608).
또는, 제어부는 제1타겟 영역의 제1면적값 및 제2면적값 중 적어도 하나가 각각의 기준값 이하인 경우 안전벨트 착용이 비정상적으로 이루어진 것으로 판단한다. 제어부는 안전벨트 착용이 비정상적으로 이루어진 것으로 판단되는 경우, 알림부를 제어하여 경고 신호를 출력한다(S609).
도7은 다른 실시예에 따른 안전벨트 착용 판단 방법의 순서도이다.
도7을 참조하면, 먼저, 이미지 센서부는 기 설정된 주기에 따라 차량 탑승자의 정면 이미지를 촬영한다. 이 때, 탑승자의 정면 이미지는 차량 탑승자의 상반신이 전체적으로 포함되도록 촬영될 수 있다(S701).
다음으로, 부분 검출부는 이미지 센서부에서 촬영한 탑승자의 정면 이미지를 이용하여 탑승자의 가슴 부분 및 골반 부분을 검출한다. 이 때, 부분 검출부는 인체 자세 추정방식을 이용하여 탑승자의 가슴 부분 및 골반 부분을 검출할 수 있다. 부분 검출부는 탑승자의 가슴 부분 및 골반 부분을 이미지상에서 크롭하여 이미지 세그멘테이션부로 전달한다(S702).
다음으로, 이미지 세그멘테이션부는 탑승자의 가슴 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제1타겟 영역을 획득한다. 동시에, 이미지 세그멘테이션부는 골반 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제2타겟 영역을 획득한다. 실시예에서, 제1타겟 영역은 탑승자의 가슴 부분, 즉 탑승자의 아웃 보드측 어깨로부터 인보드측 골반으로 이어지는 부분에서 안전벨트를 구성하는 픽셀의 집합을 의미할 수 있다. 또한, 제2타겟 영역은 탑승자의 골반 부분 즉, 탑승자의 인보드측 골반으로부터 아웃보드측 골반으로 이어지는 부분에서 안전벨트를 구성하는 픽셀의 집합을 의미할 수 있다(S703~704).
다음으로, 제어부는 기 설정된 주기별로 제1면적값 및 제2면적값을 각각 제1기준값 및 제2기준값과 비교하고(S705~706), 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 이상인 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단한다(S707~708).
제어부는 기 설정된 주기에 따라 연속적으로 촬영된 탑승자의 이미지를 이용하여 안전벨트 착용 여부를 반복하여 판단한다. 이 때, 제어부는 복수개의 연속된 이미지를 이용하여 제1면적값 및 제2면적값을 각각 제1기준값 및 제2기준값과 비교하고, 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 이상인 경우에만 안전벨트 착용이 정상적으로 이루어진 것으로 판단한다(S709).
또는, 제어부는 제1타겟 영역의 제1면적값 및 제2면적값 중 적어도 하나가 각각의 기준값 이하인 경우 또는 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 미만인 경우에는 안전벨트 착용이 비정상적으로 이루어진 것으로 판단한다. 제어부는 안전벨트 착용이 비정상적으로 이루어진 것으로 판단되는 경우, 알림부를 제어하여 경고 신호를 출력한다(S710).
도8은 또 다른 실시예에 따른 안전벨트 착용 판단 방법의 순서도이다.
도8을 참조하면, 먼저, 이미지 센서부는 차량 탑승자의 정면 이미지를 촬영한다. 이미지 센서부는 숄더 벨트 부분을 촬영하기 위한 제1촬영부 및 랩 벨트 부분을 촬영하기 위한 제2촬영부를 포함한다. 제1촬영부의 렌즈는 숄더 벨트 부분을 지향하도록 설정되어 있으며, 제2촬영부의 렌즈는 랩 벨트 부분을 지향하도록 설정될 수 있다. 이에 따라, 제1촬영부는 숄더 벨트 부분을 촬영한 제1이미지를 생성하고(S801), 제2촬영부는 랩 벨트 부분을 촬영한 제2이미지를 생성한다(S802).
다음으로, 부분 검출부는 제1이미지를 이용하여 탑승자의 가슴 부분을 검출한다. 이 때, 부분 검출부는 인체 자세 추정방식을 이용하여 탑승자의 가슴 부분을 검출할 수 있다. 부분 검출부는 탑승자의 가슴 부분을 이미지상에서 크롭하여 이미지 세그멘테이션부로 전달한다(S803).
이와 동시에, 부분 검출부는 제2이미지를 이용하여 탑승자의 골반 부분을 검출한다. 이 때, 부분 검출부는 인체 자세 추정방식을 이용하여 탑승자의 골반 부분을 검출할 수 있다. 부분 검출부는 탑승자의 골반 부분을 이미지상에서 크롭하여 이미지 세그멘테이션부로 전달한다(S804).
다음으로, 이미지 세그멘테이션부는 탑승자의 가슴 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제1타겟 영역을 획득한다(S805).
동시에, 이미지 세그멘테이션부는 골반 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제2타겟 영역을 획득한다(S806).
실시예에서, 제1타겟 영역은 탑승자의 가슴 부분, 즉 탑승자의 아웃 보드측 어깨로부터 인보드측 골반으로 이어지는 부분에서 안전벨트를 구성하는 픽셀의 집합을 의미할 수 있다. 또한, 제2타겟 영역은 탑승자의 골반 부분 즉, 탑승자의 인보드측 골반으로부터 아웃보드측 골반으로 이어지는 부분에서 안전벨트를 구성하는 픽셀의 집합을 의미할 수 있다.
다음으로, 제어부는 제1타겟 영역의 제1면적값을 기 설정된 제1기준값과 비교하고, 동시에 제2타겟 영역의 제2면적값을 기 설정된 제2기준값과 비교한다(S807~808).
제어부는 제1타겟 영역의 제1면적값이 기 설정된 제1기준값 보다 크고, 제2타겟 영역의 제2면적값이 기 설정된 제2기준값 보다 큰 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단한다(S809~810).
또는, 제어부는 제1타겟 영역의 제1면적값 및 제2면적값 중 적어도 하나가 각각의 기준값 이하인 경우 안전벨트 착용이 비정상적으로 이루어진 것으로 판단한다. 제어부는 안전벨트 착용이 비정상적으로 이루어진 것으로 판단되는 경우, 알림부를 제어하여 경고 신호를 출력한다(S811).
도9는 또 다른 실시예에 따른 안전벨트 착용 판단 방법의 순서도이다.
도9를 참조하면 먼저, 이미지 센서부는 차량 탑승자의 정면 이미지를 촬영한다. 이미지 센서부는 숄더 벨트 부분을 촬영하기 위한 제1촬영부 및 랩 벨트 부분을 촬영하기 위한 제2촬영부를 포함한다. 제1촬영부의 렌즈는 숄더 벨트 부분을 지향하도록 설정되어 있으며, 제2촬영부의 렌즈는 랩 벨트 부분을 지향하도록 설정될 수 있다. 이에 따라, 제1촬영부는 숄더 벨트 부분을 촬영한 제1이미지를 생성하고(S901), 제2촬영부는 랩 벨트 부분을 촬영한 제2이미지를 생성한다(S902).
다음으로, 부분 검출부는 제1이미지를 이용하여 탑승자의 가슴 부분을 검출한다. 이 때, 부분 검출부는 인체 자세 추정방식을 이용하여 탑승자의 가슴 부분을 검출할 수 있다. 부분 검출부는 탑승자의 가슴 부분을 이미지상에서 크롭하여 이미지 세그멘테이션부로 전달한다(S903).
이와 동시에, 부분 검출부는 제2이미지를 이용하여 탑승자의 골반 부분을 검출한다. 이 때, 부분 검출부는 인체 자세 추정방식을 이용하여 탑승자의 골반 부분을 검출할 수 있다. 부분 검출부는 탑승자의 골반 부분을 이미지상에서 크롭하여 이미지 세그멘테이션부로 전달한다(S904).
다음으로, 이미지 세그멘테이션부는 탑승자의 가슴 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제1타겟 영역을 획득한다(S905).
동시에, 이미지 세그멘테이션부는 골반 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제2타겟 영역을 획득한다(S906).
실시예에서, 제1타겟 영역은 탑승자의 가슴 부분, 즉 탑승자의 아웃 보드측 어깨로부터 인보드측 골반으로 이어지는 부분에서 안전벨트를 구성하는 픽셀의 집합을 의미할 수 있다. 또한, 제2타겟 영역은 탑승자의 골반 부분 즉, 탑승자의 인보드측 골반으로부터 아웃보드측 골반으로 이어지는 부분에서 안전벨트를 구성하는 픽셀의 집합을 의미할 수 있다.
다음으로, 제어부는 기 설정된 주기별로 제1면적값 및 제2면적값을 각각 제1기준값 및 제2기준값과 비교하고(S907~908), 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 이상인 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단한다(S909~910). 제어부는 기 설정된 주기에 따라 연속적으로 촬영된 탑승자의 이미지를 이용하여 안전벨트 착용 여부를 반복하여 판단한다. 이 때, 제어부는 복수개의 연속된 이미지를 이용하여 제1면적값 및 제2면적값을 각각 제1기준값 및 제2기준값과 비교하고, 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 이상인 경우에만 안전벨트 착용이 정상적으로 이루어진 것으로 판단한다(S911).
또는, 제어부는 제1타겟 영역의 제1면적값 및 제2면적값 중 적어도 하나가 각각의 기준값 이하인 경우 또는 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 미만인 경우에는 안전벨트 착용이 비정상적으로 이루어진 것으로 판단한다. 제어부는 안전벨트 착용이 비정상적으로 이루어진 것으로 판단되는 경우, 알림부를 제어하여 경고 신호를 출력한다(S912).
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 안전벨트 착용 판단 장치
11: 이미지 센서부
12: 부분 검출부
13: 이미지 세그멘테이션부
14: 제어부
15: 알림부
16: 데이터 베이스

Claims (17)

  1. 차량 탑승자의 정면 이미지를 촬영하는 이미지 센서부;
    상기 이미지를 이용하여 상기 탑승자의 가슴 부분 및 골반 부분을 검출하는 부분 검출부;
    상기 탑승자의 가슴 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제1타겟 영역을 획득하고, 상기 골반 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 상기 안전 벨트에 관련된 제2타겟 영역을 획득하는 이미지 세그멘테이션부; 및
    상기 제1타겟 영역의 제1면적값이 기 설정된 제1기준값 보다 크고, 상기 제2타겟 영역의 제2면적값이 기 설정된 제2기준값 보다 큰 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단하는 제어부를 포함하는 안전벨트 착용 판단 장치.
  2. 제1항에 있어서,
    상기 부분 검출부는 인체 자세 추정(Human Pose Estimation)방식을 이용하여 상기 탑승자의 가슴 부분 및 골반 부분을 검출하는 안전벨트 착용 판단 장치.
  3. 제1항에 있어서,
    상기 이미지 센서부는 기 설정된 주기에 따라 상기 차량 탑승자의 정면 이미지를 촬영하여 상기 부분 검출부로 전달하는 안전벨트 착용 판단 장치
  4. 제3항에 있어서,
    상기 제어부는 상기 기 설정된 주기별로 상기 제1면적값 및 상기 제2면적값을 각각 상기 제1기준값 및 상기 제2기준값과 비교하고, 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 이상인 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단하는 안전벨트 착용 판단 장치.
  5. 제1항에 있어서,
    상기 제어부는 상기 제1타겟 영역의 제1면적값 및 상기 제2면적값 중 적어도 하나가 각각의 기준값 이하인 경우 안전벨트 착용이 비정상적으로 이루어진 것으로 판단하는 안전벨트 착용 판단 장치.
  6. 제5항에 있어서,
    안전벨트 착용이 비정상적으로 이루어진 경우, 상기 제어부의 제어에 따라 경고 신호를 출력하는 알림부를 더 포함하는 안전벨트 착용 판단 장치.
  7. 제1항에 있어서,
    상기 안전벨트는 3점식 안전벨트인 안전벨트 착용 판단 장치.
  8. 제7항에 있어서,
    상기 이미지 센서부는 숄더 벨트 부분을 촬영하기 위한 제1촬영부; 및 랩 벨트 부분을 촬영하기 위한 제2촬영부를 포함하는 안전벨트 착용 판단 장치.
  9. 제8항에 있어서,
    상기 부분 검출부는 인체 자세 추정 방식을 이용하여 상기 제1촬영부에서 촬영한 이미지로부터 아웃 보드측 어깨 이미지, 인보드측 골반 이미지 및 상기 아웃 보드측 어깨와 상기 인보드측 골반을 연결하는 중앙 이미지를 크롭(crop)하여 상기 탑승자의 가슴 부분을 검출하는 안전벨트 착용 판단 장치.
  10. 제8항에 있어서,
    상기 부분 검출부는 인체 자세 추정 방식을 이용하여 상기 제2촬영부에서 촬영한 이미지로부터 인보드측 골반 이미지, 아웃보드측 골반 이미지 및 상기 인보드측 골반과 상기 아웃보드측 골반을 연결하는 중앙 이미지를 크롭하여 상기 탑승자의 골반 부분을 검출하는 안전벨트 착용 판단 장치.
  11. 이미지 센서부가 차량 탑승자의 정면 이미지를 촬영하는 단계;
    부분 검출부가 상기 이미지를 이용하여 상기 탑승자의 가슴 부분 및 골반 부분을 검출하는 단계;
    이미지 세그멘테이션부가 상기 탑승자의 가슴 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 안전 벨트에 관련된 제1타겟 영역을 획득하고, 상기 골반 부분에 대한 부분 영상을 복수의 영역들로　세그멘테이션함으로써 상기 안전 벨트에 관련된 제2타겟 영역을 획득하는 단계; 및
    제어부가 상기 제1타겟 영역의 제1면적값이 기 설정된 제1기준값 보다 크고, 상기 제2타겟 영역의 제2면적값이 기 설정된 제2기준값 보다 큰 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단하는 단계를 포함하는 안전벨트 착용 판단 방법.
  12. 제11항에 있어서,
    상기 안전벨트 착용이 정상적으로 이루어진 것으로 판단하는 단계는,
    상기 제어부가 기 설정된 주기별로 촬영된 이미지에 대하여, 상기 제1면적값 및 상기 제2면적값을 각각 상기 제1기준값 및 상기 제2기준값과 비교하는 단계; 및
    비교 결과, 각각의 면적값이 기준값 보다 크게 유지되는 시간이 기 설정 시간 이상인 경우 안전벨트 착용이 정상적으로 이루어진 것으로 판단하는 단계를 더 포함하는 안전벨트 착용 판단 방법.
  13. 제11항에 있어서,
    상기 제어부가 상기 제1타겟 영역의 제1면적값 및 상기 제2면적값 중 적어도 하나가 각각의 기준값 이하인 경우 안전벨트 착용이 비정상적으로 이루어진 것으로 판단하는 단계를 더 포함하는 안전벨트 착용 판단 방법.
  14. 제13항에 있어서,
    안전벨트 착용이 비정상적으로 이루어진 경우, 알림부가 상기 제어부의 제어에 따라 경고 신호를 출력하는 단계를 더 포함하는 안전벨트 착용 판단 방법.
  15. 제11항에 있어서,
    상기 안전벨트는 3점식 안전벨트이며,
    상기 이미지 센서부는 숄더 벨트 부분을 촬영하기 위한 제1촬영부; 및 랩 벨트 부분을 촬영하기 위한 제2촬영부를 포함하는 안전벨트 착용 판단 방법.
  16. 제15항에 있어서, 상기 탑승자의 가슴 부분 및 골반 부분을 검출하는 단계는,
    인체 자세 추정 방식을 이용하여 상기 제1촬영부에서 촬영한 이미지로부터 아웃 보드측 어깨 이미지, 인보드측 골반 이미지 및 상기 아웃 보드측 어깨와 상기 인보드측 골반을 연결하는 중앙 이미지를 크롭(crop)하여 상기 가슴 부분을 검출하는 단계를 포함하는 안전벨트 착용 판단 방법.
  17. 제15항에 있어서, 상기 탑승자의 가슴 부분 및 골반 부분을 검출하는 단계는,
    인체 자세 추정 방식을 이용하여 상기 제2촬영부에서 촬영한 이미지로부터 인보드측 골반 이미지, 아웃보드측 골반 이미지 및 상기 인보드측 골반과 상기 아웃보드측 골반을 연결하는 중앙 이미지를 크롭하여 상기 골반 부분을 검출하는 단계를 포함하는 안전벨트 착용 판단 방법.
KR1020210188194A 2021-12-27 2021-12-27 안전벨트 착용 판단 장치 및 방법 KR102616328B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210188194A KR102616328B1 (ko) 2021-12-27 2021-12-27 안전벨트 착용 판단 장치 및 방법
US17/652,858 US20230202425A1 (en) 2021-12-27 2022-02-28 Apparatus and method for determining seat belt wearing
DE102022202994.1A DE102022202994A1 (de) 2021-12-27 2022-03-28 Vorrichtung und Verfahren zum Bestimmen des Anlegens eines Sicherheitsgurts
CN202210389167.6A CN116353540A (zh) 2021-12-27 2022-04-13 用于确定安全带佩戴的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210188194A KR102616328B1 (ko) 2021-12-27 2021-12-27 안전벨트 착용 판단 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230099103A true KR20230099103A (ko) 2023-07-04
KR102616328B1 KR102616328B1 (ko) 2023-12-21

Family

ID=86693700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210188194A KR102616328B1 (ko) 2021-12-27 2021-12-27 안전벨트 착용 판단 장치 및 방법

Country Status (4)

Country Link
US (1) US20230202425A1 (ko)
KR (1) KR102616328B1 (ko)
CN (1) CN116353540A (ko)
DE (1) DE102022202994A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101461911B1 (ko) * 2013-07-25 2014-11-13 현대자동차주식회사 안전벨트 체결 상태 가이드 장치 및 방법
JP2019177853A (ja) * 2018-03-30 2019-10-17 株式会社フジクラ 固定器具検知装置および固定器具検知方法
US20200231109A1 (en) * 2019-01-22 2020-07-23 GM Global Technology Operations LLC Seat belt status determining system and method
KR20200110404A (ko) * 2018-03-05 2020-09-23 가부시키가이샤 히타치세이사쿠쇼 작업 동작 해석 시스템 및 작업 동작 해석 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007022401A (ja) * 2005-07-19 2007-02-01 Takata Corp 乗員情報検出システム、乗員拘束装置、車両
US9598037B2 (en) * 2014-09-03 2017-03-21 GM Global Technology Operations LLC Sensor based occupant protection system
KR20170135946A (ko) * 2015-04-10 2017-12-08 로베르트 보쉬 게엠베하 차량 내부 카메라에 의한 탑승자 크기 및 자세 검출
JP2017222337A (ja) * 2016-06-14 2017-12-21 アイシン精機株式会社 着座状態検出装置
DE102016121341B3 (de) * 2016-11-08 2018-01-04 Audi Ag Vorrichtung und Verfahren zur Erkennung eines bestimmungsgemäßen Anlegens eines Sicherheitsgurtes und Fahrzeug mit einer derartigen Vorrichtung
CN111194283B (zh) * 2017-05-15 2022-10-21 乔伊森安全系统收购有限责任公司 乘员安全带的检测和监控
US10569738B2 (en) * 2017-12-21 2020-02-25 GM Global Technology Operations LLC Seat belt routing sensing systems and sensors and corresponding vehicle systems operating based on whether seat belts are properly worn
EP3848256A1 (en) 2020-01-07 2021-07-14 Aptiv Technologies Limited Methods and systems for detecting whether a seat belt is used in a vehicle
AT523045B1 (de) 2020-03-02 2021-05-15 Emotion3D Gmbh Verfahren und Vorrichtung zur Sitzgurterkennung
US11603060B2 (en) * 2020-05-11 2023-03-14 GM Global Technology Operations LLC System and method for monitoring seat belt routing using both a webbing payout sensor and an in-cabin sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101461911B1 (ko) * 2013-07-25 2014-11-13 현대자동차주식회사 안전벨트 체결 상태 가이드 장치 및 방법
KR20200110404A (ko) * 2018-03-05 2020-09-23 가부시키가이샤 히타치세이사쿠쇼 작업 동작 해석 시스템 및 작업 동작 해석 방법
JP2019177853A (ja) * 2018-03-30 2019-10-17 株式会社フジクラ 固定器具検知装置および固定器具検知方法
US20200231109A1 (en) * 2019-01-22 2020-07-23 GM Global Technology Operations LLC Seat belt status determining system and method

Also Published As

Publication number Publication date
CN116353540A (zh) 2023-06-30
US20230202425A1 (en) 2023-06-29
DE102022202994A1 (de) 2023-06-29
KR102616328B1 (ko) 2023-12-21

Similar Documents

Publication Publication Date Title
CN113147664B (zh) 检测车辆中是否使用了安全带的方法和系统
US7505841B2 (en) Vision-based occupant classification method and system for controlling airbag deployment in a vehicle restraint system
US8766816B2 (en) System for monitoring the area around a vehicle
US9405982B2 (en) Driver gaze detection system
EP1759932B1 (en) Method of classifying vehicle occupants
JP4173901B2 (ja) 車両周辺監視装置
US20040220705A1 (en) Visual classification and posture estimation of multiple vehicle occupants
US9662977B2 (en) Driver state monitoring system
US10423843B2 (en) Vehicle vision system with enhanced traffic sign recognition
US20050185846A1 (en) Method and apparatus for controlling classification and classification switching in a vision system
JP4173902B2 (ja) 車両周辺監視装置
JP2007276577A (ja) 対象物検出システム、作動装置制御システム、車両、対象物検出方法
US20060280336A1 (en) System and method for discriminating passenger attitude in vehicle using stereo image junction
KR20200133863A (ko) 첨단 운전자 지원 장치, 이의 캘리브레이션 방법 및 이의 객체를 검출하는 방법
WO2017162278A1 (en) System and method for a full lane change aid system with augmented reality technology
US8560179B2 (en) Adaptive visual occupant detection and classification system
JP2010191793A (ja) 警告表示装置及び警告表示方法
KR102616328B1 (ko) 안전벨트 착용 판단 장치 및 방법
Baltaxe et al. Marker-less vision-based detection of improper seat belt routing
CN115923607A (zh) 座椅参数调节方法、设备、存储介质及装置
EP2988250A1 (en) Vision system and method for a motor vehicle
Byun et al. An effective pedestrian detection method for driver assistance system
JP2023012283A (ja) 顔検出装置
JP2024020838A (ja) 表示制御装置
CN117710946A (zh) 基于车载摄像头的安全带使用识别方法、装置和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant