KR102443514B1 - 안전벨트 착용 검출을 위한 서비스 제공 시스템 및 방법 - Google Patents

Abstract

본 발명은 안전벨트 착용 검출을 위한 서비스 제공 시스템 및 방법에 관한 것으로서, 더욱 상세히는 주행 차량의 접근시 차량의 측면을 촬영하여 차량에 탑승한 탑승자의 안전벨트 착용 여부를 검출하는 안전벨트 착용 검출을 위한 서비스 제공 시스템 및 방법에 관한 것이다. 본 발명은 복수의 카메라부를 차량의 좌측면 및 우측면을 촬영할 수 있도록 배치한 후 상기 복수의 카메라부를 통해 얻어진 영상에 대한 영상 분석을 통해 차량의 1열 좌석 뿐만 아니라 2열 이상의 후열 좌석에 대해서도 용이하게 안전벨트 착용 여부를 검출할 수 있어, 차량의 후열 좌석에 탑승하여 안전벨트 착용에 소홀한 탑승자에 대해서 안전벨트 착용을 유도하여 차량에 탑승하는 탑승자의 안전벨트 미착용으로 인한 사망률 및 상해 수준을 감소시키고 탑승자의 안전을 도모하는 효과가 있다.

Description

안전벨트 착용 검출을 위한 서비스 제공 시스템 및 방법{Service providing system and method for detecting wearing state of seat belt}

본 발명은 안전벨트 착용 검출을 위한 서비스 제공 시스템 및 방법에 관한 것으로서, 더욱 상세히는 주행 차량의 접근시 차량의 측면을 촬영하여 차량에 탑승한 탑승자의 안전벨트 착용 여부를 검출하는 안전벨트 착용 검출을 위한 서비스 제공 시스템 및 방법에 관한 것이다.

안전벨트 착용은 차량 사고시에도 탑승자의 피해를 최소화하며, 이에 따라 차량 사고시 탑승자의 안전을 위해 안전벨트 착용을 의무화하고 있다.

그러나, 조수석이나 후열 좌석에 탑승한 탑승자가 착용시 불편함으로 인해 안전벨트를 착용하지 않는 경우가 빈번하며, 이에 따라 탑승자의 차량 사고시 탑승자가 보호받지 못해 중상을 입는 경우가 크게 증가하고 있다.

이에 따라, 최근 차량의 탑승자를 확인하여 안전벨트 착용여부를 확인하고 안전벨트를 착용하지 않은 경우 착용하도록 안내정보를 제공하는 안전벨트 착용 검지 시스템이 개발되고 있다.

이러한 안전벨트 착용 검지 시스템은 일반적으로 차량의 앞유리 영역을 촬영하며, 이로 인해 운전석과 조수석에 탑승한 탑승자의 안전벨트 착용여부만 검지할 수 있는 한계가 있다.

이를 개선하여, 차량 내 구성되는 안전벨트 경고 시스템이 등장하고 있으며, 이러한 안전벨트 경고 시스템은 차량 내부에 카메라를 설치하여 운전석, 조수석, 뒷좌석 탑승자의 안전벨트 착용여부를 검지하고 알람을 제공할 수 있다.

이러한 안전벨트 경고 시스템은, 차량의 뒷좌석까지 검지가 가능하나 이를 위해서는 모든 차량에 해당 시스템을 설치해야 하는 경제적 측면의 어려움이 있다.

따라서, 차량 내부에 별도의 장치를 구성할 필요없이 전좌석 안전벨트 착용여부를 검지하고 정보를 제공하기 위한 방안이 요구되고 있다.

한국공개특허 제10-2020-0064449호

본 발명은 전좌석 안전벨트 의무화에 따른 안전벨트 착용 단속을 진행하기 위해 앞좌석 뿐만 아니라 기존의 앞좌석에 대한 안전벨트 검지 방법을 사용하여 단속을 수행하는 과정에서 파악하기 힘든 뒷좌석을 포함한 전좌석의 안전벨트 착용 여부를 검출할 수 있도록 지원하는데 그 목적이 있다.

또한, 본 발명은 1열의 탑승자 뿐만 아니라 2열 이상의 탑승자를 촬영하기 위해 차량의 양쪽 측면에 카메라를 설치하여 차량의 진행방향을 기준으로 좌측 카메라는 좌측 좌석을 촬영하고 우측 카메라는 우측 좌석을 촬영하여 얻어진 영상을 기초로 안전벨트 착용 여부를 검출함으로써 전좌석에 대한 안전벨트 착용 여부를 검출하되, 탑승자의 신체 일부에 의해 안전벨트의 일부가 가려지는 경우에도 정확하게 안전벨트 착용 여부를 검출할 수 있도록 지원하는데 그 목적이 있다.

본 발명의 실시예에 따른 안전벨트 착용 검출을 위한 서비스 제공 시스템은, 감시 대상 영역을 통과하는 차량에 대한 차량 검지 신호를 생성하여 전송하는 검지부와, 상기 차량의 번호판을 촬영하는 제 1 카메라부와, 상기 차량의 좌측면을 촬영하는 제 2 카메라부와, 상기 차량의 우측면을 촬영하는 제 3 카메라부 및 상기 차량 검지 신호 수신시, 상기 제 1 카메라부와 통신하여 상기 차량의 번호판 촬영에 따른 제 1 영상 정보를 기초로 차량 번호 정보를 생성하고, 상기 제 2 카메라부로부터 수신된 영상 신호를 기초로 상기 차량의 좌측면에 대응되는 제 2 영상 정보를 생성하며, 상기 제 3 카메라부로부터 수신된 영상 신호를 기초로 상기 차량의 우측면에 대응되는 제 3 영상 정보를 생성하고, 상기 제 2 영상 정보에 따른 프레임 및 상기 제 3 영상 정보에 따른 프레임 각각에 대해 영상 분석을 통해 1열 좌석 및 하나 이상의 후열 좌석과 각각 대응되는 복수의 좌석 영역을 식별하여 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역을 검출하며, 객체가 존재하는 하나 이상의 좌석 영역을 대상으로 상기 관심 영역의 검출 여부에 따른 상기 좌석 영역별 탑승자의 안전벨트 착용 여부에 대한 판단 결과 정보를 생성하여 상기 차량 번호 정보와 함께 제공하는 제어 장치를 포함할 수 있다.

본 발명과 관련된 일 예로서, 상기 검지부는, 루프 코일을 이용하여 차량을 감지하는 루프 검지기, 레이더 신호를 이용하여 차량을 감지하는 레이더 검지기, 레이저 신호를 기초로 차량을 감지하는 레이저 검지기 및 상기 감시 대상 영역을 촬영하여 영상 분석을 통해 차량을 감지하는 영상 검지기 중 어느 하나로 구성되는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 복수의 좌석 영역은 운전선, 조수석 및 2열 이상을 구성하는 복수의 좌석과 각각 대응되는 영역을 포함하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 제 2 카메라부 및 제 3 카메라부는 NIR(Near Infrared) 카메라로 구성되어, 상기 차량의 창문에 의한 반사나 창문의 코팅에 의한 영향 없이 상기 탑승자에 대응되는 객체가 포함된 영상 정보를 제공하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 제어 장치는, 상기 제 2 영상 정보에 따른 프레임 및 상기 제 3 영상 정보에 따른 프레임 각각에 대해 영상 분석을 통해 차량의 필러에 해당하는 복수의 필러 영역을 검출한 후 상기 복수의 필러 영역을 기준으로 상기 복수의 좌석 영역을 검출하며, 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역을 검출하여 상기 관심 영역의 검출 여부 및 상기 관심 영역이 검출된 경우 상기 관심 영역의 후단에 인접한 필러 영역과 상기 관심 영역 사이의 각도를 기초로 상기 탑승자의 안전벨트 착용 여부를 판단하고, 객체가 존재하는 좌석 영역별 탑승자의 안전벨트 착용 여부에 대한 판단 결과 정보를 생성하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 제어 장치는, 상기 관심 영역이 검출되지 않거나 상기 각도가 미리 설정된 기준치 미만인 경우 상기 탑승자가 안전벨트를 착용하지 않은 것으로 판단하고, 상기 각도가 미리 설정된 기준치 이상인 경우 상기 탑승자가 안전벨트를 착용한 것으로 판단하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 제어 장치는, 상기 검지부 및 상기 제 1 내지 제 3 카메라부와 통신하는 통신부와, 상기 검지부로부터 상기 차량 검지 신호 수신시 상기 제 2 카메라부로부터 수신된 영상 신호에서 하나 이상의 프레임을 추출하여 제 2 영상 정보를 생성하고, 상기 제 3 카메라로부터 수신된 영상 신호에서 하나 이상의 프레임을 추출하여 제 3 영상 정보를 생성하는 촬영 관리부와, 상기 제 1 영상 정보에 대한 영상 분석을 통해 차량 번호를 인식하여 상기 차량 번호 정보를 생성하는 번호 인식부와, 상기 제 2 영상 정보에 대한 영상 분석을 통해 상기 차량의 좌측면에 구성된 복수의 필러와 각각 대응되는 복수의 필러 영역을 검출하고, 상기 복수의 필러 영역을 기준으로 복수의 좌석 영역을 검출하며, 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역을 검출하여 상기 관심 영역의 검출 여부 및 상기 관심 영역이 검출된 경우에 고려되는 상기 관심 영역의 후단에 인접한 필러 영역과 상기 관심 영역 사이의 각도를 기초로 상기 탑승자의 안전벨트 착용 여부를 판단하고, 판단 결과에 따라 상기 좌측면에 대응되는 1열 좌석 및 하나 이상의 후열 좌석 중 객체가 존재하는 하나 이상의 좌석 영역과 각각 대응되는 좌석별 탑승자의 안전벨트 착용 여부에 대한 제 1 결과 정보를 생성하는 좌측면 판단부와, 상기 제 3 영상 정보에 대한 영상 분석을 통해 상기 차량의 우측면에 구성된 복수의 필러와 각각 대응되는 복수의 필러 영역을 검출하고, 상기 복수의 필러 영역을 기준으로 복수의 좌석 영역을 검출하며, 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역을 검출하여 상기 관심 영역의 검출 여부 및 상기 관심 영역이 검출된 경우에 고려되는 상기 관심 영역의 후단에 인접한 필러 영역과 상기 관심 영역 사이의 각도를 기초로 상기 탑승자의 안전벨트 착용 여부를 판단하고, 판단 결과에 따라 상기 우측면에 대응되는 1열 좌석 및 하나 이상의 후열 좌석 중 객체가 존재하는 하나 이상의 좌석 영역과 각각 대응되는 좌석별 탑승자의 안전벨트 착용 여부에 대한 제 2 결과 정보를 생성하는 우측면 판단부 및 상기 번호 인식부와 상기 좌측면 판단부 및 우측면 판단부를 제어하여 상기 제 1 및 제 2 결과 정보를 기초로 판단 결과 정보를 생성한 후 상기 번호판 정보와 함께 제공하는 결과 제공부를 포함하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 통신부는 외부 서버와 통신하며, 상기 제어부는, 상기 판단 결과 정보 및 차량 번호 정보를 포함하는 검출 결과 정보를 생성하여 상기 통신부를 통해 상기 외부 서버에 전송하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 서비스 제공 시스템은, 상기 주행 차량과 마주보도록 배치되는 전광판 장치 및 음향 출력부 중 적어도 하나를 더 포함하고, 상기 제어 장치는 상기 판단 결과 정보를 기초로 안전벨트를 미착용한 탑승자가 존재하면 안전벨트 착용 안내를 위한 안내 정보를 생성한 후 상기 전광판 장치로 전송하여 상기 전광판 장치를 통해 상기 안내 정보가 표시되도록 하거나 상기 음향 출력부로 상기 안내 정보를 전송하여 상기 안내 정보에 대응되는 음성 또는 음향이 상기 음향 출력부를 통해 출력되도록 하는 것을 특징으로 할 수 있다.

본 발명의 실시예에 따른, 제어 장치의 안전벨트 착용 검출을 위한 서비스 제공 방법은, 감시 대상 영역을 통과하는 차량에 대한 차량 검지 신호를 생성하여 전송하는 검지부로부터 차량 검지 신호 수신시 제 1 내지 제 3 카메라부에 촬영 제어 신호를 전송하는 단계와, 상기 촬영 제어 신호를 수신하는 상기 제 1 카메라부로부터 수신된 제 1 영상 정보를 기초로 차량 번호 정보를 생성하는 단계와, 상기 촬영 제어 신호를 수신한 상기 제 2 카메라부로부터 상기 차량의 좌측면에 대응되는 제 2 영상 정보를 수신하는 단계와, 상기 촬영 제어 신호를 수신한 상기 제 3 카메라부로부터 상기 차량의 우측면에 대응되는 제 3 영상 정보를 수신하는 단계 및 상기 제 2 영상 정보에 따른 프레임 및 상기 제 3 영상 정보에 따른 프레임 각각에 대해 영상 분석을 통해 복수의 좌석 영역을 검출하고, 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역의 검출 여부에 따른 좌석 영역별 탑승자의 안전벨트 착용 여부에 대한 판단 결과 정보를 생성하여 상기 차량 번호 정보와 함께 제공하는 단계를 포함할 수 있다.

본 발명은 복수의 카메라부를 차량의 좌측면 및 우측면을 촬영할 수 있도록 배치한 후 상기 복수의 카메라부를 통해 얻어진 영상에 대한 영상 분석을 통해 차량의 1열 좌석 뿐만 아니라 2열 이상의 후열 좌석에 대해서도 용이하게 안전벨트 착용 여부를 검출할 수 있어, 차량의 후열 좌석에 탑승하여 안전벨트 착용에 소홀한 탑승자에 대해서 안전벨트 착용을 유도하여 차량에 탑승하는 탑승자의 안전벨트 미착용으로 인한 사망률 및 상해 수준을 감소시키고 탑승자의 안전을 도모하는 효과가 있다.

또한, 본 발명은 차량의 좌측면 및 우측면에 대한 영상 촬영을 기반으로 얻어진 영상에서 안전벨트에 해당하는 관심 영역을 검출한 후 해당 관심 영역과 차량의 필러에 해당하는 필러 영역 사이의 각도를 기반으로 안전벨트 착용 여부를 검출할 수 있으므로, 탑승자의 신체 일부에 의해 안전벨트의 일부가 가려지는 경우에도 정확하게 안전벨트 착용 여부를 검출할 수 있도록 지원하는 효과가 있다.

더하여, 본 발명은 차량의 전열 뿐만 아니라 후열 좌석에 대해서도 탑승자별 안전벨트 착용 여부에 대한 판단 결과를 생성한 후 교통 단속과 관련된 외부 서버에 전송하여 안전벨트 미착용에 대한 단속이 용이하게 이루어지도록 지원하는 효과가 있다.

도 1 및 도 2는 본 발명의 실시예에 따른 본 발명의 실시예에 따른 안전벨트 착용 검출을 위한 서비스 제공 시스템의 구성도.
도 3 내지 도 5는 본 발명의 실시예에 따른 카메라부의 구성 예시도.
도 6은 본 발명의 실시예에 따른 제어 장치의 상세 구성도.
도 7 및 도 8은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 안전벨트 착용 검출을 위한 서비스 제공 방법에 대한 순서도.
도 9 내지 도 14는 본 발명의 실시예에 따른 본 발명의 실시예에 따른 안전벨트 착용 검출을 위한 서비스 제공 시스템의 안전벨트 착용 여부 판단에 대한 동작 예시도.

이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.

도 1은 본 발명의 실시예에 따른 안전벨트 착용 검출을 위한 서비스 제공 시스템의 개략 구성도이며, 도 2는 본 발명의 실시예에 따른 안전벨트 착용 검출을 위한 서비스 제공 시스템(이하, 서비스 제공 시스템)의 상세 구성도이다.

도시된 바와 같이, 본 발명에 따른 서비스 제공 시스템은, 감시 대상 영역을 통과하는 차량에 대한 차량 검지 신호를 생성하여 전송하는 검지부(10)와, 상기 차량의 번호판을 촬영하는 제 1 카메라부(20)와, 상기 차량의 좌측면을 촬영하는 제 2 카메라부(30)와, 상기 차량의 우측면을 촬영하는 제 3 카메라부(40) 및 통신망을 통해 상기 검지부(10), 제 1 카메라부(20), 제 2 카메라부(30) 및 제 3 카메라부(40)와 통신하여 상기 차량에 탑승한 탑승자별로 안전벨트 착용 여부를 판단한 판단 결과 정보를 생성하는 제어 장치(100)를 포함하여 구성될 수 있다.

이때, 본 발명에서 설명하는 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.

상기 검지부(10)는, 루프 코일을 이용하여 차량을 감지하는 루프 검지기, 레이더(radar) 신호를 이용하여 차량을 감지하는 레이더 검지기, 레이저(laser) 신호를 기초로 차량을 감지하는 레이저 검지기 및 상기 감시 대상 영역을 촬영하여 영상 분석을 통해 차량을 감지하는 영상 검지기 중 어느 하나로 구성될 수 있다.

일례로, 상기 검지부(10)가 레이저 검지기로 구성된 경우, 상기 검지부(10)는, 레이저 신호를 기초로 상기 차량이 주행하는 도로 상에 상기 감시 대상 영역을 설정할 수 있으며, 상기 감시 대상 영역과 가까워지는 방향으로 주행하는 차량의 상기 감시 대상 영역 통과시 상기 레이저 신호를 통해 차량을 검지하고, 상기 차량의 검지에 따른 트리거(trigger) 신호인 차량 검지 신호를 생성하여 상기 제어 장치(100)에 전송할 수 있다.

또한, 상기 제 1 카메라부(20)는, 상기 차량의 전면과 마주보도록 배치되어 상기 차량의 번호판 영역을 촬영하여 제 1 영상 정보를 생성한 후 상기 제어 장치(100)에 전송할 수 있다.

이때, 상기 제 1 카메라부(20)는, 영상 분석 기능을 수행하는 영상 처리부가 포함되어 상기 영상 처리부를 통해 상기 촬영된 번호판 영역으로부터 차량 번호를 인식하여 차량 번호 정보를 생성한 후 상기 제어 장치(100)에 전송할 수도 있다.

또한, 상기 제 2 카메라부(30)는, 상기 차량의 좌측면을 촬영하도록 차도나 인도 등에 배치될 수 있으며, 상기 차량의 좌측면 촬영에 따른 제 2 영상 신호를 생성하여 상기 제어 장치(100)에 통신망을 통해 전송할 수 있다.

또는, 상기 제 2 카메라부(30)는 상기 차량 검지 신호를 기초로 상기 제어 장치(100)가 생성한 촬영 제어 신호를 상기 제어 장치(100)로부터 수신하면 차량의 좌측면을 촬영하여 제 2 영상 정보를 생성한 후 상기 제어 장치(100)에 전송할 수 있다.

이때, 상기 제 2 카메라부(30)는, 상기 차량의 좌측면 촬영에 따라 차량의 좌측면 영역을 포함하는 제 2 영상 신호 또는 제 2 영상 정보를 생성하여 상기 제어 장치(100)에 통신망을 통해 전송할 수 있다.

또한, 상기 제 2 카메라부(30)는, 상기 촬영 제어 신호를 수신한 시점부터 차량의 좌측면을 촬영하여 미리 설정된 시간 동안 하나 이상의 프레임을 포함하는 제 2 영상 정보를 생성할 수 있다.

또한, 상기 제 3 카메라부(40)는, 상기 차량의 우측면을 촬영하도록 차도나 인도 등에 배치될 수 있으며, 상기 차량의 우측면 촬영에 따른 제 3 영상 신호를 생성하여 상기 제어 장치(100)에 통신망을 통해 전송할 수 있다.

또는, 상기 제 3 카메라부(40)는, 상기 차량 검지 신호를 기초로 상기 제어 장치(100)가 생성한 촬영 제어 신호를 상기 제어 장치(100)로부터 수신하면 차량의 우측면을 촬영하여 제 3 영상 정보를 생성한 후 상기 제어 장치(100)에 전송할 수 있다.

또한, 상기 제 3 카메라부(40)는, 상기 차량의 우측면 촬영에 따라 차량의 우측면 영역을 포함하는 제 3 영상 신호 또는 제 3 영상 정보를 생성하여 상기 제어 장치(100)에 통신망을 통해 전송할 수 있다.

이때, 상기 제 3 카메라부(40)는, 상기 촬영 제어 신호를 수신한 시점부터 차량의 우측면을 촬영하여 미리 설정된 시간 동안 하나 이상의 프레임을 포함하는 제 3 영상 정보를 생성할 수 있다.

또한, 상기 제 2 카메라부(30) 및 제 3 카메라부(40)는 각각 하나 이상의 카메라로 구성될 수 있다.

이때, 상기 제 2 카메라부(30) 및 제 3 카메라부(40)가 각각 하나의 카메라로 구성된 경우 상기 제 2 카메라부(30) 및 제 3 카메라부(40)는 각각 상기 촬영 제어 신호를 수신한 시점부터 미리 설정된 시간 간격으로 촬영하여 복수의 프레임(프레임 이미지)을 포함하는 영상 정보(제 2 영상 정보 또는 제 3 영상 정보)를 생성할 수 있으며, 해당 영상 정보를 제어 장치(100)에 전송할 수 있다.

또한, 상기 제 2 카메라부(30) 및 제 3 카메라부(40)가 각각 복수의 카메라를 포함하도록 구성된 경우, 상기 복수의 카메라 각각은 촬영 제어 신호를 기초로 상호 간 서로 다른 시점의 프레임을 생성하여 상기 제어 장치(100)에 전송할 수 있다.

또한, 상기 제어 장치(100)는 상기 제 2 카메라부(30)에 포함되는 복수의 카메라를 상기 제어 장치(100)에 미리 저장된 카메라 설정 정보를 기초로 식별할 수 있으며, 상기 제 2 카메라부(30)에 포함된 복수의 카메라로부터 수신되는 복수의 프레임을 그룹핑하여 제 2 영상 정보를 생성할 수 있다. 또한, 상기 제어 장치(100)는 상기 제 3 카메라부(40)에 포함되는 복수의 카메라를 상기 카메라 설정 정보를 기초로 식별할 수 있으며, 상기 제 3 카메라부(40)에 포함된 복수의 카메라로부터 수신되는 복수의 프레임을 그룹핑하여 제 3 영상 정보를 생성할 수 있다.

또한, 도 3에 도시된 바와 같이, 상기 제 2 카메라부(30) 및 제 3 카메라부(40) 각각에 포함된 하나 이상의 카메라는 각각 NIR(Near Infrared) 카메라로 구성되어 적외선을 통해 차량의 창문에 부착된 틴팅(tinting) 필름을 투과하여 탑승객에 대응되는 객체가 포함된 제 2 영상 신호 또는 제 3 영상 신호(제 2 영상 정보 또는 제 3 영상 정보)를 생성할 수 있다.

또한, 상기 제 2 카메라부(30) 및 제 3 카메라부(40) 각각에 포함된 하나 이상의 카메라를 NIR 카메라로 구성함으로써, 차량의 창문에 의한 반사광이나 창문의 코팅에 의한 영향 없이 차량 내 탑승자를 용이하게 촬영할 수 있다.

또한, 본 발명에 따른 서비스 제공 시스템은 제 2 카메라부(30)와 인접 배치되어 상기 차량의 좌측면에 적외선 조명을 제공하는 하나 이상의 좌측 적외선 조명과 상기 제 3 카메라부(40)와 인접 배치되어 차량의 우측면에 적외선 조명을 제공하는 하나 이상의 우측 적외선 조명을 포함하는 적외선 조명부(50)를 더 포함하여 구성될 수 있으며, 이를 통해 차량 내 탑승자를 더욱 용이하게 촬영할 수 있다.

또한, 도 4에 도시된 바와 같이, 상기 제 2 카메라부(30) 및 제 3 카메라부(40) 각각에 구성되는 하나 이상의 카메라는 차량의 높이가 가장 낮은 소형차부터 가장 높은 승합차까지의 안전벨트가 잘 보이는 높이에 설치되는 것이 바람직하다.

이때, 카메라의 높이는 가장 높은 승합차 창문의 하단보다 높고, 카메라의 최대 높이는 카메라에서 가장 낮은 소형차 탑승자의 안전벨트가 보이는 높이로 구성되는 것이 바람직하다.

또한, 2개 이상 복수 차로의 경우 카메라가 검지 대상 차로의 차량을 검지하는데 있어, 비검지 차로를 주행하는 차량에 의해 가려지지 않도록 충분히 높게 설치되는 것이 바람직하다.

또한, 도 5에 도시된 바와 같이, 상기 카메라의 촬영 범위는 해상도, 렌즈의 배율에 따라 차량의 1열 또는 2열 이상의 복수 열을 촬영할 수 있다.

또한, 상기 제 2 카메라부(30) 또는 제 3 카메라부(40)는 촬영 대상 차량의 열의 수에 따라 차량 1대를 카메라 1대 또는 2대 이상의 카메라를 사용하여 촬영할 수 있다.

한편, 상기 제어 장치(100)는 감시 대상 영역을 통과하는 차량의 검지에 따른 차량 검지 신호 수신시 상기 제 1 내지 제 3 카메라부(20, 30, 40)로부터 수신되는 영상 신호 또는 영상 정보를 기초로 차량 내 탑승자의 안전벨트 착용 여부를 판단하고, 이에 대한 판단 결과를 상기 차량의 차량 번호와 함께 제공할 수 있는데, 이를 이하 도면을 참고하여 상세히 설명한다.

우선, 도 6을 참고하여 상기 제어 장치(100)의 상세 구성을 설명하면, 도시된 바와 같이 상기 제어 장치(100)는, 통신부(110)와, 저장부(120) 및 제어부(130)를 포함하여 구성될 수 있다.

이때, 상기 통신부(110)는 통신망을 통해 상기 제 1 내지 제 3 카메라부(20, 30, 40)와 통신할 수 있다.

또한, 상기 저장부(120)는 각종 정보를 저장할 수 있으며, 하나 이상의 DB를 포함하여 구성될 수 있다.

또한, 상기 제어부(130)는 상기 제어 장치(100)의 전반적인 제어 기능을 수행하며, 상기 제어부(130)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다.

또한, 상기 통신부(110) 및 저장부(120)는 상기 제어부(130)에 포함되어 구성될 수도 있다.

또한, 상기 제어부(130)는, 통신부(110)를 통해 상기 검지부(10) 및 상기 제 1 내지 제 3 카메라부(20, 30, 40)와 통신할 수 있으며, 이하에서 상기 통신부(110)를 통한 통신 구성은 생략하기로 한다.

상술한 구성을 토대로, 도 7의 순서도를 참고하여 상기 제어부(130)의 상세 동작 구성을 설명한다.

우선, 상기 제어부(130)는, 상기 검지부(10)로부터 상기 차량 검지 신호 수신시 촬영 제어 신호를 생성하여 상기 제 1 내지 제 3 카메라부(20, 30, 40)에 전송할 수 있다(S1).

이때, 상기 제어부(130)는, 차량 검지 신호 및 촬영 제어 신호 중 적어도 하나를 포함하는 로그 정보를 생성하여 상기 저장부(120)에 저장할 수 있다.

여기서, 상기 저장부(120)는 상기 로그 정보와 차량 번호 정보 및 이하에서 설명되는 판단 결과 정보를 상호 매칭하여 저장하기 위한 로그 DB를 포함하여 구성될 수 있으며, 상기 제어부(130)는, 상기 로그 정보를 상기 로그 DB에 저장할 수 있다.

또한, 상기 제어부(130)는, 상기 촬영 제어 신호를 수신한 상기 제 1 카메라부(20)로부터 수신된 제 1 영상 정보를 기초로 영상 분석을 통해 차량 번호를 인식한 후 상기 인식된 차량 번호에 대한 차량 번호 정보를 생성하고, 상기 차량 번호 정보에 대응되는 상기 로그 정보와 매칭하여 상기 로그 DB에 저장할 수 있다(S2).

이때, 상기 제어부(130)는, 상기 제 1 카메라부(20)로부터 상기 차량 번호 정보를 바로 수신할 수도 있으며, 상기 차량 번호 정보를 상기 로그 정보에 포함시킬 수도 있다.

또한, 상기 제어부(130)는, 상기 제 2 카메라부(30)로부터 전열 좌석(1열 좌석) 및 2열 이상의 하나 이상의 후열 좌석을 포함하는 차량의 좌측면에 대한 좌측면 영역을 포함하는 제 2 영상 신호 또는 제 2 영상 정보를 수신하며, 상기 제 3 카메라부(40)로부터 전열 좌석(1열 좌석) 및 2열 이상의 하나 이상의 후열 좌석을 포함하는 차량의 우측면에 대한 우측면 영역을 포함하는 제 3 영상 신호 또는 제 3 영상 정보를 수신할 수 있다.

또한, 상기 제어부(130)는, 상기 제 2 영상 신호 수신시 상기 제 2 영상 신호로부터 하나 이상의 프레임을 추출하여 제 2 영상 정보를 생성하고, 상기 제 3 영상 신호 수신시 제 3 영상 신호로부터 하나 이상의 프레임을 추출하여 제 3 영상 정보를 생성할 수 있다(S3).

이에 따라, 상기 제어부(130)는, 상기 제 2 영상 정보에 따른 프레임 및 상기 제 3 영상 정보에 따른 프레임 각각에 대해 영상 분석을 통해 복수의 좌석 영역을 식별하여 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역을 검출할 수 있으며, 상기 복수의 좌석 영역별로 상기 관심 영역의 검출 여부에 따른 좌석 영역별 탑승자의 안전벨트 착용 여부에 대한 판단 결과 정보를 생성할 수 있다(S4, S5, S6).

이때, 상기 복수의 좌석 영역은 운전선, 조수석 및 2열 이상을 구성하는 복수의 좌석과 각각 대응되는 영역을 포함할 수 있으며, 상기 운전석 및 조수석은 차량의 1열 좌석인 상기 전열 좌석에 대응되며, 상기 2열 이상의 좌석은 상기 하나 이상의 후열 좌석에 대응될 수 있다.

또한, 상기 제어부(130)는, 상기 판단 결과 정보에 대응되는 차량 검지 신호 또는 촬영 제어 신호가 포함된 로그 정보를 상기 로그 DB에서 식별하고, 상기 판단 결과 정보를 상기 식별된 로그 정보와 매칭하여 상기 로그 DB에 저장할 수 있다. 이때, 상기 제어부(130)는, 상기 판단 결과 정보를 상기 식별된 로그 정보에 포함시켜 상기 로그 DB에 저장할 수도 있다.

또한, 상기 제어부(130)는, 상기 제 2 영상 정보에 따른 하나 이상의 프레임 및 상기 제 3 영상 정보에 따른 하나 이상의 프레임 각각에 대해 영상 분석을 통해 차량의 필러에 해당하는 하나 이상의 필러 영역을 식별한 후 상기 하나 이상의 필러 영역을 기준으로 복수의 좌석 영역을 식별할 수 있다.

또한, 상기 제어부(130)는, 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역을 검출하여 상기 관심 영역의 검출 여부 및 상기 관심 영역이 검출된 경우에 산출되는(고려되는) 상기 관심 영역의 후단에 가장 인접한 필러 영역과 상기 관심 영역 사이의 각도를 기초로 상기 탑승자의 안전벨트 착용 여부를 판단하고, 객체가 존재하는 좌석 영역별 탑승자의 안전벨트 착용 여부에 대한 판단 결과 정보를 생성할 수 있으며, 상기 판단 결과 정보에 대응되는 로그 정보와 매칭하여 상기 로그 DB에 저장할 수 있다.

또한, 상기 제어부(130)는, 상기 로그 정보와 매칭된 판단 결과 정보 및 차량 번호 정보를 제공하거나 미리 설정된 외부 서버(400)에 통신부(110)를 통해 전송할 수 있다(S7).

상술한 구성을 토대로, 상기 제어부(130)의 상세 동작 구성을 더욱 상세히 설명한다.

우선, 도시된 바와 같이, 상기 제어부(130)는, 촬영 관리부(131), 번호 인식부(132), 좌측면 판단부(133), 우측면 판단부(134) 및 결과 제공부(135)를 포함하는 복수의 구성부를 포함하여 구성될 수 있다.

이때, 제어부(130)를 구성하는 다양한 구성부 중 적어도 하나는 다른 하나에 포함되어 구성될 수도 있다.

또한, 상기 제어부(130)를 구성하는 복수의 구성부는 데이터 처리가 가능한 프로세서 등에 의해 구현될 수 있으며, 각각이 분리되어 상이한 프로세서에 의해 구현될 수도, 하나의 프로세서 내에서 기능적으로 분리될 수도 있다.

우선, 촬영 관리부(131)는 상기 검지부(10)로부터 차량 검지 신호 수신시 촬영 제어 신호를 생성하여 상기 제 1 내지 제 3 카메라부(20, 30, 40)에 전송할 수 있다.

이때, 상기 촬영 관리부(131)는 상술한 바와 같이 차량 검지 신호와 상기 차량 검지 신호에 대응되는 촬영 제어 신호 중 적어도 하나를 포함하는 로그 정보를 생성하여 상기 로그 DB에 저장할 수 있다.

또한, 상기 제 2 카메라부(30) 및 제 3 카메라부(40)는 촬영 제어 신호와 관계없이 상시 촬영하도록 동작할 수도 있다.

이에 따라, 상기 제 2 카메라부(30)는 상시 촬영을 통해 생성한 제 2 영상 신호를 상기 제어 장치(100)로 실시간 또는 주기적으로 전송할 수 있으며, 상기 제 3 카메라부(40)는 상시 촬영을 통해 생성한 제 3 영상 신호를 상기 제어 장치(100)로 실시간 또는 주기적으로 전송할 수 있다.

이때, 상기 촬영 관리부(131)는 차량 이미지 추출부로서 동작하고, 상기 촬영 관리부(131)는, 상기 차량 검지 신호 수신시 상기 제 2 영상 신호로부터 차량 검지 신호를 수신한 시점부터 미리 설정된 시간 동안 하나의 프레임 이미지를 추출하거나 미리 설정된 시간 간격으로 복수의 프레임 이미지를 추출하여 상기 제 2 영상 신호로부터 추출된 하나 이상의 프레임 이미지를 포함하는 상기 제 2 영상 정보를 생성한 후 상기 좌측면 판단부(133)에 제공할 수 있다.

이때, 상기 촬영 관리부(131)는 상기 제 2 영상 신호로부터 미리 설정된 시간 동안 미리 설정된 시간 간격으로 미리 설정된 개수의 복수의 프레임 이미지를 포함하는 제 2 영상 정보를 생성할 수 있다.

마찬가지로, 상기 촬영 관리부(131)는, 상기 차량 검지 신호 수신시 상기 제 3 영상 신호로부터 차량 검지 신호를 수신한 시점부터 미리 설정된 시간 동안 하나의 프레임 이미지를 추출하거나 미리 설정된 시간 간격으로 복수의 프레임 이미지를 추출하여 상기 제 3 영상 신호로부터 추출된 복수의 프레임 이미지를 포함하는 상기 제 3 영상 정보를 생성한 후 상기 우측면 판단부(134)에 제공할 수 있다.

이때, 상기 촬영 관리부(131)는 상기 제 3 영상 신호로부터 미리 설정된 시간 동안 미리 설정된 시간 간격으로 미리 설정된 개수의 복수의 프레임 이미지를 포함하는 제 3 영상 정보를 생성할 수 있다.

또한, 상기 검지부(10)가 영상 검지기로 구성된 경우 상기 검지부(10)는 차량 촬영을 통해 획득된 영상을 분석하여 차량의 종류, 차량의 길이, 차량의 속도 등을 분석한 차량 분석 정보를 생성한 후 상기 제어 장치(100)에 전송할 수 있으며, 상기 제어 장치(100)의 촬영 관리부(131)는 상기 차량 분석 정보를 수신하면 상기 차량 분석 정보에 따라 프레임 이미지의 추출을 위한 시간 간격, 프레임 이미지의 추출 개수 등과 같은 촬영 제어 속성별 파라미터를 결정하고, 상기 촬영 제어 속성별 파라미터를 포함하는 촬영 제어 신호를 상기 제 2 카메라부(30) 및 제 3 카메라부(40)에 전송하거나, 상기 촬영 제어 속성별 파라미터에 따라 상기 제 2 영상 신호 및 제 3 영상 신호 각각으로부터 하나 이상의 프레임 이미지를 추출할 수 있다.

또한, 번호 인식부(132)는, 상기 제 1 카메라부(20)로부터 수신되는 제 1 영상 정보를 기초로 영상 분석을 수행하여 차량 번호를 인식하고, 상기 인식된 차량 번호를 기초로 차량 번호 정보를 생성한 후 상기 로그 정보와 매칭하여 상기 로그 DB에 저장할 수 있다.

이때, 상기 번호 인식부(132)는, 상기 제 1 카메라부(20)로부터 차량 번호 정보를 바로 수신할 수 있으며, 해당 차량 번호 정보를 상기 로그 정보와 매칭하여 로그 DB에 저장할 수 있다.

한편, 상기 좌측면 판단부(133) 및 우측면 판단부(134)는 각각 영상 정보를 기초로 좌석별 안전벨트 착용 여부를 검출할 수 있는데, 이를 도 8의 순서도를 참고하여 다른 도면과 함께 설명한다.

우선, 도 9에 도시된 바와 같이, 상기 좌측면 판단부(133)는, 상기 차량의 좌측면을 촬영하는 제 2 카메라부(30)로부터 수신되거나 상기 촬영 관리부(131)로부터 수신되는 상기 제 2 영상 정보를 전처리한 후 상기 제 2 영상 정보에 포함된 프레임에 대한 영상 분석을 통해 상기 프레임에서 차량의 좌측면에 위치하는(대응되는) 복수의 창문과 복수의 필러가 포함된 영역에 대응되는 창문 영역(또는 유리창 영역)(500)을 검출하고(S11), 상기 창문 영역에서 상기 차량을 구성하는 복수의 필러와 각각 대응되는 복수의 필러 영역(501)을 검출할 수 있다.

또한, 상기 좌측면 판단부(133)는, 영상 분석을 통해 상기 복수의 필러 영역(501)을 기준으로 상기 창문 영역에서 복수의 좌석 영역(502)을 식별할 수 있다(S12). 일례로, 상기 좌측면 판단부(133)는 B필러에 대응되는 제 1 필러 영역을 기준으로 1열 좌측 좌석에 대응되는 제 1 좌석 영역을 검출하고, C필러에 대응되는 제 2 필러 영역을 기준으로 2열 좌측 좌석에 대응되는 제 2 좌석 영역을 검출할 수 있다.

또한, 상기 좌측면 판단부(133)는, 영상 분석을 통해 상기 복수의 좌석 영역(502)별로 탑승자에 대응되는 객체를 검출할 수 있으며, 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역(503)을 검출할 수 있다(S13). 이때, 상기 좌측면 판단부(133)는 좌석 영역(502)에서 객체가 검출되지 않으면 관심 영역(503)을 검출하지 않을 수 있다.

일례로, 도 10(a)에 도시된 바와 같이, 상기 좌측면 판단부(133)는 차량의 좌측면에 대한 제 2 영상 정보에 포함된 프레임에서 영상 분석을 통해, 차량의 좌측면에 대응되는 창문 영역(500a)을 검출한 후 해당 창문 영역(500a)에서 복수의 필러와 각각 대응되는 복수의 필러 영역(501a, 501b)을 검출하고, 상기 복수의 필러 영역(501a, 501b) 중 앞(전방)에 위치하는 제 1 필러 영역(501a)을 기준으로 1열 좌측 좌석에 대응되는 제 1 좌석 영역(502a)을 검출할 수 있으며, 상기 제 1 필러 영역의 뒤(후방)에 위치하는 제 2 필러 영역(501b)을 기준으로 차량의 좌측면에 인접한 2열 좌측 좌석에 대응되는 제 2 좌석 영역(502b)을 검출할 수 있다.

또한, 상기 좌측면 판단부(133)는, 제 1 좌석 영역(502a) 및 제 2 좌석 영역(502b) 각각에 대해 영상 분석을 통해 객체를 검출하고, 객체가 검출되면 상기 검출된 객체에 대응되는 객체 영역에서 안전 벨트에 해당하는 관심 영역(503a, 503b)을 영상 분석을 통해 검출할 수 있다.

일례로, 상기 좌측면 판단부(133)는, 상기 제 1 좌석 영역(502a)에 포함된 객체 영역에서 제 1 관심 영역(503a)을 검출하고, 제 2 좌석 영역(502b)에 포함된 객체 영역에서 제 2 관심 영역(503b)을 검출할 수 있다.

이때, 상기 좌측면 판단부(133)는, 상기 객체 영역에서 상기 관심 영역(503a, 503b)이 검출되면, 상기 관심 영역(503a, 503b)이 검출된 객체 영역을 포함하는 제 1 좌석 영역(502a) 또는 제 2 좌석 영역(502b)에 대해 안전벨트 착용(착용 상태)에 대한 제 1 결과값을 산출(생성)할 수 있다.

또는, 도 10(b)에 도시된 바와 같이, 상기 좌측면 판단부(133)는, 상기 객체 영역에서 상기 관심 영역이 검출되지 않는 경우(S14) 안전벨트를 미착용한 것으로 판단하고(S15), 상기 관심 영역이 검출되지 않은 객체 영역이 포함된 제 1 좌석 영역(502a) 또는 제 2 좌석 영역(502b)에 대해 안전벨트 미착용(미착용 상태)에 대한 제 2 결과값을 산출(생성)할 수 있다.

이때, 탑승자의 안전벨트 착용 여부를 더욱 정확하게 검출하기 위해, 상기 좌측면 판단부(133)는, 특정 객체 영역에서 관심 영역이 검출되고, 상기 특정 객체 영역을 포함하는 특정 좌석 영역(제 1 좌석 영역 또는 제 2 좌석 영역) 또는 상기 관심 영역의 후단에 가장 인접한 특정 필러 영역과 상기 관심 영역 사이의 각도(배치 각도)를 기초로 상기 특정 좌석 영역에 대응되는 탑승자의 안전벨트 착용 여부를 판단할 수 있다.

여기서, 상기 좌측면 판단부(133)는, 상기 관심 영역의 후단에 가장 인접한 특정 필러 영역을 구성하는 길이 방향의 선과 상기 관심 영역을 구성하는 길이 방향의 선 사이의 각도를 측정하여 상기 관심 영역과 상기 특정 필러 영역 사이의 각도를 산출할 수 있다.

일례로, 도 10(a) 및 도 11에 도시된 바와 같이, 상기 좌측면 판단부(133)는, 상기 제 1 좌석 영역(502a)에 포함된 객체 영역에서 제 1 관심 영역(503a)이 검출되면(S14), 상기 제 1 좌석 영역(502a)에 포함된 상기 제 1 관심 영역(503a)의 후단에 가장 인접한 제 1 필러 영역(501a)과 상기 제 1 관심 영역(503a) 사이의 각도를 산출하여(S16), 상기 각도가 미리 설정된 기준치 이상인 경우(S17) 상기 제 1 좌석 영역(502a)에 대응되는 차량의 좌측면에 인접한 1열 좌측 좌석에 탑승한 탑승자가 안전벨트를 착용한 것으로 판단할 수 있다(S18).

이때, 상기 제 1 필러 영역(501a)은 차량의 좌측면에 구성된 B 필러에 대응되는 영역일 수 있다.

또한, 상기 좌측면 판단부(133)는, 상기 제 2 좌석 영역(502b)에 포함된 객체 영역에서 제 2 관심 영역(503b)이 검출되면, 상기 제 2 좌석 영역(502b)에 포함된 제 2 관심 영역(503b)의 후단에 가장 인접한 제 2 필러 영역(501b)과 상기 제 2 관심 영역(503b) 사이의 각도를 산출하여, 상기 각도가 미리 설정된 기준치 이상인 경우 상기 제 2 좌석 영역(502b)에 대응되는 차량의 좌측면에 인접한 2열 좌측 좌석에 탑승한 탑승자가 안전벨트를 착용한 것으로 판단할 수 있다.

이때, 상기 제 2 필러 영역(501b)은 차량의 좌측면에 구성된 C 필러에 대응되는 영역일 수 있다.

또한, 상기 좌측면 판단부(133)는, 제 1 좌석 영역에 포함된 객체 영역에서 관심 영역이 검출되지 않거나(S14), 상기 제 1 좌석 영역에서 상기 관심 영역이 검출된 경우에도 상기 관심 영역과 상기 제 1 필러 영역 사이의 각도가 미리 설정된 기준치 미만인 경우(S17) 상기 제 1 좌석 영역에 대응되는 차량의 좌측면에 인접한 1열 좌측 좌석에 탑승한 탑승자가 안전벨트를 착용하지 않은 것으로 판단할 수 있다(S15).

또한, 상기 좌측면 판단부(133)는, 제 2 좌석 영역에 포함된 객체 영역에서 관심 영역이 검출되지 않거나, 상기 제 2 좌석 영역에서 상기 관심 영역이 검출된 경우에도 상기 관심 영역과 상기 제 2 필러 영역 사이의 각도가 미리 설정된 기준치 미만인 경우 상기 제 2 좌석 영역에 대응되는 차량의 좌측면에 인접한 2열 좌측 좌석에 탑승한 탑승자가 안전벨트를 착용하지 않은 것으로 판단할 수 있다.

즉, 상기 좌측면 판단부(133)는 안전벨트에 해당하는 관심 영역이 필러 영역을 기준으로 수직하게 배치되어 지면과 거의 수평에 가까운 각도를 가지는 경우 탑승자가 안전벨트를 착용한 것으로 판단할 수 있으며, 해당 각도가 지면과 수직한 각도에 가까운 각도를 가지는 경우 탑승자가 안전벨트를 착용하지 않은 것으로 판단할 수 있다.

한편, 상기 좌측면 판단부(133)는, 상술한 바와 같이 제 2 영상 정보에서 검출된 복수의 좌석 영역 중 객체가 존재하는 좌석 영역별로 상기 관심 영역의 검출 여부 및 상기 관심 영역이 검출된 경우 상기 관심 영역의 후단에 인접한 필러 영역과 상기 관심 영역 사이의 각도를 기초로 상기 탑승자의 안전벨트 착용 여부를 판단하고(S19), 판단 결과에 따라 상기 좌측면에 대응되는 전열 좌석 및 하나 이상의 후열 좌석 중 객체가 존재하는 하나 이상의 좌석 영역과 각각 대응되는 좌석별 탑승자의 안전벨트 착용 여부에 대한 제 1 결과 정보를 생성할 수 있다(S20).

이때, 상기 제 1 결과 정보는 복수의 좌석 영역과 각각 대응되는 복수의 좌석 식별 정보를 포함하고, 복수의 좌석 식별 정보별로 안전벨트 착용 여부의 판단 결과에 대한 제 1 결과값 또는 제 2 결과값이 매칭되어 상기 제 1 결과 정보에 포함될 수 있다.

또한, 상기 좌측면 판단부(133)는 객체가 검출되지 않은 좌석 영역에 대해 안전벨트 착용 여부에 대한 판단을 수행하지 않고, 안전벨트 착용 여부에 대한 판단을 수행한 좌석에 대해서만 제 1 결과값 또는 제 2 결과값이 포함된 제 1 결과 정보를 생성할 수 있다.

이러한 상기 제 1 결과 정보의 일례로서, 상기 차량의 좌측면에 인접한 1열 좌측 좌석에 탑승한 탑승자가 안전벨트를 착용한 것으로 판단한 경우 1열 좌측 좌석에 대해 미리 설정된 좌석 식별 정보와 상기 제 1 결과값이 상호 매칭된 상태로 상기 제 1 결과 정보에 포함될 수 있으며, 상기 차량의 좌측면에 인접한 2열 좌측 좌석에 탑승한 탑승자가 안전벨트를 착용하지 않은 것으로 판단한 경우 2열 좌측 좌석에 대해 미리 설정된 좌석 식별 정보와 상기 제 2 결과값이 상호 매칭된 상태로 상기 제 1 결과 정보에 포함될 수 있다.

또한, 좌측 2열 좌석에 대응되는 좌석 영역에서 탑승자에 대응되는 객체가 검출되지 않은 경우 좌측 2열 좌석에 대한 제 1 결과값 및 제 2 결과값 중 어느 하나와 좌석 식별 정보가 모두 상기 제 1 결과정보에 포함되지 않을 수 있다.

또는, 상기 좌측면 판단부(133)는, 객체가 검출되지 않은 특정 좌석 영역에 대해서 안전벨트를 착용한 것으로 판단한 제 1 결과값을 생성한 후 상기 특정 좌석 영역의 좌석 식별 정보와 매칭하여 상기 제 1 결과 정보에 포함시킬 수도 있다.

상술한 좌측면 판단부(133)의 구성과 마찬가지로, 도 9에 도시된 바와 같이, 상기 우측면 판단부(134)는, 상기 차량의 우측면을 촬영하는 제 3 카메라부(40)로부터 수신되거나 상기 촬영 관리부(131)로부터 수신되는 상기 제 3 영상 정보를 전처리한 후 상기 제 3 영상 정보에 포함된 프레임에 대한 영상 분석을 통해 상기 프레임에서 차량의 우측면에 위치하는(대응되는) 복수의 창문과 복수의 필러가 포함된 영역에 대응되는 창문 영역(또는 유리창 영역)(500)을 검출하고(S11), 상기 창문 영역(500)에서 상기 차량을 구성하는 복수의 필러와 각각 대응되는 복수의 필러 영역(501)을 검출할 수 있다.

또한, 상기 우측면 판단부(134)는, 영상 분석을 통해 상기 복수의 필러 영역(501)을 기준으로 상기 창문 영역(500)에서 복수의 좌석 영역(502)을 식별할 수 있다(S12). 일례로, 상기 우측면 판단부(134)는 B필러에 대응되는 제 3 필러 영역을 기준으로 1열 우측 좌석에 대응되는 제 3 좌석 영역을 검출하고, C필러에 대응되는 제 4 필러 영역을 기준으로 2열 우측 좌석에 대응되는 제 4 좌석 영역을 검출할 수 있다.

또한, 상기 우측면 판단부(134)는, 영상 분석을 통해 차량의 우측면에 대응되는 상기 복수의 좌석 영역(502)별로 탑승자에 대응되는 객체를 검출할 수 있으며, 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역(503)을 검출할 수 있다(S13). 이때, 상기 우측면 판단부(134)는 좌석 영역(502)에서 객체가 검출되지 않으면 관심 영역(503)을 검출하지 않을 수 있다.

일례로, 도 12(a)에 도시된 바와 같이, 상기 우측면 판단부(134)는 차량의 우측면에 대한 제 3 영상 정보에 포함된 프레임에서 영상 분석을 통해, 차량의 우측면에 대응되는 창문 영역(500b)을 검출한 후 해당 창문 영역(500b)에서 차량의 우측면에 대응되는 복수의 필러와 각각 대응되는 복수의 필러 영역(501c, 501d)을 검출하고, 상기 복수의 필러 영역(501c, 501d) 중 앞(전방)에 위치하는 제 3 필러 영역(501c)을 기준으로 1열 우측 좌석에 대응되는 제 3 좌석 영역(502c)을 검출할 수 있으며, 상기 제 3 필러 영역(501c)의 뒤(후방)에 위치하는 제 4 필러 영역(501d)을 기준으로 차량의 우측면에 인접한 2열 우측 좌석에 대응되는 제 4 좌석 영역(502d)을 검출할 수 있다.

또한, 상기 우측면 판단부(134)는, 제 3 좌석 영역 및 제 4 좌석 영역(502c, 502d) 각각에 대해 영상 분석을 통해 객체를 검출하고, 객체가 검출되면 상기 검출된 객체에 대응되는 객체 영역에서 안전 벨트에 해당하는 관심 영역(503c, 503d)을 영상 분석을 통해 검출할 수 있다.

일례로, 상기 우측면 판단부(134)는, 상기 제 3 좌석 영역(502c)에 포함된 객체 영역에서 제 3 관심 영역(503c)을 검출하고, 제 4 좌석 영역(502d)에 포함된 객체 영역에서 제 4 관심 영역(503d)을 검출할 수 있다.

이때, 상기 우측면 판단부(134)는, 상기 객체 영역에서 상기 관심 영역(503c, 503d)이 검출되면 상기 관심 영역(503c, 503d)이 검출된 객체 영역을 포함하는 제 3 좌석 영역(502c) 또는 제 4 좌석 영역(502d)에 대한 안전벨트 착용(착용 상태)에 대한 제 1 결과값을 산출(생성)할 수 있다.

또는, 도 12(b)에 도시된 바와 같이, 상기 우측면 판단부(134)는, 상기 객체 영역에서 상기 관심 영역(503c, 503d)이 검출되지 않는 경우(S14) 안전벨트를 미착용한 것으로 판단하고(S15), 상기 관심 영역(503c, 503d)이 검출되지 않은 객체 영역이 포함된 제 3 좌석 영역(502c) 또는 제 4 좌석 영역(502d)에 대해 안전벨트 미착용(미착용 상태)에 대한 제 2 결과값을 산출(생성)할 수 있다.

이때, 탑승자의 안전벨트 착용 여부를 더욱 정확하게 검출하기 위해, 상기 우측면 판단부(134)는, 특정 객체 영역에서 관심 영역이 검출되고, 상기 특정 객체 영역을 포함하는 특정 좌석 영역(제 3 좌석 영역 또는 제 4 좌석 영역) 또는 상기 특정 객체 영역에 포함된 관심 영역의 후단에 가장 인접한 특정 필러 영역과 상기 관심 영역 사이의 각도(배치 각도)를 기초로 상기 특정 좌석 영역에 대응되는 탑승자의 안전벨트 착용 여부를 판단할 수 있다.

여기서, 상기 우측면 판단부(134)는, 상기 관심 영역의 후단에 가장 인접한 특정 필러 영역을 구성하는 길이 방향의 선과 상기 관심 영역을 구성하는 길이 방향의 선 사이의 각도를 측정하여 상기 관심 영역과 상기 특정 필러 영역 사이의 각도를 산출할 수 있다.

일례로, 도 11 및 도 12(a)에 도시된 바와 같이, 상기 우측면 판단부(134)는, 상기 제 3 좌석 영역(502c)에 포함된 객체 영역에서 제 3 관심 영역(503c)이 검출되면(S14), 상기 제 3 좌석 영역(502c)에 포함된 제 3 관심 영역(503c)의 후단에 가장 인접한 제 3 필러 영역(501c)과 상기 제 3 관심 영역(503c) 사이의 각도를 산출하여(S16), 상기 각도가 미리 설정된 기준치 이상인 경우(S17) 상기 제 3 좌석 영역(502c)에 대응되는 차량의 우측면에 인접한 1열 우측 좌석에 탑승한 탑승자가 안전벨트를 착용한 것으로 판단할 수 있다(S18).

이때, 상기 제 3 필러 영역(501c)은 차량의 우측면에 구성된 B 필러에 대응되는 영역일 수 있다.

또한, 상기 우측면 판단부(134)는, 상기 제 4 좌석 영역(502d)에 포함된 객체 영역에서 제 4 관심 영역(503d)이 검출되면, 상기 제 4 좌석 영역(502d)에 포함된 제 4 관심 영역(503d)의 후단에 가장 인접한 제 4 필러 영역(501d)과 상기 제 4 관심 영역(503d) 사이의 각도를 산출하여, 상기 각도가 미리 설정된 기준치 이상인 경우 상기 제 4 좌석 영역(502d)에 대응되는 차량의 우측면에 인접한 2열 우측 좌석에 탑승한 탑승자가 안전벨트를 착용한 것으로 판단할 수 있다.

이때, 상기 제 4 필러 영역(501d)은 차량의 우측면에 구성된 C 필러에 대응되는 영역일 수 있다.

또한, 상기 우측면 판단부(134)는, 제 3 좌석 영역에 포함된 객체 영역에서 관심 영역이 검출되지 않거나(S14), 상기 제 3 좌석 영역에서 상기 관심 영역이 검출된 경우에도 상기 관심 영역과 상기 제 3 필러 영역 사이의 각도가 미리 설정된 기준치 미만인 경우(S17) 상기 제 3 좌석 영역에 대응되는 차량의 우측면에 인접한 1열 우측 좌석에 탑승한 탑승자가 안전벨트를 착용하지 않은 것으로 판단할 수 있다(S15).

또한, 상기 우측면 판단부(134)는, 제 4 좌석 영역에 포함된 객체 영역에서 관심 영역이 검출되지 않거나, 상기 제 4 좌석 영역에서 상기 관심 영역이 검출된 경우에도 상기 관심 영역과 상기 제 4 필러 영역 사이의 각도가 미리 설정된 기준치 미만인 경우 상기 제 4 좌석 영역에 대응되는 차량의 우측면에 인접한 2열 우측 좌석에 탑승한 탑승자가 안전벨트를 착용하지 않은 것으로 판단할 수 있다.

즉, 상기 우측면 판단부(134)는 안전벨트에 해당하는 관심 영역이 필러 영역을 기준으로 수직하게 배치되어 지면과 거의 수평에 가까운 각도를 가지는 경우 탑승자가 안전벨트를 착용한 것으로 판단할 수 있으며, 해당 각도가 지면과 수직한 각도에 가까운 각도를 가지는 경우 탑승자가 안전벨트를 착용하지 않은 것으로 판단할 수 있다.

한편, 상기 우측면 판단부(134)는, 상술한 바와 같이 제 3 영상 정보에서 검출된 복수의 좌석 영역 중 객체가 존재하는 좌석 영역별로 상기 관심 영역의 검출 여부 및 상기 관심 영역이 검출된 경우 상기 관심 영역의 후단에 가장 인접한 필러 영역과 상기 관심 영역 사이의 각도를 기초로 상기 탑승자의 안전벨트 착용 여부를 판단하고(S19), 판단 결과에 따라 상기 우측면에 대응되는 전열 좌석 및 하나 이상의 후열 좌석 중 객체가 존재하는 하나 이상의 좌석 영역과 각각 대응되는 좌석별 탑승자의 안전벨트 착용 여부에 대한 제 2 결과 정보를 생성할 수 있다(S20).

이때, 상기 제 2 결과 정보는 복수의 좌석 영역과 각각 대응되는 복수의 좌석 식별 정보를 포함하고, 복수의 좌석 식별 정보별로 안전벨트 착용 여부의 판단 결과에 대한 제 1 결과값 또는 제 2 결과값이 매칭되어 상기 제 2 결과 정보에 포함될 수 있다.

또한, 상기 우측면 판단부(134)는 객체가 검출되지 않은 좌석 영역에 대해 안전벨트 착용 여부에 대한 판단을 수행하지 않고, 안전벨트 착용 여부에 대한 판단을 수행한 좌석에 대해서만 제 1 결과값 또는 제 2 결과값이 포함된 제 1 결과 정보를 생성할 수 있다.

이러한 상기 제 2 결과 정보의 일례로서, 상기 차량의 우측면에 인접한 1열 우측 좌석에 탑승한 탑승자가 안전벨트를 착용한 것으로 판단한 경우 1열 우측 좌석에 대한 미리 설정된 좌석 식별 정보와 상기 제 1 결과값이 상호 매칭된 상태로 상기 제 2 결과 정보에 포함될 수 있으며, 상기 차량의 우측면에 인접한 2열 우측 좌석에 탑승한 탑승자가 안전벨트를 착용하지 않은 것으로 판단한 경우 2열 우측 좌석에 대한 미리 설정된 좌석 식별 정보와 상기 제 2 결과값이 상호 매칭된 상태로 상기 제 2 결과 정보에 포함될 수 있다.

또한, 우측 2열 좌석에 대응되는 좌석 영역에서 탑승자에 대응되는 객체가 검출되지 않은 경우 우측 2열 좌석에 대한 제 1 결과값 및 제 2 결과값 중 어느 하나와 좌석 식별 정보가 모두 상기 제 2 결과정보에 포함되지 않을 수 있다.

또는, 상기 우측면 판단부(134)는, 객체가 검출되지 않은 특정 좌석 영역에 대해서 안전벨트를 착용한 것으로 판단한 제 1 결과값을 생성한 후 상기 특정 좌석 영역의 좌석 식별 정보와 매칭하여 상기 제 2 결과 정보에 포함시킬 수도 있다.

한편, 도 13에 도시된 바와 같이, 상기 차량에 3열이 존재하는 경우 상기 좌측면 판단부(133)는 제 2 영상 정보에 포함된 프레임에서 C 필러의 뒤(후방)에 위치하는 D 필러에 대응되는 제 5 필러 영역을 검출할 수 있으며, 상기 제 5 필러 영역을 기준으로 제 5 좌석 영역을 검출하고, 상기 제 5 좌석 영역에 대해 상술한 바와 같이 객체 영역 및 관심 영역을 검출한 후 상술한 방식에 따라 제 5 좌석 영역에 대응되는 차량의 좌측면에 인접한 3열 좌측 좌석에 탑승한 탑승자에 대해 안전벨트 착용 여부를 판단하여 제 1 결과 정보에 포함시킬 수 있다.

이와 마찬가지로 우측 판단부 역시, 제 3 영상 정보에 포함된 프레임에서 C 필러의 뒤(후방)에 위치하는 D 필러에 대응되는 제 6 필러 영역을 검출할 수 있으며, 상기 제 6 필러 영역을 기준으로 제 6 좌석 영역을 검출하고, 상기 제 6 좌석 영역에 대해 상술한 바와 같이 객체 영역 및 관심 영역을 검출한 후 상술한 방식에 따라 제 6 좌석 영역에 대응되는 차량의 우측면에 인접한 3열 우측 좌석에 탑승한 탑승자에 대해 안전벨트 착용 여부를 판단하여 제 2 결과 정보에 포함시킬 수 있다.

한편, 상술한 구성에서, 상기 번호 인식부(132), 좌측면 판단부(133) 및 우측면 판단부(134)는 각각 객체 인식(object detection), 세그멘테이션(segmentation), 스켈레톤(skeleton) 분석 등과 같은 다양한 영상 분석 알고리즘을 이용하여 차량 번호를 인식하거나 탑승자의 안전벨트 착용 여부를 판단할 수 있다.

또한, 상기 좌측면 판단부(133) 및 우측면 판단부(134)는 각각 딥러닝(Deep Learning) 기반의 학습 모델을 포함하여 구성될 수 있으며, 상기 학습 모델의 학습을 통해 용이하게 차량의 좌석별 안전벨트 착용 여부를 판단할 수 있는데, 이를 상세히 설명한다.

또한, 상기 좌측면 판단부(133)는 딥러닝 기반의 제 1 학습 모델을 포함하여 구성될 수 있으며, 상기 좌측면 판단부(133)는, 차량의 좌측면에 대해 촬영된 제 2 영상 정보에 포함된 프레임별로 제 1 결과 정보를 생성할 수 있으며, 상기 제 1 결과 정보에 대응되는 프레임과 제 1 결과 정보를 매칭하여 학습 데이터 셋(set)을 생성할 수 있다.

이때, 상기 좌측면 판단부(133)는, 상기 저장부(120)에 포함된 좌측 학습 DB에 상기 좌측면 판단부(133)에 의해 생성된 학습 데이터 셋을 저장하고, 상기 저장된 학습 데이터 셋을 상기 제 1 학습 모델에 학습시킬 수 있다.

이에 따라, 상기 좌측면 판단부(133)는, 상기 학습 데이터 셋을 상기 제 1 학습 모델에 학습시킬 수 있으며, 복수의 제 2 영상 정보와 각각 대응되는 복수의 프레임별로 상기 학습 데이터 셋을 생성하여 상기 제 1 학습 모델에 학습시킴으로써, 상기 제 1 학습 모델에 차량의 좌측면에 대응되는 프레임과 좌석별 안전벨트 착용 여부(제 1 결과 정보) 사이의 상관 관계가 학습되도록 제 1 학습 모델을 학습시킬 수 있다.

이에 따라, 상기 좌측면 판단부(133)는 상기 제 1 학습 모델의 학습이 완료된 경우 상기 제 2 영상 정보 수신시 상기 제 2 영상 정보에 포함된 프레임을 입력 프레임으로 상기 제 1 학습 모델에 적용하여(입력하여) 상기 제 1 학습 모델을 통해 영상(입력 프레임)을 분석하여 상기 입력 프레임에 대한 제 1 결과 정보를 상기 제 1 학습 모델을 통해 바로 생성(산출 또는 출력)할 수 있다.

또한, 우측면 판단부(134) 역시 딥러닝 기반의 제 2 학습 모델을 포함하여 구성될 수 있으며, 상기 우측면 판단부(134)는, 차량의 우측면에 대해 촬영된 제 3 영상 정보에 포함된 프레임별로 제 2 결과 정보를 생성할 수 있으며, 상기 제 2 결과 정보에 대응되는 프레임과 제 2 결과 정보를 매칭하여 학습 데이터 셋(set)을 생성할 수 있다.

이때, 상기 우측면 판단부(134)는, 상기 저장부(120)에 포함된 우측 학습 DB에 상기 우측면 판단부(134)에 의해 생성된 학습 데이터 셋을 저장하고, 상기 저장된 학습 데이터 셋을 상기 제 2 학습 모델에 학습시킬 수 있다.

또한, 상기 우측면 판단부(134)는, 생성한 상기 학습 데이터 셋을 상기 제 2 학습 모델에 학습시킬 수 있으며, 복수의 제 3 영상 정보와 각각 대응되는 복수의 프레임별로 상기 학습 데이터 셋을 생성하여 상기 제 2 학습 모델에 학습시킴으로써, 상기 제 2 학습 모델에 차량의 우측면에 대응되는 프레임과 좌석별 안전벨트 착용 여부(제 2 결과 정보) 사이의 상관 관계가 학습되도록 제 2 학습 모델을 학습시킬 수 있다.

이에 따라, 상기 우측면 판단부(134)는 상기 제 2 학습 모델의 학습이 완료된 경우 상기 제 3 영상 정보 수신시 상기 제 3 영상 정보에 포함된 프레임을 입력 프레임으로 상기 제 2 학습 모델에 적용하여(입력하여) 상기 제 2 학습 모델을 통해 영상(입력 프레임)을 분석하여 상기 입력 프레임에 대한 제 2 결과 정보를 상기 제 2 학습 모델을 통해 바로 생성(산출 또는 출력)할 수 있다.

즉, 상기 좌측면 판단부(133) 및 우측면 판단부(134)는 딥러닝 기반의 학습 모델에 프레임과 좌석별 안전벨트 착용 여부에 대한 판단 결과를 학습시켜 딥러닝 기반으로 프레임 이미지에 포함된 차량에 대한 좌석별 안전벨트 착용 여부를 결과 정보로 산출하여 제공할 수 있으며, 이를 통해 좌석 영역, 객체 영역, 관심 영역, 필러 영역 등과 같은 영역 분석을 수행할 필요 없이 빠른 속도로 프레임에 대응되는 차량의 좌석별 안전벨트 착용 여부에 대한 결과 정보를 산출할 수 있다.

이때, 상기 제 1 학습 모델 및 제 2 학습 모델은 딥러닝(Deep Learning) 알고리즘으로 구성될 수 있으며, 상기 딥러닝 알고리즘은 하나 이상의 신경망 모델로 구성될 수 있다.

또한, 본 발명에서 설명하는 신경망 모델(또는 신경망)은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성될 수 있으며, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), SVM(Support Vector Machine) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.

상술한 구성에서, 상기 번호 처리부와 좌측면 판단부(133) 및 우측면 판단부(134)는 상기 제어 장치(100)에 구성되어 영상을 분석하는 영상 분석부에 포함되는 구성부로 구성될 수 있다.

한편, 상술한 구성에서, 제 2 카메라부(30) 및 제 3 카메라부(40)에 포함된 영상 정보에 복수의 프레임이 포함된 경우 상기 프레임별로 생성된 판단 결과 정보를 기초로 다수결 방식(투표(voting) 방식)에 의해 좌석별 안전벨트 착용 여부를 결정할 수도 있는데, 이를 도 14를 참고하여 상세히 설명한다.

우선, 상기 좌측면 판단부(133)는, 제 2 영상 정보에 복수의 프레임이 포함된 경우 제 2 영상 정보에 포함된 복수의 프레임별로 상술한 바와 같이 제 1 결과 정보를 생성(산출)할 수 있으며, 상기 제 2 영상 정보에 포함된 복수의 프레임과 각각 대응되는 복수의 제 1 결과 정보를 기초로 좌석 영역별로 제 1 결과값의 개수 및 제 2 결과값을 개수를 합산하여 제 1 결과값 및 제 2 결과값 중 개수가 더 많은 결과값을 최종 결과값으로 결정하고, 상기 좌석 영역별 최종 결과값을 포함하는 좌측 결과 정보를 생성할 수 있다.

이와 마찬가지로, 상기 우측면 판단부(134)는, 제 3 영상 정보에 복수의 프레임이 포함된 경우 상기 제 3 영상 정보에 포함된 복수의 프레임별로 상술한 바와 같이 제 2 결과 정보를 생성(산출)할 수 있으며, 상기 제 3 영상 정보에 포함된 복수의 프레임과 각각 대응되는 복수의 제 2 결과 정보를 기초로 좌석 영역별로 제 1 결과값의 개수 및 제 2 결과값을 개수를 합산하여 제 1 결과값 및 제 2 결과값 중 개수가 더 많은 결과값을 좌석 영역에 대응되는 최종 결과값으로 결정하고, 상기 좌석 영역별 최종 결과값을 포함하는 우측 결과 정보를 생성할 수 있다.

한편, 상기 결과 제공부(135)는, 상기 좌측면 판단부(133)로부터 제 1 결과 정보를 수신하고, 상기 우측면 판단부(134)로부터 제 2 결과 정보를 수신할 수 있으며, 상기 제 1 결과 정보 및 제 2 결과 정보를 포함하는 판단 결과 정보를 생성할 수 있다.

이때, 상기 결과 제공부(135)는, 상기 좌측면 판단부(133)로부터 좌측 결과 정보를 수신하고, 상기 우측면 판단부(134)로부터 우측 결과 정보를 수신할 수 있으며, 상기 좌측 결과 정보 및 우측 결과 정보를 포함하는 판단 결과 정보를 생성할 수도 있다.

이에 따라, 상기 판단 결과 정보는 차량의 전열 좌석(1열 좌석)(일례로, 운전석 및 조수석) 및 하나 이상의 후열 좌석(일례로, 2열, 3열과 같은 2열 이상의 좌석)과 중 적어도 하나의 좌석별 안전벨트 착용 여부에 대한 결과값을 포함할 수 있다.

이때, 상기 판단 결과 정보는 객체가 존재하는 좌석에 대해서만 객체가 존재하는 좌석별로 안전벨트 착용 여부에 대한 결과값을 포함할 수도 있다.

또한, 상기 결과 제공부(135)는, 상기 촬영 제어 신호를 수신한 제 2 카메라부(30) 및 제 3 카메라부(40)로부터 수신한 제 2 영상 정보 및 제 3 영상 정보를 기초로 판단 결과 정보 생성시 상기 판단 결과 정보에 대응되는 촬영 제어 신호가 포함된 로그 정보를 상기 로그 DB에서 식별하고, 상기 로그 DB에 상기 식별된 로그 정보와 매칭하여 상기 판단 결과 정보를 저장할 수 있다.

또한, 상기 결과 제공부(135)는, 상기 판단 결과 정보 생성시 상기 판단 결과 정보에 대응되는 로그 정보와 매칭되어 저장된 차량 번호 정보를 상기 로그 DB로부터 추출할 수 있으며, 상기 판단 결과 정보 및 차량 번호 정보를 상기 통신부(110)를 통해 미리 설정된 외부 서버(400)로 전송하여 상기 외부 서버(400)에서 차량 번호에 대응되는 차량에 탑승한 탑승자별 안전벨트 착용 여부를 확인 가능하도록 제공할 수 있다.

이때, 상기 결과 제공부(135)는, 상기 판단 결과 정보에 대응되어 추출된 차량 번호 정보와 판단 결과 정보를 포함하는 검출 결과 정보를 생성하여 상기 통신부(110)를 통해 상기 외부 서버(400)에 전송할 수도 있다.

한편, 도 2에 도시된 바와 같이, 상기 서비스 제공 시스템은, 주행 차량과 마주보도록 배치되는 전광판 장치(200)를 더 포함할 수 있으며, 상기 제어 장치(100)는 통신망을 통해 상기 전광판 장치(200)와 통신할 수 있다.

이에 따라, 상기 제어 장치(100)는, 상기 판단 결과 정보를 기초로 안전벨트를 미착용한 탑승자가 존재하면 안전벨트 착용 안내를 위한 안내 정보를 통신망을 통해 상기 전광판 장치(200)로 전송하여 상기 전광판 장치(200)를 통해 상기 안내 정보가 표시되도록 할 수 있다.

이때, 상기 제어 장치(100)에 구성된 결과 제공부(135)가 상기 통신부(110)를 통해 상기 안내 정보를 상기 전광판 장치(200)에 전송할 수 있다.

이에 따라, 상기 전광판 장치(200)는 상기 안내 정보 수신시 상기 안내 정보를 표시(표출)하여 차량에 탑승한 탑승자 중 안전벨트를 착용하지 않은 탑승자가 안전벨트를 착용하도록 유도할 수 있다.

이때, 상기 안내 정보는 상기 판단 결과 정보를 포함할 수 있으며, 상기 전광판 장치(200)는 복수의 좌석과 각각 대응되도록 분할된 복수의 분할 영역을 포함하는 디스플레이부를 포함하고, 상기 안내 정보에 포함된 상기 판단 결과 정보를 기초로 상기 복수의 분할 영역별로 차량에 구성된 복수의 좌석별 안전벨트 착용 여부를 나타내기 위한 아이콘 및 상기 복수의 좌석별 안전벨트 착용 여부를 나타내기 위한 배경색 중 적어도 하나를 이용하여 좌석에 탑승한 탑승자의 안전벨트 착용 여부를 표시할 수도 있다.

또한, 본 발명에 따른 서비스 제공 시스템은 음향 출력부(일례로, 스피커(speaker))(300)를 더 포함할 수 있으며, 상기 제어 장치(100)는 상기 안내 정보를 통신망을 통해 상기 음향 출력부(300)에 전송하여 상기 안내 정보에 대응되는 음성 또는 음향이 상기 음향 출력부(300)를 통해 출력되도록 할 수 있다.

이때, 상기 제어 장치(100)에 구성된 결과 제공부(135)가 상기 통신부(110)를 통해 상기 안내 정보를 상기 음향 출력부(300)에 전송할 수 있다.

상술한 바와 같이, 본 발명은 복수의 카메라부를 차량의 좌측면 및 우측면을 촬영할 수 있도록 배치한 후 상기 복수의 카메라부를 통해 얻어진 영상에 대한 영상 분석을 통해 차량의 1열 좌석 뿐만 아니라 2열 이상의 후열 좌석에 대해서도 용이하게 안전벨트 착용 여부를 검출할 수 있어, 차량의 후열 좌석에 탑승하여 안전벨트 착용에 소홀한 탑승자에 대해서 안전벨트 착용을 유도하여 차량에 탑승하는 탑승자의 안전벨트 미착용으로 인한 사망률 및 상해 수준을 감소시키고 안전을 도모할 수 있다.

또한, 본 발명은 차량의 좌측면 및 우측면에 대한 영상 촬영을 기반으로 얻어진 영상에서 안전벨트에 해당하는 관심 영역을 검출한 후 해당 관심 영역과 차량의 필러에 해당하는 필러 영역 사이의 각도를 기반으로 안전벨트 착용 여부를 검출할 수 있으므로, 탑승자의 신체 일부에 의해 안전벨트의 일부가 가려지는 경우에도 정확하게 안전벨트 착용 여부를 검출할 수 있도록 지원할 수 있다.

더하여, 본 발명은 차량의 전열 뿐만 아니라 후열 좌석에 대해서도 탑승자별 안전벨트 착용 여부에 대한 판단 결과를 생성하여 교통 단속과 관련된 외부 서버(400)에 전송하여 안전벨트 미착용에 대한 단속이 용이하게 이루어지도록 지원할 수 있다.

본 발명의 실시예들에서 설명된 구성요소는, 예를 들어, 메모리 등의 저장부(120), 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(programmable logic unit), 마이크로프로세서 등의 하드웨어, 명령어 세트를 포함하는 소프트웨어 내지 이들의 조합 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 검지부 20: 제 1 카메라부
30: 제 2 카메라부 40: 제 3 카메라부
50: 적외선 조명부 100: 제어 장치
110: 통신부 120: 저장부
130: 제어부 131: 촬영 관리부
132: 번호 인식부 133: 좌측면 판단부
134: 우측면 판단부 135: 결과 제공부
200: 전광판 장치 300: 음향 출력부

Claims (10)

1. 감시 대상 영역을 통과하는 차량에 대한 차량 검지 신호를 생성하여 전송하는 검지부;
   상기 차량의 번호판을 촬영하는 제 1 카메라부;
   상기 차량의 좌측면을 촬영하는 제 2 카메라부;
   상기 차량의 우측면을 촬영하는 제 3 카메라부; 및
   상기 차량 검지 신호 수신시, 상기 제 1 카메라부와 통신하여 상기 차량의 번호판 촬영에 따른 제 1 영상 정보를 기초로 차량 번호 정보를 생성하고, 상기 제 2 카메라부로부터 수신된 영상 신호를 기초로 상기 차량의 좌측면에 대응되는 제 2 영상 정보를 생성하며, 상기 제 3 카메라부로부터 수신된 영상 신호를 기초로 상기 차량의 우측면에 대응되는 제 3 영상 정보를 생성하고, 상기 제 2 영상 정보에 따른 프레임 및 상기 제 3 영상 정보에 따른 프레임 각각에 대해 영상 분석을 통해 1열 좌석 및 하나 이상의 후열 좌석과 각각 대응되는 복수의 좌석 영역을 식별하여 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역을 검출하며, 객체가 존재하는 하나 이상의 좌석 영역을 대상으로 상기 관심 영역의 검출 여부에 따른 상기 좌석 영역별 탑승자의 안전벨트 착용 여부에 대한 판단 결과 정보를 생성하여 상기 차량 번호 정보와 함께 제공하는 제어 장치
   를 포함하며,
   상기 제어 장치는,
   상기 제 2 영상 정보에 따른 프레임 및 상기 제 3 영상 정보에 따른 프레임 각각에 대해 영상 분석을 통해 차량의 필러에 해당하는 복수의 필러 영역을 검출한 후 상기 복수의 필러 영역을 기준으로 상기 복수의 좌석 영역을 검출하며, 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역을 검출하여 상기 관심 영역의 검출 여부 및 상기 관심 영역이 검출된 경우 상기 관심 영역의 후단에 인접한 필러 영역과 상기 관심 영역 사이의 각도를 기초로 상기 탑승자의 안전벨트 착용 여부를 판단하고, 객체가 존재하는 좌석 영역별 탑승자의 안전벨트 착용 여부에 대한 판단 결과 정보를 생성하는 것을 특징으로 하는 안전벨트 착용 검출을 위한 서비스 제공 시스템.
   
2. 청구항 1에 있어서,
   상기 검지부는, 루프 코일을 이용하여 차량을 감지하는 루프 검지기, 레이더 신호를 이용하여 차량을 감지하는 레이더 검지기, 레이저 신호를 기초로 차량을 감지하는 레이저 검지기 및 상기 감시 대상 영역을 촬영하여 영상 분석을 통해 차량을 감지하는 영상 검지기 중 어느 하나로 구성되는 것을 특징으로 하는 안전벨트 착용 검출을 위한 서비스 제공 시스템.
   
3. 청구항 1에 있어서,
   상기 복수의 좌석 영역은 운전선, 조수석 및 2열 이상을 구성하는 복수의 좌석과 각각 대응되는 영역을 포함하는 것을 특징으로 하는 안전벨트 착용 검출을 위한 서비스 제공 시스템.
   
4. 청구항 1에 있어서,
   상기 제 2 카메라부 및 제 3 카메라부는 NIR(Near Infrared) 카메라로 구성되어, 상기 차량의 창문에 의한 반사나 창문의 코팅에 의한 영향 없이 상기 탑승자에 대응되는 객체가 포함된 영상 정보를 제공하는 것을 특징으로 하는 안전벨트 착용 검출을 위한 서비스 제공 시스템.
   
5. 삭제
6. 청구항 1에 있어서,
   상기 제어 장치는, 상기 관심 영역이 검출되지 않거나 상기 각도가 미리 설정된 기준치 미만인 경우 상기 탑승자가 안전벨트를 착용하지 않은 것으로 판단하고, 상기 각도가 미리 설정된 기준치 이상인 경우 상기 탑승자가 안전벨트를 착용한 것으로 판단하는 것을 특징으로 하는 안전벨트 착용 검출을 위한 서비스 제공 시스템.
   
7. 청구항 1에 있어서,
   상기 제어 장치는,
   상기 검지부 및 상기 제 1 내지 제 3 카메라부와 통신하는 통신부;
   상기 검지부로부터 상기 차량 검지 신호 수신시 상기 제 2 카메라부로부터 수신된 영상 신호에서 하나 이상의 프레임을 추출하여 제 2 영상 정보를 생성하고, 상기 제 3 카메라로부터 수신된 영상 신호에서 하나 이상의 프레임을 추출하여 제 3 영상 정보를 생성하는 촬영 관리부;
   상기 제 1 영상 정보에 대한 영상 분석을 통해 차량 번호를 인식하여 상기 차량 번호 정보를 생성하는 번호 인식부;
   상기 제 2 영상 정보에 대한 영상 분석을 통해 상기 차량의 좌측면에 구성된 복수의 필러와 각각 대응되는 복수의 필러 영역을 검출하고, 상기 복수의 필러 영역을 기준으로 복수의 좌석 영역을 검출하며, 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역을 검출하여 상기 관심 영역의 검출 여부 및 상기 관심 영역이 검출된 경우에 고려되는 상기 관심 영역의 후단에 인접한 필러 영역과 상기 관심 영역 사이의 각도를 기초로 상기 탑승자의 안전벨트 착용 여부를 판단하고, 판단 결과에 따라 상기 좌측면에 대응되는 1열 좌석 및 하나 이상의 후열 좌석 중 객체가 존재하는 하나 이상의 좌석 영역과 각각 대응되는 좌석별 탑승자의 안전벨트 착용 여부에 대한 제 1 결과 정보를 생성하는 좌측면 판단부;
   상기 제 3 영상 정보에 대한 영상 분석을 통해 상기 차량의 우측면에 구성된 복수의 필러와 각각 대응되는 복수의 필러 영역을 검출하고, 상기 복수의 필러 영역을 기준으로 복수의 좌석 영역을 검출하며, 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역을 검출하여 상기 관심 영역의 검출 여부 및 상기 관심 영역이 검출된 경우에 고려되는 상기 관심 영역의 후단에 인접한 필러 영역과 상기 관심 영역 사이의 각도를 기초로 상기 탑승자의 안전벨트 착용 여부를 판단하고, 판단 결과에 따라 상기 우측면에 대응되는 1열 좌석 및 하나 이상의 후열 좌석 중 객체가 존재하는 하나 이상의 좌석 영역과 각각 대응되는 좌석별 탑승자의 안전벨트 착용 여부에 대한 제 2 결과 정보를 생성하는 우측면 판단부; 및
   상기 번호 인식부와 상기 좌측면 판단부 및 우측면 판단부를 제어하여 상기 제 1 및 제 2 결과 정보를 기초로 판단 결과 정보를 생성한 후 상기 번호판 정보와 함께 제공하는 결과 제공부
   를 포함하는 안전벨트 착용 검출을 위한 서비스 제공 시스템.
   
8. 청구항 7에 있어서,
   상기 통신부는 외부 서버와 통신하며,
   제어부는, 상기 판단 결과 정보 및 차량 번호 정보를 포함하는 검출 결과 정보를 생성하여 상기 통신부를 통해 상기 외부 서버에 전송하는 것을 특징으로 하는 안전벨트 착용 검출을 위한 서비스 제공 시스템.
   
9. 청구항 1에 있어서,
   상기 차량과 마주보도록 배치되는 전광판 장치 및 음향 출력부 중 적어도 하나를 더 포함하고,
   상기 제어 장치는 상기 판단 결과 정보를 기초로 안전벨트를 미착용한 탑승자가 존재하면 안전벨트 착용 안내를 위한 안내 정보를 생성한 후 상기 전광판 장치로 전송하여 상기 전광판 장치를 통해 상기 안내 정보가 표시되도록 하거나 상기 음향 출력부로 상기 안내 정보를 전송하여 상기 안내 정보에 대응되는 음성 또는 음향이 상기 음향 출력부를 통해 출력되도록 하는 것을 특징으로 하는 안전벨트 착용 검출을 위한 서비스 제공 시스템.
   
10. 제어 장치의 안전벨트 착용 검출을 위한 서비스 제공 방법에 있어서,
    감시 대상 영역을 통과하는 차량에 대한 차량 검지 신호를 생성하여 전송하는 검지부로부터 차량 검지 신호 수신시 제 1 내지 제 3 카메라부에 촬영 제어 신호를 전송하는 단계;
    상기 촬영 제어 신호를 수신하는 상기 제 1 카메라부로부터 수신된 제 1 영상 정보를 기초로 차량 번호 정보를 생성하는 단계;
    상기 촬영 제어 신호를 수신한 상기 제 2 카메라부로부터 상기 차량의 좌측면에 대응되는 제 2 영상 정보를 수신하는 단계;
    상기 촬영 제어 신호를 수신한 상기 제 3 카메라부로부터 상기 차량의 우측면에 대응되는 제 3 영상 정보를 수신하는 단계; 및
    상기 제 2 영상 정보에 따른 프레임 및 상기 제 3 영상 정보에 따른 프레임 각각에 대해 영상 분석을 통해 복수의 좌석 영역을 검출하고, 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역의 검출 여부에 따른 좌석 영역별 탑승자의 안전벨트 착용 여부에 대한 판단 결과 정보를 생성하여 상기 차량 번호 정보와 함께 제공하는 단계
    를 포함하며,
    상기 판단 결과 정보를 생성하여 상기 차량 번호 정보와 함께 제공하는 단계는,
    상기 제 2 영상 정보에 따른 프레임 및 상기 제 3 영상 정보에 따른 프레임 각각에 대해 영상 분석을 통해 차량의 필러에 해당하는 복수의 필러 영역을 검출한 후 상기 복수의 필러 영역을 기준으로 상기 복수의 좌석 영역을 검출하며, 상기 복수의 좌석 영역별로 탑승자에 대응되는 객체를 검출한 후 상기 객체의 객체 영역에서 안전벨트에 대응되는 관심 영역을 검출하여 상기 관심 영역의 검출 여부 및 상기 관심 영역이 검출된 경우 상기 관심 영역의 후단에 인접한 필러 영역과 상기 관심 영역 사이의 각도를 기초로 상기 탑승자의 안전벨트 착용 여부를 판단하고, 객체가 존재하는 좌석 영역별 탑승자의 안전벨트 착용 여부에 대한 판단 결과 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 안전벨트 착용 검출을 위한 서비스 제공 방법.

Images