KR102150967B1 - 전방위 촬영이 가능한 자동차용 보안 시스템 - Google Patents

전방위 촬영이 가능한 자동차용 보안 시스템 Download PDF

Info

Publication number
KR102150967B1
KR102150967B1 KR1020190034605A KR20190034605A KR102150967B1 KR 102150967 B1 KR102150967 B1 KR 102150967B1 KR 1020190034605 A KR1020190034605 A KR 1020190034605A KR 20190034605 A KR20190034605 A KR 20190034605A KR 102150967 B1 KR102150967 B1 KR 102150967B1
Authority
KR
South Korea
Prior art keywords
image
omnidirectional
vehicle
photographing
security system
Prior art date
Application number
KR1020190034605A
Other languages
English (en)
Inventor
조중길
오세민
신종춘
배동민
Original Assignee
(주)헥스하이브
주식회사 디티앤바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)헥스하이브, 주식회사 디티앤바이오 filed Critical (주)헥스하이브
Priority to KR1020190034605A priority Critical patent/KR102150967B1/ko
Application granted granted Critical
Publication of KR102150967B1 publication Critical patent/KR102150967B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/11—Passenger cars; Automobiles
    • G06K2009/00939—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

전방위 촬영이 가능한 자동차용 보안 시스템은 자동차 내부에 설치되며 360도 방향을 촬영하기 위한 단일 렌즈 모듈을 포함하는 전방위 촬영부와, 상기 전방위 촬영부의 촬영영상을 영상처리하여 전방위 평면 이미지를 생성하는 영상 처리부와, 상기 전방위 평면 이미지의 객체를 인식하되, 탑승자의 미리 설정된 행위가 객체 인식될 경우에만 소정의 시간동안 상기 전방위 평면 이미지를 저장하도록 제어하는 객체 인식부를 포함하는 것을 특징으로 한다.

Description

전방위 촬영이 가능한 자동차용 보안 시스템{Automotive security system capable of shooting in all directions}
본 발명은 자동차용 보안 시스템에 관한 것으로서, 더 상세하게는 전방위 촬영이 가능한 자동차용 보안 시스템에 관한 것이다.
경제가 발전하고 생활수준이 향상됨에 따라서 승용차는 대중화되고 그에 따라서 차량의 수요가 폭발적으로 늘어나고 있다.
이와 같이 양적으로 폭증하는 차량의 수에 비하여 도로의 확장률은 저조하여 도로가 소화할 수 있는 수준이 한계치에 다다르고 있는 상황이며, 그에 따라 여러 가지 교통문제가 발생되고 미숙하거나 부주의한 운전자에 의하여 교통사고가 다발하고 있다.
교통사고는 통상 당사자 간에 합의를 하거나, 신고를 할 경우 경찰당국 당국 및 보험회사의 판단에 따라 상호의 과실정도에 따라서 피해액이 분담되고 있으나, 이때 과실정도의 판단이 모호한 경우가 많고 사실과 터무니없이 다른 금액이 일측에 부과되는 경우가 빈발하고 있으며, 사고원인을 명확하게 규명하기 위하여 많은 시간과 노력을 낭비하고 있는 실정이다.
특히 보험회사는 가해자 및 피해자의 판단 및 상호 책임도에 따라서 운전자에게 지급되는 보험금에 상당한 차액이 발생되므로 이를 위하여 전문가의 도움을 청하거나 전문기관의 자문을 얻는 등 인적 및 물적으로 상당히 많은 경비의 지출이 요구되었다.
그렇지만 전문가 및 전문기관의 자문을 구하여 가해자 및 피해자의 판단 및 상호 책임도를 규정하더라도 사고를 당한 피해자가 납득하기 어려운 경우가 유발되었고, 그에 따라서 객관성 있는 자료를 바탕으로 한 사고처리의 필요성이 절실히 필요한 실정이다.
더욱이 객관적인 자료가 없이 가해자 및 피해자의 판단 및 상호 책임도를 따지는 상황에서 사고 상황의 임의 조작이 성행되어 선량한 피해자가 발생되는 경우가 적지 않고 그에 따른 소송이 증가하고 있는 추세이다. 따라서 교통사고에 수반되는 상황판단을 명확하게 규명할 수 없어서 객관적인 사고 상황에 대한 규정을 내리기 어려운 문제점이 있었다.
도 1은 영업용 차량 내부의 촬영영상의 예시도이다.
도 1을 참조하면, 최근 버스나 택시에서 폭행사건이 심심찮게 발생하고 있는 현실이다. 차량 내부에 별도의 CCTV나 블랙박스를 설치한 경우 이러한 자료를 확보할 수 있으나, 그렇지 않은 경우에는 증거를 확보할 방법이 만만치 않다.
상술한 문제점을 해결하기 위해 차량의 내부 및 외부영향을 촬영하는 영상녹화시스템, 일명 블랙박스가 출시되고 있다. 하지만, 기존 블랙박스에서는 4채널을 사용하여야 차량의 4면을 모두 촬영할 수 있어 비용 및 설치 부분에서 많은 애로사항이 있다.
KR 20-2011-0000977 U
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 360도 단일 렌즈 모듈을 이용하여 차량 내부를 촬영함으로써 차량 운행 중 승객과의 불미스러운 일을 방지하고, 주차 중에 발생되는 상황을 저장한 후 사용자에게 알려주는 전방위 촬영이 가능한 자동차용 보안 시스템을 제공한다.
또한, 탑승자의 미리 설정된 행위가 객체 인식될 경우에만 소정의 시간동안 전방위 평면 이미지를 저장하는 전방위 촬영이 가능한 자동차용 보안 시스템을 제공한다.
또한, 운전자의 이미지를 분석하여 심장 박동수 및 호흡수를 판단함으로써, 졸음 가능성, 호흡곤란, 심장마비 상황을 파악할 수 있는 전방위 촬영이 가능한 자동차용 보안 시스템을 제공한다.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 자동차 내부에 설치되며 360도 방향을 촬영하기 위한 단일 렌즈 모듈을 포함하는 전방위 촬영부와, 전방위 촬영부의 촬영영상을 영상처리하여 전방위 평면 이미지를 생성하는 영상 처리부와, 전방위 평면 이미지의 객체를 인식하되, 탑승자의 미리 설정된 행위가 객체 인식될 경우에만 소정의 시간동안 상기 전방위 평면 이미지를 저장하도록 제어하는 객체 인식부를 포함하는 전방위 촬영이 가능한 자동차용 보안 시스템이 제공된다.
또한, 본 발명에 포함되는 영상 처리부는, 자동차의 후방영역을 촬영한 후방영상을 후방 카메라로부터 수신할 경우, 전방위 평면 이미지에 좌표를 정합하여 표시하는 것을 특징으로 한다.
또한, 본 발명에 포함되는 객체 인식부는, 전방위 평면 이미지에서 운전자의 안면 이미지를 추출하고 안면 이미지 중 관심영역을 선택한 후 RGB(Red Green Blue) 채널로 분리하고, RGB 채널 중 각 채널에 비선형 스케일 팩터(Scale Factor)를 부여하여 신호대 잡음비(SNR)를 조절하고, 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 토대로 심장 박동수를 산출하는 것을 특징으로 한다.
또한, 본 발명에 포함되는 객체 인식부는, 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 주파수 영역으로 변환한 후, 심장 박동수에 해당하는 주파수 도메인 중 가장 큰 파워 스펙트럼 주파수 값을 토대로 호흡수를 산출하는 것을 특징으로 한다.
또한, 본 발명에 포함되는 객체 인식부는, 산출된 심장 박동수 및 호흡수를 토대로 운전자의 졸음 가능성을 판단하는 것을 특징으로 한다.
또한, 객체 인식부는, 산출된 심장 박동수 및 호흡수를 토대로 호흡곤란 또는 심장마비를 판단하는 것을 특징으로 한다.
본 발명의 실시예에 따른 전방위 촬영이 가능한 자동차용 보안 시스템은 탑승자의 미리 설정된 행위가 객체 인식될 경우에만 소정의 시간동안 전방위 평면 이미지를 저장한다. 즉, 모든 영상을 녹화하는 것이 아닌, 폭력 등과 같이 특정 상황에서 이루어지는 행위만을 객체인식하여 영상을 녹화하므로 개인 사생활 보호의 침해가 최소화될 수 있다.
또한, 전방위 촬영이 가능한 자동차용 보안 시스템은 운전자의 이미지를 분석하여 심장 박동수 및 호흡수를 판단함으로써, 졸음 가능성, 호흡곤란, 심장마비 상황을 파악할 수 있어 안정성을 강화시킬 수 있다.
도 1은 영업용 차량 내부의 촬영영상의 예시도
도 2는 본 발명의 일 실시예에 따른 전방위 촬영이 가능한 자동차용 보안 시스템(1)의 구성도
도 3은 평면 이미지를 생성하는 방법을 나타낸 개념도
도 4는 전방위 촬영이 가능한 자동차용 보안 시스템이 설치된 예시도
도 5는 차량용 촬영장치의 설치 예시도
도 6은 차량용 촬영장치의 다른 설치 예시도
도 7은 본 발명의 다른 실시예에 따른 전방위 촬영이 가능한 자동차용 보안 시스템(2)의 구성도
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 전방위 촬영이 가능한 자동차용 보안 시스템(1)의 구성도이고, 도 3은 평면 이미지를 생성하는 방법을 나타낸 개념도이다.
본 실시예에 따른 전방위 촬영이 가능한 자동차용 보안 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.
도 2 및 도 3을 동시에 참조하면, 전방위 촬영이 가능한 자동차용 보안 시스템(1)은 차량용 촬영장치(100), 후방 카메라(200)를 포함하여 구성된다.
상기와 같이 구성되는 전방위 촬영이 가능한 자동차용 보안 시스템의 주요동작은 다음과 같이 이루어진다.
차량용 촬영장치(100)는 차량의 내부/외부 영상을 촬영하는 장치인 블랙박스로 정의된다. 차량용 촬영장치(100)는 전방위 촬영부(110), 영상 처리부(120), 객체 인식부(130), 제어부(140)를 포함한다.
전방위 촬영부(110)는 자동차 내부에 설치되며 360도 방향을 촬영하기 위한 단일 렌즈 모듈을 포함한다.
즉, 전방위 촬영부(110)는 입사되는 광(光)을 굴절시키는 것으로 하측으로 볼록한 광굴절면으로 이루어진 측면과, 광굴절면으로 입사된 광이 반사되는 광반사면으로 이루어진 상면과, 광반사면의 하부에 상기 광반사면에서 반사된 광이 아래로 출사되는 광출사면으로 이루어진 하면을 가진 반사굴절 렌즈를 포함하고 있다.
또한, 전방위 촬영부(110)는 반사굴절 렌즈의 측면을 둘러싸서 수용하는 투명한 소재의 광투과부를 구비하는 반사굴절 렌즈 홀더(holder)와, 반사굴절 렌즈의 상면을 가리는 것으로, 반사굴절 렌즈 홀더에 체결되어 반사굴절 렌즈를 고정하는 커버와, 광출사면을 통해 아래로 출사되는 광(光)이 투과하는 적어도 하나의 광투과 렌즈와, 광 투과 렌즈를 투과한 광이 촬상되는 이미지 센서를 포함하고, 반사굴절 렌즈 홀더에 결합되는 경통 어셈블리(barrelassembly)를 구비하도록 제작될 수 있다.
영상 처리부(120)는 전방위 촬영부의 촬영영상을 영상처리하여 전방위 평면 이미지를 생성한다.
도 3의 (a)를 참조하면, 영상 처리부(120)는 전 방위 광학 렌즈부를 통해 원본 이미지를 획득하고, 우선적으로 불필요한 이미지 부분을 제거하여 원형 이미지를 획득할 수 있다.
원형 이미지(30)는 평면 이미지를 생성하기 위한 부분 왜곡 해소 및 부분 이미지 처리를 위해 분할될 수 있다.
분할된 원형 이미지의 단위(원형 분할 단위 이미지)(31)는 해상도, 원호, 픽셀, 이미지 왜곡 등을 고려하여 분할될 수 있다.
도 3의 (b)를 참조하여 원형 분할 단위 이미지(31)를 기반으로 평면 이미지를 생성하는 방법에 대해 설명하면 다음과 같다.
우선, 원형 분할 단위 이미지(31)의 픽셀 구조를 파악할 수 있다. 픽셀 구조가 파악된 원형 분할 단위 이미지(31)에 대한 기준 초점 픽셀(32)을 추출할 수 있다. 기준 초점 픽셀(32)은 확장 또는 축소가 필요하지 않은 픽셀일 수 있다. 픽셀 구조는 기준 초점 픽셀(32)을 기준으로 축소해야 하는 픽셀과 확장해야 하는 픽셀로 구분될 수 있다.
평면 분할 단위 이미지를 생성하기 위한 부분 왜곡 해소를 위해 픽셀 당 보정 처리를 수행할 수 있다. 예를 들어, 기준 초점 픽셀(32)을 기준으로 확장된 영역에 대해서는 축소 면적(33)을 결정하여 축소를 수행하고, 축소된 영역에 대해서는 확장 영역(34)을 결정하고 보간을 통해 확장을 수행할 수 있다. 해상도, 원호, 픽셀, 이미지 왜곡 등을 고려한 추가적인 이미지 처리를 통해 평면 분할 단위 이미지를 추출할 수 있다. 이러한 방법을 통해 복수의 원형 분할 단위 이미지가 복수의 평면 분할 단위 이미지로 생성될 수 있다.
객체 인식부(130)는 전방위 평면 이미지의 객체를 인식하되, 탑승자의 미리 설정된 행위가 객체 인식될 경우에만 소정의 시간동안 전방위 평면 이미지를 저장하도록 제어한다.
여기에서 탑승자의 미리 설정된 행위는, 운전석 쪽으로 이동하면서 손을 사용하는 폭력행위, 발을 사용하는 폭력행위일 수 있다. 이때, 객체 인식부(130)는 탑승자의 음성을 추가로 고려하여 폭력행위를 식별할 수도 있다. 즉, 탑승자가 욕설을 하면서 특정 행위를 할 경우를 인식하여 행위인식 정확도를 향상시킬 수 있을 것이다.
한편, 영상 처리부(120)는 자동차의 후방영역을 촬영한 후방영상을 후방 카메라(200)로부터 수신할 경우, 전방위 평면 이미지에 좌표를 정합하여 표시할 수 있다.
즉, 차량용 촬영장치(100)가 운전석 근처에 설치되고 탑승자가 많을 경우, 차량 후방의 영상이 표시되지 않을 수 있다. 이를 보완하기 위해 별도의 후방 카메라(200)가 설치되어 전송될 경우, 영상 처리부(120)는 전방위 평면 이미지에 후방영상을 좌표 정합한 후 하나의 영상으로 생성한다.
제어부(140)는 전방위 촬영부(110), 영상 처리부(120), 객체 인식부(130)의 동작을 제어하며, 영상저장용 메모리, 무선통신모듈 및 배터리 모듈 등을 포함하다고 가정한다.
도 4는 전방위 촬영이 가능한 자동차용 보안 시스템이 설치된 예시도이고, 도 5는 차량용 촬영장치의 설치 예시도이고, 도 6은 차량용 촬영장치의 다른 설치 예시도이다.
도 4 내지 도 6을 참조하면, 전방위 촬영이 가능한 자동차용 보안 시스템의 차량용 촬영장치(100)는 운전석 주위에 부착될 수 있는데,
도 5에 도시된 바와 같이 앞 유리 부착형태 또는 도 6에 도시된 바와 같이 룸미러 부착형태로 구성될 수 있다.
기본적으로 차량용 촬영장치(100)는 운전자의 측면 또는 운전자의 전방영역에 배치되므로, 운전자의 안면 이미지까지 촬영할 수 있다.
객체 인식부(130)는 촬영된 안면 이미지의 색상변화를 통해 안면동맥의 박동성 혈액의 흐름을 측정하여 심장 박동수를 산출한다. 즉, 촬영한 안면 이미지 중 관심영역을 선택한 후 RGB(Red Green Blue) 채널로 분리하고, RGB 채널 중 각 채널에 비선형 스케일 팩터(Scale Factor)를 부여하여 신호대 잡음비(SNR)를 조절하고, 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 토대로 심장 박동수를 산출한다.
즉, 객체 인식부(130)는 전방위 평면 이미지에서 운전자의 안면 이미지를 추출하고 안면 이미지 중 관심영역을 선택한 후 RGB(Red Green Blue) 채널로 분리하고, RGB 채널 중 각 채널에 비선형 스케일 팩터(Scale Factor)를 부여하여 신호대 잡음비(SNR)를 조절하고, 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 토대로 심장 박동수를 산출할 수 있다.
또한, 객체 인식부(130)는 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 주파수 영역으로 변환한 후, 심장 박동수에 해당하는 주파수 도메인 중 가장 큰 파워 스펙트럼 주파수 값을 토대로 호흡수를 산출할 수 있다.
즉, 객체 인식부(130)는 산출된 심장 박동수 및 호흡수를 토대로 운전자의 졸음 가능성을 판단할 수 있고, 산출된 심장 박동수 및 호흡수를 토대로 호흡곤란 또는 심장마비까지도 판단할 수 있다.
한편, 적외선 센서가 구비될 경우, 적외선 센서 운전자의 체온을 측정하며, 이때 거리 측정센서도 구비될 경우, 거리측정 센서는 적외선 센서가 측정하는 부위까지의 거리를 측정한다. 따라서 적외선 센서는 사용자의 체온을 측정할 때, 거리측정 센서의 거리값을 참고하여 사용자의 체온을 보정한 후 최종 체온을 산출한다.
도 7은 본 발명의 다른 실시예에 따른 전방위 촬영이 가능한 자동차용 보안 시스템(2)의 구성도이다.
도 7을 참조하면, 전방위 촬영이 가능한 자동차용 보안 시스템(2)은 차량용 촬영장치(100), 후방 카메라(200), 관제서버(300) 및 사용자 단말기(400)를 포함하여 구성된다.
차량용 촬영장치(100), 후방 카메라(200)의 동작은 일 실시예에 따른 전방위 촬영이 가능한 자동차용 보안 시스템(1)의 동작과 동일하므로 중복된 설명은 생략하기로 한다. 참고적으로, 차량용 촬영장치(100)의 데이터는 관제서버(300)로 직접 전송되거나, 사용자 단말기(400)를 경유하여 전송되도록 구성되는 것이 바람직하다.
관제서버(300)는 차량용 촬영장치(100)로부터 전송된 정보를 토대로 응급구조 등을 자동 지시할 수 있다.
즉, 차량용 촬영장치(100)는 객체인식으로 판별된 운전자가 위험상황(폭력, 졸음, 호흡곤란, 심장마비) 및 현재위치정보를 자동으로 관제서버(300)를 전송하는데, 관제서버(300)는 위험상황(폭력, 졸음, 호흡곤란, 심장마비)에 각각 대응되는 유관기관에 위험상황을 자동 통보하여 운전자의 안전을 확보할 수 있도록 한다.
한편, 사용자 단말기(400)는 휴대폰, 스마트폰, 스마트 패드 등과 같이 사용자가 휴대하면서 사용할 수 있는 기기를 총칭하는 것이며, 본 실시예에서는 스마트폰으로 구성된 휴대용 단말기로 가정하고 설명하기로 한다.
자동차 내에 탑승한 탑승자 또는 운전자가 사용자 단말기(400)를 이용하여 차량의 측면부를 촬영할 경우, 차량의 측면부에 해당하는 외부영상이 영상 처리부(120)로 전송된다. 이때, 영상 처리부(120)는 전방위 평면 이미지에 외부영상을 좌표 정합한 후 하나의 영상으로 생성할 수 있다.
또한, 복수 개의 사용자 단말기(400)에서 외부영상이 영상 처리부(120)로 전송될 경우, 영상 처리부(120)는 전방위 평면 이미지에 복수의 외부영상을 좌표 정합한 후 하나의 영상으로 생성할 수 있다. 이때, 자동차 내부의 시트, 창문 등에는 서로 다른 위치 식별자가 부착될 수 있는데, 영상 처리부(120)는 복수의 위치 식별자를 참고하여 좌표정합을 진행할 수 있다.
또한, 객체 인식부(130)는 자동차 내부에 어린이가 탑승하고 있는 객체인식할 경우, 어린이 보호모드가 자동실행된다.
어린이 보호모드에서 객체 인식부(130) 및 제어부(140)는 시동유지 여부, 운전자 및 보호자의 하차여부를 객체인식 한 후, 어린이가 방치되는 것을 방지할 수 있는 기능을 실행한다.
즉, 운전자 및 보호자 없이 소정의 시간이상 어린이만이 감지될 경우, 사용자 단말기(400)로 경고를 전송한다. 이때, 어린이의 심장 박동수 및 호흡수가 파악될 경우, 사용자 단말기(400)로 지속적으로 심장 박동수 및 호흡수를 전송할 수 있으며, 체온, 심장 박동수 및 호흡수가 기준범위를 초과할 경우, 자동으로 관제서버(300)로 위험상황을 자동 전송한다.
어린이가 카시트 뒤보기 상태로 앉아 있고, 어린이의 얼굴 정면에 대면되는 위치에 어린이 얼굴보기용 거울이 부착 - 일반적으로 뒷좌석 시트 머리 지지대에 장착됨 - 된 경우,
차량용 촬영장치(100)는 어린이 얼굴보기용 거울에 비춰지는 얼굴을 영상감지할 수 있다. 따라서 차량용 촬영장치(100)는 거울에 비춰지는 얼굴을 객체인식한 후, 어린이의 심장 박동수 및 호흡수를 파악할 수도 있다. 사용자가 수동으로 어린이 보호모드로 설정할 경우, 차량용 촬영장치(100)는 어린이 객체를 자동검색하는 과정이 연속적으로 이루어져서 뒷자석의 얼굴 또는 거울에 비춰지는 얼굴을 자동검색할 수 있다.
참고적으로, 어린이가 영상으로 객체인식 되어 어린이 보호모드가 실행될 경우, 추가적으로 구비된 모션감지센서에서 어린이 객체가 인식된 방향으로 주기적으로 소정의 파장의 전파를 송신 및 수신하여 어린이 객체의 움직임을 보다 정확하게 파악할 수 있다.
즉, 어린이가 자동차의 뒷자석에서 쓰러질 경우, 앞좌석 시트에 의해서 영상에서 벗어날 수 있으므로, 이를 보완하기 위해 모션감지센서가 추가적으로 사용되는 것이다.
한편, 차량용 촬영장치(100)에서 관제서버(300)로 사고영상이 전송될 경우, 관제서버(300)는 수신받은 동영상 또는 정지영상을 영상인식하여 차량의 종류(전륜, 후륜, 사륜), 차량의 크기, 파손상태, 차량의 수를 자동으로 파악한 후, 이러한 정보를 푸시 메세지에 포함시켜 견인차 업체로로 전송할 수 있다. 이때, 차량 번호판의 번호를 인식한 후, 번호를 바탕으로 차량의 종류를 인식할 수도 있다.
즉, 차량의 종류(전륜, 후륜, 사륜), 차량의 크기, 파손상태, 차량의 수에 따라 필요한 견인차의 대수와, 견인차의 크기, 견인형태(전륜,후륜,사륜)가 달라질 수 있으므로, 관제서버(300)는 견인에 필요한 정보를 자동으로 영상인식하여 푸시 메세지에 포함시킬 수 있다.
관제서버(300)는 영상인식을 통해 차량의 파손상태를 파악할 때, 차량의 각 바퀴부분의 손상여부를 수치로써 환산하여 푸시 메세지에 포함시킬 수 있다. 예를 들면, 전륜 좌측 바퀴의 손상상태를 1 ~ 100%(100% 가까울수록 손상상태가 큼), 전륜 우측 바퀴의 손상상태를 1 ~ 100%, 후륜 좌측 바퀴의 손상상태를 1 ~ 100%, 후륜 우측 바퀴의 손상상태를 1 ~ 100% 각각 환산하여 푸시 메세지에 포함시킬 수 있다.
본 발명의 실시예에 따른 전방위 촬영이 가능한 자동차용 보안 시스템은 탑승자의 미리 설정된 행위가 객체 인식될 경우에만 소정의 시간동안 전방위 평면 이미지를 저장한다. 즉, 무작위 적으로 모든 영상을 녹화하는 것이 아닌, 폭력 등과 같이 특정 상황에서 이루어지는 행위만을 객체인식하여 영상을 녹화하므로 개인 사생활 보호의 침해가 최소화될 수 있다.
또한, 전방위 촬영이 가능한 자동차용 보안 시스템은 운전자의 이미지를 분석하여 심장 박동수 및 호흡수를 판단함으로써, 졸음 가능성, 호흡곤란, 심장마비 상황을 파악할 수 있어 안정성을 강화시킬 수 있다.
전방위 촬영이 가능한 자동차용 보안 시스템은 전용 스마트폰 앱과 Wi-Fi나 LTE 무선통신 기능을 이용해서 비정상적인 일이 차량 내외부에서 발생할 경우 언제든지 파악할 수 있으며, GPS 기능을 이용해서 차량의 운행 경로를 추적하는 기능 및 VR 기능을 이용해서 자동차 내외부의 실시간 영상을 모니터링 할 수 있다.
낮 시간 때에는 차량용 촬영장치(100)를 이용하고, 밤 시간 때에는 3D 모션 이미지센서를 이용하여 거리에 따른 주위환경의 이미지화를 통해 보안시스템을 구성하여 차량 외부뿐만 아니라 내부에서도 수준 높은 보안시스템을 구성할 수 있다.
전방위 촬영이 가능한 자동차용 보안 시스템은 어안렌즈가 아닌 비구면 렌즈의 개발을 통한 고화질 영상 확보할 수 있고, 단일 렌즈를 사용하여 360도 모든 방향의 영상 촬영이 가능하다. 또한, 자동차 외부만이 아니라 내부 영상 촬영을 진행하고, 사고뿐만 아니라 도난, 견인, 주차 등의 상황도 촬영가능하며, 스마트폰과 양방향 통신 가능 (Wi-Fi 또는 4G-LTE 사용)하다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 차량용 촬영장치
110 : 전방위 촬영부
120 : 영상 처리부
130 : 객체 인식부
140 : 제어부
200 : 후방 카메라
300 : 관제서버
400 : 사용자 단말기

Claims (6)

  1. 자동차 내부에 설치되며 360도 방향을 촬영하기 위한 단일 렌즈 모듈을 포함하는 전방위 촬영부;
    상기 전방위 촬영부의 촬영영상을 영상처리하여 전방위 평면 이미지를 생성하는 영상 처리부 및;
    상기 전방위 평면 이미지의 객체를 인식하되, 탑승자의 미리 설정된 행위가 객체 인식될 경우에만 소정의 시간동안 상기 전방위 평면 이미지를 저장하도록 제어하는 객체 인식부;를 포함하고,
    상기 영상 처리부는 상기 자동차의 후방영역을 촬영한 후방영상을 후방 카메라로부터 수신할 경우 상기 전방위 평면 이미지에 좌표를 정합하여 표시하며, 상기 자동차 내에 탑승한 탑승자가 소지한 복수 개의 사용자 단말기로부터 촬영된 복수의 외부영상을 추가로 수신할 경우, 상기 전방위 평면 이미지에 상기 복수의 외부영상을 좌표 정합한 후 하나의 영상으로 생성하되, 자동차 내부의 시트 및 창문에 각각 부착된 위치 식별자를 참조하여 좌표정합을 진행하는 것을 특징으로 하는 자동차용 보안 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 객체 인식부는,
    상기 전방위 평면 이미지에서 운전자의 안면 이미지를 추출하고 상기 안면 이미지 중 관심영역을 선택한 후 RGB(Red Green Blue) 채널로 분리하고, 상기 RGB 채널 중 각 채널에 비선형 스케일 팩터(Scale Factor)를 부여하여 신호대 잡음비(SNR)를 조절하고, 상기 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 토대로 심장 박동수를 산출하는 것을 특징으로 하는 전방위 촬영이 가능한 자동차용 보안 시스템.
  4. 제3항에 있어서,
    상기 객체 인식부는,
    상기 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 주파수 영역으로 변환한 후, 상기 심장 박동수에 해당하는 주파수 도메인 중 가장 큰 파워 스펙트럼 주파수 값을 토대로 호흡수를 산출하는 것을 특징으로 하는 전방위 촬영이 가능한 자동차용 보안 시스템.
  5. 제4항에 있어서,
    상기 객체 인식부는,
    산출된 심장 박동수 및 호흡수를 토대로 상기 운전자의 졸음 가능성을 판단하는 것을 특징으로 하는 전방위 촬영이 가능한 자동차용 보안 시스템.
  6. 제4항에 있어서,
    상기 객체 인식부는,
    산출된 심장 박동수 및 호흡수를 토대로 호흡곤란 또는 심장마비를 판단하는 것을 특징으로 하는 전방위 촬영이 가능한 자동차용 보안 시스템.
KR1020190034605A 2019-03-26 2019-03-26 전방위 촬영이 가능한 자동차용 보안 시스템 KR102150967B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190034605A KR102150967B1 (ko) 2019-03-26 2019-03-26 전방위 촬영이 가능한 자동차용 보안 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190034605A KR102150967B1 (ko) 2019-03-26 2019-03-26 전방위 촬영이 가능한 자동차용 보안 시스템

Publications (1)

Publication Number Publication Date
KR102150967B1 true KR102150967B1 (ko) 2020-09-02

Family

ID=72449981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190034605A KR102150967B1 (ko) 2019-03-26 2019-03-26 전방위 촬영이 가능한 자동차용 보안 시스템

Country Status (1)

Country Link
KR (1) KR102150967B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511746A (zh) * 2020-11-27 2021-03-16 恒大新能源汽车投资控股集团有限公司 车内拍照处理方法及装置、计算机可读存储介质
KR20220041468A (ko) * 2020-09-25 2022-04-01 (주)헥스하이브 도난알림 기능이 적용된 전방위 촬영이 가능한 자동차용 보안 시스템
US20220164958A1 (en) * 2020-11-24 2022-05-26 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method Of Using Camera For Both Internal And External Monitoring Of A Vehicle
KR20220073179A (ko) * 2020-11-26 2022-06-03 주식회사 라온솔루션 연산량을 분배할 수 있는 스마트 아이티 레퍼런스 보드

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110000977U (ko) 2009-07-22 2011-01-28 지킴이자동차블랙박스 주식회사 차량용 블랙박스 시스템
KR20150130717A (ko) * 2014-05-14 2015-11-24 주식회사 일리시스 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법
KR101715273B1 (ko) * 2016-10-05 2017-03-10 한밭대학교 산학협력단 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법
KR20170056232A (ko) * 2015-11-13 2017-05-23 금오공과대학교 산학협력단 비접촉 방식의 생체신호 측정방법 및 이를 이용한 생체신호 측정장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110000977U (ko) 2009-07-22 2011-01-28 지킴이자동차블랙박스 주식회사 차량용 블랙박스 시스템
KR20150130717A (ko) * 2014-05-14 2015-11-24 주식회사 일리시스 주차시 차량용 블랙박스의 이벤트 감지시스템 및 그 이벤트 감지방법
KR20170056232A (ko) * 2015-11-13 2017-05-23 금오공과대학교 산학협력단 비접촉 방식의 생체신호 측정방법 및 이를 이용한 생체신호 측정장치
KR101715273B1 (ko) * 2016-10-05 2017-03-10 한밭대학교 산학협력단 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220041468A (ko) * 2020-09-25 2022-04-01 (주)헥스하이브 도난알림 기능이 적용된 전방위 촬영이 가능한 자동차용 보안 시스템
KR102426735B1 (ko) * 2020-09-25 2022-07-28 (주)헥스하이브 도난알림 기능이 적용된 전방위 촬영이 가능한 자동차용 보안 시스템
US20220164958A1 (en) * 2020-11-24 2022-05-26 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method Of Using Camera For Both Internal And External Monitoring Of A Vehicle
KR20220073179A (ko) * 2020-11-26 2022-06-03 주식회사 라온솔루션 연산량을 분배할 수 있는 스마트 아이티 레퍼런스 보드
KR102495926B1 (ko) * 2020-11-26 2023-02-06 주식회사 라온솔루션 연산량을 분배할 수 있는 스마트 아이티 레퍼런스 보드 시스템
CN112511746A (zh) * 2020-11-27 2021-03-16 恒大新能源汽车投资控股集团有限公司 车内拍照处理方法及装置、计算机可读存储介质

Similar Documents

Publication Publication Date Title
KR102150967B1 (ko) 전방위 촬영이 가능한 자동차용 보안 시스템
US9460601B2 (en) Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP4494983B2 (ja) ポータブル型車両番号認識装置およびポータブル型車両番号認識装置による車両番号認識方法
US8379924B2 (en) Real time environment model generation system
EP2163428B1 (en) Intelligent driving assistant systems
US20220111857A1 (en) Vehicular driving assist with driver monitoring
JP2019205078A (ja) システム及びプログラム等
WO2019109412A1 (zh) 事故主动呼叫救援的方法及车载自动求救系统
US20190005310A1 (en) Public service system and method using autonomous smart car
KR101428011B1 (ko) 차량용 블랙박스의 차량 인식정보 통합 서비스 방법 및 그 시스템
US11312370B2 (en) Movable carrier auxiliary system and processing method thereof
KR100830649B1 (ko) 룸미러 블랙박스
JP5077088B2 (ja) 画像処理装置及び画像処理方法
US11427174B2 (en) Movable carrier auxiliary system and brake controlling method thereof
US20210383688A1 (en) Traffic monitoring and evidence collection system
US20230174074A1 (en) In-cabin safety sensor installed in vehicle and method of providing service platform thereof
WO2019111529A1 (ja) 画像処理装置および画像処理方法
CN113570751A (zh) 一种全景环带相机的行车记录仪系统
KR102239221B1 (ko) 고화질 영상전송이 가능한 360도 블랙박스 시스템
KR102426735B1 (ko) 도난알림 기능이 적용된 전방위 촬영이 가능한 자동차용 보안 시스템
JP2023130394A (ja) システム及びプログラム等
JP7057074B2 (ja) 車載器および運転支援装置
JP2020106946A (ja) 車両運行記録システム、車載運転情報記録処理システム、および、ヘッドアップディスプレイ装置
Le Guilloux et al. PAROTO project: The benefit of infrared imagery for obstacle avoidance
KR101395803B1 (ko) 차량 블랙박스를 이용한 차량단속장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant