KR102051324B1 - 서라운드 뷰 모니터링 시스템 - Google Patents

서라운드 뷰 모니터링 시스템 Download PDF

Info

Publication number
KR102051324B1
KR102051324B1 KR1020170143113A KR20170143113A KR102051324B1 KR 102051324 B1 KR102051324 B1 KR 102051324B1 KR 1020170143113 A KR1020170143113 A KR 1020170143113A KR 20170143113 A KR20170143113 A KR 20170143113A KR 102051324 B1 KR102051324 B1 KR 102051324B1
Authority
KR
South Korea
Prior art keywords
pixel flow
image
vehicle
information
right image
Prior art date
Application number
KR1020170143113A
Other languages
English (en)
Other versions
KR20190048285A (ko
Inventor
이정준
오충재
김시욱
Original Assignee
주식회사 켐트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 켐트로닉스 filed Critical 주식회사 켐트로닉스
Priority to KR1020170143113A priority Critical patent/KR102051324B1/ko
Priority to PCT/KR2018/012824 priority patent/WO2019088591A2/ko
Priority to CN201880057385.1A priority patent/CN111194450A/zh
Publication of KR20190048285A publication Critical patent/KR20190048285A/ko
Application granted granted Critical
Publication of KR102051324B1 publication Critical patent/KR102051324B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/00791—
    • G06K9/6202—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 서라운드 뷰 모니터링 시스템에 관한 것이다. 보다 구체적으로, 본 발명에 따른 서라운드 뷰 모니터링 시스템은, 차량의 전후좌우에 각각 설치되어 차량의 주변 이미지를 촬영하는 복수개의 카메라, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지 중 좌측 이미지를 이용하여 차량의 좌측 사각지대에 물체가 존재하는지 여부를 판별하는 제1 사각지대 탐지 모듈 및 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지 중 우측 이미지를 이용하여 차량의 우측 사각지대에 물체가 존재하는지 여부를 판별하는 제2 사각지대 탐지 모듈을 포함한다.

Description

서라운드 뷰 모니터링 시스템{SURROUND VIEW MONITORING SYSTEM}
본 발명은 서라운드 뷰 모니터링 시스템에 관한 것이다.
오늘날 차량이 널리 보급되면서 차량 간 접촉 사고가 증가하고 있다. 특히, 주차할 때와 같이 저속으로 움직이는 상황에서는, 다변화하는 차량 주변 상황을 완벽하게 인식하기 어려운바, 접촉 사고 역시 증가하고 있다.
이를 보완하기 위해 운전자에게 차량 주변의 상황을 위에서 본 영상(즉, 탑뷰(Topview) 또는 서라운드 뷰 이미지)으로 변환하여 보여주는 서라운드 뷰 모니터링 시스템(Surround View Monitoring System)이 개발 되었다.
한편, 사각지대에 존재하는 차량의 경우 운전자가 사이드 미러를 통해 확인하기 어려운바, 차선 변경을 하기 전에 좌우로 직접 고개를 돌려 사각지대에 차량이 있는지를 확인해야 한다는 문제가 있다.
그러나, 운전자가 실제 빠른 속도로 주행을 하면서 전방 주시 및 좌우 확인을 지속적으로 수행하는 것은 쉽지 않은 것이 현실이다.
이를 보완하기 위해 최근에는 고가의 차량에 사각지대 경고 시스템(Blind Spot Detection System; 스마트 후측방 경고 시스템이라고도 함)이 장착되어 출시되고 있다.
사각지대 경고 시스템은 차량의 후방 좌우 측면에 장착된 레이더(즉, 센서)를 통해 물체 존재 여부를 실시간으로 감지하고, 감지 결과를 사이드 미러에 표시함으로써 운전자로 하여금 사이드 미러만 확인하고도 사각지대에 차량이 존재하는지 여부를 쉽게 알 수 있게 하였다.
그러나 레이더의 비용 문제로 인해, 대다수의 차량 운전자들은 사각지대 경고 시스템이 장착되지 않은 차량을 운전하고 있고, 이러한 문제를 해결하기 위한 새로운 시스템이 필요한 상황이다.
또한 사각지대 경고 시스템은, 사각지대에 차량이 있는 경우에 대해 패턴 인식을 통해 미리 학습하고, 학습 데이터를 실시간으로 사각지대 인식 작업에 적용하기 때문에 해당 기능을 구축하기 위해서는 장시간 많은 이미지(즉, 영상) 데이터를 확보하여 데이터베이스를 구축해야 하고, 구축된 데이터베이스를 토대로 학습을 진행하여 학습 데이터를 추출해야 한다는 문제가 있다.
그리고, 사각지대 경고 시스템은, 사각지대에 있는 차량을 인식하기 위해, 이미지 상의 여러 영역을 반복 탐색하여 패턴 데이터를 추출하고, 추출된 패턴 데이터를 학습 데이터와 비교해야 하는바, 추출된 패턴 데이터에 대한 실시간 처리를 보장하기 위해서는 고성능의 프로세서(예를 들어, CPU)를 사용해야 한다는 문제도 있다.
그뿐만 아니라 사각지대 경고 시스템을 사용하기 위해서는, 사이드 미러에 전용 카메라를 후측방(즉, 후방 좌우측)을 향하도록 장착해야 한다. 따라서, 기존의 사이드 미러가 장착된 위치의 아래 또는 옆에 전용 카메라가 돌출되도록 설치되는바, 심미성이 떨어진다는 문제도 있다.
본 발명은 별도의 학습 과정 없이 실시간으로 사각지대 인식 작업을 수행할 수 있는 서라운드 뷰 모니터링 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템은, 차량의 전후좌우에 각각 설치되어 차량의 주변 이미지를 촬영하는 복수개의 카메라, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지 중 좌측 이미지를 이용하여 차량의 좌측 사각지대에 물체가 존재하는지 여부를 판별하는 제1 사각지대 탐지 모듈 및 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지 중 우측 이미지를 이용하여 차량의 우측 사각지대에 물체가 존재하는지 여부를 판별하는 제2 사각지대 탐지 모듈을 포함한다.
상기 제1 사각지대 탐지 모듈은, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지 중 좌측 이미지를 선택하는 좌측 이미지 선택부와, 좌측 이미지 선택부에서 선택된 좌측 이미지의 후방 영역을 특정하는 좌측 이미지 마스크 처리부와, 좌측 이미지 마스크 처리부에서 특정된 좌측 이미지의 후방 영역에 대한 픽셀 흐름 정보를 생성하는 좌측 이미지 픽셀 흐름 정보 생성부와, 좌측 이미지 픽셀 흐름 정보 생성부에서 생성된 픽셀 흐름 정보에서 비정상 픽셀 흐름을 검출하는 좌측 이미지 비정상 픽셀 흐름 검출부와, 좌측 이미지 비정상 픽셀 흐름 검출부에서 검출된 비정상 픽셀 흐름을 분석하여 비정상 픽셀 흐름이 물체인지 여부를 판별하는 좌측 이미지 물체 인식부를 포함한다.
상기 좌측 이미지 마스크 처리부는 후방 좌측 영역 마스크를 이용하여 좌측 이미지 선택부에서 선택된 좌측 이미지의 후방 영역을 특정하고, 좌측 이미지 픽셀 흐름 정보 생성부는 좌측 이미지 마스크 처리부에서 특정된 좌측 이미지의 후방 영역에 대해 블록 정보를 생성하고, 생성된 블록 정보를 토대로 관심 픽셀을 선택하며, 선택된 관심 픽셀과 관련된 주변 픽셀을 탐색하고, 탐색 결과를 토대로 픽셀 흐름 정보를 생성한다.
상기 좌측 이미지 비정상 픽셀 흐름 검출부는, 좌측 이미지 픽셀 흐름 정보 생성부에서 생성된 픽셀 흐름 정보를 차량의 정상 주행시 차량의 좌측 이미지에서 발생하는 정상 픽셀 흐름 정보와 비교하고, 비교 결과를 토대로 비정상 픽셀 흐름을 검출하며, 좌측 이미지 물체 인식부는, 좌측 이미지 비정상 픽셀 흐름 검출부에서 검출된 비정상 픽셀 흐름을 분석하여 비정상 픽셀 흐름 상의 픽셀 분포를 파악하고, 파악된 픽셀 분포를 토대로 비정상 픽셀 흐름의 크기 및 위치 정보를 생성하며, 생성된 비정상 픽셀 흐름의 크기 및 위치 정보를 토대로 비정상 픽셀 흐름이 물체인지 여부를 판별한다.
상기 제2 사각지대 탐지 모듈은, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지 중 우측 이미지를 선택하는 우측 이미지 선택부와, 우측 이미지 선택부에서 선택된 우측 이미지의 후방 영역을 특정하는 우측 이미지 마스크 처리부와, 우측 이미지 마스크 처리부에서 특정된 우측 이미지의 후방 영역에 대한 픽셀 흐름 정보를 생성하는 우측 이미지 픽셀 흐름 정보 생성부와, 우측 이미지 픽셀 흐름 정보 생성부에서 생성된 픽셀 흐름 정보에서 비정상 픽셀 흐름을 검출하는 우측 이미지 비정상 픽셀 흐름 검출부와, 우측 이미지 비정상 픽셀 흐름 검출부에서 검출된 비정상 픽셀 흐름을 분석하여 비정상 픽셀 흐름이 물체인지 여부를 판별하는 우측 이미지 물체 인식부를 포함한다.
상기 우측 이미지 마스크 처리부는 후방 우측 영역 마스크를 이용하여 우측 이미지 선택부에서 선택된 우측 이미지의 후방 영역을 특정하고, 우측 이미지 픽셀 흐름 정보 생성부는 우측 이미지 마스크 처리부에서 특정된 우측 이미지의 후방 영역에 대해 블록 정보를 생성하고, 생성된 블록 정보를 토대로 관심 픽셀을 선택하며, 선택된 관심 픽셀과 관련된 주변 픽셀을 탐색하고, 탐색 결과를 토대로 픽셀 흐름 정보를 생성한다.
상기 우측 이미지 비정상 픽셀 흐름 검출부는, 우측 이미지 픽셀 흐름 정보 생성부에서 생성된 픽셀 흐름 정보를 차량의 정상 주행시 차량의 우측 이미지에서 발생하는 정상 픽셀 흐름 정보와 비교하고, 비교 결과를 토대로 비정상 픽셀 흐름을 검출하며, 우측 이미지 물체 인식부는, 우측 이미지 비정상 픽셀 흐름 검출부에서 검출된 비정상 픽셀 흐름을 분석하여 비정상 픽셀 흐름 상의 픽셀 분포를 파악하고, 파악된 픽셀 분포를 토대로 비정상 픽셀 흐름의 크기 및 위치 정보를 생성하며, 생성된 비정상 픽셀 흐름의 크기 및 위치 정보를 토대로 비정상 픽셀 흐름이 물체인지 여부를 판별한다.
상기 제1 사각지대 탐지 모듈에서 판별된 물체 존재 여부에 관한 정보를 토대로 좌측 경고 정보를 생성하는 제1 경고 표시 모듈 및 제2 사각지대 탐지 모듈에서 판별된 물체 존재 여부에 관한 정보를 토대로 우측 경고 정보를 생성하는 제2 경고 표시 모듈을 더 포함한다.
상기 제1 경고 표시 모듈은 차량의 좌측 사각지대에 물체가 존재하는 경우 운전자에게 좌측 경고 정보를 출력하고, 제2 경고 표시 모듈은 차량의 우측 사각지대에 물체가 존재하는 경우 운전자에게 우측 경고 정보를 출력한다.
상기 복수개의 카메라는, 차량의 전단에 설치되어 차량의 전방 이미지를 촬영하는 제1 카메라와, 차량의 좌측에 설치되어 차량의 좌측 이미지를 촬영하는 제2 카메라와, 차량의 우측에 설치되어 차량의 우측 이미지를 촬영하는 제3 카메라와, 차량의 후단에 설치되어 차량의 후방 이미지를 촬영하는 제4 카메라를 포함한다.
본 발명에 따르면, 별도의 학습 과정 없이 실시간으로 사각지대 인식 작업을 수행할 수 있다. 또한 별도의 학습 과정이 필요 없는바, 고성능의 프로세서를 장착할 필요가 없다는 장점이 있다. 그뿐만 아니라, 사각지대 경고 시스템과 달리, 카메라가 사이드 미러 장착 위치의 아래 또는 옆에 돌출되는 형태로 설치되지 않는바, 심미성 저하를 방지할 수 있다.
도 1은 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템을 설명하는 블록도이다.
도 2는 차량의 사각지대를 설명하기 위한 개략도이다.
도 3은 도 1의 제1 사각지대 탐지 모듈을 설명하는 블록도이다.
도 4는 도 1의 제2 사각지대 탐지 모듈을 설명하는 블록도이다.
도 5는 도 1의 서라운드 뷰 모니터링 시스템의 사각지대 경고 모습을 설명하기 위한 도면이다.
본 발명을 더 쉽게 이해하기 위해 편의상 특정 용어를 본원에 정의한다. 본원에서 달리 정의하지 않는 한, 본 발명에 사용된 과학 용어 및 기술 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미를 가질 것이다. 또한, 문맥상 특별히 지정하지 않는 한, 단수 형태의 용어는 그것의 복수 형태도 포함하는 것이며, 복수 형태의 용어는 그것의 단수 형태도 포함하는 것으로 이해되어야 한다.
이하에서는, 도 1 내지 도 5를 참조하여, 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템을 설명하도록 한다.
도 1은 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템을 설명하는 블록도이다. 도 2는 차량의 사각지대를 설명하기 위한 개략도이다. 도 3은 도 1의 제1 사각지대 탐지 모듈을 설명하는 블록도이다. 도 4는 도 1의 제2 사각지대 탐지 모듈을 설명하는 블록도이다. 도 5는 도 1의 서라운드 뷰 모니터링 시스템의 사각지대 경고 모습을 설명하기 위한 도면이다.
먼저 도 1을 참조하면, 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템(1)은 차량에 설치될 수 있고, 복수개의 카메라(100), 제1 사각지대 탐지 모듈(200), 제2 사각지대 탐지 모듈(300), 제1 경고 표시 모듈(260), 제2 경고 표시 모듈(360)을 포함할 수 있다.
참고로, 도 1에는 제1 및 제2 사각지대 탐지 모듈(200, 300)이 별개로 존재하고, 제1 및 제2 경고 표시 모듈(260, 360)도 별개로 존재하는 모습이 도시되어 있지만, 이에 한정되는 것은 아니다. 즉, 제1 및 제2 사각지대 탐지 모듈(200, 300)이 하나의 통합된 사각지대 탐지 모듈 형태로 존재할 수 있고, 제1 및 제2 경고 표시 모듈(260, 360)도 하나의 통합된 사각지대 탐지 모듈 형태로 존재할 수 있다.
다만, 설명의 편의를 위해, 본 발명의 실시예에서는, 제1 및 제2 사각지대 탐지 모듈(200, 300)과 제1 및 제2 경고 표시 모듈(260, 360)이 각각 별개로 존재하는 것을 예로 들어 설명하기로 한다.
복수개의 카메라(100)는 차량의 전후좌우에 각각 설치되어 차량의 주변 이미지를 촬영할 수 있다.
구체적으로, 복수개의 카메라(100)는 차량의 전단에 설치되어 차량의 전방 이미지를 촬영하는 제1 카메라(100a)와, 차량의 좌측에 설치되어 차량의 좌측 이미지를 촬영하는 제2 카메라(100b)와, 차량의 우측에 설치되어 차량의 우측 이미지를 촬영하는 제3 카메라(100c)와, 차량의 후단에 설치되어 차량의 후방 이미지를 촬영하는 제4 카메라(100d)를 포함할 수 있다.
즉, 종래의 사각지대 경고 시스템과 달리, 서라운드 뷰 모니터링 시스템(1)의 카메라(예를 들어, 100b, 100c)는 사이드 미러 장착 위치의 아래 또는 옆에 돌출되는 형태로 설치되지 않는바, 심미성 저하를 방지할 수 있다.
또한 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지(즉, 영상)는 제1 사각지대 탐지 모듈(200)과 제2 사각지대 탐지 모듈(300)로 제공될 수 있다.
참고로, 복수개의 카메라(100)에는 광각 렌즈가 사용될 수 있으나, 이에 한정되는 것은 아니다.
여기에서, 도 2를 참조하면, 차량(C)에 장착된 사이드 미러를 통해 운전자가 확보할 수 있는 시야(LSM, RSM)가 도시되어 있다.
즉, 운전자는 주행시 사이드 미러를 통해 좌측 시야(LSM)와 우측 시야(RSM)에 존재하는 물체(예를 들어, 다른 차량)를 확인할 수 있다.
그러나, 전술한 시야(LSM, RSM)에 해당하는 영역을 제외한 차량(C)의 후방 좌측 영역(LBS; 즉, 좌측 사각지대)과 후방 우측 영역(RBS; 즉, 우측 사각지대)은 운전자가 사이드 미러를 통해 물체(C'; 예를 들어, 다른 차량)가 존재하는지 여부를 확인하기 어려운 사각지대일 수 있다.
이어서, 도 3을 참조하면, 좌측 사각지대(도 2의 LBS)에 물체가 존재하는지 여부를 판별하는 제1 사각지대 탐지 모듈(200)이 도시되어 있다.
제1 사각지대 탐지 모듈(200)은 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지 중 좌측 이미지를 이용하여 차량의 좌측 사각지대에 물체가 존재하는지 여부를 판별할 수 있다.
구체적으로, 제1 사각지대 탐지 모듈(200)은 좌측 이미지 선택부(210), 좌측 이미지 마스크 처리부(220), 좌측 이미지 픽셀 흐름 정보 생성부(230), 좌측 이미지 비정상 픽셀 흐름 검출부(240), 좌측 이미지 물체 인식부(250)를 포함할 수 있다.
좌측 이미지 선택부(210)는 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지 중 좌측 이미지를 선택할 수 있다. 또한 좌측 이미지 선택부(210)는 선택된 좌측 이미지를 좌측 이미지 마스크 처리부(220)로 제공할 수 있다.
좌측 이미지 마스크 처리부(220)는 좌측 이미지 선택부(210)에서 선택된 좌측 이미지의 후방 영역을 특정할 수 있다.
구체적으로, 좌측 이미지 마스크 처리부(220)는 후방 좌측 영역 마스크(미도시)를 이용하여 좌측 이미지 선택부(210)에서 선택된 좌측 이미지의 후방 영역을 특정할 수 있다. 즉, 좌측 이미지 마스크 처리부(220)는 후방 좌측 영역 마스크를 통해 좌측 이미지에서 불필요한 영역을 제거하고, 일부 후방 영역만을 특정할 수 있다.
여기에서, 후방 좌측 영역 마스크는 예를 들어, 알고리즘 형태로 좌측 이미지 마스크 처리부(220)에서 사용될 수 있고, 서라운드 뷰 이미지 정합 정보의 생성 과정 중에 함께 생성될 수 있다.
참고로, 도면에 도시되어 있지는 않지만, 서라운드 뷰 모니터링 시스템(1)은 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지를 토대로 서라운드 뷰 이미지 정합 정보를 생성하고, 생성된 서라운드 뷰 이미지 정합 정보를 토대로 서라운드 뷰 이미지를 생성하는 서라운드 뷰 이미지 생성부(미도시)를 더 포함할 수 있다.
여기에서, 서라운드 뷰 이미지 정합 정보는 예를 들어, 복수개의 카메라(100) 각각으로부터 촬영된 이미지를 공차 파라미터 정보를 토대로 재배치(stitching)하기 위한 정보를 포함할 수 있고, 공차 파라미터 정보는 복수개의 카메라(100) 각각의 설치 위치, 각도 차이 등으로 인해 발생하는 카메라 간 공차를 보정하기 위한 파라미터 정보를 포함할 수 있다.
이에 따라, 서라운드 뷰 이미지 생성부는 서라운드 뷰 이미지 정합 정보를 생성하는 과정에서 촬영된 이미지 상의 각 픽셀과 차량 간의 거리를 알 수 있는바, 후방 좌측 영역 마스크 역시 서라운드 뷰 이미지 정합 정보와 함께 서라운드 뷰 이미지 생성부에서 생성될 수 있다.
즉, 좌측 이미지 마스크 처리부(220)는 서라운드 뷰 이미지 생성부로부터 제공받은 후방 좌측 영역 마스크를 이용하여 좌측 이미지의 후방 영역을 특정할 수 있는 것이다.
좌측 이미지 픽셀 흐름 정보 생성부(230)는 좌측 이미지 마스크 처리부(220)에서 특정된 좌측 이미지의 후방 영역에 대한 픽셀 흐름 정보를 생성할 수 있다.
구체적으로, 좌측 이미지 픽셀 흐름 정보 생성부(230)는 좌측 이미지 마스크 처리부(220)에서 특정된 좌측 이미지의 후방 영역에 대해 블록 정보를 생성하고, 생성된 블록 정보를 토대로 관심 픽셀을 선택하며, 선택된 관심 픽셀과 관련된 주변 픽셀을 탐색하고, 탐색 결과를 토대로 픽셀 흐름 정보를 생성할 수 있다.
참고로, 블록 정보는 예를 들어, 카메라에 의해 촬영된 이미지를 복수개의 영역으로 분할하였을 때, 분할된 각 영역에 대한 정보 또는 복수개의 영역으로 분할하기 위한 기준에 대한 정보 등을 포함할 수 있다. 이에 따라, 좌측 이미지 픽셀 흐름 정보 생성부(230)는 좌측 이미지의 후방 영역을 복수개의 블록으로 분할하고, 분할된 각 블록에 대해 관심 픽셀을 선택할 수 있다.
또한 관심 픽셀은 예를 들어, 이전 프레임과 현재 프레임을 비교하였을 때 미리 설정된 기준 이상의 크기, 색상 또는 이동거리 등의 변화를 보여준 픽셀을 의미할 수 있다. 그리고, 주변 픽셀을 탐색한다는 의미는 선택된 관심 픽셀이 이전 프레임에서는 어디에 위치했었는지를 탐색한다는 것을 의미할 수 있다. 이에 따라, 만약 대상 블록에 대해 관심 픽셀이 선택되지 않는 경우, 주변 픽셀 탐색 작업 역시 수행되지 않는다.
즉, 좌측 이미지 픽셀 흐름 정보 생성부(230)는 전술한 블록 정보 생성 작업, 관심 픽셀 선택 작업, 주변 픽셀 탐색 작업을 순차적으로 수행함으로써, 좌측 이미지의 후방 영역에 대한 픽셀 흐름 정보를 생성할 수 있다.
참고로, 픽셀 흐름 정보는 이전 프레임과 현재 프레임을 비교하였을 때 특정 픽셀(예를 들어, 관심 픽셀)이 어떤 방향으로 얼마나 이동하였는지에 대한 정보를 포함할 수 있다.
좌측 이미지 비정상 픽셀 흐름 검출부(240)는 좌측 이미지 픽셀 흐름 정보 생성부(230)에서 생성된 픽셀 흐름 정보에서 비정상 픽셀 흐름을 검출할 수 있다.
구체적으로, 좌측 이미지 비정상 픽셀 흐름 검출부(240)는, 좌측 이미지 픽셀 흐름 정보 생성부(230)에서 생성된 픽셀 흐름 정보를 차량의 정상 주행시 차량의 좌측 이미지에서 발생하는 정상 픽셀 흐름 정보와 비교하고, 비교 결과를 토대로 비정상 픽셀 흐름(즉, 오차가 발생하는 부분)을 검출할 수 있다.
여기에서, 좌측 이미지 비정상 픽셀 흐름 검출부(240)는 차량의 정상 주행시 차량의 좌측 이미지에서 발생하는 정상 픽셀 흐름 정보를 포함할 수 있고, 정상 픽셀 흐름 정보는 서라운드 뷰 모니터링 시스템(1)의 제조 단계에서 좌측 이미지 비정상 픽셀 흐름 검출부(240)에 미리 저장될 수 있다.
참고로, 좌측 이미지 비정상 픽셀 흐름 검출부(240)는 좌측 이미지 픽셀 흐름 정보 생성부(230)에서 생성된 픽셀 흐름 정보를 전술한 서라운드 뷰 이미지 정합 정보의 생성 과정 중에 함께 생성되는 픽셀 흐름 정보와 비교하여 비정상 픽셀 흐름을 검출할 수도 있다.
물론, 좌측 이미지 비정상 픽셀 흐름 검출부(240)는 좌측 이미지 픽셀 흐름 정보 생성부(230)에서 생성된 픽셀 흐름 정보를 정상 픽셀 흐름 정보 및 서라운드 뷰 이미지 정합 정보의 생성 과정 중에 함께 생성되는 픽셀 흐름 정보 둘다와 비교하여 비정상 픽셀 흐름을 검출할 수도 있다.
다만, 설명의 편의를 위해, 본 발명의 실시예에서는, 좌측 이미지 비정상 픽셀 흐름 검출부(240)가 좌측 이미지 픽셀 흐름 정보 생성부(230)에서 생성된 픽셀 흐름 정보를 정상 픽셀 흐름 정보와 비교하는 것을 예로 들어 설명하기로 한다.
좌측 이미지 물체 인식부(250)는 좌측 이미지 비정상 픽셀 흐름 검출부(240)에서 검출된 비정상 픽셀 흐름을 분석하여 비정상 픽셀 흐름이 물체인지 여부를 판별할 수 있다.
구체적으로, 좌측 이미지 물체 인식부(250)는, 좌측 이미지 비정상 픽셀 흐름 검출부(240)에서 검출된 비정상 픽셀 흐름을 분석하여 비정상 픽셀 흐름 상의 픽셀 분포를 파악하고, 파악된 픽셀 분포를 토대로 비정상 픽셀 흐름의 크기 및 위치 정보를 생성하며, 생성된 비정상 픽셀 흐름의 크기 및 위치 정보를 토대로 비정상 픽셀 흐름이 물체인지 여부를 판별할 수 있다.
즉, 좌측 이미지 물체 인식부(250)는 비정상 픽셀 흐름 상의 픽셀 분포를 파악하여 픽셀이 군집하고 있는지 여부를 판별할 수 있고, 픽셀이 군집하고 있는 경우, 해당 픽셀 군집의 크기 및 위치 정보(예를 들어, 픽셀 군집의 중심 위치 정보)를 생성할 수 있다.
또한 좌측 이미지 물체 인식부(250)는 생성된 픽셀 군집의 크기 및 위치 정보를 토대로 해당 픽셀 군집이 물체인지 여부를 판별할 수 있고, 판별 정보를 제1 경고 표시 모듈(260)로 제공할 수 있다.
전술한 바와 같이, 제1 사각지대 탐지 모듈(200)은 패턴 인식 방식이 아닌 프레임 간 물체의 이동을 감지하여 이동한 물체의 크기, 위치, 이동 방향 등을 추출함으로써 좌측 사각지대에 물체가 존재하는지 여부를 판별하는 방식을 사용하는바, 별도의 학습 과정 없이 실시간으로 사각지대 인식 작업을 수행할 수 있다.
한편, 도 4를 참조하면, 우측 사각지대(도 2의 RBS)에 물체가 존재하는지 여부를 판별하는 제2 사각지대 탐지 모듈(300)이 도시되어 있다.
참고로, 제2 사각지대 탐지 모듈(300)은 우측 사각지대를 탐지한다는 점을 제외하고는 도 3에서 설명한 제1 사각지대 탐지 모듈(200)과 구성 및 기능이 동일한바, 간략하게 설명하도록 한다.
제2 사각지대 탐지 모듈(300)은 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지 중 우측 이미지를 이용하여 차량의 우측 사각지대에 물체가 존재하는지 여부를 판별할 수 있다.
구체적으로, 제2 사각지대 탐지 모듈(300)은 우측 이미지 선택부(310), 우측 이미지 마스크 처리부(320), 우측 이미지 픽셀 흐름 정보 생성부(330), 우측 이미지 비정상 픽셀 흐름 검출부(340), 우측 이미지 물체 인식부(350)를 포함할 수 있다.
우측 이미지 선택부(310)는 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지 중 우측 이미지를 선택할 수 있다. 또한 우측 이미지 선택부(310)는 선택된 우측 이미지를 우측 이미지 마스크 처리부(320)로 제공할 수 있다.
우측 이미지 마스크 처리부(320)는 우측 이미지 선택부(310)에서 선택된 우측 이미지의 후방 영역을 특정할 수 있다.
구체적으로, 우측 이미지 마스크 처리부(320)는 후방 우측 영역 마스크(미도시)를 이용하여 우측 이미지 선택부(310)에서 선택된 우측 이미지의 후방 영역을 특정할 수 있다. 즉, 우측 이미지 마스크 처리부(320)는 후방 우측 영역 마스크를 통해 우측 이미지에서 불필요한 영역을 제거하고, 일부 후방 영역만을 특정할 수 있다.
여기에서, 후방 우측 영역 마스크는 예를 들어, 알고리즘 형태로 우측 이미지 마스크 처리부(320)에서 사용될 수 있고, 서라운드 뷰 이미지 정합 정보의 생성 과정 중에 함께 생성될 수 있다.
즉, 전술한 바와 같이, 서라운드 뷰 이미지 생성부(미도시)는 서라운드 뷰 이미지 정합 정보를 생성하는 과정에서 촬영된 이미지 상의 각 픽셀과 차량 간의 거리를 알 수 있는바, 후방 우측 영역 마스크 역시 서라운드 뷰 이미지 정합 정보와 함께 서라운드 뷰 이미지 생성부에서 생성될 수 있다.
즉, 우측 이미지 마스크 처리부(320)는 서라운드 뷰 이미지 생성부로부터 제공받은 후방 우측 영역 마스크를 이용하여 우측 이미지의 후방 영역을 특정할 수 있는 것이다.
우측 이미지 픽셀 흐름 정보 생성부(330)는 우측 이미지 마스크 처리부(320)에서 특정된 우측 이미지의 후방 영역에 대한 픽셀 흐름 정보를 생성할 수 있다.
구체적으로, 우측 이미지 픽셀 흐름 정보 생성부(330)는 우측 이미지 마스크 처리부(320)에서 특정된 우측 이미지의 후방 영역에 대해 블록 정보를 생성하고, 생성된 블록 정보를 토대로 관심 픽셀을 선택하며, 선택된 관심 픽셀과 관련된 주변 픽셀을 탐색하고, 탐색 결과를 토대로 픽셀 흐름 정보를 생성할 수 있다.
즉, 우측 이미지 픽셀 흐름 정보 생성부(330)는 전술한 블록 정보 생성 작업, 관심 픽셀 선택 작업, 주변 픽셀 탐색 작업을 순차적으로 수행함으로써, 우측 이미지의 후방 영역에 대한 픽셀 흐름 정보를 생성할 수 있다.
우측 이미지 비정상 픽셀 흐름 검출부(340)는 우측 이미지 픽셀 흐름 정보 생성부(330)에서 생성된 픽셀 흐름 정보에서 비정상 픽셀 흐름을 검출할 수 있다.
구체적으로, 우측 이미지 비정상 픽셀 흐름 검출부(340)는, 우측 이미지 픽셀 흐름 정보 생성부(330)에서 생성된 픽셀 흐름 정보를 차량의 정상 주행시 차량의 우측 이미지에서 발생하는 정상 픽셀 흐름 정보와 비교하고, 비교 결과를 토대로 비정상 픽셀 흐름(즉, 오차가 발생하는 부분)을 검출할 수 있다.
여기에서, 우측 이미지 비정상 픽셀 흐름 검출부(340)는 차량의 정상 주행시 차량의 우측 이미지에서 발생하는 정상 픽셀 흐름 정보를 포함할 수 있고, 정상 픽셀 흐름 정보는 서라운드 뷰 모니터링 시스템(1)의 제조 단계에서 우측 이미지 비정상 픽셀 흐름 검출부(340)에 미리 저장될 수 있다.
참고로, 우측 이미지 비정상 픽셀 흐름 검출부(340)는 우측 이미지 픽셀 흐름 정보 생성부(330)에서 생성된 픽셀 흐름 정보를 전술한 서라운드 뷰 이미지 정합 정보의 생성 과정 중에 함께 생성되는 픽셀 흐름 정보와 비교하여 비정상 픽셀 흐름을 검출할 수도 있다.
물론, 우측 이미지 비정상 픽셀 흐름 검출부(340)는 우측 이미지 픽셀 흐름 정보 생성부(330)에서 생성된 픽셀 흐름 정보를 정상 픽셀 흐름 정보 및 서라운드 뷰 이미지 정합 정보의 생성 과정 중에 함께 생성되는 픽셀 흐름 정보 둘다와 비교하여 비정상 픽셀 흐름을 검출할 수도 있다.
다만, 설명의 편의를 위해, 본 발명의 실시예에서는, 우측 이미지 비정상 픽셀 흐름 검출부(340)가 우측 이미지 픽셀 흐름 정보 생성부(330)에서 생성된 픽셀 흐름 정보를 정상 픽셀 흐름 정보와 비교하는 것을 예로 들어 설명하기로 한다.
우측 이미지 물체 인식부(350)는 우측 이미지 비정상 픽셀 흐름 검출부(340)에서 검출된 비정상 픽셀 흐름을 분석하여 비정상 픽셀 흐름이 물체인지 여부를 판별할 수 있다.
구체적으로, 우측 이미지 물체 인식부(350)는, 우측 이미지 비정상 픽셀 흐름 검출부(340)에서 검출된 비정상 픽셀 흐름을 분석하여 비정상 픽셀 흐름 상의 픽셀 분포를 파악하고, 파악된 픽셀 분포를 토대로 비정상 픽셀 흐름의 크기 및 위치 정보를 생성하며, 생성된 비정상 픽셀 흐름의 크기 및 위치 정보를 토대로 비정상 픽셀 흐름이 물체인지 여부를 판별할 수 있다.
즉, 우측 이미지 물체 인식부(350)는 비정상 픽셀 흐름 상의 픽셀 분포를 파악하여 픽셀이 군집하고 있는지 여부를 판별할 수 있고, 픽셀이 군집하고 있는 경우, 해당 픽셀 군집의 크기 및 위치 정보(예를 들어, 픽셀 군집의 중심 위치 정보)를 생성할 수 있다.
또한 우측 이미지 물체 인식부(350)는 생성된 픽셀 군집의 크기 및 위치 정보를 토대로 해당 픽셀 군집이 물체인지 여부를 판별할 수 있고, 판별 정보를 제2 경고 표시 모듈(도 1의 360)로 제공할 수 있다.
다시 도 1을 참조하면, 제1 경고 표시 모듈(260)은 제1 사각지대 탐지 모듈(200)에서 판별된 물체 존재 여부에 관한 정보를 토대로 좌측 경고 정보를 생성할 수 있다.
구체적으로, 제1 경고 표시 모듈(260)은 제1 사각지대 탐지 모듈(200)로부터 제공받은 판별 정보를 토대로 좌측 경고 정보를 생성할 수 있고, 판별 정보가 차량의 좌측 사각지대에 물체(예를 들어, 다른 차량)가 존재함을 가리키는 경우 운전자에게 좌측 경고 정보를 출력할 수 있다.
즉, 제1 경고 표시 모듈(260)은 좌측 경고 정보를 차량에 장착된 디스플레이 장치(미도시)로 제공할 수 있고, 디스플레이 장치는 제공받은 좌측 경고 정보를 표시할 수 있다.
한편, 제2 경고 표시 모듈(360)은 제2 사각지대 탐지 모듈(300)에서 판별된 물체 존재 여부에 관한 정보를 토대로 우측 경고 정보를 생성할 수 있다.
구체적으로, 제2 경고 표시 모듈(360)은 제2 사각지대 탐지 모듈(300)로부터 제공받은 판별 정보를 토대로 우측 경고 정보를 생성할 수 있고, 판별 정보가 차량의 우측 사각지대에 물체(예를 들어, 다른 차량)가 존재함을 가리키는 경우 운전자에게 우측 경고 정보를 출력할 수 있다.
즉, 제2 경고 표시 모듈(360)은 우측 경고 정보를 차량에 장착된 디스플레이 장치(미도시)로 제공할 수 있고, 디스플레이 장치는 제공받은 우측 경고 정보를 표시할 수 있다.
여기에서, 도 5를 참조하면, 차량에 장착된 디스플레이 장치에 경고 정보(예를 들어, 좌측 경고 정보)가 표시된 모습이 도시되어 있다.
즉, 디스플레이 장치는 다른 차량(C')이 좌측 사각지대(LBS)에 존재하는 경우, 좌측 경고 정보(A)를 표시함으로써 운전자가 좌측 사각지대(LBS)에 다른 차량(C')이 존재함을 즉시 인식하도록 할 수 있다.
또한 도면에 도시되어 있지는 않지만, 제1 및 제2 경고 표시 모듈(260, 360)은 경고 정보를 차량에 장착된 스피커(미도시)를 통해 음성 형태로 출력할 수도 있다.
전술한 바와 같이, 본 발명에 따른 서라운드 뷰 모니터링 시스템(1)에 따르면, 별도의 학습 과정 없이 실시간으로 사각지대 인식 작업을 수행할 수 있다. 또한 별도의 학습 과정이 필요 없는바, 고성능의 프로세서를 장착할 필요가 없다는 장점이 있다. 그뿐만 아니라, 사각지대 경고 시스템과 달리, 카메라가 사이드 미러 장착 위치의 아래 또는 옆에 돌출되는 형태로 설치되지 않는바, 심미성 저하를 방지할 수 있다.
이상, 본 발명에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
100: 복수개의 카메라 200: 제1 사각지대 탐지 모듈
260: 제1 경고 표시 모듈 300: 제2 사각지대 탐지 모듈
360: 제2 경고 표시 모듈

Claims (10)

  1. 차량의 전후좌우에 각각 설치되어 상기 차량의 주변 이미지를 촬영하는 복수개의 카메라;
    상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지 중 좌측 이미지를 이용하여 상기 차량의 좌측 사각지대에 물체가 존재하는지 여부를 판별하는 제1 사각지대 탐지 모듈; 및
    상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지 중 우측 이미지를 이용하여 상기 차량의 우측 사각지대에 물체가 존재하는지 여부를 판별하는 제2 사각지대 탐지 모듈을 포함하고,
    상기 제1 사각지대 탐지 모듈은, 상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지 중 상기 좌측 이미지를 선택하는 좌측 이미지 선택부와,
    상기 좌측 이미지 선택부에서 선택된 상기 좌측 이미지의 후방 영역을 특정하는 좌측 이미지 마스크 처리부와,
    상기 좌측 이미지 마스크 처리부에서 특정된 상기 좌측 이미지의 후방 영역에 대한 픽셀 흐름 정보를 생성하는 좌측 이미지 픽셀 흐름 정보 생성부와,
    상기 좌측 이미지 픽셀 흐름 정보 생성부에서 생성된 상기 픽셀 흐름 정보에서 비정상 픽셀 흐름을 검출하는 좌측 이미지 비정상 픽셀 흐름 검출부와,
    상기 좌측 이미지 비정상 픽셀 흐름 검출부에서 검출된 상기 비정상 픽셀 흐름을 분석하여 상기 비정상 픽셀 흐름이 물체인지 여부를 판별하는 좌측 이미지 물체 인식부를 포함하는 서라운드 뷰 모니터링(Surround View Monitoring) 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 좌측 이미지 마스크 처리부는 후방 좌측 영역 마스크를 이용하여 상기 좌측 이미지 선택부에서 선택된 상기 좌측 이미지의 후방 영역을 특정하고,
    상기 좌측 이미지 픽셀 흐름 정보 생성부는 상기 좌측 이미지 마스크 처리부에서 특정된 상기 좌측 이미지의 후방 영역에 대해 블록 정보를 생성하고, 상기 생성된 블록 정보를 토대로 관심 픽셀을 선택하며, 상기 선택된 관심 픽셀과 관련된 주변 픽셀을 탐색하고, 탐색 결과를 토대로 상기 픽셀 흐름 정보를 생성하는
    서라운드 뷰 모니터링 시스템.
  4. 제1항에 있어서,
    상기 좌측 이미지 비정상 픽셀 흐름 검출부는, 상기 좌측 이미지 픽셀 흐름 정보 생성부에서 생성된 상기 픽셀 흐름 정보를 상기 차량의 정상 주행시 상기 차량의 좌측 이미지에서 발생하는 정상 픽셀 흐름 정보와 비교하고, 비교 결과를 토대로 상기 비정상 픽셀 흐름을 검출하며,
    상기 좌측 이미지 물체 인식부는, 상기 좌측 이미지 비정상 픽셀 흐름 검출부에서 검출된 상기 비정상 픽셀 흐름을 분석하여 상기 비정상 픽셀 흐름 상의 픽셀 분포를 파악하고, 상기 파악된 픽셀 분포를 토대로 상기 비정상 픽셀 흐름의 크기 및 위치 정보를 생성하며, 상기 생성된 비정상 픽셀 흐름의 크기 및 위치 정보를 토대로 상기 비정상 픽셀 흐름이 물체인지 여부를 판별하는
    서라운드 뷰 모니터링 시스템.
  5. 제1항에 있어서,
    상기 제2 사각지대 탐지 모듈은,
    상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지 중 상기 우측 이미지를 선택하는 우측 이미지 선택부와,
    상기 우측 이미지 선택부에서 선택된 상기 우측 이미지의 후방 영역을 특정하는 우측 이미지 마스크 처리부와,
    상기 우측 이미지 마스크 처리부에서 특정된 상기 우측 이미지의 후방 영역에 대한 픽셀 흐름 정보를 생성하는 우측 이미지 픽셀 흐름 정보 생성부와,
    상기 우측 이미지 픽셀 흐름 정보 생성부에서 생성된 상기 픽셀 흐름 정보에서 비정상 픽셀 흐름을 검출하는 우측 이미지 비정상 픽셀 흐름 검출부와,
    상기 우측 이미지 비정상 픽셀 흐름 검출부에서 검출된 상기 비정상 픽셀 흐름을 분석하여 상기 비정상 픽셀 흐름이 물체인지 여부를 판별하는 우측 이미지 물체 인식부를 포함하는
    서라운드 뷰 모니터링 시스템.
  6. 제5항에 있어서,
    상기 우측 이미지 마스크 처리부는 후방 우측 영역 마스크를 이용하여 상기 우측 이미지 선택부에서 선택된 상기 우측 이미지의 후방 영역을 특정하고,
    상기 우측 이미지 픽셀 흐름 정보 생성부는 상기 우측 이미지 마스크 처리부에서 특정된 상기 우측 이미지의 후방 영역에 대해 블록 정보를 생성하고, 상기 생성된 블록 정보를 토대로 관심 픽셀을 선택하며, 상기 선택된 관심 픽셀과 관련된 주변 픽셀을 탐색하고, 상기 탐색 결과를 토대로 상기 픽셀 흐름 정보를 생성하는
    서라운드 뷰 모니터링 시스템.
  7. 제5항에 있어서,
    상기 우측 이미지 비정상 픽셀 흐름 검출부는, 상기 우측 이미지 픽셀 흐름 정보 생성부에서 생성된 상기 픽셀 흐름 정보를 상기 차량의 정상 주행시 상기 차량의 우측 이미지에서 발생하는 정상 픽셀 흐름 정보와 비교하고, 상기 비교 결과를 토대로 상기 비정상 픽셀 흐름을 검출하며,
    상기 우측 이미지 물체 인식부는, 상기 우측 이미지 비정상 픽셀 흐름 검출부에서 검출된 상기 비정상 픽셀 흐름을 분석하여 상기 비정상 픽셀 흐름 상의 픽셀 분포를 파악하고, 상기 파악된 픽셀 분포를 토대로 상기 비정상 픽셀 흐름의 크기 및 위치 정보를 생성하며, 상기 생성된 비정상 픽셀 흐름의 크기 및 위치 정보를 토대로 상기 비정상 픽셀 흐름이 물체인지 여부를 판별하는
    서라운드 뷰 모니터링 시스템.
  8. 제1항에 있어서,
    상기 제1 사각지대 탐지 모듈에서 판별된 물체 존재 여부에 관한 정보를 토대로 좌측 경고 정보를 생성하는 제1 경고 표시 모듈; 및
    상기 제2 사각지대 탐지 모듈에서 판별된 물체 존재 여부에 관한 정보를 토대로 우측 경고 정보를 생성하는 제2 경고 표시 모듈을 더 포함하는
    서라운드 뷰 모니터링 시스템.
  9. 제8항에 있어서,
    상기 제1 경고 표시 모듈은 상기 차량의 좌측 사각지대에 물체가 존재하는 경우 운전자에게 상기 좌측 경고 정보를 출력하고,
    상기 제2 경고 표시 모듈은 상기 차량의 우측 사각지대에 물체가 존재하는 경우 상기 운전자에게 상기 우측 경고 정보를 출력하는
    서라운드 뷰 모니터링 시스템.
  10. 제1항에 있어서,
    상기 복수개의 카메라는,
    상기 차량의 전단에 설치되어 상기 차량의 전방 이미지를 촬영하는 제1 카메라와,
    상기 차량의 좌측에 설치되어 상기 차량의 상기 좌측 이미지를 촬영하는 제2 카메라와,
    상기 차량의 우측에 설치되어 상기 차량의 상기 우측 이미지를 촬영하는 제3 카메라와,
    상기 차량의 후단에 설치되어 상기 차량의 후방 이미지를 촬영하는 제4 카메라를 포함하는
    서라운드 뷰 모니터링 시스템.
KR1020170143113A 2017-10-31 2017-10-31 서라운드 뷰 모니터링 시스템 KR102051324B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170143113A KR102051324B1 (ko) 2017-10-31 2017-10-31 서라운드 뷰 모니터링 시스템
PCT/KR2018/012824 WO2019088591A2 (ko) 2017-10-31 2018-10-26 서라운드 뷰 모니터링 시스템
CN201880057385.1A CN111194450A (zh) 2017-10-31 2018-10-26 全景监视系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143113A KR102051324B1 (ko) 2017-10-31 2017-10-31 서라운드 뷰 모니터링 시스템

Publications (2)

Publication Number Publication Date
KR20190048285A KR20190048285A (ko) 2019-05-09
KR102051324B1 true KR102051324B1 (ko) 2019-12-03

Family

ID=66333234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143113A KR102051324B1 (ko) 2017-10-31 2017-10-31 서라운드 뷰 모니터링 시스템

Country Status (3)

Country Link
KR (1) KR102051324B1 (ko)
CN (1) CN111194450A (ko)
WO (1) WO2019088591A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610593A (zh) * 2019-10-16 2019-12-24 徐州筑之邦工程机械有限公司 一种矿用卡车智能安全预警系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200325312Y1 (ko) 2003-05-23 2003-09-03 정운기 차량의 감시카메라용 모니터

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354466A (ja) * 2001-05-23 2002-12-06 Nissan Motor Co Ltd 車両用周囲監視装置
KR20110076300A (ko) * 2009-12-29 2011-07-06 전자부품연구원 차량정보 기반 사각지대 인지용 적응형 멀티모드 뷰 시스템 및 그 제어방법
KR101472615B1 (ko) * 2010-12-21 2014-12-16 삼성전기주식회사 차선이탈 경보 시스템 및 방법
JP2013541915A (ja) * 2010-12-30 2013-11-14 ワイズ オートモーティブ コーポレーション 死角地帯の表示装置および方法
KR20130006752A (ko) * 2011-06-23 2013-01-18 주식회사 만도 차선 인식 장치 및 그 방법
KR101279712B1 (ko) * 2011-09-09 2013-06-27 연세대학교 산학협력단 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
KR20160075135A (ko) * 2014-12-19 2016-06-29 현대모비스 주식회사 자동차 물체인식 시스템 및 그 동작방법
DE102015205507B3 (de) * 2015-03-26 2016-09-29 Zf Friedrichshafen Ag Rundsichtsystem für ein Fahrzeug
KR101697484B1 (ko) * 2016-08-31 2017-01-18 (주)캠시스 차량 주변의 위험요소 경고장치 및 경고방법
CN106740470A (zh) * 2016-11-21 2017-05-31 奇瑞汽车股份有限公司 一种基于全景影像系统的盲区监测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200325312Y1 (ko) 2003-05-23 2003-09-03 정운기 차량의 감시카메라용 모니터

Also Published As

Publication number Publication date
KR20190048285A (ko) 2019-05-09
WO2019088591A2 (ko) 2019-05-09
CN111194450A (zh) 2020-05-22
WO2019088591A3 (ko) 2019-06-27

Similar Documents

Publication Publication Date Title
EP2919197B1 (en) Object detection device and object detection method
US7684590B2 (en) Method of recognizing and/or tracking objects
JP5421072B2 (ja) 接近物体検知システム
EP1895766B1 (en) Camera with two or more angles of view
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
JP2003067752A (ja) 車両周辺監視装置
US20180114078A1 (en) Vehicle detection device, vehicle detection system, and vehicle detection method
JP6032034B2 (ja) 物体検知装置
JPH0750769A (ja) 車両用後側方監視方法
KR20150022076A (ko) 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치
JP2009234344A (ja) 撮像手段の調整装置および物体検出装置
JP2017219427A (ja) 物体距離検出装置
Baris et al. Classification and tracking of traffic scene objects with hybrid camera systems
JP2014154062A (ja) 物体検知装置
JPWO2019021500A1 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
KR102051324B1 (ko) 서라운드 뷰 모니터링 시스템
JP2017215743A (ja) 画像処理装置、外界認識装置
JP2007172504A (ja) 付着物検出装置及び付着物検出方法
JP2018151999A (ja) 物体距離検出装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
CN111133439B (zh) 全景监视系统
JP2019061314A (ja) 物体距離検出装置
JP7120835B2 (ja) 画像処理装置
JP2006012013A (ja) 移動物体追跡装置
JP2000242900A (ja) 割り込み車両検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant