KR20170093490A - 차량용 모니터링 시스템 - Google Patents

차량용 모니터링 시스템 Download PDF

Info

Publication number
KR20170093490A
KR20170093490A KR1020160014952A KR20160014952A KR20170093490A KR 20170093490 A KR20170093490 A KR 20170093490A KR 1020160014952 A KR1020160014952 A KR 1020160014952A KR 20160014952 A KR20160014952 A KR 20160014952A KR 20170093490 A KR20170093490 A KR 20170093490A
Authority
KR
South Korea
Prior art keywords
pedestrian
image
unit
visible light
candidate region
Prior art date
Application number
KR1020160014952A
Other languages
English (en)
Inventor
이성현
백승현
정준용
Original Assignee
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사 filed Critical 에스엘 주식회사
Priority to KR1020160014952A priority Critical patent/KR20170093490A/ko
Publication of KR20170093490A publication Critical patent/KR20170093490A/ko

Links

Images

Classifications

    • H04N5/2258—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예에 따른 차량용 모니터링 시스템은, 차량 외부에 대한 가시광 이미지를 획득하는 가시광 촬상부, 상기 가시광 이미지와 적어도 일부가 중첩되는 적외선 이미지를 획득하는 적외선 촬상부, 상기 가시광 이미지 내에 존재하는 적어도 하나의 피사체의 에지 이미지를 추출하는 에지 추출부, 상기 에지 추출부로부터 추출된 상기 에지 이미지를 상기 적외선 영상에 융합하는 영상 융합부 및 상기 영상 융합부가 융합한 융합 이미지로부터 보행자가 위치하는 것으로 추정되는 후보 영역을 검출하는 후보 영역 검출부를 포함한다.

Description

차량용 모니터링 시스템{Monitoring system for vehicle}
본 발명은 차량용 모니터링 시스템에 관한 것으로서, 보다 상세하게는 차량 외부를 촬영하는 차량용 모니터링 시스템에 관한 것이다.
종래의 차량용 안전 장치는 안전벨트, 에어백 등과 같이 사고가 발생한 상태에서 탑승자를 보호하는 수동형 안전 장치가 대부분이었지만, 최근에는 사고를 예방하는 능동형 안전 장치가 적용되고 있다.
능동형 안전 장치의 일례로, 최근에는 차량 외부를 촬영하는 카메라를 통해 차량 외부의 영상을 확보하고 영상 내의 보행자나 장애물을 인식하여 운전자에게 경고하는 차량용 모니터링 시스템이 사용되고 있다.
가시광선 영역을 감광하는 카메라를 사용하는 차량용 모니터링 시스템의 경우, 주간에는 보행자 또는 장애물을 잘 인식하지만, 야간에는 인식률이 낮은 한계를 가지고 있다.
이에 적외선 영역을 감광하는 카메라를 사용하는 차량용 모니터링 시스템이 사용되고 있지만, 적외선 이미지는 보행자나 장애물에 대한 인식 성능이 낮은 한계를 가지고 있다.
본 발명이 해결하고자 하는 과제는, 높은 신뢰성으로 보행자를 인식하는 차량용 모니터링 시스템을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 차량용 모니터링 시스템은, 차량 외부에 대한 가시광 이미지를 획득하는 가시광 촬상부, 상기 가시광 이미지와 적어도 일부가 중첩되는 적외선 이미지를 획득하는 적외선 촬상부, 상기 가시광 이미지 내에 존재하는 적어도 하나의 피사체의 에지 이미지를 추출하는 에지 추출부, 상기 에지 추출부로부터 추출된 상기 에지 이미지를 상기 적외선 영상에 융합하는 영상 융합부 및 상기 영상 융합부가 융합한 융합 이미지로부터 보행자가 위치하는 것으로 추정되는 후보 영역을 검출하는 후보 영역 검출부를 포함한다.
상기 후보 영역 검출부는 상기 융합 이미지 내의 열(熱) 정보를 기초로 상기 후보 영역을 검출할 수 있다.
상기 후보 영역 검출부는 상기 후보 영역에 대응하는 화소들과 상기 후보 영역을 제외한 나머지 영역에 대응하는 화소들에 서로 다른 값을 부여하여 상기 융합 이미지를 이진화할 수 있다.
상기 후보 영역 검출부는 상기 후보 영역에 대응하는 화소들에 1을 부여하고, 상기 후보 영역을 제외한 나머지 영역에 대응하는 화소들에 0을 부여할 수 있다.
상기 가시광 이미지 내에서 상기 후보 영역과 대응하는 영역을 추출하고, 상기 추출된 영역 내의 피사체가 보행자인지 여부를 판단하고, 상기 추출된 영역 중 보행자가 존재하는 것으로 판단되는 영역을 제1 보행자 영역으로 설정하는 제1 보행자 판단부 및 상기 융합 이미지 내에서 상기 후보 영역 내의 피사체가 보행자인지 여부를 판단하고, 상기 후보 영역 중 보행자가 존재하는 것으로 판단되는 영역을 제2 보행자 영역으로 설정하는 제2 보행자 판단부를 더 포함할 수 있다.
상기 가시광 이미지, 상기 적외선 이미지 및 상기 융합 이미지는 연속하는 복수의 프레임을 포함하며, 상기 제1 보행자 판단부는 상기 복수의 프레임에 대해 상기 제1 보행자 영역을 추적하고, 상기 제2 보행자 판단부는 상기 복수의 프레임에 대해 상기 제2 보행자 영역을 추적할 수 있다.
상기 제1 보행자 판단부는 상기 복수의 프레임마다 상기 제1 보행자 영역의 좌표 정보를 생성하고, 상기 제2 보행자 판단부는 상기 복수의 프레임마다 상기 제2 보행자 영역의 좌표 정보를 생성하며, 상기 제1 보행자 영역의 좌표 정보, 상기 제2 보행자 영역의 좌표 정보 및 상기 차량의 속도 정보를 수신하여 상기 차량의 충돌 가능성을 판단하는 충돌 판단부를 더 포함할 수 있다.
상기 충돌 판단부가 상기 차량과의 충돌 가능성이 존재하는 것으로 판단되는 경우에, 경고 메시지 또는 제동 메시지를 출력하는 알람 출력부를 더 포함할 수 있다.
상기 제동 메시지가 출력되는 경우, 상기 차량을 제동하는 차량 제어부를 더 포함할 수 있다.
상기 영상 융합부는 가시광 촬상부와 상기 적외선 촬상부의 상대적인 위치 차이에 기반하여 상기 에지 이미지와 상기 적외선 영상을 융합할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
높은 신뢰성으로 보행자를 인식할 수 있다.
또한, 보행자와 차량 간의 충돌 가능성을 스스로 판단하여, 운전자에게 경고 또는 제동 메시지를 출력하고, 필요한 경우 차량의 강제로 제동하므로, 차량과 보행자 간의 사고를 방지할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 모니터링 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차량용 모니터링 시스템의 가시광 촬상부 및 적외선 촬상부의 설치예를 도시한 도면이다.
도 3은 가시광 촬상부에 의해 획득된 가시광 이미지의 일례를 도시한 도면이다.
도 4는 적외선 촬상부에 의해 획득된 적외선 이미지의 일례를 도시한 도면이다.
도 5는 영상 융합부에 의해 처리된 융합 이미지의 일례를 도시한 도면이다.
도 6은 후보 영역 검출부가 융합 이미지 내에서 후보 영역을 검출하는 과정 및 제2 보행자 판단부가 제2 보행자 영역을 설정하는 과정을 설명하기 위한 도면이다.
도 7은 제1 보행자 판단부가 제1 보행자 영역을 설정하는 과정을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 또한 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 일 실시예에 따른 차량용 모니터링 시스템을 설명하기 위한 도면들을 참고하여 본 발명에 대하여 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 차량용 모니터링 시스템을 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 차량용 모니터링 시스템의 가시광 촬상부 및 적외선 촬상부의 설치예를 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량용 모니터링 시스템은 가시광 촬상부(11) 및 적외선 촬상부(12)를 포함한다.
가시광 촬상부(11)로는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등과 같은 가시광선 영역을 감광하는 공지의 이미지 센서를 사용하는 카메라가 사용될 수 있다.
적외선 촬상부(12)는 원적외선 영역을 감광하는 공지의 이미지 센서를 사용하는 적외선 카메라가 사용될 수 있다.
도 2에 도시된 바와 같이, 가시광 촬상부(11) 및 적외선 촬상부(12)는 차량의 전면에 설치되어 차량 전방에 대한 이미지를 획득할 수 있다. 도 2에 도시된 바와 같이, 가시광 촬상부(11)는 차량의 윈드 쉴드에 설치되고, 적외선 촬상부(12)는 차량의 프런트 범퍼에 설치될 수 있다.
가시광 촬상부(11)가 획득한 가시광 이미지와 적외선 촬상부(12)가 획득한 적외선 이미지가 대부분이 중첩되도록, 가시광 촬상부(11) 및 적외선 촬상부(12)는 차량의 전방을 지향하도록 설치된다. 다만, 가시광 촬상부(11)와 적외선 촬상부(12)의 설치 위치의 차이로 인해 가시광 촬상부(11)가 획득한 가시광 이미지와 적외선 촬상부(12)가 획득한 적외선 이미지가 완벽하게 중첩되지는 않을 수 있다.
가시광 촬상부(11) 및/또는 적외선 촬상부(12)는 도 2에 도시된 바와 다른 위치에 설치될 수도 있다. 예를 들어, 차량의 사이드 미러, 그릴 등에 설치될 수도 있다.
한편, 도 1에 도시된 바와 같이, 본 발명의 일 실시예예 따른 차량용 모니터링 시스템은, 에지 추출부(21), 색공간 변환부(22), 영상 융합부(31), 후보 영역 검출부(32), 제1 보행자 판단부(41) 및 제2 보행자 판단부(42)를 더 포함한다.
에지 추출부(21), 색공간 변환부(22), 영상 융합부(31), 후보 영역 검출부(32), 제1 보행자 판단부(41) 및 제2 보행자 판단부(42)은 가시광 촬상부(11)가 획득한 가시광 이미지와 적외선 촬상부(12)가 획득한 적외선 이미지를 처리하여 이미지 내에 보행자가 존재하는지 여부를 판단하고, 보행자의 위치를 추적한다. 이에 대한 구체적인 내용은 후술한다.
한편, 도 1에 도시된 바와 같이, 본 발명의 일 실시예예 따른 차량용 모니터링 시스템은, 충돌 판단부(51), 알람 출력부(52) 및 차량 제어부(53)를 더 포함한다.
충돌 판단부(51), 알람 출력부(52) 및 차량 제어부(53)는 제1 보행자 판단부(41) 및 제2 보행자 판단부(42)가 판단한 보행자의 위치를 기초로 차량과의 충돌 가능성을 판단하고, 충돌 가능성에 대해 경고하며, 필요시 차량을 제동한다. 이에 대한 구체적인 내용은 후술한다.
이하에서는, 본 발명의 일 실시예예 따른 차량용 모니터링 시스템이 가시광 촬상부(11)가 획득한 가시광 이미지와 적외선 촬상부(12)가 획득한 적외선 이미지로부터 보행자를 식별하는 내용에 대해 설명한다.
도 3은 가시광 촬상부에 의해 획득된 가시광 이미지의 일례를 도시한 도면이고, 도 4는 적외선 촬상부에 의해 획득된 적외선 이미지의 일례를 도시한 도면이다.
도 3은 야간에 차량이 주행하는 상황에서 가시광 촬상부(11)로부터 획득된 가시광 이미지(I1)를 도시한 것이다. 야간에는 차량의 헤드 램프로부터 출사되는 로우빔이 조사되는 부분에 대해서만 시야가 확보된다. 따라서, 도 3에 도시된 바와 같이, 가시광 촬상부(11)로부터 획득된 가시광 이미지(I1)는 로우빔의 컷-오프 라인(C)을 기준으로 아래 부분은 상대적으로 밝아 피사체가 식별되지만 윗 부분은 어두워 피사체가 거의 식별되지 않는다.
특히, 가시광 이미지(I1)에서 차량 전방의 보행자는 하반신만 관측될 뿐, 상반신을 거의 관측되지 않는다.
한편, 도 4에 도시된 바와 같이, 적외선 촬상부(12)에 의해 획득된 적외선 이미지(I2)는 피사체의 열(熱) 분포 상태를 표현하므로, 야간에도 피사체가 관측된다. 적외선 이미지(I2)는 적외선 이미지 센서가 측정한 열(熱) 정보를 0 ~ 255의 밝기 값으로 표현한 이미지일 수 있다.
에지 추출부(21)는 가시광 촬상부(11)로부터 가시광 이미지(I1)를 전달받아 가시광 이미지(I1) 내에 존재하는 피사체의 에지 이미지를 추출한다. 에지 이미지는 가시광 이미지(I1) 내에 존재하는 피사체의 윤곽선이다. 에지 추출부(21)는 sobel, prewitt 등의 공지의 에지 검출 방법을 사용해 피사체의 에지 이미지를 추출할 수 있다.
에지 추출부(21)는 가시광 이미지(I1)로부터 추출된 피사체의 에지 이미지를 영상 융합부(31)로 전달한다.
영상 융합부(31)는 적외선 촬상부(12)로부터 적외선 이미지(I2)를 전달받고, 에지 추출부(21)로부터 에지 이미지를 전달받는다. 그리고, 적외선 이미지(I2)에 에지 이미지를 융합하여 융합 이미지를 생성한다.
도 5는 영상 융합부에 의해 처리된 융합 이미지의 일례를 도시한 도면이다.
영상 융합부(31)는 가시광 촬상부(11)와 적외선 촬상부(12)의 상대적인 위치 차이에 대한 정보를 미리 입력받고, 적외선 이미지(I2)에 에지 이미지를 융합하는 과정에서 가시광 촬상부(11)와 적외선 촬상부(12)의 상대적인 위치 차이에 기반한 캘리브레이션을 수행할 수 있다.
그 결과, 도 5에 도시된 바와 같이, 융합 이미지(I3)에는 가시광 이미지(I1)에서 확인된 피사체의 에지 이미지가 적외선 이미지 상에 오버랩된다.
영상 융합부(31)는 융합 이미지(I3)를 후보 영역 검출부(32)로 전달한다.
도 6은 후보 영역 검출부가 융합 이미지 내에서 후보 영역을 검출하는 과정 및 제2 보행자 판단부가 제2 보행자 영역을 설정하는 과정을 설명하기 위한 도면이다.
후보 영역 검출부(32)는 영상 융합부(31)로부터 전달된 융합 이미지(I3)에서 보행자가 위치하는 것으로 추정되는 후보 영역(Z1)을 검출한다.
후보 영역 검출부(32)는 융합 이미지(I3) 내의 각 픽셀마다 0 ~ 255의 밝기 값으로 표현된 열(熱) 정보를 기초로 후보 영역(Z1)을 검출한다. 즉, 후보 영역 검출부(32)는 0 ~ 255의 밝기 값 중 사람의 체온과 유사한 32도 내지 38도 범위에 해당하는 밝기 값을 갖는 픽셀들이 군집을 형성하는 영역을 후보 영역(Z1)으로 검출할 수 있다.
도 6에는 후보 영역(Z1)으로서 하나의 영역만 선택된 예를 도시하였으나, 후보 영역 검출부(32)는 융합 이미지(I3) 내에서 복수의 후보 영역(Z1)을 검출할 수도 있다.
후보 영역 검출부(32)는 검출된 후보 영역(Z1)의 좌표를 산출하고 후보 영역(Z1)에 대응하는 화소들에는 1을 부여하고, 그 외의 영역에 대응하는 화소들에는 0을 부여하여, 융합 이미지(I3)를 이진화한 테이블을 생성할 수 있다.
후보 영역 검출부(32)는 후보 영역(Z1)에 대한 정보를 제1 보행자 판단부(41) 및 제2 보행자 판단부(42)로 전달한다. 후보 영역(Z1)에 대한 정보는 후보 영역(Z1)의 좌표 및 후보 영역 검출부(32)가 이진화한 테이블일 수 있다.
제2 보행자 판단부(42)는 후보 영역(Z1) 내의 피사체가 보행자인지 여부를 판단한다.
제2 보행자 판단부(42)는 후보 영역 검출부(32)로부터 전달된 테이블에서 1값을 갖는 화소들의 특징 정보를 기초로 후보 영역(Z1) 내에 위치하는 피사체가 보행자 인지 여부를 판단할 수 있다. 예를 들어, 제2 보행자 판단부(42)는 테이블에서 1값을 갖는 화소들에 대해 LDCF 특징을 추출하여 피사체가 보행자인지 여부를 판단할 수 있다.
제2 보행자 판단부(42)는 후보 영역(Z1)들 중 보행자가 존재하는 것으로 판단되는 영역을 제2 보행자 영역으로 설정할 수 있다.
제2 보행자 판단부(42)는 제2 보행자 영역의 좌표 정보, 크기 정보(높이, 폭)를 추출하여 저장할 수 있다.
그리고, 추출된 제2 보행자 영역의 좌표 정보 및 크기 정보를 기초로 연속하는 복수의 프레임으로 구성된 융합 이미지(I3) 또는 적외선 이미지(I2) 내에서 제2 보행자 영역을 추적할 수 있다. 제2 보행자 판단부(42)는 KLT(Kanade Lucas Tomasi) 추적 알고리즘 등의 공지의 추적 알고리즘을 이용해 각 프레임에서 제2 보행자 영역을 추적하고 제2 보행자 영역의 좌표 정보 및 크기 정보를 매 프레임 단위로 저장할 수 있다.
한편, 색공간 변환부(22)는 가시광 촬상부(11)로부터 가시광 이미지(I1)를 전달받아 가시광 이미지(I1)를 RBG 색공간에서 LUV 색공간으로 변환한다. 색공간 변환부(22)는 LUV 색공간으로 변환된 가시광 이미지(I1)를 제1 보행자 판단부(41)로 전달한다.
도 7은 제1 보행자 판단부가 제1 보행자 영역을 설정하는 과정을 설명하기 위한 도면이다.
제1 보행자 판단부(41)는 색공간 변환부(22)로부터 LUV 색공간으로 변환된 가시광 이미지(I1)를 전달받고, 후보 영역 검출부(32)로부터 후보 영역(Z1)에 대한 정보를 전달받는다. 전술한 바와 같이, 후보 영역(Z1)에 대한 정보는 후보 영역(Z1)의 좌표 및 후보 영역 검출부(32)가 이진화한 테이블일 수 있다.
제1 보행자 판단부(41)는 후보 영역 검출부(32)로부터 후보 영역(Z1)에 대한 좌표를 LUV 색공간으로 변환된 가시광 이미지(I1)의 해상도에 대응하도록 연산하여, LUV 색공간으로 변환된 가시광 이미지(I1)에서 후보 영역(Z1)과 대응하는 영역(Z2)을 추출한다.
이 경우, 제1 보행자 판단부(41)는 가시광 이미지(I1)에서 후보 영역(Z1)과 대응하는 영역(Z2)의 화소들에는 1을 부여하고 그 외의 화소들에는 0을 부여하여, 가시광 이미지(I1)를 이진화한 테이블을 생성할 수 있다.
제1 보행자 판단부(41)는 생성한 테이블에서 1값을 갖는 화소들의 특징 정보를 기초로 후보 영역(Z1)과 대응하는 영역(Z2) 내에 위치하는 피사체가 보행자 인지 여부를 판단할 수 있다. 예를 들어, 제1 보행자 판단부(41)는 테이블에서 1값을 갖는 화소들에 대해 LDCF 특징을 추출하여 피사체가 보행자인지 여부를 판단할 수 있다.
제1 보행자 판단부(41)는 영역(Z2)들 중 보행자가 존재하는 것으로 판단되는 영역을 제1 보행자 영역으로 설정할 수 있다.
제1 보행자 판단부(41)는 제1 보행자 영역의 좌표 정보, 크기 정보(높이, 폭)를 추출하여 저장할 수 있다.
그리고, 추출된 제1 보행자 영역의 좌표 정보 및 크기 정보를 기초로 연속하는 복수의 프레임으로 구성된 가시광 이미지(I1) 내에서 제1 보행자 영역을 추적할 수 있다. 제1 보행자 판단부(41)는 KLT(Kanade Lucas Tomasi) 추적 알고리즘 등의 공지의 추적 알고리즘을 이용해 각 프레임에서 제1 보행자 영역을 추적하고 제1 보행자 영역의 좌표 정보 및 크기 정보를 매 프레임 단위로 저장할 수 있다.
충돌 판단부(51)는 제1 보행자 판단부(41)로부터 제1 보행자 영역의 좌표 정보를 전달받고, 제2 보행자 판단부(42)로부터 제2 보행자 영역의 좌표 정보를 전달받는다.
충돌 판단부(51)는 제1 보행자 영역 및 제2 보행자 영역의 좌표 정보를 기초로 제1 보행자 영역 및/또는 제2 보행자 영역 내의 보행자와 차량 간의 거리 정보를 추출한다.
그리고, 충돌 판단부(51)는 차량의 ECU로부터 차량의 속도 정보를 수신하여 보행자와 차량 간의 충돌 가능성을 판단한다. 보다 정확하게 차량의 상태를 파악하기 위해 충돌 판단부(51)는 차량의 ECU로부터 차량의 yaw rate, 가속/브레이크 페달 정보, 기어 포지션, 와이퍼 작동 상태 및 램프에 대한 정보를 수신할 수 있다.
충돌 판단부(51)는 차량의 속도가 60km/h 미만인 경우에 보행자와 차량의 충돌 가능성을 판단할 수 있다.
충돌 판단부(51)가 차량의 현재 속도, yaw rate, 가속/브레이크 페달 정보 및 기어 포지션에 대한 정보를 기초로 차량과 보행자 간의 충돌 가능성이 존재한다고 판단한 경우, 충돌 판단부(51)는 알람 출력부(52)에 충돌 가능성이 존재한다는 시그널을 전송할 수 있다.
알람 출력부(52)는 차량과 보행자 간의 거리가 제1 거리(예를 들어, 20m) 이상일 경우에는 차량 내의 클러스터를 통해 경고 메시지를 출력하고, 차량과 보행자 간의 거리가 제1 거리 미만일 경우에는 차량 내의 클러스터를 통해 제동 메시지를 출력할 수 있다. 알람 출력부(52)는 경고 메시지 또는 제동 메시지가 출력되는 상황에서 운전자가 청각적으로 인지할 수 있는 알람을 동시에 출력할 수 있다.
한편, 차량 제어부(53)는 알람 출력부(52)로부터 제동 메시지가 출력되는 때에 차량을 강제로 제동시킬 수 있다. 또는, 차량 제어부(53)는 충돌 판단부(51)가 차량과 보행자 간의 충돌 가능성이 존재한다고 판단한 경우에 차량을 강제로 제동시킬 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 차량용 모니터링 시스템은 가시광 이미지(I1)와 적외선 이미지(I2)를 동시에 획득하고, 가시광 이미지(I1)로부터 피사체의 에지를 추출하여 이를 적외선 이미지에 융합하여 보행자를 인식한다. 따라서, 적외선 이미지만으로 야간의 보행자를 인식하는 종래의 모니터링 시스템에 비해 보행자 인식에 대한 신뢰성을 향상시킨다.
또한, 적외선 이미지(I2)를 기초로 보행자가 위치할 가능성이 높은 후보 영역을 선정하고 가시광 이미지(I1)에서 후보 영역에 대응하는 영역을 추출하여 보행자를 인식하므로, 가시광 이미지를 통해서도 야간의 보행자를 인식할 수 있다.
또한, 적외선 이미지(I2)를 기반으로 보행자를 인식 및 추적하고, 가시광 이미지(I1)를 기반으로 보행자를 인식 및 추적한 후, 2개의 결과를 취합하므로 보다 높은 신뢰도로 보행자를 인식할 수 있다.
또한, 보행자를 인식 및 추적하고 차량과의 충돌 가능성을 판단하여, 운전자에게 경고 또는 제동 메시지를 출력하고, 필요한 경우 차량의 강제로 제동하므로, 차량과 보행자 간의 사고를 방지할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
C: 컷-오프 라인 I1: 가시광 이미지
I2: 적외선 이미지 I3: 융합 이미지

Claims (10)

  1. 차량 외부에 대한 가시광 이미지를 획득하는 가시광 촬상부;
    상기 가시광 이미지와 적어도 일부가 중첩되는 적외선 이미지를 획득하는 적외선 촬상부;
    상기 가시광 이미지 내에 존재하는 적어도 하나의 피사체의 에지 이미지를 추출하는 에지 추출부;
    상기 에지 추출부로부터 추출된 상기 에지 이미지를 상기 적외선 영상에 융합하는 영상 융합부; 및
    상기 영상 융합부가 융합한 융합 이미지로부터 보행자가 위치하는 것으로 추정되는 후보 영역을 검출하는 후보 영역 검출부를 포함하는, 차량용 모니터링 시스템.
  2. 제1항에 있어서,
    상기 후보 영역 검출부는 상기 융합 이미지 내의 열(熱) 정보를 기초로 상기 후보 영역을 검출하는, 차량용 모니터링 시스템.
  3. 제1항에 있어서,
    상기 후보 영역 검출부는 상기 후보 영역에 대응하는 화소들과 상기 후보 영역을 제외한 나머지 영역에 대응하는 화소들에 서로 다른 값을 부여하여 상기 융합 이미지를 이진화하는, 차량용 모니터링 시스템.
  4. 제3항에 있어서,
    상기 후보 영역 검출부는 상기 후보 영역에 대응하는 화소들에 1을 부여하고, 상기 후보 영역을 제외한 나머지 영역에 대응하는 화소들에 0을 부여하는, 차량용 모니터링 시스템.
  5. 제1항에 있어서,
    상기 가시광 이미지 내에서 상기 후보 영역과 대응하는 영역을 추출하고, 상기 추출된 영역 내의 피사체가 보행자인지 여부를 판단하고, 상기 추출된 영역 중 보행자가 존재하는 것으로 판단되는 영역을 제1 보행자 영역으로 설정하는 제1 보행자 판단부 및
    상기 융합 이미지 내에서 상기 후보 영역 내의 피사체가 보행자인지 여부를판단하고, 상기 후보 영역 중 보행자가 존재하는 것으로 판단되는 영역을 제2 보행자 영역으로 설정하는 제2 보행자 판단부를 더 포함하는, 차량용 모니터링 시스템.
  6. 제5항에 있어서,
    상기 가시광 이미지, 상기 적외선 이미지 및 상기 융합 이미지는 연속하는 복수의 프레임을 포함하며,
    상기 제1 보행자 판단부는 상기 복수의 프레임에 대해 상기 제1 보행자 영역을 추적하고,
    상기 제2 보행자 판단부는 상기 복수의 프레임에 대해 상기 제2 보행자 영역을 추적하는, 차량용 모니터링 시스템.
  7. 제6항에 있어서,
    상기 제1 보행자 판단부는 상기 복수의 프레임마다 상기 제1 보행자 영역의 좌표 정보를 생성하고,
    상기 제2 보행자 판단부는 상기 복수의 프레임마다 상기 제2 보행자 영역의 좌표 정보를 생성하며,
    상기 제1 보행자 영역의 좌표 정보, 상기 제2 보행자 영역의 좌표 정보 및 상기 차량의 속도 정보를 수신하여 상기 차량의 충돌 가능성을 판단하는 충돌 판단부를 더 포함하는, 차량용 모니터링 시스템.
  8. 제7항에 있어서,
    상기 충돌 판단부가 상기 차량과의 충돌 가능성이 존재하는 것으로 판단되는 경우에, 경고 메시지 또는 제동 메시지를 출력하는 알람 출력부를 더 포함하는, 차량용 모니터링 시스템.
  9. 제8항에 있어서,
    상기 제동 메시지가 출력되는 경우, 상기 차량을 제동하는 차량 제어부를 더 포함하는, 차량용 모니터링 시스템.
  10. 제1항에 있어서,
    상기 영상 융합부는 가시광 촬상부과 상기 적외선 촬상부의 상대적인 위치 차이에 기반하여 상기 에지 이미지와 상기 적외선 영상을 융합하는, 차량용 모니터링 시스템.
KR1020160014952A 2016-02-05 2016-02-05 차량용 모니터링 시스템 KR20170093490A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160014952A KR20170093490A (ko) 2016-02-05 2016-02-05 차량용 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160014952A KR20170093490A (ko) 2016-02-05 2016-02-05 차량용 모니터링 시스템

Publications (1)

Publication Number Publication Date
KR20170093490A true KR20170093490A (ko) 2017-08-16

Family

ID=59752591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160014952A KR20170093490A (ko) 2016-02-05 2016-02-05 차량용 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR20170093490A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363731A (zh) * 2018-04-10 2019-10-22 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及电子设备
CN111386701A (zh) * 2017-12-04 2020-07-07 索尼公司 图像处理装置和图像处理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111386701A (zh) * 2017-12-04 2020-07-07 索尼公司 图像处理装置和图像处理方法
EP3723364A4 (en) * 2017-12-04 2021-02-24 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
US11641492B2 (en) 2017-12-04 2023-05-02 Sony Corporation Image processing apparatus and image processing method
CN110363731A (zh) * 2018-04-10 2019-10-22 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及电子设备
CN110363731B (zh) * 2018-04-10 2021-09-03 杭州海康微影传感科技有限公司 一种图像融合方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN105128836B (zh) 自主紧急制动系统及其中识别行人的方法
US20200406897A1 (en) Method and Device for Recognizing and Evaluating Roadway Conditions and Weather-Related Environmental Influences
CN102779430B (zh) 基于视觉的夜间后碰撞警告系统、控制器及其操作方法
CN106489174B (zh) 通过相机系统跟踪车辆的方法、相机系统以及机动车辆
US9349070B2 (en) Vehicle external environment recognition device
US9280900B2 (en) Vehicle external environment recognition device
JPWO2017158958A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US10521678B2 (en) Vision system and method for a motor vehicle
US20200074212A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP4528283B2 (ja) 車両周辺監視装置
JP3872179B2 (ja) 車両の衝突防止装置
CN110622504A (zh) 借助安装在车辆内的传感器空间分辨地探测车辆外部物体的方法和设备
KR20150096924A (ko) 전방 충돌 차량 선정 방법 및 시스템
EP1854666B1 (en) System for the detection of objects located in an external front-end zone of a vehicle, which is suitable for industrial vehicles
US9524645B2 (en) Filtering device and environment recognition system
JP4887537B2 (ja) 車両周辺監視装置
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
KR20170093490A (ko) 차량용 모니터링 시스템
JP2010092353A (ja) 画像処理装置及び画像処理方法
JP2011103058A (ja) 誤認識防止装置
JP2010020557A (ja) 画像処理装置及び画像処理方法
JP3532896B2 (ja) スミア検出方法及びこのスミア検出方法を用いた画像処理装置
JP3961269B2 (ja) 障害物警報装置
US12030501B2 (en) Vehicular control system with enhanced vehicle passing maneuvering
US20220105941A1 (en) Vehicular contol system with enhanced vehicle passing maneuvering