KR101744196B1 - 후방 감지 방법 및 그 장치 - Google Patents

후방 감지 방법 및 그 장치 Download PDF

Info

Publication number
KR101744196B1
KR101744196B1 KR1020160049337A KR20160049337A KR101744196B1 KR 101744196 B1 KR101744196 B1 KR 101744196B1 KR 1020160049337 A KR1020160049337 A KR 1020160049337A KR 20160049337 A KR20160049337 A KR 20160049337A KR 101744196 B1 KR101744196 B1 KR 101744196B1
Authority
KR
South Korea
Prior art keywords
reference value
image
vehicle
current
rear image
Prior art date
Application number
KR1020160049337A
Other languages
English (en)
Inventor
이윤기
정무한
신미현
정형구
Original Assignee
주식회사 에프에스솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프에스솔루션 filed Critical 주식회사 에프에스솔루션
Priority to KR1020160049337A priority Critical patent/KR101744196B1/ko
Application granted granted Critical
Publication of KR101744196B1 publication Critical patent/KR101744196B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

후방 감지 방법 및 그 장치가 개시된다. 후방 감지 방법은, (a) 차량의 현재 후방 영상에 대해 색상 스페이스를 변환한 후 상기 현재 후방 영상의 색차정보를 이용하여 세일리언시 기준값을 도출하고, 상기 도출된 세일리언시 기준값을 이용하여 세일리언시 영역을 검출하는 단계; (b) 상기 현재 후방 영상을 지정된 크기로 분할하는 단계; (c) 상기 세일리언시 기준값을 이용하여 상기 분할된 영역별 객체 존재 여부를 추론하는 단계; 및 (d) 상기 추론 결과에 따라 감지 경보를 출력하는 단계를 포함한다.

Description

후방 감지 방법 및 그 장치{Back warning method and apparatus of a vehicle}
본 발명은 영상에 기반한 후방 감지 방법 및 그 장치에 관한 것이다.
차량에 장착되는 후방 감지 시스템은 자동차 후진 시 사고 발생을 방지하기 위해 후방에 장애물 존재를 사전에 알려주도록 차량에 장착되는 장치이다.
이러한, 후방 감지 시스템은 주로, 초음파 센서가 이용된다. 종래의 후방 감지 시스템은 차량의 후방 범퍼에 초음파 센서를 장착하고, 이를 이용하여 후진 시 일정 거리 이내에 장애물을 감지하여 경고음과 같은 청각 정보만을 사용자에게 제공하는데 그치고 있다.
본 발명은 영상에 기반한 차량의 후방 장애물을 감지할 수 있는 후방 감지 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 청각 경고음뿐만 아니라 시각 정보의 형태로도 후방 장애물 존재 여부를 감지하여 경보 할 수 있는 후방 감지 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 영상을 이용한 후방 감지 방법이 제공된다.
본 발명의 일 실시예에 따르면, (a) 차량의 현재 후방 영상에 대해 색상 스페이스를 변환한 후 상기 현재 후방 영상의 색차정보를 이용하여 세일리언시 기준값을 도출하고, 상기 도출된 세일리언시 기준값을 이용하여 세일리언시 영역을 검출하는 단계; (b) 상기 현재 후방 영상을 지정된 크기로 분할하는 단계; (c) 상기 세일리언시 기준값을 이용하여 상기 분할된 영역별 객체 존재 여부를 추론하는 단계; 및 (d) 상기 추론 결과에 따라 감지 경보를 출력하는 단계를 포함하는 영상을 이용한 후방 감지 방법이 제공될 수 있다.
상기 세일리언시 기준값은, 상기 색상 스페이스로 변환된 상기 현재 후방 영상의 각 픽셀의 색차정보의 평균값으로 도출될 수 있다.
상기 (a) 단계는, 상기 세일리언시 기준값과 상기 차량 후방 영상의 각 픽셀의 픽셀값과의 차이값으로 상기 세일리언시 영역을 검출할 수 있다.
상기 (c) 단계는, 상기 현재 후방 영상의 세일리언시 기준값과 이전 후방 영상의 세일리언시 기준값의 차이가 임계치 이상인 경우, 상기 이전 후방 영상의 세일리언시 기준값을 이용하여 상기 현재 후방 영상의 분할된 영역별 객체 존재 여부를 추론할 수 있다.
상기 (c) 단계는, 상기 이전 후방 영상은 n 프레임 이전 후방 영상이다.
상기 (c) 단계는, 상기 분할된 영역별 픽셀값의 평균값을 도출한 후 상기 평균값이 상기 세일리언시 기준값 이하인 영역은 객체가 존재하는 영역으로 추론될 수 잇다.
상기 (d) 단계는, 상기 현재 후방 영상의 Y축을 이용하여 감지 강도를 결정하고, X축을 이용하여 객체의 감지 위치를 결정하여 상기 감지 경보를 출력할 수 있다.
본 발명의 다른 측면에 따르면, 영상을 이용한 후방 감지 장치가 제공된다.
본 발명의 일 실시예에 따르면, 차량의 현재 후방 영상에 대해 색상 스페이스를 변환한 후 상기 현재 후방 영상의 색차정보를 이용하여 세일리언시 기준값을 도출하고, 상기 도출된 세일리언시 기준값을 이용하여 세일리언시 영역을 검출하는 검출부; 상기 현재 후방 영상을 지정된 크기로 분할하는 분할부; 상기 세일리언시 기준값을 이용하여 상기 분할된 영역별 객체 존재 여부를 추론하는 추론부; 및 상기 추론부의 상기 추론 결과에 따라 감지 경보를 출력하는 알람부를 포함하는 후방 감지 장치가 제공될 수 있다.
상기 검출부는, 상기 세일리언시 기준값과 상기 차량 후방 영상의 각 픽셀값의 차이값으로 상기 세일리언시 영역을 검출할 수 있다.
상기 현재 후방 영상에 대해 상기 색상 스페이스를 변환하고, 전처리 필터를 적용하는 전처리부를 더 포함할 수 있다.
상기 추론부는, 상기 현재 후방 영상의 세일리언시 기준값과 이전 후방 영상의 세일리언시 기준값의 차이가 임계치 이상인 경우, 상기 이전 후방 영상의 세일리언시 기준값을 이용하여 상기 현재 후방 영상의 분할된 영역별 객체 존재 여부를 추론할 수 있다.
상기 알람부는, 상기 현재 후방 영상의 Y축을 이용하여 감지 강도를 결정하고, X축을 이용하여 객체의 감지 위치를 결정하여 상기 감지 경보를 출력할 수 있다.
본 발명의 일 실시예에 따른 후방 감지 방법 및 그 장치를 제공함으로써 차량에 기장착된 내비게이션 또는 블랙박스의 후방 카메라를 통해 실시간으로 획득되는 영상을 이용하여 차량의 후방을 감지하여 사용자에게 시청각 형태로 감시 경보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 후방 감지 장치의 구성을 개략적으로 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 차량 후방 영상에 대한 세일리언시 영역 검출 결과를 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 차량 후방 영상의 분할된 영역을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 차량 후방 영상에서 분할된 영역별 객체 존재 여부를 추론한 결과를 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 영상을 이용한 후방 감지 방법을 나타낸 순서도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 발명은 영상을 이용한 차량 후방 감지에 관한 것으로, 차량에 기장착된 내비게이션 또는 블랙박스의 후방 카메라와 연동되어 차량의 후방 영상을 실시간으로 획득한 후 일정 거리 이내에 차량 후방의 장애물 존재 여부를 감지할 수 있다.
즉, 자동차 범퍼 등에 별도의 센서를 장착할 필요 없이 기장착된 내비게이션 또는 블랙박스의 후방 영상을 이용하여 차량 후진시 장애물 존재 여부를 감지하여 사용자에게 시청각 정보의 형태로 감지 경보를 출력할 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 후방 감지 장치의 구성을 개략적으로 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 차량의 후방 영상에 대한 세일리언시 영역 검출 결과를 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 차량의 후방 영상의 분할된 영역을 예시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 차량의 후방 영상에서 분할된 영역별 객체 존재 여부를 추론한 결과를 예시한 도면이다.
도 1을 참조하면, 후방 감지 장치(100)는 입력부(110), 전처리부(115), 검출부(120), 추론부(130), 알람부(135), 메모리(140) 및 프로세서(145)를 포함하여 구성된다.
입력부(110)는 카메라(미도시)에 의해 촬영된 차량의 후방 영상(이하, 차량 후방 영상이라 칭하기로 함)을 입력받기 위한 수단이다.
본 발명의 일 실시예에 따른 후방 감지 장치(100)는 차량의 내비게이션 또는 블랙박스와 같이 차량에 기 장착되어 있는 후방 카메라를 이용하여 차량의 후방 영상을 실시간으로 분석하여 차량이 주행하기에 안전한 구역(공간)을 판단하여 사용자에게 이를 알려주기 위한 발명이다.
따라서, 입력부(110)는 차량에 기장착된 후방 카메라와 연동되어 실시간으로 차량 후방 영상을 입력받을 수 있다.
입력부(110)는 후방 카메라로부터 실시간 차량 후방 영상을 입력받아 전처리부(115)로 출력할 수 있다.
본 명세서에서는 차량 후방 영상으로 지칭되고 있으나, 차량 후방 영상은 시간의 순서에 따라 프레임 단위로 각각 입력될 수 있다. 이해와 설명의 편의를 도모하기 위해, 본 명세서에서는 T 시점에 입력되는 차량 후방 영상을 현재 차량 후방 영상이라 칭하고, T 시점 이전의 차량 후방 영상을 이전 차량 후방 영상이라 칭하기로 한다. 또한, 문단에 따라서는 현재 프레임 또는 이전 프레임으로 지칭하나 이는 현재 차량 후방 영상과 이전 차량 후방 영상을 각각 지칭하는 것으로 확장 해석되어야 할 것이다.
전처리부(115)는 차량 후방 영상을 전처리하기 위한 수단이다.
예를 들어, 전처리부(115)는 차량 후방 영상에서 세일리언시 영역 검출이 용이하도록 차량 후방 영상의 색상 스페이스를 변환할 수 있다. 즉, 전처리부(115)는 차량 후방 영상의 색상 스페이스를 Lab 컬러 스페이스로 변환할 수 있다. 일반적으로 카메라를 통해 촬영된 영상은 YUV 또는 RGB 형태로 저장 및 처리된다. YUV 또는 RGB 형태의 영상을 HSV와 같은 색공간 변환을 수행하면 색차정보를 얻을 수 있다. 이러한 색차 정보를 활용하면 동일한 객체의 영역을 추정할 수 있게 된다.
또한, 전처리부(115)는 차량 후방 영상에 대해 가우시안 평탄화 및 미디언 필터(Gaussian smooth/ median filter) 등을 수행할 수도 있다.
이외에도, 전처리부(115)는 차량 후방 영상에서 세일리언시 영역 검출이 용이하도록 다수의 필터를 적용할 수도 있다.
차량 후방 영상에 대한 색상 스페이스를 변환하는 방법, 가우시안 평탄화 및 미디언 필터는 당업자에게는 자명한 사항이므로 이에 대한 별도의 상세한 설명은 생략하기로 한다.
검출부(120)는 색상 스페이스가 변환된 차량 후방 영상의 색차정보를 이용하여 세일리언시 영역을 검출하기 위한 수단이다.
예를 들어, 검출부(120)는 색상 스페이스가 변환된 차량 후방 영상에서 각 픽셀값에 대한 평균값을 세일리언시 기준값으로 도출할 수 있다. 이어, 검출부(120)는 도출된 세일리언시 기준값과 차량 후방 영상의 각 픽셀값과의 차이를 이용하여 세일리언시 영역을 검출할 수 있다.
이와 같이, 검출부(120)가 색상 스페이스가 변환된 차량 후방 영상에서 각 픽셀값의 평균값으로 세일리언시 기준값을 도출하므로, 각 프레임마다 세일리언시 기준값이 상이해질 수 있다.
본 발명의 일 실시예에 따르면, 후방 감지 장치(100)는 실시간으로 촬영되는 차량 후방 영상에 따라 세일리언시 기준값(즉, 임계치)를 조절하고, 이를 기반으로 세일리언시 영역을 검출할 수 있다.
또한, 검출부(120)는 색상 스페이스가 변환된 차량 후방 영상에서 색차정보를 이용하여 세일리언시 영역을 검출함에 있어, 차량과 충돌할 수 없을 정도로 작은 크기의 객체(예를 들어, 돌맹이)나 차선이 객체로 인식되는 것을 차단하기 위해, 이들 객체는 인식된 부분의 두께가 작으므로, 이를 형태학적 침식 및 팽창 연산으로 제거하여 세일리언시 영역을 검출할 수도 있다.
도 2에 차량 후방 영상에서 세일리언시 영역을 검출한 일 예가 도시되어 있다.
분할부(125)는 차량 후방 영상을 지정된 크기로 분할하기 위한 수단이다.
예를들어, 분할부(125)는 32 x 32 크기로 차량 후방 영상을 분할 할 수 있다. 본 명세서에서는 분할부(125)가 차량 후방 영상을 32 x 32 크기로 분할하는 것을 가정하고 있으나, 이외에도 분할되는 영역의 크기는 8 x 8, 40 x 40 등과 같이 다양할 수 있음은 당연하다.
도 3에 지정된 크기의 블록 단위로 차량 후방 영상이 분할된 일 예가 도시되어 있다.
추론부(130)는 세일리언시 기준값을 이용하여 분할된 영역별 객체 존재 여부를 추론하기 위한 수단이다.
예를 들어, 추론부(130)는 분할된 각 영역에 대한 픽셀값의 평균값을 구한 후 각 영역의 평균값이 세일리언시 기준값 이하이면, 해당 영역은 객체가 존재하지 않는 것으로 판단할 수 있다. 그러나 만일 각 영역의 평균값이 세일리언시 기준값 이상이면 해당 영역은 객체가 존재하는 영역으로 판단할 수 있다.
또한, 추론부(130)는 현재 차량 후방 영상의 세일리언시 기준값과 이전 차량 후방 영상의 세일리언시 기준값의 차이가 일정 임계치 이상인 경우, 이전 차량 후방 영상의 세일리언시 기준값을 이용하여 상기 현재 차량 후방 영상의 각 분할된 영역에 대한 객체 존재 여부를 추론할 수 있다.
이해와 설명의 편의를 도모하기 위해, 차량이 후진하여 주차하는 경우를 가정하여 설명하기로 한다.
차량이 후진하여 주차하는 경우, 제1 차량 후방 영상에서는 도로면이 주가 되는 영상이 촬영되게 된다. 차량이 후진을 진행할수록 제n(자연수) 차량 후방 영상은 도로보다는 벽면이 주가 되는 영상이 촬영되게 된다.
본 발명의 일 실시예에 따르면 후방 감지 장치(100)는 차량이 주행해도 될 안전한 공간인지를 판단하는 것이 주 목적으로, 벽면이나 도로 위의 장애물은 차량의 주행 또는 후진에 방해가 되는 객체로 이를 인식하여 경보해야만 한다.
따라서, 차량이 후진하는 도중 세일리언시 기준값이 일정 임계치 이상 변환되는 경우, 벽면을 장애물로 인식하여 사용자에게 경보할 수 있도록 세일리언시 기준값이 벽면이 아닌 도로가 되어야 하므로, 이전 차량 후방 영상의 세일리언시 기준값을 이용하여 객체 존재 여부를 추론할 수 있다.
이전 차량 후방 영상의 세일리언시 기준값을 현재 차량 후방 영상에 적용함에 있어, 현재 차량 후방 영상의 바로 이전 차량 후방 영상에 대한 세일리언시 기준값을 적용할 수도 있으나, n프레임 이전의 차량 후방 영상의 세일리언시 기준값을 현재 프레임(즉, 현재 차량 후방 영상)의 세일리언시 기준값으로 적용할 수도 있다.
도 4에는 현재 차량 후방 영상의 분할된 각 영역별 객체가 존재하는 영역을 추론한 결과를 도시한 도면이다.
도 4에 도시된 바와 같이, 현재 차량 후방 영상의 분할된 각 영역별 객체가 존재하는 영역은 시각적으로 상이하게 출력되도록 할 수 있다.
본 발명의 일 실시예에 따른 후방 감지 장치(100)는 분할된 각 영역에서 객체 자체를 검출하는 것을 목적으로 하지 않는다. 따라서, 본 발명의 일 실시예에 따른 후방 감지 장치(100)는 분할된 각 객체에 어떤 객체가 존재하는지를 추론하지는 않는다.
다만, 본 발명의 일 실시예에 따른 후방 감지 장치(100)는 분할된 각 영역에 객체가 존재하는지 여부만을 추론하기 때문에 연산량이 매우 작아 실시간 처리에 적합한 이점이 있다.
또한, 추론부(130)는 분할된 각 영역별 객체의 존재 여부를 추론함에 있어, 차량과 충돌할 수 없을 정도로 작은 크기의 객체(예를 들어, 돌맹이)나 차선이 객체로 인식되는 것을 차단하기 위해, 이들 객체는 인식된 부분의 두께가 작으므로, 이를 형태학적 침식 및 팽창 연산으로 제거하여 객체 존재 여부를 추론할 수도 있다.
알람부(135)는 추론부(130)에 의해 추론된 각 영역별 객체 존재 여부에 따라 감지 경보를 출력하기 위한 수단이다.
예를 들어, 알람부(135)는 추론부(130)에 의해 추론된 추론 결과(즉, 각 영역별 객체 존재 여부)에 따라 Y축으로 몇번째 영역에 위치하는지에 따라 감지 강도를 결정하고, X축으로는 몇번째 영역에 위치하는지에 따라 감지 위치를 결정하여 감지 경보를 출력할 수 있다.
차량 후방 영상에서 장애물로 인식되는 객체와 가까울수록 영상의 하단부에 위치하게 된다. 따라서, 알람부(135)는 차량 후방 영상의 Y축을 기준으로 객체가 어느 위치에 위치하는지를 확인하여 감지 강도를 상이하게 출력할 수 있다. 즉, 알람부(135)는 차량 후방 영상의 Y축을 기준으로 하단에 가까울수록 감지 강도를 크게 하여 감지 경보를 출력할 수 있다.
또한, 알람부(135)는 차량 후방 영상의 Y축에서 일정 위치 이내에 객체가 존재하지 않는 경우에는 감지 경보를 출력하지 않을 수도 있다.
메모리(140)는 본 발명의 일 실시예에 따른 영상을 이용한 후방 감지 방법을 수행하기 위해 필요한 다양한 알고리즘, 어플리케이션, 이 과정에서 파생된 다양한 데이터 등을 저장하기 위한 수단이다.
프로세서(145)는 본 발명의 일 실시예에 따른 후방 감지 장치(100)의 내부 구성 요소들(예를 들어, 입력부(110), 전처리부(115), 검출부(120), 추론부(130), 알람부(135), 메모리(140) 등)을 제어하기 위한 수단이다.
도 5는 본 발명의 일 실시예에 따른 영상을 이용한 후방 감지 방법을 나타낸 순서도이다.
단계 510에서 후방 감지 장치(100)는 차량에 기 장착된 후방 카메라에 의해 차량의 후방을 촬영한 영상(차량 후방 영상)을 입력받는다. 예를 들어, 후방 감지 장치(100)는 차량의 주행에 따라 차량 후방 영상을 프레임 단위로 실시간으로 입력받을 수 있다.
단계 515에서 후방 감지 장치(100)는 차량 후방 영상의 색상 스페이스를 변환한다. 예를 들어, 후방 감지 장치(100)는 차량 후방 영상의 색상 스페이스를 Lab 색상 스페이스로 변환할 수 있다.
단계 520에서 후방 감지 장치(100)는 색상 스페이스가 변환된 차량 후방 영상에 대해 가우시안 평탄화 및 미디언 필터를 적용한다. 이미 전술한 바와 같이, 가우시안 평탄화 및 미디언 필터 이외에도 세일리언시 영역 검출을 용이하게 수행할 수 있도록 전처리 필터가 복수회 수행될 수도 있음은 당연하다.
단계 525에서 후방 감지 장치(100)는 색상 스페이스가 변환된 차량 후방 영상의 각 픽셀들의 픽셀값의 평균값을 세일리언시 기준값으로 도출한 후 세일리언시 기준값과 각 픽셀값과의 차이값을 도출하여 세일리언시 영역을 도출한다.
이어, 단계 530에서 후방 감지 장치(100)는 차량 후방 영상을 지정된 블록 크기로 분할한다.
도 5에서는 단계 530이 단계 525 이후에 수행되는 것으로 도시되어 있으나, 단계 530은 단계 525 이전에 수행될 수도 있으며, 병렬로 수행될 수도 있음은 당연하다.
단계 535에서 후방 감지 장치(100)는 분할된 각 영역별 픽셀값의 평균값을 도출하고, 세일리언시 기준값과 평균값을 비교하여 각 영역별 객체 존재 여부를 추론한다.
예를 들어, 후방 감지 장치(100)는 영역의 평균값이 세일리언시 기준값 이하이면, 객체가 존재하지 않는 영역으로 판단할 수 있으며, 영역의 평균값이 세일리언시 기준값을 초과하는 경우 객체가 존재하는 영역으로 판단할 수 있다.
세일리언시 기준값을 이용하여 각 영역의 객체 존재 여부를 추론함에 있어, 후방 감지 장치(100)는 이미 전술한 바와 같이, 현재 차량 후방 영상의 세일리언시 기준값이 이전 차량 후방 영상의 세일리언시 기준값과 임계치 이상 차이가 있는 경우, 현재 차량 후방 영상에 대한 세일리언시 기준값을 이전 차량 후방 영상의 세일리언시 기준값으로 적용하여 각 영역별 객체 존재 여부를 추론할 수 있다.
이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
단계 540에서 후방 감지 장치(100)는 차량 후방 영상의 영역별 객체 존재 여부에 대한 추론 결과에 기반하여 감지 경보를 출력한다.
차량 후방 영상의 영역별 객체 존재 여부에 대한 추론 결과를 이용하여 감지 경보를 출력함에 있어, 후방 감지 장치(100)는 Y축의 몇번째 영역에서 객체가 존재하는 것으로 추론되었는지 여부에 따라 감지 강도를 결정하여 감지 경보를 출력할 수 있다. 즉, 후방 감지 장치(100)는 이미 전술한 바와 같이, Y축을 기준으로 하단에 위치한 영역에서 객체가 존재하는 것으로 추론된 경우, 감지 강도를 더 세게 하여 감지 경보를 출력할 수 있다.
또한, 후방 감지 장치(100)는 X축의 몇번째 영역에서 객체가 존재하는 것으로 추론되었는지 여부에 따라 감지 위치를 결정할 수 있다.
또한, 후방 감지 장치(100)는 이미 전술한 바와 같이, 차량이 충돌할 수 없을 정도로 작은 크기의 물체나 차선이 객체로 인식되는 것을 방지하기 위해, 일정 크기 이하의 세일리언시 영역은 형태학적 침식 및 팽창 연산을 통해 제거한 후 분할된 각 영역별 객체 존재 여부를 추론할 수도 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100: 후방 감지 장치
110: 입력부
115: 전처리부
120: 검출부
125: 분할부
130: 추론부
135: 알람부
140: 메모리
145: 프로세서

Claims (13)

  1. (a) 차량의 현재 후방 영상에 대해 색상 스페이스를 변환한 후 상기 현재 후방 영상의 색차정보를 이용하여 세일리언시 기준값을 도출하고, 상기 도출된 세일리언시 기준값을 이용하여 세일리언시 영역을 검출하는 단계;
    (b) 상기 현재 후방 영상을 지정된 크기로 분할하는 단계;
    (c) 상기 세일리언시 기준값을 이용하여 상기 분할된 영역별 객체 존재 여부를 추론하는 단계; 및
    (d) 상기 추론 결과에 따라 감지 경보를 출력하는 단계를 포함하되,
    상기 (c) 단계는,
    상기 현재 후방 영상의 세일리언시 기준값과 이전 후방 영상의 세일리언시 기준값의 차이가 임계치 이상인 경우, 상기 이전 후방 영상의 세일리언시 기준값을 이용하여 상기 현재 후방 영상의 분할된 영역별 객체 존재 여부를 추론하는 것을 특징으로 하는 영상을 이용한 후방 감지 방법.
  2. 제1 항에 있어서,
    상기 세일리언시 기준값은,
    상기 색상 스페이스로 변환된 상기 현재 후방 영상의 각 픽셀의 색차정보의 평균값으로 도출되는 것을 특징으로 하는 영상을 이용한 후방 감지 방법.
  3. 제1 항에 있어서, 상기 (a) 단계는,
    상기 세일리언시 기준값과 상기 차량 후방 영상의 각 픽셀값의 차이값으로 상기 세일리언시 영역을 검출하는 것을 특징으로 하는 영상을 이용한 후방 감지 방법.
  4. 삭제
  5. 제1 항에 있어서, 상기 (c) 단계는,
    상기 이전 후방 영상은 n 프레임 이전 후방 영상인 것을 특징으로 하는 영상을 이용한 후방 감지 방법.
  6. 제1 항에 있어서, 상기 (c) 단계는,
    상기 분할된 영역별 픽셀값의 평균값을 도출한 후 상기 평균값이 상기 세일리언시 기준값 이상인 영역은 객체가 존재하는 영역으로 추론되는 것을 특징으로 하는 영상을 이용한 후방 감지 방법.
  7. 제1 항에 있어서, 상기 (d) 단계는,
    상기 현재 후방 영상의 Y축을 이용하여 감지 강도를 결정하고, X축을 이용하여 객체의 감지 위치를 결정하여 상기 감지 경보를 출력하는 것을 특징으로 하는 영상을 이용한 후방 감지 방법.
  8. 제1 항 내지 제3항, 제5항 내지 제7 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
  9. 차량의 현재 후방 영상에 대해 색상 스페이스를 변환한 후 상기 현재 후방 영상의 색차정보를 이용하여 세일리언시 기준값을 도출하고, 상기 도출된 세일리언시 기준값을 이용하여 세일리언시 영역을 검출하는 검출부;
    상기 현재 후방 영상을 지정된 크기로 분할하는 분할부;
    상기 세일리언시 기준값을 이용하여 상기 분할된 영역별 객체 존재 여부를 추론하는 추론부; 및
    상기 추론부의 상기 추론 결과에 따라 감지 경보를 출력하는 알람부를 포함하되,
    상기 추론부는,
    상기 현재 후방 영상의 세일리언시 기준값과 이전 후방 영상의 세일리언시 기준값의 차이가 임계치 이상인 경우, 상기 이전 후방 영상의 세일리언시 기준값을 이용하여 상기 현재 후방 영상의 분할된 영역별 객체 존재 여부를 추론하는 것을 특징으로 하는 후방 감지 장치.
  10. 제9 항에 있어서,
    상기 검출부는,
    상기 세일리언시 기준값과 상기 차량 후방 영상의 각 픽셀값의 차이값으로 상기 세일리언시 영역을 검출하는 것을 특징으로 하는 후방 감지 장치.
  11. 제9 항에 있어서,
    상기 현재 후방 영상에 대해 상기 색상 스페이스를 변환하고, 전처리 필터를 적용하는 전처리부를 더 포함하는 후방 감지 장치.
  12. 삭제
  13. 제9 항에 있어서,
    상기 알람부는,
    상기 현재 후방 영상의 Y축을 이용하여 감지 강도를 결정하고, X축을 이용하여 객체의 감지 위치를 결정하여 상기 감지 경보를 출력하는 것을 특징으로 하는 후방 감지 장치.

KR1020160049337A 2016-04-22 2016-04-22 후방 감지 방법 및 그 장치 KR101744196B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160049337A KR101744196B1 (ko) 2016-04-22 2016-04-22 후방 감지 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160049337A KR101744196B1 (ko) 2016-04-22 2016-04-22 후방 감지 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101744196B1 true KR101744196B1 (ko) 2017-06-20

Family

ID=59281196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160049337A KR101744196B1 (ko) 2016-04-22 2016-04-22 후방 감지 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101744196B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190089633A (ko) * 2018-01-23 2019-07-31 (주)파트론 홍채 인식 장치
KR20190098856A (ko) * 2018-02-01 2019-08-23 주식회사 에프에스솔루션 측후방 차량 검출 방법 및 그 장치
KR102384554B1 (ko) * 2021-07-05 2022-04-08 에스엔지트렌스포테이션테크놀로지 주식회사 건널목에 진입하는 차량의 진입 가능여부를 판별하는 건널목 제어 시스템 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009126493A (ja) * 2007-11-28 2009-06-11 Clarion Co Ltd 障害物検出装置
JP2014167397A (ja) * 2013-02-28 2014-09-11 Fujifilm Corp 車両間距離算出装置およびその動作制御方法
JP2014192732A (ja) * 2013-03-27 2014-10-06 Showa Corp 車両用後方確認システム、撮像条件設定装置、電動パワーステアリング装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009126493A (ja) * 2007-11-28 2009-06-11 Clarion Co Ltd 障害物検出装置
JP2014167397A (ja) * 2013-02-28 2014-09-11 Fujifilm Corp 車両間距離算出装置およびその動作制御方法
JP2014192732A (ja) * 2013-03-27 2014-10-06 Showa Corp 車両用後方確認システム、撮像条件設定装置、電動パワーステアリング装置およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190089633A (ko) * 2018-01-23 2019-07-31 (주)파트론 홍채 인식 장치
WO2019146907A1 (ko) * 2018-01-23 2019-08-01 주식회사 파트론 홍채 인식 장치
KR102037781B1 (ko) * 2018-01-23 2019-10-29 (주)파트론 홍채 인식 장치
KR20190098856A (ko) * 2018-02-01 2019-08-23 주식회사 에프에스솔루션 측후방 차량 검출 방법 및 그 장치
KR102039814B1 (ko) * 2018-02-01 2019-11-01 주식회사 에프에스솔루션 측후방 차량 검출 방법 및 그 장치
KR102384554B1 (ko) * 2021-07-05 2022-04-08 에스엔지트렌스포테이션테크놀로지 주식회사 건널목에 진입하는 차량의 진입 가능여부를 판별하는 건널목 제어 시스템 장치 및 그 동작 방법

Similar Documents

Publication Publication Date Title
JP6424263B2 (ja) 大型車両の移動オブジェクト衝突警告装置および方法
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
Aytekin et al. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information
US9950667B2 (en) Vehicle system for detecting object and operation method thereof
EP1918897A2 (en) Apparatus and method for generating driver assistance information of traveling vehicle
Yankun et al. A single camera based rear obstacle detection system
CN108162858B (zh) 车载监控装置及其方法
US20150091715A1 (en) Vehicle external environment recognition device
US9516274B2 (en) Sensing system and method for detecting moving objects
EP3115966B1 (en) Object detection device, object detection method, and computer program
KR101744196B1 (ko) 후방 감지 방법 및 그 장치
KR20180065048A (ko) 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치
KR101880850B1 (ko) 도로 주행 영상에서 채도와 명도의 상관관계와 시간적 필터링을 이용한 안개 검출 방법 및 시스템
JP4826355B2 (ja) 車両周囲表示装置
KR20230095751A (ko) 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법
KR100355993B1 (ko) 차선 이탈 경보장치 및 방법
JP4772622B2 (ja) 周辺監視システム
JP2008287692A (ja) 障害物認識装置
KR101976952B1 (ko) 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법
JP3226699B2 (ja) 車両用周辺監視装置
CN112542060B (zh) 车用后侧方警报装置
KR101724735B1 (ko) 스테레오 카메라를 이용한 지면 추정 및 물체 탐지 시스템
JP6949090B2 (ja) 障害物検知装置及び障害物検知方法
Bhope et al. Use of image processing in lane departure warning system
KR20170133756A (ko) 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant