KR20160050741A - 차량 경보 장치 - Google Patents

차량 경보 장치 Download PDF

Info

Publication number
KR20160050741A
KR20160050741A KR1020140149628A KR20140149628A KR20160050741A KR 20160050741 A KR20160050741 A KR 20160050741A KR 1020140149628 A KR1020140149628 A KR 1020140149628A KR 20140149628 A KR20140149628 A KR 20140149628A KR 20160050741 A KR20160050741 A KR 20160050741A
Authority
KR
South Korea
Prior art keywords
camera
image
unit
vehicle
matrix
Prior art date
Application number
KR1020140149628A
Other languages
English (en)
Other versions
KR102288399B1 (ko
Inventor
백열민
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140149628A priority Critical patent/KR102288399B1/ko
Publication of KR20160050741A publication Critical patent/KR20160050741A/ko
Priority to KR1020210088106A priority patent/KR102448629B1/ko
Application granted granted Critical
Publication of KR102288399B1 publication Critical patent/KR102288399B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 복수의 차량 전방 영상을 출력하는 카메라부, 상기 영상의 전체 및 부분의 변화를 고려하여 상기 카메라부의 정상 여부를 출력하는 카메라이상감지부, 상기 정상인 카메라부가 출력한 차량 전방 영상 및 상기 차량의 움직임 정보를 이용하여 이상이 있는 상기 카메라부의 이동 정도를 검출하여 이동행렬 및 기본행렬을 출력하는 카메라움직임추정부, 상기 편향영상에서 상기 이동행렬을 이용하여 상기 차량이 전진한 교정영상을 출력하는 카메라영상교정부, 상기 교정영상에서 시차를 계산하여 거리 정보를 출력하는 거리출력부 및 상기 거리 정보를 고려하여 차량 전방의 물체를 감지할 때 운전자에게 경보하는 경보부를 포함하는 차량 경보 장치에 관한 것이다.

Description

차량 경보 장치{Apparatus for vehicle alarm}
본 발명은 차량 경보 장치에 관한 것으로, 보다 상세하게는 차량 전방 영상에서 전체 및 부분의 변화를 고려하여 카메라의 정상 여부를 감지하고, 카메라에 이상이 존재하면 이상이 존재하는 차량 전방 영상을 교정한 교정영상에서 시차를 계산하여 정확한 거리 정보를 획득하여 차량 전방의 물체를 감지하고, 물체를 감지하면 운전자에게 경보하는 차량 경보 장치에 관한 것이다.
주행 중인 차량의 주변에 존재하는 물체의 유무 및 존재하는 물체까지의 거리 정보 획득은 무인 자율 차량 관련 핵심 기술이다. 차량 밀도가 높은 지역에서 차량이 운행될 때 거리 정보를 획득하는 것은 운전자의 안전과 관련된 필수적인 요소이다. 특히 최근 스테레오 카메라를 이용하여 차량 전방의 물체 존재 유무를 판단하는 방법이 많이 개발되고 있다.
그런데 차량 운행 중에 카메라의 렌즈에 오물이 점착되면 물체와 차량의 거리 정보를 획득할 수 없다. 결국 차량 전방의 물체를 감지하지 못하게 되어 운전자의 안전에 위협이 된다.
최근에는 카메라의 렌즈가 오염되거나 카메라가 충격으로 인해 잘못된 방향을 촬영하고 있을 때, 카메라 이상을 감지하여 영상을 교정하고, 거리 정보를 획득하는 기술이 연구 중에 있다.
본 발명이 해결하고자 하는 과제는 차량 전방 영상에서 전체 및 부분의 변화를 고려하여 카메라의 정상 여부를 감지하고, 카메라에 이상이 존재하면 이상이 존재하는 차량 전방 영상을 교정한 교정영상에서 시차를 계산하여 정확한 거리 정보를 획득하여 차량 전방의 물체를 감지하고, 물체를 감지하면 운전자에게 경보하는 차량 경보 장치를 제공함에 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 차량 경보 장치는, 복수의 차량 전방 영상을 출력하는 카메라부, 상기 영상의 전체 및 부분의 변화를 고려하여 상기 카메라부의 정상 여부를 출력하는 카메라이상감지부, 상기 정상인 카메라부가 출력한 차량 전방 영상 및 상기 차량의 움직임 정보를 이용하여 이상이 있는 상기 카메라부의 이동 정도를 검출하여 이동행렬 및 기본행렬을 출력하는 카메라움직임추정부, 상기 편향영상에서 상기 이동행렬을 이용하여 상기 차량이 전진한 교정영상을 출력하는 카메라영상교정부, 상기 교정영상에서 시차를 계산하여 거리 정보를 출력하는 거리출력부 및 상기 거리 정보를 고려하여 차량 전방의 물체를 감지할 때 운전자에게 경보하는 경보부를 포함하는 차량 경보 장치.
상기 카메라이상감지부는 상기 영상의 밝기 히스토그램을 고려하여 상기 영상의 정상 여부를 출력한다.
상기 카메라이상감지부는 상기 영상의 주파수 파워 스펙트럼을 고려하여 상기 영상의 정상 여부를 출력한다.
상기 카메라이상감지부는 상기 영상에서 확산점의 위치를 고려하여 상기 영상의 정상 여부를 출력한다.
상기 카메라움직임추정부는 상기 편향영상에서 특징점 간의 대응점 매칭을 수행하여 이동행렬을 산출한다.
상기 카메라영상교정부는 상기 기본 행렬 및 상기 카메라부의 내부 행렬 중 적어도 하나를 고려하여 현재 프레임의 영상을 병진 이동한 영상으로 변환한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 차량 경보 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째,　영상의 전체 및 부분의 변화를 고려함으로써 카메라부의 정상 여부를 출력하는 장점이 있다.
둘째,　편향영상에서 이동행렬을 이용하여 차량이 전진한 교정영상을 출력하는 장점도 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명인 차량 경보 장치의 일실시례에 따른 구성을 도시한 구성도이다.
도 2는 일실시례에 따른 카메라이상감지부가 영상에 변화가 있을 때 고려하는 밝기 히스토그램 및 주파수 파워 스펙트럼을 도시한 것이다.
도 3는 일실시례에 따른 카메라이상감지부가 영상에서 고려하는 확산점(focus of expansion)을 도시한 것이다.
도 4는 카메라의 움직임이 추정되는 모습과 편향영상에서 이동행렬을 이용하여 차량이 전진한 교정영상을 도시한 것이다.
도 5는 교정영상에서 시차를 계산하여 거리 정보를 출력하는 모습을 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의하여 차량 경보 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명인 차량 경보 장치의 일실시례에 따른 구성을 도시한 구성도이다. 본 발명의 일실시례에 따른 차량 경보 장치는 카메라부(100), 카메라이상감지부(200), 카메라움직임추정부(300), 카메라영상교정부(400), 거리출력부(500) 및 경보부(600)를 포함한다.
일실시례에 따른 카메라부(100)는 스테레오카메라이다. 카메라부(100)는 복수일 수 있다. 카메라부(100)는 차량 전방 영상을 출력한다. 카메라부(100)는 차량의 전방을 방해없이 촬영할 수 있는 위치 중 어느 한 곳에 설치된다. 카메라부(100)는 복수의 차량 전방 영상을 출력한다. 일실시례에 따른 카메라부(100)는 좌측 카메라(LC) 및 우측 카메라(RC)를 포함한다.
카메라이상감지부(200)는 카메라의 물리적인 고장을 감지한다. 카메라이상감지부(200)는 카메라부(100)의 입출력 전압을 점검하여 회로가 고장인지 점검한다. 카메라이상감지부(200)는 카메라의 물리적인 고장을 감지하면 경보부(600)에 카메라 고장 신호를 출력할 수 있다. 카메라이상감지부(200)는 카메라부(100)의 렌즈의 가려짐에 의한 이상을 감지한다. 카메라이상감지부(200)는 밝기 히스토그램 및 주파수 파워 스펙트럼 중 적어도 하나를 고려하여 카메라부(100)의 렌즈의 가려짐에 의한 이상을 감지한다. 카메라이상감지부(200)가 렌즈의 가려짐에 의한 이상은 도 2에서 추후 설명한다.
카메라이상감지부(200)는 카메라부(100)가 출력한 차량 전방 영상에서 확산점(P)의 위치를 고려하여 영상의 정상 여부를 출력한다. 카메라이상감지부(200)는 카메라부(100)의 위치가 틀어진 것을 감지하여 차량 전방 영상이 정상이 아님을 감지한다. 추후, 도 3에서 카메라이상감지부(200)가 확산점(P)을 고려하여 차량 전방 영상이 정상이 아님을 판단하는 방법을 설명한다.
카메라움직임추정부(300)는 정상인 카메라부(100)가 출력한 전방 영상 및 차량의 움직임 정보를 이용하여 이상이 있는 카메라부(100)의 이동 정도를 검출하여 이동행렬 및 기본행렬을 출력한다.
카메라움직임추정부(300)는 편향영상의 연속된 영상에서 특징점(x, x')을 추출하여 이동행렬(F)을 산출한다. 카메라움직임추정부(300)는 카메라부(100) 구동 전에 캘리브레이션(Calibration)을 통해 얻어진 정상인 카메라부(100)의 내부 파라미터(K) 및 정상인 카메라부(100)의 내부 파라미터(K')를 산출한다. 카메라움직임추정부(300)는 이동행렬(F) 및 내부 파라미터(K)를 이용하여 이전 프레임((t-1) 프레임)과 현재 프레임(t 프레임) 사이에 카메라부(100)의 회전 정도 및 카메라부(100)의 이동 정도를 나타내는 기본행렬(E)를 산출한다. 카메라움직임추정부(300)가 이동행렬 및 기본행렬을 출력하는 과정은 도 4에서 추후 설명한다.
카메라영상교정부(400)는 카메라움직임추정부(300)가 산출한 기본행렬(E)을 특이값분해법(SVD, Singular Value Decomposition)으로 분해한다. 카메라영상교정부(400)는 기본행렬(E)를 분해하여 회전행렬(R) 및 병진벡터(t)를 산출한다.
카메라영상교정부(400)는 회전행렬(R)의 전치행렬(RT) 및 카메라부(100)의 내부 파라미터(K)를 이용하여 영상의 현재 프레임(t 프레임)을 회전 성분이 보상된 x^'로 변환시키는 호모그래피(homography) 행렬(H)를 구한다. 카메라영상교정부(400)는 호모그래피 행렬(H)을 이용하여 회전 성분이 보상된 x^'를산출한다. 카메라영상교정부(400)는 현재 프레임(t 프레임)의 영상을 이전 프레임((t-1) 프레임)의 카메라부(100) 위치에서 병진 이동만 수행한 영상을 출력한다. 카메라영상교정부(400)는 병진 이동에 의해 연속된 영상 프레임의 카메라부(100) 위치를 가상의 직선으로 정렬시켜 교정영상을 출력한다.
거리출력부(500)는 교정영상의 3차원 좌표상에서 거리 정보(Z')를 추출한다. 거리출력부(500)는 교정영상에서 시차를 계산하여 거리 정보(Z')를 산출한다. 거리출력부(500)가 이용하는 dZ는 차량의 속도(V) 및 카메라부(100)의 촬영 프레임 주기(T)를 이용하여 산출할 수 있다. 거리출력부(500)가 교정영상에서 시차를 계산하여 거리 정보(Z')를 출력하는 과정은 도 5에서 추후 설명한다.
경보부(600)는 거리 정보(Z')를 고려하여 차량 전방의 물체를 감지할 때 운전자에게 경보한다. 일실시례에 따른 경보부(600)는 차량 주변의 물체를 감지하는 장치일 수 있다. 경보부(600)는 거리출력부(500)가 출력한 거리 정보(Z')를 이용하여 물체와 차량 사이의 거리를 산출한다. 경보부(600)는 물체와 차량 사이의 거리를 이용하여 차량 전방의 물체 유무를 감지한다.
도 2는 일실시례에 따른 카메라이상감지부(200)가 영상에 변화가 있을 때 고려하는 밝기 히스토그램 및 주파수 파워 스펙트럼을 도시한 것이다. 카메라이상감지부(200)는 복수의 차량 전방 영상을 수신한다. 카메라이상감지부(200)는 밝기 히스토그램 및 주파수 파워 스펙트럼 중 적어도 하나를 고려하여 카메라부(100)의 렌즈의 가려짐에 의한 이상을 감지한다. 도 2(a)에서 복수의 카메라부(100)의 차량 전방 영상을 도시하고 있다. 이중 좌측 카메라(LC)는 정상인 화면을 출력하며, 우측 카메라(RC)는 오물에 의한 가려짐에 의해 정상이 아닌 화면을 출력한다.
도 2(b)는 정상인 화면의 밝기 히스토그램을 도시한 그래프 및 정상이 아닌 화면의 히스토그램을 도시한 그래프이다. 카메라이상감지부(200)는 밝기 히스토그램의 변화를 감지하여 카메라부(100)의 렌즈가 가려짐에 의해 방해되는 것을 감지한다. 카메라이상감지부(200)는 밝기 히스토그램의 분산 및 평균을 고려하여 카메라부(100)가 출력한 영상이 정상이 아님을 감지한다.
도 2(c)는 좌측 카메라(LC)가 출력한 차량 전방 영상의 주파수 파워 스펙트럼 및 우측 카메라(RC)가 출력한 차량 전방 영상의 주파수 파워 스펙트럼을 도시한 것이다. 카메라이상감지부(200)는 주파수 파워 스펙트럼의 변화를 감지하여 카메라부(100)의 렌즈가 가려짐에 의해 방해되는 것을 감지한다.
도 3은 일실시례에 따른 카메라이상감지부(200)가 영상에서 고려하는 확산점(P)을 도시한 것이다. 카메라이상감지부(200)는 카메라부(100)의 장착위치가 틀어짐에 따라 확산점(P)의 위치가 바뀌게 되는 것을 감지한다. 일실시례에 따른 카메라이상감지부(200)는 광류(optical flow)를 계산하여 영상 내의 확산점(P)의 위치가 바뀌는 것을 감지할 수 있다. 카메라이상감지부(200)는 정상인 차량 전방 영상의 확산점(P)의 초기 위치를 저장한다. 카메라이상감지부(200)는 확산점(P)의 위치를 모니터링한다. 카메라이상감지부(200)는 확산점(P)의 위치가 바뀌는 것을 감지하여 카메라부(100)의 장착 위치가 틀어진 것을 감지한다. 도 3에서 좌측 카메라(LC)는 정상 이며 카메라이상감지부(200)는 정상인 영상에서 확산점(P)을 저장한다. 우측 카메라(RC)가 비틀어진 상태가 되면 카메라이상감지부(200)는 영상에서 확산점(P)의 위치가 바뀐 것을 감지한다. 카메라이상감지부(200)는 확산점(P)의 위치가 바뀐 것을 감지하여 카메라부(100)의 장착위치가 틀어진 것을 감지한다.
도 4는 카메라의 움직임이 추정되는 모습(도 4(a))과 편향영상에서 이동행렬을 이용하여 차량이 전진한 교정영상(도 4(b))을 도시한 것이다. 도 4(a)에서 카메라움직임추정부(300)는 편향영상의 연속된 영상에서 이전 프레임((t-1) 프레임) 영상의 특징점(x)을 추출한다. 카메라움직임추정부(300)는 편향영상의 연속된 영상에서 현재 프레임(t 프레임) 영상의 특징점(x')을 추출한다. 카메라움직임추정부(300)는 특징점(x) 및 특징점(x')의 대응점 매칭을 수행함으로써 RANSAC 기반의 8-point 알고리즘 및/또는 RANSAC 기반의 2-point 알고리즘을 적용하여 (수학식 1)과 같이 이동행렬(F)을 산출한다.
Figure pat00001
카메라움직임추정부(300)는 카메라부(100) 구동 전에 캘리브레이션(Calibration)을 통해 얻어진 카메라부(100) 내부 파라미터(K)를 산출한다. 카메라움직임추정부(300)는 (수학식 2)와 같이 이동행렬(F), 정상인 카메라부(100)의 내부 파라미터(K) 및 현재 프레임(t 프레임)의 정상 카메라부(100)의 내부 파라미터(K)인 K'의 전치행렬을 이용하여 이전 프레임((t-1) 프레임)과 현재 프레임(t 프레임) 사이에 카메라부(100)의 회전 정도 및 카메라부(100)의 이동 정도를 나타내는 기본행렬(E)를 산출한다.
Figure pat00002
카메라움직임추정부(300)는 대응점 매칭 수행 시 아웃라이어 대응점 매칭을 제거한다. 카메라움직임추정부(300)는 아웃라이어 대응점 매칭을 제거하기 위해 영상에 RANSAC 기반의 8-point 알고리즘 및/또는 RANSAC 기반의 2-point 알고리즘을 적용한다. 카메라움직임추정부(300)는 아웃라이어 대응점 매칭 제거 시 차량의 요레이트, 조향각값 및 차량 속도와 비교하여 설정된 제한값을 초과하는 카메라부(100)의 움직임을 나타내는 대응점 매칭 결과가 이용되는 것을 배제할 수 있다.
도 5는 교정영상에서 편향영상과 정상인 영상 간의 시간의 차이를 계산하여 거리 정보(Z')가 출력되는 모습을 도시한 것이다. 카메라영상교정부(400)는 카메라움직임추정부(300)가 산출한 기본행렬(E)을 특이값분해법(SVD, Singular Value Decomposition)을 이용하여 분해한다. 카메라영상교정부(400)는 기본행렬(E)를 분해하여 (수학식 3)과 같이 회전행렬(R) 및 병진벡터(t)를 산출한다.
Figure pat00003
카메라영상교정부(400)는 (수학식 4)와 같이 회전행렬(R)의 전치행렬(RT) 및 정상인 카메라부(100)의 내부 파라미터(K)를 이용하여 영상의 현재 프레임(t 프레임)을 회전 성분이 보상된 x^'로 변환시키는 호모그래피(homography) 행렬(H)를 구한다.
Figure pat00004
카메라영상교정부(400)는 호모그래피 행렬(H)을 이용하여 (수학식 5)에와 같이 회전 성분이 보상된 x^'를 산출한다.
Figure pat00005
카메라영상교정부(400)는 현재 프레임(t 프레임)의 영상을 이전 프레임((t-1)프레임)의 카메라부(100) 위치에서 병진 이동만 수행한 영상을 출력한다. 카메라영상교정부(400)는 병진 이동에 의해 연속된 영상 프레임의 카메라부(100) 위치를 가상의 직선으로 정렬시켜 교정영상을 출력한다.
거리출력부(500)는 교정영상의 3차원 좌표상에서 거리 정보(Z')를 추출한다. 거리출력부(500)는 교정영상에서 (수학식 6)과 같이 시차를 계산하여 거리 정보(Z')를 산출한다.
Figure pat00006
거리출력부(500)가 이용하는 (수학식 6)에서 dZ는 다음 (수학식 7)과 같이 차량의 속도(V) 및 카메라부(100)의 촬영 프레임 주기(T)를 이용하여 산출할 수 있다.
Figure pat00007
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : 카메라부
200 : 카메라이상감지부
300 : 카메라움직임추정부
400 : 카메라영상교정부
500 : 거리출력부
600 : 경보부

Claims (6)

  1. 복수의 차량 전방 영상을 출력하는 카메라부;
    상기 영상의 전체 및 부분의 변화를 고려하여 상기 카메라부의 정상 여부를 출력하는 카메라이상감지부;
    상기 정상인 카메라부가 출력한 차량 전방 영상 및 상기 차량의 움직임 정보를 이용하여 이상이 있는 상기 카메라부의 이동 정도를 검출하여 이동행렬 및 기본행렬을 출력하는 카메라움직임추정부;
    상기 편향영상에서 상기 이동행렬을 이용하여 상기 차량이 전진한 교정영상을 출력하는 카메라영상교정부;
    상기 교정영상에서 시차를 계산하여 거리 정보를 출력하는 거리출력부; 및
    상기 거리 정보를 고려하여 차량 전방의 물체를 감지할 때 운전자에게 경보하는 경보부; 를 포함하는 차량 경보 장치.
  2. 제 1 항에 있어서
    상기 카메라이상감지부는 상기 영상의 밝기 히스토그램을 고려하여 상기 영상의 정상 여부를 출력하는 차량 경보 장치.
  3. 제 1 항에 있어서
    상기 카메라이상감지부는 상기 영상의 주파수 파워 스펙트럼을 고려하여 상기 영상의 정상 여부를 출력하는 차량 경보 장치.
  4. 제 1 항에 있어서
    상기 카메라이상감지부는 상기 영상에서 확산점의 위치를 고려하여 상기 영상의 정상 여부를 출력하는 차량 경보 장치.
  5. 제 1 항에 있어서
    상기 카메라움직임추정부는 상기 편향영상에서 특징점 간의 대응점 매칭을 수행하여 이동행렬을 산출하는 차량 경보 장치.
  6. 제 1 항에 있어서
    상기 카메라영상교정부는 상기 기본 행렬 및 상기 카메라부의 내부 행렬 중 적어도 하나를 고려하여 현재 프레임의 영상을 병진 이동한 영상으로 변환하는 차량 경보 장치.
KR1020140149628A 2014-10-30 2014-10-30 차량 경보 장치 KR102288399B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140149628A KR102288399B1 (ko) 2014-10-30 2014-10-30 차량 경보 장치
KR1020210088106A KR102448629B1 (ko) 2014-10-30 2021-07-05 차량 경보 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140149628A KR102288399B1 (ko) 2014-10-30 2014-10-30 차량 경보 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210088106A Division KR102448629B1 (ko) 2014-10-30 2021-07-05 차량 경보 장치

Publications (2)

Publication Number Publication Date
KR20160050741A true KR20160050741A (ko) 2016-05-11
KR102288399B1 KR102288399B1 (ko) 2021-08-10

Family

ID=56025640

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140149628A KR102288399B1 (ko) 2014-10-30 2014-10-30 차량 경보 장치
KR1020210088106A KR102448629B1 (ko) 2014-10-30 2021-07-05 차량 경보 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210088106A KR102448629B1 (ko) 2014-10-30 2021-07-05 차량 경보 장치

Country Status (1)

Country Link
KR (2) KR102288399B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103527A (ko) * 2018-02-14 2019-09-05 엘지전자 주식회사 자율주행 차량 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4321591B2 (ja) * 2007-01-11 2009-08-26 株式会社デンソー 車載霧判定装置
JP4601376B2 (ja) * 2004-10-04 2010-12-22 ダイハツ工業株式会社 画像異常判定装置
JP2013074325A (ja) * 2011-09-26 2013-04-22 Toshiba Alpine Automotive Technology Corp 車載カメラ用画像補正方法および車載カメラ用画像補正プログラム
JP5497248B1 (ja) * 2012-07-10 2014-05-21 本田技研工業株式会社 故障判定装置
KR101406208B1 (ko) * 2013-07-23 2014-06-12 현대오트론 주식회사 차량용 센서의 페일 세이프 시스템 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6058256B2 (ja) 2011-06-13 2017-01-11 アルパイン株式会社 車載カメラ姿勢検出装置および方法
KR20130093991A (ko) * 2012-02-15 2013-08-23 케이디씨 주식회사 스테레오 카메라를 이용한 물체의 거리 인식 방법 및 장치
JP2014074632A (ja) 2012-10-03 2014-04-24 Isuzu Motors Ltd 車載ステレオカメラの校正装置及び校正方法
KR20140049361A (ko) * 2012-10-17 2014-04-25 한국과학기술원 다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법
KR20140090872A (ko) * 2013-01-10 2014-07-18 (주)팜비젼 카메라의 캘리브레이션 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4601376B2 (ja) * 2004-10-04 2010-12-22 ダイハツ工業株式会社 画像異常判定装置
JP4321591B2 (ja) * 2007-01-11 2009-08-26 株式会社デンソー 車載霧判定装置
JP2013074325A (ja) * 2011-09-26 2013-04-22 Toshiba Alpine Automotive Technology Corp 車載カメラ用画像補正方法および車載カメラ用画像補正プログラム
JP5497248B1 (ja) * 2012-07-10 2014-05-21 本田技研工業株式会社 故障判定装置
KR101406208B1 (ko) * 2013-07-23 2014-06-12 현대오트론 주식회사 차량용 센서의 페일 세이프 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103527A (ko) * 2018-02-14 2019-09-05 엘지전자 주식회사 자율주행 차량 및 그 제어 방법

Also Published As

Publication number Publication date
KR102288399B1 (ko) 2021-08-10
KR102448629B1 (ko) 2022-09-29
KR20210090126A (ko) 2021-07-19

Similar Documents

Publication Publication Date Title
US9704404B2 (en) Lane detection apparatus and operating method for the same
US8174563B2 (en) Object detecting system
JP6302519B2 (ja) 車両の運転支援装置
EP3040254B1 (en) Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system
US10005392B2 (en) Object alarm device and object alarm method
KR20150043659A (ko) 차량 상태 경보 방법 및 이를 위한 장치
US10165265B2 (en) Online sensor calibration verification system
US10657654B2 (en) Abnormality detection device and abnormality detection method
KR102324511B1 (ko) 포인트 클라우드 데이터를 이용한 3d lidar 센서 결함 검출 방법
JP2014006243A (ja) 異常診断装置、異常診断方法、撮像装置、移動体制御システム及び移動体
JP6221464B2 (ja) ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム
KR102448629B1 (ko) 차량 경보 장치
CN104417454B (zh) 用于检测障碍物的装置和方法
KR101936862B1 (ko) 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템 및 그 방법
US9928430B2 (en) Dynamic stixel estimation using a single moving camera
JP4858516B2 (ja) 顔向き検出装置
US10706586B2 (en) Vision system for a motor vehicle and method of controlling a vision system
JP2007087203A (ja) 衝突判定システム、衝突判定方法及びコンピュータプログラム
EP3605015A1 (en) Stereo image processing device
KR101673716B1 (ko) 차량의 주행차선인지 장치 및 방법
KR20180061695A (ko) 휠 검출을 통한 차량 옆면 인식 방법 및 장치
JP6986962B2 (ja) カメラずれ検出装置およびカメラずれ検出方法
KR100860357B1 (ko) 가변 정보 표지판의 감시 장치 및 방법
KR20170031812A (ko) 차선 제어 장치 및 방법
JP6981881B2 (ja) カメラずれ検出装置およびカメラずれ検出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant