KR20180065049A - 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치 - Google Patents
다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치 Download PDFInfo
- Publication number
- KR20180065049A KR20180065049A KR1020160165021A KR20160165021A KR20180065049A KR 20180065049 A KR20180065049 A KR 20180065049A KR 1020160165021 A KR1020160165021 A KR 1020160165021A KR 20160165021 A KR20160165021 A KR 20160165021A KR 20180065049 A KR20180065049 A KR 20180065049A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- image
- camera
- unit
- information
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 82
- 238000012544 monitoring process Methods 0.000 title claims description 24
- 238000012806 monitoring device Methods 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 47
- 230000004927 fusion Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000000087 stabilizing effect Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18036—Reversing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- H04N5/2257—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
-
- B60W2550/10—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
본 발명은 차량의 좌측 후방과 우측 후방 및 직후방을 향하도록 차량에 설치되는 카메라를 포함하며, 상기 카메라로부터 카메라 영상을 입력받아 생성하는 영상 입력부와, 상기 영상 입력부로부터 전송되는 카메라 영상을 처리하여 상기 차량의 좌후방과 우후방으로부터 접근하는 차량 또는 상기 차량의 후방에 위치하는 장애물 또는 후방으로부터 접근하는 차량을 검출하여 경고 정보를 생성하는 영상 처리부와, 상기 영상 처리부로부터 전송되는 경고 정보를 수신하는 정보 융합 제어부와, 상기 경고 정보에 대응하여 상기 정보 융합 제어부로부터 전송되는 시각 정보를 수신하여 표시하는 시각 정보 출력부 및 상기 경고 정보에 대응하여 상기 정보 융합 제어부로부터 전송되는 청각 정보를 수신하여 표시하는 시각 정보 출력부를 포함하는 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치를 개시한다.
Description
본 발명은 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용하여 차량 후방을 모니터링하는 장치에 관한 것이다.
일반적으로 차량의 사이드 미러는 운전자가 후방의 상황을 살펴보기 위한 구성품으로서, 거울을 포함하며 차량의 좌우측 프런트 도어 또는 여타의 운전자가 조망하기 좋은 위치에 설치된다. 운전자는 주행중에 후방에서 오는 다른 차량의 주행상황을 살펴보면서 상황에 따라 주행 속도를 줄이거나 주행 차로를 변경하는 등의 대처를 할 수 있다.
이러한 거울을 이용하는 사이드 미러 대신에 카메라를 이용하는 사이드 미러가 개발되고 있다. 한국등록특허 제10-047596(발명의 명칭: 차량의 후방 인식 장치)는 카메라를 이용하는 방식에 대하여 개시하고 있다.
또한, 룸 미러는 통상적으로 차량의 전면 유리창 중앙 상단 또는 운전자가 조망하기 쉬운 위치에 장착되어, 운전자가 차내의 상황 또는 차량 후방의 상황을 파악하여 급정거등의 상황에 유연하게 대처할 수 있도록 한다. 상기 룸 미러는 디스플레이와 병행 사용되거나, 디스플레이가 대체하는 방법이 개발되고 있다.
본 발명은 차량의 좌측과 우측에 설치되는 카메라의 영상과 차량의 후방에 설치되는 카메라의 영상을 영상 처리하여 하나의 영상으로 만들어, 차량 내부에 설치되는 모니터에 표시함으로써 운전자가 차량의 전방을 주시하면서 차량의 좌후방과 우후방 및 직후방의 상황을 함께 인식할 수 있도록 하는 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치는 차량의 좌측 후방과 우측 후방 및 직후방을 향하도록 차량에 설치되는 카메라를 포함하며, 상기 카메라로부터 카메라 영상을 입력받아 생성하는 영상 입력부와, 상기 영상 입력부로부터 전송되는 카메라 영상을 처리하여 상기 차량의 좌후방과 우후방으로부터 접근하는 차량 또는 상기 차량의 후방에 위치하는 장애물 또는 후방으로부터 접근하는 차량을 검출하여 경고 정보를 생성하는 영상 처리부와, 상기 영상 처리부로부터 전송되는 경고 정보를 수신하는 정보 융합 제어부와, 상기 경고 정보에 대응하여 상기 정보 융합 제어부로부터 전송되는 시각 정보를 수신하여 표시하는 시각 정보 출력부 및 상기 경고 정보에 대응하여 상기 정보 융합 제어부로부터 전송되는 청각 정보를 수신하여 표시하는 시각 정보 출력부를 포함하는 것을 특징으로 한다.
또한, 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치는 상기 차량의 좌측 방향 지시등 또는 우측 방향 지시등을 점등시키는 점등 신호를 입력받아 상기 정보 융합 제어부로 전송하는 방향 지시등 신호 입력부 및 상기 차량의 후진 기어가 연결되는 연결 신호를 입력받는 후진 기어 신호 입력부를 더 포함하며, 상기 정보 융합 제어부는 상기 방향 지시등 신호 입력부의 점등 신호 또는 후진 기어 신호 입력부의 연결 신호를 수신하고 상기 시각 정보 출력부 또는 청각 정보 출력부로 시각 정보 또는 청각 정보를 전송하도록 형성될 수 있다.
또한, 상기 카메라는 상기 차량의 좌측 후방을 촬영하는 좌후방 카메라와 상기 차량의 우측 후방을 촬영하는 우후방 카메라 및 상기 차량의 직후방을 촬영하는 직후방 카메라를 포함하며, 상기 영상 처리부는 상기 카메라들로부터 전송되는 카메라 영상의 왜곡 보정과 절취와 시점 보정 또는 합성을 진행하는 제 1 서브 처리부와, 상기 좌후방 카메라와 우후방 카메라에서 촬영한 카메라 영상으로부터 상기 차량의 좌측 또는 우측으로 접근하는 차량을 검출하는 제 2 서브 처리부 및 상기 직후방 카메라에서 촬영한 카메라 영상으로부터 상기 차량의 후방에 위치하는 장애물 또는 차량을 검출하는 제 3 서브 처리부를 포함하여 형성될 수 있다.
또한, 상기 제 3 서브 처리부는 상기 직후방 카메라로부터 입력되는 적어도 두 장 이상의 연속된 영상을 처리하여 뎁쓰-맵을 생성하고 일정한 높이 이상의 장애물 또는 차량을 검출하도록 형성될 수 있다.
또한, 상기 제 3 서브 처리부는 영상을 안정화하는 전처리 과정과, 상기 장애물을 검출하는 주처리 과정 및 충돌의 위험을 경고하는 후처리 과정을 통하여 상기 차량의 후방에 위치하는 장애물을 검출하도록 형성될 수 있다.
또한, 상기 전처리 과정은 입력된 영상을 흑백의 영상으로 전환하는 영상 전환 단계와, 전환된 영상을 상기 영상 처리부의 연산 자원내에서 연산할 수 있도록 축소 또는 확대하는 영상 크기 변경 단계와, 변경된 크기의 영상을 적어도 2개 이상의 다양한 크기로 변경하는 다중 크기 영상 확장 단계를 포함하여 이루어질 수 있다.
또한, 상기 전처리 과정은 오검출을 보완하기 위하여 영상내의 사물을 외곽선 기준 영상으로 재조합하는 영상 변환 단계 및 오검출을 보완하기 위해 외곽선 기준 적분 영상 생성 단계를 더 포함하여 이루어질 수 있다.
또한, 상기 주처리 과정은 상기 전처리 과정을 거친 영상으로부터 각 외곽선의 코너를 검출하는 특성 검출 기능과, 광학 영상 흐름 및 전후 방향 추적을 수행하는 특성 추적 기능 및 추적 결과에 따라 오차가 큰 특성을 제거하거나 인접한 특성들을 걸러내는 특성 필터 기능이 순차적으로 진행되는 특성 관리 단계 및 바닥면을 기준한 연속되는 적어도 두 프레임간의 차량 이동 동작 상태의 산출 및 누적과, 차량 이동 동작 상태를 통한 일정 거리의 움직임 발생시 해당 프레임을 주요 영상으로 지정하는 동작 예측 기능과, 적어도 2개 이상의 주요 영상간 예측된 차량 이동 동작 상태를 기반으로 삼각화 기법 적용을 통한 에피폴라 특성 추출과 에피폴라 제한을 통한 뎁쓰 추정 오류 보완 및 각 특성별 뎁쓰 추정을 하는 삼각화기법 기능과, 추정된 뎁쓰에 따라 특성들의 분별 집합 및 분별 집합의 개수와 크기에 따라 장애물 여부를 결정하는 장애물 검출 기능이 순차적으로 진행되는 주요 영상 관리 단계를 포함하여 이루어질 수 있다.
또한, 상기 후처리 과정은 상기 주처리 과정에서 장애물로 분류된 분별 집합들의 바닥면 기반의 분포 거리를 추정하는 거리 추정 단계와, 거리별로 경로 레벨을 산출하고 시각적 또는 청각적 경보를 출력하는 경고 로직 단계를 포함하여 이루어질 수 있다.
본 발명에 따른 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치는 운전자가 전방을 주시하면서도 차량의 직후방 및 좌/우측 후방의 상황을 파악할 수 있도록 함으로써 주행 시, 주행 차로 변경시 또는 후진시 사고 가능성을 감소시키는 효과가 있다.
또한, 본 발명에 따른 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치는 영상을 통하여 차량의 직후방 및 좌/우측 후방에서 위험을 야기할 수 있는 장애물을 검출하여 차량의 차로 변경시 또는 후진시에 별도의 시각적 또는 청각적 경고를 발생하여 사고를 미연에 방지하도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치의 구성도이다.
도 2는 도 1의 차량 후방 모니터링 장치의 카메라가 차량에서 장착되는 위치를 도시한 개략도이다.
도 3은 도 1의 차량 후방 모니터링 장치의 카메라가 영상을 취득하는 방향에 대한 개략도이다.
도 4는 도 1의 차량 후방 모니터링 장치가 취득된 각 영상을 왜곡 보정과 절취와 시점 보정 및 합성한 영상의 사진이다.
도 5는 도 1의 차량 후방 모니터링 장치의 영상 처리부의 카메라 영상의 합성 과정에 대한 순서도이다.
도 6은 도 1의 차량 후방 모니터링 장치의 영상 처리부의 차량 검출 과정에 대한 순서도이다.
도 7은 도 1의 차량 후방 모니터링 장치의 영상 처리부의 장애물 검출 과정에 대한 순서도이다.
도 8은 도 1의 차량 후방 모니터링 장치의 시각 정보 출력부 또는 청각 정보 출력부가 차량에서 장착되는 위치를 도시한 개략도이다.
도 2는 도 1의 차량 후방 모니터링 장치의 카메라가 차량에서 장착되는 위치를 도시한 개략도이다.
도 3은 도 1의 차량 후방 모니터링 장치의 카메라가 영상을 취득하는 방향에 대한 개략도이다.
도 4는 도 1의 차량 후방 모니터링 장치가 취득된 각 영상을 왜곡 보정과 절취와 시점 보정 및 합성한 영상의 사진이다.
도 5는 도 1의 차량 후방 모니터링 장치의 영상 처리부의 카메라 영상의 합성 과정에 대한 순서도이다.
도 6은 도 1의 차량 후방 모니터링 장치의 영상 처리부의 차량 검출 과정에 대한 순서도이다.
도 7은 도 1의 차량 후방 모니터링 장치의 영상 처리부의 장애물 검출 과정에 대한 순서도이다.
도 8은 도 1의 차량 후방 모니터링 장치의 시각 정보 출력부 또는 청각 정보 출력부가 차량에서 장착되는 위치를 도시한 개략도이다.
이하에서, 첨부된 도면을 참조하여, 본 발명의 일 실시예에 따른 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치의 구성도이다. 도 2는 도 1의 차량 후방 모니터링 장치의 카메라가 차량에서 장착되는 위치를 도시한 개략도이다. 도 3은 도 1의 차량 후방 모니터링 장치의 카메라가 영상을 취득하는 방향에 대한 개략도이다. 도 4는 도 1의 차량 후방 모니터링 장치가 취득된 각 영상을 왜곡 보정과 절취와 시점 보정 및 합성한 영상의 사진이다. 도 5는 도 1의 차량 후방 모니터링 장치의 영상 처리부의 카메라 영상의 합성 과정에 대한 순서도이다. 도 6은 도 1의 차량 후방 모니터링 장치의 영상 처리부의 차량 검출 과정에 대한 순서도이다. 도 7은 도 1의 차량 후방 모니터링 장치의 영상 처리부의 장애물 검출 과정에 대한 순서도이다. 도 8은 도 1의 차량 후방 모니터링 장치의 시각 정보 출력부 또는 청각 정보 출력부가 차량에서 장착되는 위치를 도시한 개략도이다.
본 발명의 일 실시예에 따른 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치는, 도 1 내지 도 8을 참조하면, 영상 입력부(100)와 영상 처리부(200)와 정보 융합 제어부(300) 및 시각 정보 출력부(400)를 포함하여 형성된다. 또한, 상기 차량 후방 모니터링 장치는 청각 정보 출력부(500)와 방향 지시등 신호 입력부(600)와 후진 기어 신호 입력부(700) 및 전원 공급부(800)를 포함하여 형성된다. 한편, 상기 영상 처리부(200)는 정보 융합 제어부(300)와 일체로 형성될 수 있다.
상기 영상 입력부(100)는 차량의 좌측 후방과 우측 후방 및 직후방을 향하도록 차량에 설치되는 적어도 3대의 카메라(110)를 포함하여 형성된다. 상기 영상 입력부(100)는 각각의 카메라(110)가 촬영한 카메라 영상을 생성한다. 상기 카메라(110)는 차량의 좌측 후방을 촬영하는 좌후방 카메라(111)와 차량의 우측 후방을 촬영하는 우후방 카메라(112)와 차량의 직후방을 촬영하는 직후방 카메라(113)를 포함하여 형성될 수 있다. 상기 좌후방 카메라(111)와 우후방 카메라(112)는 차량의 좌후방과 우후방을 촬영할 수 있는 적정한 위치에 설치될 수 있다. 상기 좌후방 카메라(111)와 우후방 카메라(112)는, 도 2에서 보는 바와 같이, 일반적인 차량의 사이드 미러가 설치된 위치(도 2에서 각각 1번과 2번 위치)에 설치될 수 있다. 상기 직후방 카메라(113)는, 도 2에서 보는 바와 같이, 차량의 후방(도 2에서 3번 위치)에 설치될 수 있다.
상기 좌후방 카메라(111)는 차량의 좌측 후방에서 소정 촬영 각도의 영역에 대한 영상을 촬영한다. 상기 좌후방 카메라(111)는 도 3에서 1번 영역에 대한 영상을 촬영할 수 있다. 상기 우후방 카메라(112)는 차량의 우측 후방에서 소정의 촬영 각도의 영역에 대한 영상을 촬영한다. 상기 우후방 카메라(112)는 도 3에서 2번 영역에 대한 영상을 촬영할 수 있다. 상기 직후방 카메라(113)는 차량의 직후방에서 소정 촬영 각도의 영역에 대한 영상을 촬영할 수 있다. 예를 들면, 상기 직후방 카메라(113)는 도 3에서 3번 영역의 영상을 촬영할 수 있다.
상기 카메라(110)는 촬영을 필요로하는 영역 범위에 따라 촬영 각도가 결정될 수 있다. 상기 카메라(110)는 설치되는 위치에 따라 촬영 각도가 각각 다른 카메라로 설치될 수 있다. 예를 들면, 도 3에서 보는 바와 같이 상기 좌후방 카메라(111)와 우후방 카메라(112)는 직후방 카메라(113)에 대비하여 상대적으로 작은 촬영 각도를 갖는 카메라로 형성될 수 있다.
상기 영상 처리부(200)는 영상 입력부(100)로부터 전송되는 카메라 영상을 수신하여 처리한다. 상기 영상 처리부(200)는 필요로 하는 작용과 효과에 따라 카메라 영상의 처리를 진행한다. 또한, 상기 영상 처리부(200)는 카메라 영상을 처리하여 차량의 좌후방과 우후방으로부터 접근하는 차량을 검출한다. 또한, 상기 영상 처리부(200)는 카메라 영상을 처리하여 차량의 후방에 위치하는 장애물 또는 후방으로부터 접근하는 차량을 검출한다.
상기 영상 처리부(200)는 제 1 서브 처리부(210)와 제 2 서브 처리부(220)와 제 3 서브 처리부(230)를 포함하여 형성될 수 있다.
상기 제 1 서브 처리부(210)는 카메라 영상의 왜곡 보정과 절취와 시점 보정 또는 합성을 진행한다. 상기 제 1 서브 처리부(210)는 적어도 3대의 카메라(110)로부터 입력되는 카메라 영상의 왜곡을 보정한다.
도 4와 도 5를 참조하면, 상기 제 1 서브 처리부(210)는 먼저 좌후방 카메라(111)와 우후방 카메라(112) 및 직후방 카메라(113)으로부터 입력되는 각각의 카메라 영상에 대하여 각각 왜곡 보정을 한다. 또한, 상기 제 1 서브 처리부(210)는 필요한 경우에 각각의 카메라 영상에서 시점 보정을 하고 불필요한 부분을 자르고 필요한 부분만 절취(Crop)한다. 또한, 상기 제 1 서브 처리부(210)는 필요한 경우에 각각의 카메라 영상의 크기를 조정한다. 또한, 상기 제 1 서브 처리부(210)는 각각의 카메라 영상을 하나의 영상으로 합성한다.
상기 제 2 서브 처리부(220)는 좌후방 카메라(111)와 우후방 카메라(112)에서 촬영한 카메라 영상으로부터 차량의 좌측 또는 우측으로 접근하는 차량을 검출한다. 상기 제 2 서브 처리부(220)는 좌후방 카메라(111)의 좌후방 카메라 영상과 우후방 카메라(112)의 우후방 카메라 영상을 도 6에서 도시된 과정을 따라 처리한다. 상기 제 2 서브 처리부(220)는 처리된 카메라 영상으로부터 차량의 좌후방과 우후방으로 접근하는 차량에 대한 정로를 검출한다.
상기 제 3 서브 처리부(230)는 차량의 직후방 카메라(113)에서 촬영한 카메라 영상으로부터 차량의 후방에 위치하는 장애물 또는 차량을 검출한다. 또한, 상기 제 3 서브 처리부(230)는 직후방 카메라(113)로부터 입력되는 적어도 두 장 이상의 연속된 영상을 처리하여 뎁쓰-맵을 생성하고 일정한 높이 이상의 장애물을 검출한다. 보다 구체적으로는 상기 3 서브 처리부는 차량 후진시 이동 경로상에 적어도 20cm의 일정한 높이를 갖는 장애물 또는 차량이; 있다고 판단하는 경우에 정보 융합 제어부(300)를 통해 시각 정보 출력부(400) 또는 청각 신호 출력부로 미리 정한 경고 내용이 출력되도록 한다.
상기 제 3 서브 처리부(230)는 차량의 후방에 위치하는 장애물을 검출하기 위하여 전처리(Pre-Processing) 과정과 주처리(Main-Processing) 과정 및 후처리(Post-processing) 과정을 진행할 수 있다. 즉, 상기 제 3 처리부는 직후방 카메라(113)의 직후방 카메라 영상을 도 7에 도시된 절차에 따라 처리한다. 상기 제 3 서브 처리부(230)는 처리된 카메라 영상으로부터 차량의 후방으로 접근하는 차량에 대한 경로를 검출한다.
상기 전처리 과정은 이미지 프로세싱 과정을 통하여 진행된다. 상기 전처리 과정은 입력된 영상을 흑백의 영상으로 전환하는 영상 전환 단계와, 전환된 영상을 제 3 서브 처리부(230)의 연산 자원내에서 연산할 수 있도록 축소 또는 확대하는 영상 크기 변경 단계와, 변경된 크기의 영상을 적어도 2개 이상의 다양한 크기로 변경하는 다중 크기 영상 확장 단계로 이루어진다. 상기 전처리 과정은 오검출을 보완하기 위하여 영상내의 사물을 외곽선 기준(Edge image) 영상으로 재조합하는 영상 변환 단계를 포함할 수 있다. 또한, 상기 전처리 과정은 오검출을 보완하기 위해 외곽선 기준 적분 영상(Edge Integral Image) 생성 단계를 포함할 수 있다.
상기 주처리 과정은 전처리 과정을 거친 적어도 2 개의 영상들을 이용하여 진행되며, 바람직하게는 특성 관리(Feature Management) 단계와 주요 영상 관리(Key Frame Management) 단계를 포함하여 이루어진다.
상기 특성 관리 단계는 전처리 과정을 거친 영상으로부터 각 외곽선의 코너를 검출하는 특성 검출(Feature Detection) 기능과 광학 영상 흐름(Optical Flow) 및 전후방향 추적(Forward & Backward tracking)을 수행하는 특성 추적(Feature tracking) 기능 및 추적 결과에 따라 오차가 큰 특성을 제거하거나 너무 인접한 특성들을 걸러내는 특성 필터(Feature Filtering) 기능이 순차적으로 진행되어 이루어질 수 있다.
또한, 상기 주요 영상 관리(Key Frame Management) 단계는 바닥면을 기준한 연속되는 적어도 두 프레임간의 차량 이동 동작 상태(Ego-motion)의 산출 및 누적과, 차량 이동 동작 상태를 통한 일정 거리의 움직임 발생시 해당 프레임을 주요 영상으로 지정하는 동작 예측(Motion Estimation) 기능과, 적어도 2개 이상의 주요 영상간 예측된 차량 이동 동작 상태를 기반으로 삼각화 기법(Tri-angulation) 적용을 통한 에피폴라 특성 추출과 에피폴라 제한을 통한 뎁쓰(Depth) 추정 오류 보완 및 각 특성별 뎁쓰 추정을 하는 삼각화기법(Tri-angulation) 기능과, 추정된 뎁쓰에 따라 특성들의 분별 집합(Feature Clustering) 및 분별 집합(Clustered Feature)의 개수와 크기에 따라 장애물 여부를 결정하는 장애물 검출(Obstacle Detection) 기능이 순차적으로 진행되어 이루어질 수 있다.
상기 후처리 과정은 주처리 과정에서 장애물로 분류된 분별 집합(Clustered Featrue)들의 바닥면(ground plane) 기반의 분포 거리를 추정하는 거리추정(Distance Estimation) 단계와, 거리별로 경로 레벨을 산출하고 시각적 또는/및 청각적 경보를 출력하는 경고 로직(Warning Logic) 단계를 포함하여 이루어진다.
상기 정보 융합 제어부(300)는 영상 처리부(200)와 시각 정보 출력부(400) 및 청각 정보 출력부(500)와 연결된다. 또한, 상기 정보 융합 제어부(300)는 영상 처리부(200)로부터 전송되는 경고 정보를 시각 정보 출력부(400)와 청각 정보 출력부(500)로 전송한다. 상기 정보 융합 제어부(300)는 차량 또는 장애물에 대한 정보를 수신하면 미리 설정되어 있는 경고 정보를 시각 정보 출력부(400)와 청각 정보 출력부(500)로 전송할 수 있다. 이때, 상기 정보 융합 제어부(300)는 경고 정보에 대응하는 시각 정보를 시각 정보 출력부(400)로 전송하며, 청각 정보를 청각 정보 출력부(500)로 전송한다.
상기 시각 정보 출력부(400)는 정보 융합 제어부(300)와 연결된다. 상기 시각 정보 출력부(400)는 정보 융합 제어부(300)로부터 전송되는 시각 정보를 수신하여 표시한다. 상기 시각 정보는 카메라 영상이거나, 경고 정보에 대응되는 별도의 시각 정보일 수 있다. 즉, 상기 시각 정보 출력부(400)는 정보 융합 제어부(300)로부터 전송되는 카메라 영상을 포함하는 영상 정보를 출력할 수 있다. 이때, 상기 시각 정보 출력부(400)는 경고를 의미하는 추가적인 시각 정보를 출력할 수 있다. 상기 시각 정보 출력부(400)는 카메라 영상, 왜곡 보정 영상, 절취 영상, 시점 보정 영상 또는 합성 영상을 표시한다. 즉, 상기 시각 정보 출력부(400)는 영상 처리부(200)를 거친 영상 입력부(100)의 원 영상뿐만 아니라 정보 융합 제어부(300)로부터 전송되는 정보를 문자, 그림, 영상등의 시각 정보를 함께 표시한다. 상기 시각 정보 출력부(400)는 아날로그 또는 디지털 형식의 디스플레이 모듈로 형성된다. 상기 시각 정보 출력부(400)는 도 8에서 보는 바와 같이 차량의 1번 위치 또는 2번 위치에 설치될 수 있다.
상기 청각 정보 출력부(500)는 정보 융합 제어부(300)와 연결된다. 상기 청각 정보 출력부(500)는 정보 융합 제어부(300)로부터 전송되는 경고음을 포함하는 신호에 대한 청각 정보를 출력한다. 상기 청각적 정보는 정보 융합 제어부(300)로부터 전송되는 음성 정보이거나, 음성 정보에 대응되는 별도의 음성 정보일 수 있다. 상기 청각 정보 출력부(500)는 스피커 모듈과 같은 모듈로 형성된다. 상기 청각 정보 출력부(500)는 정보 융합 제어부(300)의 제어 정보에 따라 가청 주파수에 해당하는 음성 또는 음향의 종류 및 크기를 변경하여 출력한다. 상기 청각 정보 출력부(500)는 도 8에서 보는 바와 같이 차량의 1번 위치 또는 2번 위치에 설치될 수 있다. 또한, 상기 청각 정보 출력부(500)는 시각 정보 출력부(400)와 함께 또는 별도로 설치될 수 있다.
상기 방향 지시등 신호 입력부(600)는 차량의 좌측과 우측에 설치되는 방향 지시등 또는 방향 지시등의 점등을 제어하는 제어부와 전기적으로 연결된다. 상기 방향 지시등 신호 입력부(600)는 차량의 좌측 방향 지시등 또는 우측 방향 지시등을 점등시키는 점등 신호를 입력받는다. 상기 방향 지시등 신호 입력부(600)는 점등 신호를 입력받으면 이를 정보 융합 제어부(300) 또는 영상 처리부(200)로 전송한다. 상기 정보 융합 제어부(300)는 방향 지시등 신호 입력부(600)로부터 전송되는 점등 신호와 영상 처리부(200)로부터 전송되는 차량의 좌측 또는 우측으로 접근하는 차량의 검출 정보를 조합하여, 시각적 경고 또는 청각적 경고의 활성화를 위한 신호를 시각 정보 출력부(400) 또는 청각 정보 출력부(500)로 전송한다.
한편, 상기 방향 지시등 신호 입력부(600)는 점등 신호를 입력받으면, 좌후방 카메라(111)와 우후방 카메라(112)로부터 입력되는 영상으로부터 좌측 또는 우측으로부터 접근하는 차량을 검출하는 영상 처리부(200)로부터 입력된 시각적 정보 또는 청각적 정보의 활성화 여부를 직접 판단하여 활성화를 위한 신호를 정보 융합 제어부(300)로 전송할 수 있다.
상기 후진 기어 신호 입력부(700)는 차량의 후진 기어 또는 후진 기어 제어부와 전기적으로 연결된다. 상기 후진 기어 신호 입력부(700)는 차량의 후진 기어가 연결되는 연결 신호를 입력받는다. 상기 후진 기어 신호 입력부(700)는 연결 신호를 입력받으면, 이를 정보 융합 제어부(300)로 전송한다. 상기 정보 융합 제어부(300)는 후진 기어 신호 입력부(700)로부터 전송되는 후진 기어 연결 신호와 영상 처리부(200)로부터 전송되는 장애물 검출 정보를 조합하여, 시각적 경고 또는 청각적 경고의 활성화를 위한 신호를 시각 정보 출력부(400) 또는 청각 정보 출력부(500)로 전송한다.
한편, 상기 후진 기어 신호 입력부(700)는 후진 기어의 연결 신호를 입력받으면, 직후방 카메라(113)로부터 입력되는 카메라 영상으로부터 장애물을 검출하는 영상 처리부(200)로부터 입력된 시각적 정보 또는 청각적 정보의 활성화 여부를 직접 판단하여 활성화를 위한 신호를 정보 융합 제어부(300)로 전송할 수 있다.
상기 전원 공급부(800)는 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치에 필요한 전원을 공급한다.
본 발명의 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치는 차량에 장착되어 적어도 3대 이상의 카메라가 실시간으로 촬영한 영상을 1대의 카메라가 찍은 영상처럼 상시적으로 운전자에게 보여주며, 차로 변경을 위하여 방향 지시등을 점멸하는 경우 변경하는 차로 위에서 차량의 좌측 후방 또는 우측 후방에 현저한 위험이 발생할 수 있는 차량의 존재 여부 및 위험 정도를 시각적 또는 청각적으로 알려주고, 후진 기어를 넣는 신호가 입력될 때에는 차량의 후방 이동 경로에 있는 바람직하게는 20Cm이상의 현저한 높이를 가져 차량과 접촉시 사고위험을 내포하는 장애물의 존재 여부를 소정 거리 예를 들어 예상충돌 2미터, 1미터등과 같은 거리 간격으로 시각적 또는 청각적 경고를 함으로써 운전자의 사고예방 또는 사고 경감에 도움을 줄 수 있다.
또한, 본 발명의 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치는, 차량의 주행시 운전자가 전방을 주시하는 상태에서 적어도 3개 차로의 넓이에 해당하는 후방 영상을 한번에 모니터링할 수 있도록 정보를 제공하고, 운전자가 차량의 차로 변경 의사가 명백하여 좌/우측 방향 지시등을 켤 때 차량이 이동하고자 하는 차로의 후방에 근접하는 차량이 존재하여 충돌의 위험이 있는 상태를 경고하고, 운전자의 후진의 의사가 명백하여 후진 기어를 넣을 때 차량의 후방 이동 경로에 존재하는 일정한 높이 이상의 장애물을 검출하여 시각적 또는 청각적 경고를 제공함으로써 항상 최적의 안전 운전 환경으로 유지하도록 한다.
이상에서 설명한 것은 본 발명에 의한 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치를 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
100; 영상 입력부
200: 영상 처리부
300: 정보 융합 제어부 400: 시각 정보 출력부
500: 청각 정보 출력부 600: 방향 지시등 신호 입력부
700: 후진 기어 신호 입력부 800: 전원 공급부
300: 정보 융합 제어부 400: 시각 정보 출력부
500: 청각 정보 출력부 600: 방향 지시등 신호 입력부
700: 후진 기어 신호 입력부 800: 전원 공급부
Claims (9)
- 차량의 좌측 후방과 우측 후방 및 직후방을 향하도록 차량에 설치되는 카메라를 포함하며, 상기 카메라로부터 카메라 영상을 입력받아 생성하는 영상 입력부와,
상기 영상 입력부로부터 전송되는 카메라 영상을 처리하여 상기 차량의 좌후방과 우후방으로부터 접근하는 차량 또는 상기 차량의 후방에 위치하는 장애물 또는 후방으로부터 접근하는 차량을 검출하여 경고 정보를 생성하는 영상 처리부와,
상기 영상 처리부로부터 전송되는 경고 정보를 수신하는 정보 융합 제어부와,
상기 경고 정보에 대응하여 상기 정보 융합 제어부로부터 전송되는 시각 정보를 수신하여 표시하는 시각 정보 출력부 및
상기 경고 정보에 대응하여 상기 정보 융합 제어부로부터 전송되는 청각 정보를 수신하여 표시하는 시각 정보 출력부를 포함하는 것을 특징으로 하는 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치. - 제 1 항에 있어서,
상기 차량의 좌측 방향 지시등 또는 우측 방향 지시등을 점등시키는 점등 신호를 입력받아 상기 정보 융합 제어부로 전송하는 방향 지시등 신호 입력부 및
상기 차량의 후진 기어가 연결되는 연결 신호를 입력받는 후진 기어 신호 입력부를 더 포함하며,
상기 정보 융합 제어부는 상기 방향 지시등 신호 입력부의 점등 신호 또는 후진 기어 신호 입력부의 연결 신호를 수신하고 상기 시각 정보 출력부 또는 청각 정보 출력부로 시각 정보 또는 청각 정보를 전송하도록 형성되는 것을 특징으로 하는 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치. - 제 1 항에 있어서,
상기 카메라는 상기 차량의 좌측 후방을 촬영하는 좌후방 카메라와 상기 차량의 우측 후방을 촬영하는 우후방 카메라 및 상기 차량의 직후방을 촬영하는 직후방 카메라를 포함하며,
상기 영상 처리부는
상기 카메라들로부터 전송되는 카메라 영상의 왜곡 보정과 절취와 시점 보정 또는 합성을 진행하는 제 1 서브 처리부와,
상기 좌후방 카메라와 우후방 카메라에서 촬영한 카메라 영상으로부터 상기 차량의 좌측 또는 우측으로 접근하는 차량을 검출하는 제 2 서브 처리부 및
상기 직후방 카메라에서 촬영한 카메라 영상으로부터 상기 차량의 후방에 위치하는 장애물 또는 차량을 검출하는 제 3 서브 처리부를 포함하는 것을 특징으로 하는 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치. - 제 3 항에 있어서,
상기 제 3 서브 처리부는 상기 직후방 카메라로부터 입력되는 적어도 두 장 이상의 연속된 영상을 처리하여 뎁쓰-맵을 생성하고 일정한 높이 이상의 장애물 또는 차량을 검출하도록 형성되는 것을 특징으로 하는 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치. - 제 4 항에 있어서,
상기 제 3 서브 처리부는 영상을 안정화하는 전처리 과정과, 상기 장애물을 검출하는 주처리 과정 및 충돌의 위험을 경고하는 후처리 과정을 통하여 상기 차량의 후방에 위치하는 장애물을 검출하도록 형성되는 것을 특징으로 하는 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치. - 제 5 항에 있어서,
상기 전처리 과정은 입력된 영상을 흑백의 영상으로 전환하는 영상 전환 단계와, 전환된 영상을 상기 영상 처리부의 연산 자원내에서 연산할 수 있도록 축소 또는 확대하는 영상 크기 변경 단계와, 변경된 크기의 영상을 적어도 2개 이상의 다양한 크기로 변경하는 다중 크기 영상 확장 단계를 포함하여 이루어지는 것을 특징으로 하는 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치. - 제 5 항에 있어서,
상기 전처리 과정은 오검출을 보완하기 위하여 영상내의 사물을 외곽선 기준 영상으로 재조합하는 영상 변환 단계 및 오검출을 보완하기 위해 외곽선 기준 적분 영상 생성 단계를 더 포함하여 이루어지는 것을 특징으로 하는 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치. - 제 5 항에 있어서,
상기 주처리 과정은
상기 전처리 과정을 거친 영상으로부터 각 외곽선의 코너를 검출하는 특성 검출 기능과, 광학 영상 흐름 및 전후 방향 추적을 수행하는 특성 추적 기능 및 추적 결과에 따라 오차가 큰 특성을 제거하거나 인접한 특성들을 걸러내는 특성 필터 기능이 순차적으로 진행되는 특성 관리 단계 및
바닥면을 기준한 연속되는 적어도 두 프레임간의 차량 이동 동작 상태의 산출 및 누적과, 차량 이동 동작 상태를 통한 일정 거리의 움직임 발생시 해당 프레임을 주요 영상으로 지정하는 동작 예측 기능과, 적어도 2개 이상의 주요 영상간 예측된 차량 이동 동작 상태를 기반으로 삼각화 기법 적용을 통한 에피폴라 특성 추출과 에피폴라 제한을 통한 뎁쓰 추정 오류 보완 및 각 특성별 뎁쓰 추정을 하는 삼각화기법 기능과, 추정된 뎁쓰에 따라 특성들의 분별 집합 및 분별 집합의 개수와 크기에 따라 장애물 여부를 결정하는 장애물 검출 기능이 순차적으로 진행되는 주요 영상 관리 단계를 포함하여 이루어지는 것을 특징으로 하는 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치. - 제 5 항에 있어서,
상기 후처리 과정은 상기 주처리 과정에서 장애물로 분류된 분별 집합들의 바닥면 기반의 분포 거리를 추정하는 거리 추정 단계와, 거리별로 경로 레벨을 산출하고 시각적 또는 청각적 경보를 출력하는 경고 로직 단계를 포함하여 이루어지는 것을 특징으로 하는 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160165021A KR20180065049A (ko) | 2016-12-06 | 2016-12-06 | 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160165021A KR20180065049A (ko) | 2016-12-06 | 2016-12-06 | 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180065049A true KR20180065049A (ko) | 2018-06-18 |
Family
ID=62767821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160165021A KR20180065049A (ko) | 2016-12-06 | 2016-12-06 | 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20180065049A (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109466447A (zh) * | 2018-11-30 | 2019-03-15 | 南昌与德软件技术有限公司 | 一种驾驶提示方法、装置、汽车及存储介质 |
| CN110222227A (zh) * | 2019-05-13 | 2019-09-10 | 西安交通大学 | 一种融合听觉感知特征和视觉特征的中国民歌地域分类方法 |
| KR20210079485A (ko) | 2019-12-19 | 2021-06-30 | 에스티에스 주식회사 | 군용 차량의 후방 모니터링 시스템 및 방법 |
| CN115331483A (zh) * | 2021-05-11 | 2022-11-11 | 宗盈国际科技股份有限公司 | 智能化机车警示装置及系统 |
| KR20230164330A (ko) * | 2022-05-25 | 2023-12-04 | 한서대학교 산학협력단 | 드론용 회피 기동 장치 및 방법 |
-
2016
- 2016-12-06 KR KR1020160165021A patent/KR20180065049A/ko active Search and Examination
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109466447A (zh) * | 2018-11-30 | 2019-03-15 | 南昌与德软件技术有限公司 | 一种驾驶提示方法、装置、汽车及存储介质 |
| CN110222227A (zh) * | 2019-05-13 | 2019-09-10 | 西安交通大学 | 一种融合听觉感知特征和视觉特征的中国民歌地域分类方法 |
| KR20210079485A (ko) | 2019-12-19 | 2021-06-30 | 에스티에스 주식회사 | 군용 차량의 후방 모니터링 시스템 및 방법 |
| CN115331483A (zh) * | 2021-05-11 | 2022-11-11 | 宗盈国际科技股份有限公司 | 智能化机车警示装置及系统 |
| KR20230164330A (ko) * | 2022-05-25 | 2023-12-04 | 한서대학교 산학협력단 | 드론용 회피 기동 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180065049A (ko) | 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치 | |
| US11745755B2 (en) | Vehicular driving assist system with driver monitoring | |
| US9272664B2 (en) | Naked eye 3D video system for backing a vehicle and vehicle including the system | |
| JP5744352B2 (ja) | 車両周辺表示装置 | |
| US8330816B2 (en) | Image processing device | |
| US10618467B2 (en) | Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle | |
| TWI506601B (zh) | 車輛監控系統和車輛監控方法 | |
| JP2006338594A (ja) | 歩行者認識装置 | |
| KR20180065048A (ko) | 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치 | |
| WO2020157901A1 (ja) | 運転支援装置 | |
| JP2013005233A (ja) | 車両周辺監視装置 | |
| JP2010044561A (ja) | 乗物搭載用監視装置 | |
| US11146740B2 (en) | Image display apparatus | |
| KR20180065527A (ko) | 차량 후측방 경고 장치 및 이를 이용한 경고 방법 | |
| JP2010095202A (ja) | ルームミラー位置後視カメラ画像表示装置 | |
| JP2006341713A (ja) | ヘッドライト照射方向変更システム、及びヘッドライト照射方向変更方法 | |
| US9704062B2 (en) | Method and apparatus for warning an obstacle of a vehicle | |
| KR101664297B1 (ko) | 차량용 어라운드 뷰 모니터링 시스템 및 그 방법 | |
| JP6728868B2 (ja) | 表示装置、表示方法及び表示装置用プログラム | |
| KR101729030B1 (ko) | 차량 주변의 위험요소 경고장치 및 경고방법 | |
| KR20180074093A (ko) | 어라운드 뷰 영상 제공 시스템 | |
| WO2021131481A1 (ja) | 表示装置、表示方法及び表示プログラム | |
| JP4799236B2 (ja) | 車載表示システム | |
| JP2007030753A (ja) | 障害物表示システム、及び障害物表示方法 | |
| WO2018123547A1 (ja) | 車両用視認装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |