KR101797718B1 - 차량용 스테레오 카메라와 avm의 통합 관리 시스템 및 관리 방법 - Google Patents

차량용 스테레오 카메라와 avm의 통합 관리 시스템 및 관리 방법 Download PDF

Info

Publication number
KR101797718B1
KR101797718B1 KR1020150165405A KR20150165405A KR101797718B1 KR 101797718 B1 KR101797718 B1 KR 101797718B1 KR 1020150165405 A KR1020150165405 A KR 1020150165405A KR 20150165405 A KR20150165405 A KR 20150165405A KR 101797718 B1 KR101797718 B1 KR 101797718B1
Authority
KR
South Korea
Prior art keywords
vehicle
avm
stereo camera
stereo
image
Prior art date
Application number
KR1020150165405A
Other languages
English (en)
Other versions
KR20170060792A (ko
Inventor
손교훈
Original Assignee
주식회사 엠씨넥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠씨넥스 filed Critical 주식회사 엠씨넥스
Priority to KR1020150165405A priority Critical patent/KR101797718B1/ko
Publication of KR20170060792A publication Critical patent/KR20170060792A/ko
Application granted granted Critical
Publication of KR101797718B1 publication Critical patent/KR101797718B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • B60W2420/42

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

차량용 스테레오 카메라의 고정밀 양안 조정 및 영상 처리 보상을 실행하지 않고, 차량용 스테레오 카메라와 AVM 시스템을 통합하여 관리하는 통합 관리 시스템 및 관리 방법에 관한 것으로, 차량의 전방 및 후방에 장착된 제1 AVM(Around View Monitor)용 카메라, 차량의 좌측 및 우측에 장착된 제2 AVM용 카메라, 상기 좌측의 제2 AVM용 카메라에 인접하여 장착된 제1 스테레오 카메라 모듈 및 상기 우측의 제2 AVM용 카메라에 인접하여 장착된 제2 스테레오 카메라 모듈을 포함하고, 상기 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈은 각각 렌즈와 센서로만 이루어진 것 구성을 마련하여, 하드웨어의 구조를 간략화하면서, 제조 비용을 절감할 수 있다.

Description

차량용 스테레오 카메라와 AVM의 통합 관리 시스템 및 관리 방법{INTEGRATED MANAGEMENT SYSTEM OF STEREO CAMERA AND AVM FOR VEHICLE AND METHOD THEREOF}
본 발명은 차량용 스테레오 카메라와 AVM의 통합 관리 시스템 및 관리 방법에 관한 것으로, 특히 차량용 스테레오 카메라의 고정밀 양안 조정 및 영상 처리 보상을 실행하지 않고, 차량용 스테레오 카메라와 AVM 시스템을 통합하여 관리하는 통합 관리 시스템 및 관리 방법을 제공하는 것이다.
자동차 산업의 발달로 인하여 자동차의 보급은 상용화되었고, 차량의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자기술이 자동차에 적용되고 있다.
이러한 첨단 전자기술 중 자동차의 주변환경을 촬영하여 표시함으로써 운전자가 자동차의 주변환경을 육안을 통해 편리하게 확인할 수 있는 차량 위치 자동 표시 시스템(Automatic Vehicle Monitoring system, AVM)이 있다.
차량 위치 자동 표시 시스템은 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변환경을 화면상에 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드미러나 백 미러를 보지 않고도 편리하게 주차를 할 수 있다.
즉 AVM 시스템은 차량의 전방, 후방, 좌측 및 우측 카메라의 광각 렌즈로 볼 수 있는 차량 주변의 영역을 필요에 맞게 잘라내고 광각렌즈의 왜곡을 보정하여 탑 뷰 영상을 만들어낸다. 이때, 탑 뷰 영상은 모니터 해상도에 맞게 표시되기 때문에 광각렌즈에서 입력된 영상 중 차량을 중심으로 한 일정 영역에 대한 영상만 표시되고 나머지 영역에 대한 영상은 버려지는 구성을 마련한다.
한편, 차량 전방 또는 후방을 촬영한 영상으로부터 물체를 감지하여 운전자의 안전 운전을 돕는 시스템의 일환으로, 두 대의 카메라를 이용하여 차량과 차량 전방의 물체와의 거리정보를 추출하는 스테레오 카메라 시스템(stereo camera system)이 알려져 있다.
이러한 스테레오 카메라 시스템 예를 들어, 도 1에 도시된 바와 같이, 스테레오 카메라 모듈(195)을 구비하고, 스테레오 카메라 모듈(195)이 제1 렌즈(193a)를 구비하는 제1 카메라(195a), 제2 렌즈(193b)를 구비하는 제2 카메라(195b)를 구비하고, 스테레오 카메라 모듈(195)은 각각 제1 렌즈(193a)와 제2 렌즈(193b)에 입사되는 광을 차폐하기 위한 제1 광 차폐부(192a), 제2 광 차폐부(192b)를 구비하며, 차량의 천장 부분 또는 전면 유리에 탈부착 가능하게 장착된다.
이러한 기술의 일 예가 하기 문헌 1 및 2 등에 개시되어 있다.
예를 들어, 하기 특허문헌 1에는 차량 주변의 영상을 획득하는 영상 획득수단, 상기 차량 주변의 장애물을 감지하는 장애물 감지수단, 상기 장애물 감지수단이 장애물을 감지함에 따라 상기 장애물과의 이격 거리를 산출하는 거리 산출수단, 상기 영상 획득수단이 획득한 영상을 표시수단에 표시함에 있어, 상기 장애물 감지수단이 감지한 장애물의 위치 및 이격거 리를 나타내는 아이콘을 함께 표시하도록 상기 표시수단을 제어하는 제어수단 및 상기 제어수단의 제어에 따라 화면을 표시하는 상기 표시수단을 포함하는 차량의 주변영상 표시 장치에 대해 개시되어 있다.
또 하기 특허문헌 2에는 제어부가 차량의 속도가 소정기준 이상임을 판별하여 IR 레이저부에 광 방사 명령을 전송하는 단계, 카메라부에서 상기 IR 레이저부로부터 방사된 광을 흡수하여 레이저 데이터를 획득하는 단계, 상기 제어부에서 차고센서 데이터를 통해 차량의 기울기 변화가 소정의 기준 이하인지 여부를 판단하는 단계, 상기 제어부에서 상기 레이저 데이터를 이용하여 수평 라인 빔 정보를 분석하는 단계, 상기 제어부에서 상기 레이저 데이터를 이용하여 수직 라인 빔 정보를 분석하는 단계 및 상기 제어부에서 분석을 마친 수평 라인 빔 정보 및 수직 라인 빔 정보를 이용하여 장애물 정보 또는 도로 노면의 상태정보를 검출하는 단계를 포함하는 차량용 도로 노면 탐지방법에 대해 개시되어 있다.
대한민국 공개특허공보 제2013-0053605호(2013.05.24 공개) 대한민국 등록특허공보 제10-1332257호(2013.11.18 등록)
그러나 상술한 바와 같은 종래의 기술에서는 기술은 AVM 시스템이나 스테레오 카메라나 단독 시스템으로 독립적으로 사용되므로, 각각의 영상을 처리하기 위한 두 개의 하드웨어가 필요하며, 이로 인해 제조 비용이 증가하고 차량에 각각 장착하기 위한 공정이 번잡하다는 문제가 있었다.
또 상기와 같은 종래의 스테레오 카메라 시스템에서는 도 1에 도시된 바와 같이, 차량용 스테레오 카메라의 두 렌즈 간의 거리는 20cm 정도이므로, 정확한 물체의 거리를 인식하기 위해 양안 조정(Alignment)을 아주 정밀하고 변형이 없게 실행해야 하므로 양안 조정이 번잡하다는 문제가 있었다.
또한, 종래의 차량 스테레오 카메라는 차량의 내부에 장착되므로, 차량의 앞유리를 통과한 빛이 스테레오 카메라로 입력되기 때문에 영상 정보가 앞유리 왜곡 및 빛 반사 등으로 인해 손상을 피할 수 없어, 이와 같은 영상 처리 보상을 실행해야 하는 문제도 있었다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으로서, 차량용 스테레오 카메라의 양안 조정 및 영상 처리 보상을 실행하지 않는 차량용 스테레오 카메라와 AVM의 통합 관리 시스템 및 관리 방법을 제공하는 것이다.
본 발명의 다른 목적은 차량용 스테레오 카메라와 AVM 시스템을 통합하여 하드웨어의 구조를 간략화하는 차량용 스테레오 카메라와 AVM의 통합 관리 시스템 및 관리 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명에 따른 통합 관리 시스템은 차량용 스테레오 카메라와 AVM 시스템을 통합하여 관리하는 시스템으로서, 차량의 전방 및 후방에 장착된 제1 AVM(Around View Monitor)용 카메라, 차량의 좌측 및 우측에 장착된 제2 AVM용 카메라, 상기 좌측의 제2 AVM용 카메라에 인접하여 장착된 제1 스테레오 카메라 모듈 및 상기 우측의 제2 AVM용 카메라에 인접하여 장착된 제2 스테레오 카메라 모듈을 포함하고, 상기 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈은 각각 렌즈와 센서로만 이루어진 것을 특징으로 한다.
또 본 발명에 따른 통합 관리 시스템에서, 상기 AVM 시스템의 작동시 상기 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈은 작동하지 않는 것을 특징으로 한다.
또 본 발명에 따른 통합 관리 시스템에서, 상기 제1 및 제2 AVM용 카메라에서 각각 촬영된 영상을 하나의 영상으로 합성하고, 상기 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈에서 촬상된 영상을 처리하는 영상 처리부, 상기 영상 처리부에서 처리된 AVM용 영상과 스테레오 영상 중의 어느 하나를 선택하는 영상 선택부, 주행 중의 차량의 속도를 계산하는 속도 계산부, 상기 영상 선택부에서 선택된 영상에 따라 경고음 또는 브레이크를 작동시키는 차량 제어부를 더 포함하는 것을 특징으로 한다.
또 본 발명에 따른 통합 관리 시스템에서, 상기 제2 AVM용 카메라는 차량의 사이드미러 지지대의 하부에 장착되고, 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈은 사이드미러 지지대의 상부에 장착되는 것을 특징으로 한다.
또 본 발명에 따른 통합 관리 시스템에서, 상기 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈은 차량의 폭에 대응하는 만큼 분리되어 있는 것을 특징으로 한다.
또 본 발명에 따른 통합 관리 시스템에서, 상기 렌즈는 광각의 근거리용 렌즈인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해 본 발명에 따른 통합 관리 방법은 차량용 스테레오 카메라와 AVM 시스템을 통합하여 관리하는 방법으로서, (a) 차량의 주행에 대해 AVM 카메라 또는 스테레오 카메라로 촬영을 개시하는 단계, (b) 상기 단계 (a)에서 촬영된 AVM용 영상과 스테레오 영상을 각각 영상 처리부에서 처리하는 단계, (c) 속도 계산부에서 차량의 속도를 계산하는 단계, (d) 상기 단계 (c)에서 계산된 차량의 속도에 따라 영상 선택부가 상기 AVM용 영상 또는 스테레오 영상을 선택하는 단계, (e) 상기 단계 (d)에서 선택된 상기 AVM용 영상 또는 스테레오 영상에 따라 차량 제어부가 차량을 제어하는 단계를 포함하는 것을 특징으로 한다.
또 본 발명에 따른 통합 관리 방법에서, 상기 단계 (d)에서 AVM용 영상이 선택된 경우, 차량의 주차 모드로 판단하고, 상기 차량 제어부가 차량의 위험 상태에 대해 경고음을 발생하고, 상기 단계 (d)에서 스테레오 영상이 선택된 경우, 차량의 주행 모드로 판단하고, 상기 차량 제어부가 차량의 위험 상태에 대해 경고음 또는 브레이크를 작동시키는 것을 특징으로 한다.
또 본 발명에 따른 통합 관리 방법에서, 상기 단계 (d)에서 영상의 선택은 차량의 속도가 미리 설정된 속도 값 미만이면 상기 AVM용 영상을 선택하고, 차량의 속도가 미리 설정된 속도 값 이상이면 스테레오 영상을 선택하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 차량용 스테레오 카메라와 AVM의 통합 관리 시스템 및 관리 방법에 의하면, 차량용 스테레오 카메라와 AVM 시스템을 통합하여 관리하므로, 하드웨어의 구조를 간략화하면서, 제조 비용을 절감할 수 있다는 효과가 얻어진다.
또, 본 발명에 따른 차량용 스테레오 카메라와 AVM의 통합 관리 시스템 및 관리 방법에 의하면, 스테레오 카메라에서 양안 사이의 간격이 1m 이상 유지되므로, 양안 보정을 고정밀도로 하지 않아도 된다는 효과가 얻어진다.
또, 본 발명에 따른 차량용 스테레오 카메라와 AVM의 통합 관리 시스템 및 관리 방법에 의하면, 스테레오 카메라가 차량의 외부에 장착되므로, 차량의 앞유리 왜곡 및 빛 반사 등으로 인해 손상에 따른 영상정보의 보상을 실행할 필요가 없다는 효과도 얻어진다.
또한, 본 발명에 따른 차량용 스테레오 카메라와 AVM의 통합 관리 시스템 및 관리 방법에 의하면, 스테레오 카메라가 차량의 사이드미러 부근에 장착되고 광각의 렌즈를 사용하므로, 종래의 스테레오 카메라보다는 더 넓은 영역에 대한 물체 감지 및 거리 정보가 가능하다는 효과도 얻어진다.
도 1은 종래의 기술에 따른 스테레오 카메라 시스템의 구성도,
도 2는 본 발명에 적용되는 스테레오 카메라의 장착 상태를 나타내는 도면,
도 3은 도 2에 도시된 스테레오 카메라에 구비된 광각 렌즈에 의한 근거리 영상을 설명하기 위한 도면,
도 4는 본 발명에 따른 차량용 스테레오카메라와 AVM의 통합 관리 시스템의 블록도,
도 5는 본 발명에 따른 차량용 스테레오카메라와 AVM의 통합 관리 방법을 설명하기 위한 흐름도.
본 발명의 상기 및 그 밖의 목적과 새로운 특징은 본 명세서의 기술 및 첨부 도면에 의해 더욱 명확하게 될 것이다.
이하, 본 발명의 구성을 도면에 따라서 설명한다.
도 2는 본 발명에 적용되는 스테레오 카메라의 장착 상태를 나타내는 도면이고, 도 3은 도 2에 도시된 스테레오 카메라에 구비된 광각 렌즈에 의한 근거리 영상을 설명하기 위한 도면이며, 도 4는 본 발명에 따른 차량용 스테레오카메라와 AVM의 통합 관리 시스템의 블록도 이다.
본 발명에 따른 차량용 스테레오카메라와 AVM의 통합 관리 시스템은 도 2 및 도 4에 도시된 바와 같이, 차량용 스테레오 카메라와 AVM 시스템을 통합하여 관리하는 시스템으로서, 차량의 전방 및 후방에 장착된 제1 AVM(Around View Monitor)용 카메라(10)와 차량의 좌측 및 우측에 장착된 제2 AVM용 카메라(20)을 구비한 AVM 카메라(100), 상기 좌측의 제2 AVM용 카메라에 인접하여 장착된 제1 스테레오 카메라 모듈 및 상기 우측의 제2 AVM용 카메라에 인접하여 장착된 제2 스테레오 카메라 모듈을 구비한 스테레오 카메라(200)를 구비한다.
예를 들어, 제2 AVM용 카메라(20)는 차량의 사이드미러 지지대의 하부에 장착되고, 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈은 사이드미러 지지대의 상부에 장착된다. 그러나 본 발명에 따른 스테레오 카메라(200)의 장착은 상기 위치에 한정되는 것은 아니고, 차량의 전방을 향하고, 제2 AVM용 카메라(20)의 영상 처리와 통합하여 관리할 수 있는 위치이면 충분하다.
즉, 본 발명에 따르면, AVM 시스템에서 4개의 카메라 중 차량의 사이드미러 부근에 있는 두 개의 카메라에 렌즈 및 센서만 추가가 카메라 모듈을 장착하여 스테레오 카메라 기능을 구현하여 AVM 시스템 보드와 스테레오 카메라 보드를 하나로 통합하여 1개의 HW장치로 두 가지 기능을 구현할 수가 있다. 즉, 본 발명에 따른 스테레오 카메라(200)에서의 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈은 AVM 시스템 보드를 적용하므로 각각 렌즈와 센서로만 이루어진다. 따라서 스테레오 카메라(200)의 제작을 간단한 구성이며 저렴하게 실현할 수 있다.
기존의 차량용 스테레오 카메라의 두 렌즈 간의 거리는 16~20cm 정도이고, 이에 따라 원거리 렌즈를 사용하므로, 정확한 물체, 예를 들어 과속 방지턱의 거리를 인식하기에는 2개의 렌즈의 양안 조정이 아주 정밀하고 변형이 없어야 거리 정보가 정확할 수 있었다. 그러나 본 발명에서는 차량의 외부에 마련된 사이드미러의 위치에 있기 때문에 양안 사이의 거리가 차폭에 대응하여 1m 이상 유지되므로 카메라 모듈의 공차가 있더라도 더 정확한 값을 구할 수 있다.
또한, 본 발명에 적용되는 스테레오 카메라의 렌즈는 도 3에 도시된 바와 같이, 넓은 화각(광각)으로 근거리용을 사용하여 차량의 외형 및 카메라 모듈에 의한 오차를 줄이도록 설계할 수 있다. 한편, 영상인식의 거리를 최대한 길게 하기 위해 고해상도 센서를 사용하는 것이 바람직하다.
본 발명에 따른 차량용 스테레오 카메라(200)는 종래의 기술과 달라 차량의 실외에 장착되므로, 앞유리를 통과한 빛에 의한 영상정보의 앞유리 왜곡 및 빛 반사 등으로 인해 손상을 방지할 수 있다.
본 발명에 따른 차량용 스테레오카메라와 AVM의 통합 관리 시스템은 도 2 및 도 4에 도시된 바와 같이, 제1 및 제2 AVM용 카메라에서 각각 촬영된 영상을 하나의 영상으로 합성하고, 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈에서 촬상된 영상을 처리하는 영상 처리부(300), 영상 처리부(300)에서 처리된 AVM용 영상과 스테레오 영상 중의 어느 하나를 선택하는 영상 선택부(400), 주행 중의 차량의 속도를 계산하는 속도 계산부(500), 영상 선택부(400)에서 선택된 영상에 따라 경고음 또는 브레이크를 작동시키는 차량 제어부(600), 영상 선택부(400)에서 선택된 하나의 영상을 차량과 함께 표시하는 표시부(700)를 포함한다.
상기 영상 처리부(300)는 종래의 기술과 같이 제1 및 제2 AVM용 카메라에서 각각 촬영된 영상을 하나의 영상으로 합성함과 동시에 제1 스테레오 카메라 모듈과 제2 스테레오 카메라에서 촬영된 영상을 처리하므로, 본 발명에 따른 통합 관리 시스템에서는 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈이 각각 렌즈와 센서로만 이루어진 구성을 채용하므로, 스테레오 카메라 모듈의 제작 비용을 절감할 수 있다.
상기 영상 선택부(400)는 속도 계산부(500)에서 계산된 차량의 속도에 따라 영상 처리부(300)에서 처리된 AVM용 영상과 스테레오 영상 중의 어느 하나를 선택한다. 즉 예를 들어 차량의 주행 속도가 20km/h 미만인 경우, 차량의 주차로 판단하여 영상 처리부(300)에서 처리된 AVM용 영상을 선택하여 표시부(700)에 표시되게 하며, 20km/h 이상이면 차량의 주행인 것으로 판단하여 스테레오 영상을 선택하게 한다.
또 상기 설명에서는 영상 처리부(300)와 영상 선택부(400)를 분리하여 설명하였지만, 이에 한정되는 것은 아니고, 하나의 알고리즘에 의해 통합하여 운영될 수 있다. 또한, 본 발명에 따른 통합 관리 시스템에서는 예를 들어 AVM 시스템의 작동시 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈은 작동하지 않게 하고, 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈의 작동시 AVM 시스템을 작동하지 않게 하는 것에 의해 영상 처리부(300)에서의 영상 처리 부하를 경감할 수 있고, 하나의 영상 처리부(300)에서 AVM용 영상 처리와 스테레오 영상 처리를 순차적으로 실행할 수 있어 영상 처리를 위한 하드웨어의 구조를 간략화할 수 있다.
차량 제어부(600)는 영상 선택부(400)에서 선택된 영상에 따라, 예를 들어 AVM용 영상이 선택된 경우, 통상의 주차 모드에서와 같이, 경고음을 발생하게 하고, 스테레오 영상인 경우, 경고음 또는 브레이크를 작동하게 제어한다.
표시부(700)는 차량 내에 마련된 디스플레이 기기로서, 주차 모드인 경우, 통상이 AVM용 시스템에서와 같이 차량의 전후 좌우를 표시하게 한다.
다음에 본 발명에 따른 차량용 스테레오 카메라와 AVM 시스템을 통합하여 관리하는 방법에 대해 도 5에 따라 설명한다.
도 5는 본 발명에 따른 차량용 스테레오카메라와 AVM의 통합 관리 방법을 설명하기 위한 흐름도이다.
차량의 주행에 대해 AVM 카메라(100) 및/또는 스테레오 카메라(200)는 촬영을 개시한다(S10).
상기 단계 S10에서 촬영된 AVM용 영상과 스테레오 영상은 각각 영상 처리부(300)에서 처리되고, 속도 계산부(500)는 주행 중인 차량의 속도를 계산한다(S20).
영상 선택부(300)는 상기 단계 S20에서 계산 차량의 속도가 미리 설정된 속도 미만, 예를 들어 20km/h 미만인가 판단하고(S30), 상기 단계 S30에서 차량의 속도가 설정된 속도 미만이면, 차량의 주차로 판단하여 영상 처리부(300)에서 처리된 AVM용 영상을 선택하고(S40), 이에 따라 차량 제어부(600)는 주차 모드에서 위험 상태에 대해 경고음을 발생하게 하고(S60), 표시부(700)에는 차량의 주변 상태를 표시하게 한다(S70). 또 상기 설명에서는 설명의 편의상 차량 제어부(600)에 의한 제어에 따라 표시부(700)에 AVM용 영상을 표시하는 과정으로 설명하였지만, 이에 한정되는 것은 아니고, 표시부(700)에 AVM용 영상을 먼저 표시하고, 차량 제어부(600)에 의한 제어를 실행하도록 구성할 수도 있다.
한편, 영상 선택부(400)는 상기 단계 S30에서 차량의 속도가 설정된 속도 이상이면, 예를 들어 20km/h 이상이면 차량의 주행으로 판단하여 영상 처리부(300)에서 처리된 스테레오 영상을 선택하고(S50), 상기 단계 S60 및 S70으로 진행하여 차량 제어부(600)가 도 3에 도시된 바와 같은 과속 방지턱에 대해 경고음 또는 브레이크를 작동하게 제어한다.
상기 단계 S10 내지 S70은 차량의 주차가 완료되어 시동을 정지할 때 가지 반복 운행된다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명에 따른 차량용 스테레오 카메라와 AVM의 통합 관리 시스템 및 관리 방법을 사용하는 것에 의해 하드웨어의 구조를 간략화하면서, 제조 비용을 절감할 수 있다.
100 : AVM 카메라
200 : 스테레오 카메라
300 : 영상 처리부
400 : 영상 선택부
500 : 속도 계산부
600 : 차량 제어부

Claims (9)

  1. 차량용 스테레오 카메라와 AVM 시스템을 통합하여 관리하는 시스템으로서,
    차량의 전방 및 후방에 장착된 제1 AVM(Around View Monitor)용 카메라,
    차량의 좌측 및 우측에 장착된 제2 AVM용 카메라,
    상기 좌측의 제2 AVM용 카메라에 인접하여 장착된 제1 스테레오 카메라 모듈 및
    상기 우측의 제2 AVM용 카메라에 인접하여 장착된 제2 스테레오 카메라 모듈을 포함하고,
    상기 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈은 각각 렌즈와 센서로만 이루어진 것을 특징으로 통합 관리 시스템.
  2. 제1항에서,
    상기 AVM 시스템의 작동시 상기 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈은 작동하지 않는 것을 특징으로 통합 관리 시스템.
  3. 제1항에서,
    상기 제1 및 제2 AVM용 카메라에서 각각 촬영된 영상을 하나의 영상으로 합성하고, 상기 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈에서 촬상된 영상을 처리하는 영상 처리부,
    상기 영상 처리부에서 처리된 AVM용 영상과 스테레오 영상 중의 어느 하나를 선택하는 영상 선택부,
    주행 중의 차량의 속도를 계산하는 속도 계산부,
    상기 영상 선택부에서 선택된 영상에 따라 경고음 또는 브레이크를 작동시키는 차량 제어부를 더 포함하는 것을 특징으로 통합 관리 시스템.
  4. 제1항에서,
    상기 제2 AVM용 카메라는 차량의 사이드미러 지지대의 하부에 장착되고, 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈은 사이드미러 지지대의 상부에 장착되는 것을 특징으로 통합 관리 시스템.
  5. 제1항에서,
    상기 제1 스테레오 카메라 모듈과 제2 스테레오 카메라 모듈은 차량의 폭에 대응하는 만큼 분리되어 있는 것을 특징으로 통합 관리 시스템.
  6. 제1항에서,
    상기 렌즈는 광각의 근거리용 렌즈인 것을 특징으로 통합 관리 시스템.
  7. 차량용 스테레오 카메라와 AVM 시스템을 통합하여 관리하는 방법으로서,
    (a) 차량의 주행에 대해 차량의 전방과 후방에 장착된 제1 AVM용 카메라, 차량의 좌측과 우측에 장착된 제2 AVM용 카메라 그리고 차량의 좌측에 장착된 제2 AVM용 카메라에 인접하여 장착된 제1 스테레오 카메라 모듈 및 차량의 우측에 장착된 제2 AVM용 카메라에 인접하여 장착된 제2 스테레오 카메라 모듈을 포함하는 스테레오 카메라로 촬영을 개시하는 단계,
    (b) 상기 단계 (a)에서 촬영된 제1 내지 제2 AVM용 영상과 제1 내지 제2 스테레오 영상을 각각 영상 처리부에서 처리하는 단계,
    (c) 속도 계산부에서 차량의 속도를 계산하는 단계,
    (d) 상기 단계 (c)에서 계산된 차량의 속도에 따라 영상 선택부가 상기 제1 내지 제2 AVM용 영상 또는 제1 내지 제2 스테레오 영상 중 어느 하나를 선택하는 단계,
    (e) 상기 단계 (d)에서 선택된 상기 제1 내지 제2 AVM용 영상 또는 제1 내지 제2 스테레오 영상에 따라 차량 제어부가 차량을 제어하는 단계를 포함하는 것을 특징으로 통합 관리 방법.
  8. 제7항에서,
    상기 단계 (d)에서 제1 내지 제2 AVM용 카메라에 촬영된 영상 중 어느 하나가 선택된 경우, 차량의 주차 모드로 판단하고, 상기 차량 제어부가 차량의 위험 상태에 대해 경고음을 발생하고, 상기 단계 (d)에서 스테레오 영상이 선택된 경우, 차량의 주행 모드로 판단하고, 상기 차량 제어부가 차량의 위험 상태에 대해 경고음 또는 브레이크를 작동시키는 것을 특징으로 통합 관리 방법.
  9. 제7항에서,
    상기 단계 (d)에서 영상의 선택은 차량의 속도가 미리 설정된 속도 값 미만이면 상기 제1 내지 제2 AVM용 카메라에 촬영된 영상 중 어느 하나의 영상을 선택하고, 차량의 속도가 미리 설정된 속도 값 이상이면 스테레오 영상을 선택하는 것을 특징으로 통합 관리 방법.
KR1020150165405A 2015-11-25 2015-11-25 차량용 스테레오 카메라와 avm의 통합 관리 시스템 및 관리 방법 KR101797718B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150165405A KR101797718B1 (ko) 2015-11-25 2015-11-25 차량용 스테레오 카메라와 avm의 통합 관리 시스템 및 관리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150165405A KR101797718B1 (ko) 2015-11-25 2015-11-25 차량용 스테레오 카메라와 avm의 통합 관리 시스템 및 관리 방법

Publications (2)

Publication Number Publication Date
KR20170060792A KR20170060792A (ko) 2017-06-02
KR101797718B1 true KR101797718B1 (ko) 2017-11-15

Family

ID=59222459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150165405A KR101797718B1 (ko) 2015-11-25 2015-11-25 차량용 스테레오 카메라와 avm의 통합 관리 시스템 및 관리 방법

Country Status (1)

Country Link
KR (1) KR101797718B1 (ko)

Also Published As

Publication number Publication date
KR20170060792A (ko) 2017-06-02

Similar Documents

Publication Publication Date Title
KR102206272B1 (ko) 주차 지원 방법 및 주차 지원 장치
CN100413324C (zh) 车载夜视摄象机系统,显示装置和显示方法
JP5310602B2 (ja) 車両用周辺監視システム
US10185152B2 (en) Vehicle display device
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP5093611B2 (ja) 車両周辺確認装置
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
WO2018016119A1 (ja) 表示制御装置、方法、プログラム及びシステム
WO2018159017A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
KR20160136722A (ko) 헤드램프 눈부심 방지 장치 및 이를 이용한 눈부심 방지 방법
CN112424570A (zh) 抬头显示器
US20200039435A1 (en) Onboard camera system for eliminating a-pillar blind areas of a mobile vehicle and image processing method thereof
JP6674793B2 (ja) 運転支援情報表示装置
JP6299863B2 (ja) モニタ装置及び表示画像切替用コンピュータプログラム
JP7147784B2 (ja) 画像処理装置と画像処理方法およびプログラム
EP3772719B1 (en) Image processing apparatus, image processing method, and image processing program
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US10248132B2 (en) Method and apparatus for visualization of an environment of a motor vehicle
JP6448714B2 (ja) 情報表示システム
KR20160034681A (ko) 차량의 주변 감시 장치 및 방법
JP2008037118A (ja) 車両用表示装置
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
JP2019026198A (ja) ヘッドアップディスプレイ装置とそのためのドライバ視点検出方法
JP7202195B2 (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
KR101797718B1 (ko) 차량용 스테레오 카메라와 avm의 통합 관리 시스템 및 관리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant