KR20130081914A - 차량용 카메라 노출 제어 장치 및 그 방법 - Google Patents

차량용 카메라 노출 제어 장치 및 그 방법 Download PDF

Info

Publication number
KR20130081914A
KR20130081914A KR1020120003021A KR20120003021A KR20130081914A KR 20130081914 A KR20130081914 A KR 20130081914A KR 1020120003021 A KR1020120003021 A KR 1020120003021A KR 20120003021 A KR20120003021 A KR 20120003021A KR 20130081914 A KR20130081914 A KR 20130081914A
Authority
KR
South Korea
Prior art keywords
camera
vehicle
image
unit
photographing
Prior art date
Application number
KR1020120003021A
Other languages
English (en)
Other versions
KR101432178B1 (ko
Inventor
안수진
Original Assignee
에스엘 주식회사
주식회사 에스엘 서봉
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사, 주식회사 에스엘 서봉 filed Critical 에스엘 주식회사
Priority to KR1020120003021A priority Critical patent/KR101432178B1/ko
Publication of KR20130081914A publication Critical patent/KR20130081914A/ko
Application granted granted Critical
Publication of KR101432178B1 publication Critical patent/KR101432178B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

적어도 하나 이상의 카메라를 이용하여 차량 주변의 환경(태양광 또는 주변 차량 헤드라이트의 조사 방향, 우천시, 차량 주변의 장애물 등)에 따라 운전자에게 균일하고 명확한 영상 정보를 제공하기 위해 차량에 장착된 카메라의 각도를 조정함으로써 차량 주변의 물체들을 인식하여 경보해주기 위한 차량용 카메라 노출 제어 장치 및 그 방법이 제공된다. 상기 차량용 카메라 노출 제어 장치는 차량의 주변을 촬영하는 적어도 하나 이상의 카메라; 상기 카메라가 촬영한 영상 내에서, 사전 설정된 임계치보다 큰 휘도값을 갖는 이상 영역의 위치를 계산하는 영상 분석부; 및 상기 이상 영역의 위치를 토대로, 촬영 영상 내에 상기 이상 영역이 발생하지 않도록 상기 카메라의 촬영 각도를 조정하는 카메라 조작부를 포함한다.

Description

차량용 카메라 노출 제어 장치 및 그 방법{Apparatus and method for controlling exposure of camera for vehicle}
본 발명은 차량용 카메라 노출 제어 장치 및 그 방법에 관한 것으로서, 보다 구체적으로는 적어도 하나 이상의 카메라를 이용하여 차량 주변의 환경(태양광 또는 주변 차량 헤드라이트의 조사 방향, 우천시, 차량 주변의 장애물 등)에 따라 운전자에게 균일하고 명확한 영상 정보를 제공하기 위해 차량에 장착된 카메라의 각도를 조정함으로써 차량 주변의 물체들을 인식하여 경보해주기 위한 차량용 카메라 노출 제어 장치 및 그 방법에 대한 것이다.
일반적으로 차량의 주변 영상을 디스플레이하는 시스템이 차량에 보편적으로 설치되어 있지 않아, 운전자는 단지 자신의 육안을 통해 차량 주변을 확인하거나, 인사이드 미러(inside mirror) 또는 아웃사이드 미러(outside mirror)를 통해 차량 주변을 확인하였다.
그러나 차종에 따라서는 운전석에 앉아 전후방의 주변 환경을 쉽게 확인할 수 있는 방향이 있는가 하면, 육안 또는 미러를 통해 확인할 수 없는 사각 지대가 존재하기 마련이다.
특히, 대형 차량의 경우 인사이드 미러나 아웃사이드 미러만으로는 확인할 수 없는 부위가 상대적으로 많기 때문에 차량을 주행하기에 앞서 차량의 주변을 돌아보면서 육안으로 장애물이 존재하는지 여부를 확인해야만 접촉 사고와 같은 교통 안전 사고 및 인명 사고의 발생을 방지할 수 있다.
따라서, 최근에는 차량의 전후좌우 방향에 각각 설치된 카메라를 통하여 주변 환경을 촬영하고, 촬영된 영상을 조합하여 차량에 구비된 디스플레이 장치를 통해 차량의 주변 영상을 디스플레이하는 장치가 개발되고 있다.
하지만 기존 카메라의 위치가 고정되어 있어, 카메라의 중심에서 멀어질수록 손실되는 영상정보의 양이 커지므로 장애물이 카메라 중심에서 멀어져 있는 경우 운전자가 장애물의 유무를 판단하기 어려운 상황이 발생한다.
또한 카메라 시스템의 고질적인 문제로 주변 환경(태양광 또는 주변 차량 헤드라이트의 조사 방향, 우천시 등)에 따라 주변 영상 정보만으로 운전자가 주변 환경을 인지하지 못하는 경우도 발생하고 있어 이에 대한 카메라 시스템 문제해결에 대한 대안이 시급한 실정이다.
본 발명이 해결하려는 과제는, 차량 주변에 존재하는 물체에 대한 정보를 보다 명확한 영상으로 획득할 수 있도록 카메라의 조사 방향을 제어하는 차량용 카메라 노출 제어 장치 및 방법을 제공하는 것이다.
본 발명이 해결하려는 다른 과제는, 태양광, 우천과 같은 외부 환경의 영향에 의해 균일하고 명확하게 차량 주변의 영상 정보가 제공되지 못하는 경우를 방지 하기 위한 차량용 카메라 노출 제어 장치 및 방법을 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 차량용 카메라 노출 제어 장치의 일 태양은 차량의 주변을 촬영하는 적어도 하나 이상의 카메라; 상기 카메라가 촬영한 영상 내에서, 사전 설정된 임계치보다 큰 휘도값을 갖는 이상 영역의 위치를 계산하는 영상 분석부; 및 상기 이상 영역의 위치를 토대로, 촬영 영상 내에 상기 이상 영역이 발생하지 않도록 상기 카메라의 촬영 각도를 조정하는 카메라 조작부를 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 차량용 카메라 노출 제어 장치의 다른 태양은 차량의 주변을 촬영하는 적어도 하나 이상의 카메라; 상기 차량에 장착되어 우천량을 파악하는 레인 센서(Rain Sensor); 상기 우천량을 토대로, 상기 카메라의 촬영 각도를 조정하는 카메라 조작부를 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 차량용 카메라 노출 제어 장치의 또 다른 태양은 차량의 주변을 촬영하는 적어도 하나 이상의 카메라; 상기 카메라가 촬영한 영상 내에서, 상기 차량의 주변 물체의 위치를 계산하는 영상 분석부; 및 상기 주변 물체의 위치를 토대로, 상기 주변 물체가 촬영된 영상의 중심에 오도록 상기 카메라의 촬영 각도를 조정하는 카메라 조작부를 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 차량용 카메라 노출 제어 방법의 일 태양은 적어도 하나 이상의 카메라로 차량의 주변을 촬영하는 단계; 상기 카메라가 촬영한 영상 내에서, 사전 설정된 임계치보다 큰 휘도값을 갖는 이상 영역의 위치를 계산하는 단계; 및 상기 이상 영역의 위치를 토대로, 촬영 영상 내에 상기 이상 영역이 발생하지 않도록 상기 카메라의 촬영 각도를 조정하는 단계를 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 차량용 카메라 노출 제어 방법의 다른 태양은 적어도 하나 이상의 카메라로 차량의 주변을 촬영하는 단계; 상기 차량 주변의 우천량을 파악하는 단계; 및 상기 우천량을 토대로, 촬영 영상 내에 이상 영역이 발생하지 않도록 상기 카메라의 촬영 각도를 조정하는 단계를 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 차량용 카메라 노출 제어 방법의 또 다른 태양은 적어도 하나 이상의 카메라로 차량의 주변을 촬영하는 단계; 상기 카메라가 촬영한 영상 내에서, 상기 차량의 주변 물체의 위치를 계산하는 단계; 및 상기 주변 물체의 위치를 토대로, 상기 주변 물체가 촬영된 영상의 중심에 오도록 상기 카메라의 촬영 각도를 조정하는 단계를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 따른 차량용 카메라 노출 제어 장치 및 방법에 따르면, 태양광, 우천과 같은 외부 환경의 영향에 의해 균일하고 명확하게 차량 주변의 영상 정보가 제공되지 못하는 경우를 방지하고, 더 나아가, 차량 주변에 존재하는 물체에 대한 정보를 보다 명확한 영상으로 획득할 수 있게 된다.
도 1은 본 발명의 실시예에 따른 차량용 카메라 노출 제어 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 영상 획득부의 세부 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 복수 개의 카메라에 의해 영상이 획득되는 것을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 투영면을 나타낸 도면이다.
도 5와 도 6은 카메라가 촬영한 영상 내에서 이상 영역의 위치를 나타내는 도면이다.
도 7과 도 8은 카메라가 촬영한 영상 내에서 주변 물체의 위치를 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 차량 속도와 카메라의 관계를 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 분할 영역을 나타낸 도면이다.
도 11은 도 10에 도시된 분할 영역에 경고 표시가 디스플레이된 것을 나타낸 도면이다.
도 12은 본 발명의 일 실시예에 따른 차량용 카메라 노출 제어 방법의 순서도이다.
도 13는 본 발명의 다른 실시예에 따른 차량용 카메라 노출 제어 방법의 순서도이다.
도 14은 본 발명의 또 다른 실시예에 따른 차량용 카메라 노출 제어 방법의 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 실시예에 따른 차량용 카메라 노출 제어 장치를 나타낸 블록도이고, 도 2는 도 1에 도시된 영상 획득부의 세부 구성을 나타낸 블록도이다. 또한, 도 3은 본 발명의 실시예에 따른 복수 개의 카메라에 의해 영상이 획득되는 것을 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 투영면을 나타낸 도면이다.
우선, 도 1 및 도 2을 참조하면, 본 발명의 실시예들에 따른 차량용 카메라 노출 제어 장치는 카메라(111~114), 영상 분석부(500), 카메라 조작부(800), 레인 센서(900)를 포함할 수 있다. 더 나아가, 주행 상태 감지부(200), 영상 합성부(133), 디스플레이부(600), 경고 출력부(700) 등을 더 포함할 수 있다.
이하, 본 발명의 각 실시예들에 따라 상기 구성 요소들이 어떻게 작용하는지에 대해 구체적으로 설명한다.
영상 획득부(100)는 차량 주변의 하나 이상의 방향에 대한 영상을 획득하고, 획득된 영상을 이용하여 차량의 주변 합성 영상을 생성하는 역할을 수행한다.
도 2는 영상 획득부의 세부 구성을 나타낸 블록도로서, 영상 획득부(100)는 복수 개의 카메라(111~114), 영상 저장부(120) 및 주변 영상 생성부(130)를 포함하여 구성된다.
이하, 차량의 서로 다른 위치에 설치되어 주변을 촬영하는 복수 개의 카메라(111~114)는 도 3에 도시된 바와 같이 차량의 전후좌우 방향에 각각 설치되는 경우를 예를 들어 설명하기로 하나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 카메라의 설치 개수, 설치 위치 및 촬영 방향은 용도 및 필요에 따라 다양하게 변경될 수 있다.
예를 들어, 복수의 카메라(111~114)가 큰 화각을 가지는 광각 렌즈나 어안 렌즈가 사용되는 경우에는 설치 개수가 감소될 수 있고, 그렇지 않은 경우에는 설치 개수가 증가될 수 있다.
복수의 카메라(111~114)는 차량 주변의 모든 방향, 즉 360도에 대한 영상을 획득할 수 있으며, 도 3과 같이 복수의 카메라(111~114)가 차량(10)의 전후좌우 방향에 각각 설치되는 경우, 각 카메라는 180도의 화각을 가지는 광각 렌즈나 어안 렌즈가 사용될 수 있다.
본 발명의 실시예에서 복수의 카메라(111~114)는 각각 제 1 카메라(111), 제 2 카메라(112), 제 3 카메라(113) 및 제 4 카메라(114)라 칭하기로 하며, 각 카메라(111~114)가 차량(10)의 전방 영역(111a), 후방 영역(112a), 좌측 영역(113a) 및 우측 영역(114a)의 영상을 획득하는 경우를 예를 들어 설명하기로 한다.
또한, 본 발명의 실시예에서 제 1 카메라(111)는 차량 본넷의 중심에 설치되고, 제 2 카메라(112)는 차량(10)의 후방 범퍼 상부에 설치되며, 제 3 및 제 4 카메라(113, 114)는 각각 차량(10)의 좌측 및 우측 아웃사이드 미러에 설치되는 경우를 예를 들어 설명하기로 하나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서 이에 한정되지 않고, 차량(10)의 전후좌우 방향의 영상을 획득하는 방향으로 설치되는 경우 다른 위치에 설치될 수도 있다.
본 발명의 차량용 카메라 노출 제어 장치의 일 실시예에 따라, 영상 분석부(500)는 카메라(111~114)가 촬영한 영상 내에서 휘도값이 임계치보다 큰 영역이 존재하는지 여부를 판단한다. 이하에서는 촬영 영상 내에서 휘도값이 사전 설정된 임계치보다 큰 영역을 이상 영역이라고 칭하기로 한다. 한편, 상기 임계치는 사전 설정된 값일 수 있다.
또는 일 실시예로서 촬영한 영상의 평균 휘도값을 임계치로 사용할 수도 있다. 즉, 이 경우 영상 분석부(500)는 촬영된 영상 내에서 영상의 전체적인 밝기에 비해 유난히 휘도가 높은 부분을 이상 영역으로 판단하게 되는 것이다.
이러한 실시예의 의도는 주간 운행시 태양광에 의한 영향 및 야간 운행시 다른 차량의 헤드라이트에 의한 영향에 의해, 카메라에 의해 촬영된 영상이 디스플레이부(600)에 의해 제공된다고 하더라도 상기 영상은 태양광 내지 타 차량의 헤드라이트로 인해 영상 내에 차량(10)의 주변 교통 상황에 대한 정보를 운전자에게 제대로 전달해 줄 수 없기 때문이다.
따라서, 이 경우 상기 이상 영역이 존재하는 것으로 판단된 경우 이상 영역이 촬영된 영상 내에 존재하지 않게 하도록 하기 위해 카메라의 각도를 조정함으로써 안정적이고 명확한 차량 주변의 영상을 운전자에게 제공하기 위함이다.
이를 위해 영상 분석부(500)는 이상 영역이 영상 내에 존재하는 위치를 계산한다. 이 이상 영역의 위치 정보는 이후 카메라 조작부(800)로 전달된다.
카메라 조작부(800)는 상기 이상 영역의 위치를 토대로, 촬영 영상 내에 이상 영역이 발생하지 않도록 해당 카메라의 촬영 각도를 상, 하, 좌, 우로 조정한다.
예를 들어, 복수의 카메라(111~114)들 중에서, 제1 카메라(111)가 촬영한 영상 내에 이상 영역이 존재하는 것으로 판단된 경우, 제1 카메라(111)의 촬영 각도를 조정한다.
카메라 조작부(800)가 카메라의 각도를 조정하는 경우에는 이상 영역이 영상 내에 존재하는 위치를 토대로 하여 조정에 따른 각도 이동 정도가 최소한이 되도록 하는 것이 바람직하다.
예를 들어, 이상 영역이 영상 내에서 상부 좌측에 위치하는 경우라면 카메라 촬영 각도를 우방향 또는 하방향으로 필요한 만큼만 조정할 수 있다. 즉, 이상 영역이 촬영된 영상을 벗어나도록 할 정도까지만 카메라의 촬영 각도를 조정하는 것이다.
도 5와 도 6은 카메라가 촬영한 영상 내에서 이상 영역의 위치를 나타내는 도면이다.
만약 영상 분석부에 의해 파악된 이상 영역(A)이 도 5와 같은 위치에 존재할 경우 거리 a가 거리 b보다 작고, 이러한 이상 영역의 위치를 토대로 카메라 조작부(800)는 카메라의 촬영 각도를 하 방향으로 이동시켜 이상 영역(A)이 더 이상 촬영된 영상 내에 존재하지 않게 한다.
만약 영상 분석부에 의해 파악된 이상 영역(A)이 도 6와 같은 위치에 존재할 경우 거리 c가 거리 d보다 작고, 이러한 이상 영역의 위치를 토대로 카메라 조작부(800)는 카메라의 촬영 각도를 우 방향으로 이동시켜 이상 영역(A)이 더 이상 촬영된 영상 내에 존재하지 않게 한다.
본 발명의 차량용 카메라 노출 제어 장치의 다른 실시예에서는, 우천시 카메라 촬영에 영향을 미치는 상황을 다룬다.
영상 분석부(500)의 영상 분석과는 별개로, 차량에 장착되어 있는 레인 센서(900)는 비나 눈이 오는 상황을 감지한다. 즉, 레인 센서(900)가 우천 상황을 감지하거나 또는 우천량이 사전 설정된 임계치 이상인 상황을 감지하게 되면, 이에 대한 정보는 이후 카메라 조작부(800)로 전달된다.
카메라 조작부(800)는 우선 상황에 대한 정보를 전달 받으면 이를 토대로 카메라의 촬영 각도를 조정한다.
한편, 이 실시예에서 조정되는 카메라는 제 3 카메라(113) 및 제 4 카메라(114)가 될 수 있다. 즉, 차량(10)의 전방 영역(111a), 후방 영역(112a)촬영하는 제1 카메라(111)와 제2 카메라(112)는 별개로 하고, 차량의 좌측 영역(113a) 및 우측 영역(114a)의 영상을 획득하는 제 3 카메라(113)와 제 4 카메라(114)의 각도를 조정한다.
이는 우천시 도로면에 빗물이 고여 생기는 빛의 반사를 줄이고 빗물이 카메라에 투영되는 정도를 줄이게 하기 위함이다.
이를 위해 예를 들어 카메라 조작부(800)는 우천시에 상기 제 3 카메라(113)와 제 4 카메라(114)의 촬영 각도를 바닥을 향하도록 조정할 수 있다.
본 발명의 차량용 카메라 노출 제어 장치의 또 다른 실시예에서는, 차량 주변 물체의 위치 및 움직임에 대한 영상 정보를 운전자에게 보다 명확하게 제시하기 위한 방법을 제안한다.
영상 분석부(500)는 카메라(111~114)가 촬영한 영상 내에서 차량(10)의 주변 물체의 위치를 계산한다. 여기서, 주변 물체의 위치이란 운전자가 탑승하고 있는 차량에 대한 장애물이 될 주변 물체의 위치를 의미하는 것으로서 구체적으로는 카메라에 의해 촬영된 영상 내에 상기 주변 물체가 위치하고 있는 지점으로 이해될 수 있다.
이를 위해 우선 차량(10) 주변의 특정 물체를 운전자가 주의를 기울일 가치가 있는 ‘주변 물체’로 볼 것인지 여부를 먼저 판단한다. 이를 위해 카메라가 촬영한 영상을 토대로 상기 특정 물체가 차량(10)으로부터 사전 설정된 임계 거리 내에 위치하는지 여부를 판단한다.
만약 사전 설정된 임계 거리 내에 상기 특정 물체가 위치하고 있다고 판단한 경우 상기 특정 물체를 차량(10)의 주변 물체라고 인식하고, 이후 이 주변 물체의 영상 내 위치 지점을 계산한다.
이는 차량(10)의 운전자가 주의를 기울일 필요가 없을 정도로 멀리 떨어져 있는 장애물에 대해서까지 카메라(111~114)가 일일이 반응하지 않게 하기 위함이다.
더 나아가, 영상 분석부(500)는 주변 물체의 움직임을 판단할 수도 있다. 즉, 영상 분석부(500)는 차량과 주변 물체와의 거리 패턴이 어떻게 변하고 있는지를 판단하는 것으로서, 예를 들어 주변 물체가 근접하고 있는지, 멀어지고 있는지, 근접하는 속도는 얼마인지, 그 거리는 얼마인지 등을 판단하는 것이다. 한편, 주변 물체의 움직임을 판단하기 위하여 영상 분석뿐만 아니라 초음파 센서, 적외선 센서 및 레이더 등이 이용될 수도 있으나 본 발명에서는 영상 분석에 의한 방법을 주로 사용하는 것으로 한다.
카메라 조작부(800)는 상기 주변 물체의 위치를 토대로, 상기 주변 물체가 촬영된 영상의 중심에 오도록 해당 카메라의 촬영 각도를 조정한다.
도 7과 도 8은 카메라가 촬영한 영상 내에서 주변 물체의 위치를 나타내는 도면이다.
예를 들어, 복수의 카메라(111~114) 중 어느 하나의 카메라에 의해 촬영된 영상이 영상 분석부로 전송되고, 영상 분석부(500)에 의해 주변 물체(B)의 위치가 도 7과 같이 계산된 경우 카메라 조작부(800)는 해당 카메라의 촬영 각도를 우방향으로 e 만큼, 상방향으로 f 만큼 조정하여 주변 물체에 대한 영상이 도 8과 같이 화면의 중심부에 위치할 수 있도록 조정하는 것이다.
영상 저장부(120)는 복수의 카메라(111~114)에 의해 획득된 영상을 저장할 수 있다. 영상 저장부(120)에는 복수의 카메라(111~114)에 의해 획득된 영상과 더불어 영상의 식별 정보 및 영상을 획득한 카메라의 식별 정보가 함께 저장될 수 있다.
영상 저장부(120)는 캐쉬, RAM, SRAM, DRAM, ROM, PROM, EPROM, EEPROM, 플래쉬 메모리 및 하드 디스크 드라이브 등이 사용될 수 있으나, 이에 한정되지 않는다.
이 때, 복수의 카메라(111~114)는 획득된 영상을 영상 저장부(120)로 전송하기 이전에 데이터 전송이 용이하도록 영상을 압축 형태의 포맷으로 변환할 수 있고, 압축 포맷은 MPEG-1 또는 MPEG-4 등의 공지된 다양한 포맷이 사용될 수 있으며, 복수의 카메라(111~114)는 획득된 영상의 데이터 포맷 변환을 위한 별도의 프로세서(미도시)를 포함할 수 있다.
한편, 복수의 카메라(111~114)가 광각 렌즈나 어안 렌즈가 사용되는 경우에는 완전한 구 형태가 아니고 초점 거리가 짧으므로 렌즈의 기하하적 왜곡, 예를 들어 방사상 왜곡이나 접선 방향의 왜곡이 발생할 수 있기 때문에 복수의 카메라(111~114)에 의해 획득된 영상은 왜곡 보정 알고리즘에 의해 왜곡이 보정되어 영상 저장부(120)에 저장될 수 있다.
복수의 카메라(111~114)에 의해 획득된 영상의 왜곡 보정은 복수의 카메라(111~114)에서 수행될 수도 있고, 영상 저장부(120)에 영상이 저장될 때 별도의 왜곡 보정을 위한 수단(미도시)에 의해 수행되어 영상 저장부(120)로 전송될 수도 있다.
주변 영상 생성부(130)는 복수의 카메라(111~114)에 의해 획득된 영상을 차량 주변을 형성하는 투영면에 투영시켜 좌표를 변환하고, 좌표가 변환된 영상을 투영면에 합성하여 주변 합성 영상을 생성할 수 있으며, 이러한 주변 영상 생성부(130)는 투영면 설정부(131), 좌표 변환부(132) 및 영상 합성부(133)를 포함하여 구성될 수 있다.
투영면 설정부(131)는 차량 주변을 형성하는 가상의 투영면을 설정할 수 있다. 이러한 투영면은 차량 출고 시 미리 설정된 투영면일 수도 있고, 사전에 저장된 여러 종류의 투영면 중 운전자에 의해 선택된 투영면일 수 있으나 이에 한정되지 않는다.
본 발명의 실시예에서는 투영면 설정부(131)에 의해 설정되는 투영면이 도 4에 도시된 바와 같이, 3차원 입체 투영 모델로 반구형인 경우를 예를 들어 설명하기로 하나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 구형, 평면형 등 다양한 투영면이 설정될 수 있다.
좌표 변환부(132)는 투영면 설정부(131)에 의해 설정된 투영면의 좌표 정보(예를 들어, 투영면의 3차원 좌표 정보 등)를 저장할 수 있으며, 저장된 좌표 정보를 이용하여 영상 획득부(100)에서 획득된 영상의 좌표를 투영면의 좌표로 변환할 수 있다.
예를 들어, 좌표 변환부(132)는 복수의 카메라(111~114)에 의해 획득된 영상을 투영면에 투영시켜 복수의 카메라(111~114)에 의해 획득된 영상의 2차원 좌표를 투영면에 대한 3차원 좌표로 변환할 수 있으며, 이러한 좌표 변환을 통해 영상 합성부(133)가 복수의 카메라(111~114)에 의해 획득된 영상을 설정된 투영면에 합성하는 것이 가능하게 된다.
영상 합성부(133)는 좌표 변환부(132)에 의해 좌표가 변환된 영상을 투영면 설정부(131)에 의해 설정된 투영면에 합성하여 주변 합성 영상을 생성할 수 있다.
예를 들어, 영상 합성부(133)가 도 4에 도시된 반구형으로 설정된 투영면(140)에 복수의 카메라(111~114)에 의해 획득된 영상을 합성하기 위해서는, 좌표 변환부(132)에 의해 획득된 영상의 2차원 좌표가 투영면(140)의 3차원 좌표로 변환되는 과정을 거치게 되며, 영상 합성부(133)는 좌표가 변환된 영상을 투영면에 합성함으로써 차량의 주변 합성 영상을 생성할 수 있는 것이다.
이와 같이, 투영면 설정부(131)에 의해 설정된 투영면에 복수의 카메라(111~114)에 의해 획득된 영상을 합성하여 주변 합성 영상을 생성하는 경우, 차량의 주변 합성 영상을 3차원 영상으로 디스플레이할 수 있게 되며, 도 4의 화살표와 같이 투영면(140)에 대해 가상 시점을 변경함으로써 원하는 위치를 원하는 방향에서 원하는 스케일로 디스플레이하는 것이 가능하게 된다.
다시 말해서, 본 발명의 실시예에서는 생성된 주변 합성 영상에 대한 가상 시점, 즉 투영면에 대해 가상 시점을 변경하는 경우 차량을 위에서 바라보는 탑뷰(top view) 형태로 디스플레이하는 것도 가능하고, 차량의 주변의 임의의 위치에서 차량 주변 또는 차량의 적어도 일부와 차량 주변을 바라보는 형태로 디스플레이하는 것이 가능하게 된다.
다시 도 1을 설명하면, 주행 상태 감지부(200)는 차량의 주행 상태를 감지하는 역할을 수행한다. 여기서, 차량의 주행 상태는 주행 속도 및 주행 방향 중 적어도 하나를 포함할 수 있다.
즉, 주행 상태 감지부(200)는 차량의 주행 속도와 주행 방향을 확인하는 역할을 수행하는 것으로서, 여기서 주행 방향을 확인하는 것은 차량이 전방을 향하여 이동하고 있는 것(전진)인지 후방을 향하여 이동하고 있는 것(후진)인지를 확인하는 것으로 이해될 수 있다.
차량의 주행 속도 및 주행 방향을 확인하기 위하여 차량에는 엔코더(encoder)가 구비될 수 있으며, 주행 상태 감지부(200)는 엔코더를 통하여 차량의 주행 속도 및 주행 방향을 확인할 수 있다.
또는, 차량에 GPS(Global Positioning System) 수신기(미도시)가 구비된 경우 주행 상태 감지부(200)는 GPS 수신기가 수신한 GPS 정보를 이용하여 차량의 주행 속도를 확인할 수도 있다.
전술한 바와 같이, 영상 획득부(100)의 영상 합성부(133)는 주변 합성 영상을 생성하는 역할을 수행하는데, 이 때 복수 개의 카메라(111~114) 중 주행 상태 감지부(200)에 의하여 감지된 차량의 주행 상태에 따른 카메라에 의해 촬영된 주변에 대한 영상을 합성할 수 있다.
즉, 영상 합성부(133)는 항상 모든 카메라(111~114)에 의해 촬영된 영상을 모두 이용하여 합성 영상을 생성하는 것이 아니라, 차량의 주행 상태에 따라 일부 선택된 카메라에 의해 촬영된 영상만을 이용하여 합성 영상을 생성하는 것으로서, 카메라 선택은 제어부(400)에 의하여 수행될 수 있다.
도 9는 본 발명의 실시예에 따른 차량 속도와 카메라의 관계를 나타낸 도면으로서, 합성 영상에 이용되는 주변 영상을 제공하는 카메라와 차량 속도의 대응 관계를 나타낸 도면이다.
일반적으로 저속인 경우 이는 주변 물체와의 거리가 짧기 때문에 운전자가 특별히 주의하여 주변 물체와의 접촉을 회피해야 하는 경우가 많다. 예를 들어, 주차하는 경우가 이에 해당할 수 있다.
따라서, 본 발명의 실시예에 따라 차량의 주행 속도가 저속으로서 그 속도 범위가 0~20km/h인 경우(510), 영상 합성부(133)는 전방 카메라(제 1 카메라)(111), 후방 카메라(제 2 카메라)(112), 좌측 카메라(제 3 카메라)(113) 및 우측 카메라(제 4 카메라)(114) 모두에 의하여 촬영된 영상을 이용하여 합성 영상을 생성한다.
한편, 차량의 속도 범위가 20~60km/h인 경우(520), 이는 차량이 도로상을 주행 중에 있으며 차량과 주변 물체간의 거리도 어느 정도 떨어져 있는 것으로 이해될 수 있다. 따라서, 이러한 경우 운전자가 당연히 직접 전방을 주시하고 있기 때문에 영상 합성부(133)는 전방 카메라(111)에 의하여 촬영된 영상은 제외하고, 후방 카메라(112), 좌측 카메라(113) 및 우측 카메라(114)에 의하여 촬영된 영상만을 이용하여 합성 영상을 생성한다.
또한, 차량의 속도 범위가 60km/h를 초과하는 경우(530), 이는 차량이 도로상을 주행 중에 있으며 차량과 주변 물체간의 거리도 상당히 떨어져 있는 것으로 이해될 수 있다. 따라서, 이러한 경우 운전자가 당연히 직접 전방을 주시하고 있으며 후방에 위치하고 있는 차량과 같은 주변 물체를 직접적으로 고려할 필요가 없기 때문에 영상 합성부(133)는 전방 카메라(111) 및 후방 카메라(112)에 의하여 촬영된 영상은 제외하고 좌측 카메라(113) 및 우측 카메라(114)에 의하여 촬영된 영상만을 이용하여 합성 영상을 생성한다.
한편, 도 5는 0~20km/h, 20~60km/h 및 60km/h 초과인 차량 속도 범위(510, 520, 530)를 기준으로 합성 영상에 이용될 카메라가 선택되는 것을 도시하고 있으나 이는 예시적인 것에 불과하며 다양한 차량 속도 범위가 기준이 될 수 있을 뿐만 아니라 기준이 되는 차량 속도 범위의 개수도 4개, 5개 또는 그 이상이 카메라 선택의 기준이 될 수 있다. 또한, 도 5는 전후좌우 4개의 카메라(111~114)만을 도시하고 있으나 카메라의 설치 위치 및 개수가 다양하게 차량에 적용될 수 있음은 전술한 바와 같다.
또한, 본 발명에서 선택된 카메라의 영상을 이용하여 영상 합성부(133)가 합성 영상을 생성한다는 것은 선택된 일부 카메라만을 동작시키고 나머지 카메라의 동작은 정지시킴으로써 구현할 수 있으며, 모든 카메라(111~114)에 의한 동작은 계속 지속되나 영상 합성부(133)가 그 중 선택된 카메라의 영상만을 이용하여 합성 영상을 생성하는 것으로 이해될 수도 있다.
디스플레이부(600)는 영상 합성부(133)에 의하여 생성된 합성 영상을 디스플레이하는 역할을 수행한다. 본 발명에서 합성 영상은 복수 개의 카메라(111~114)에 의하여 촬영된 영상 중 선택된 영상을 모두 하나의 화면에 디스플레이되도록 한 영상을 의미하는데, 이를 위하여 디스플레이부(600)는 복수 개의 분할 영역을 제공할 수 있다.
즉, 복수 개의 분할 영역 각각에 하나의 카메라에 의하여 촬영된 영상이 디스플레이되는 것이다. 예를 들어, 디스플레이부(600)는 카메라가 4개인 경우 그와 동일한 개수인 4개의 분할 영역을 구비할 수 있는데, 이러한 경우 특정 분할 영역은 특정 카메라의 영상만을 디스플레이할 수 있다.
또는, 선택된 카메라의 개수에 따라 분할 영역의 개수 및 배치도 실시간으로 변경될 수 있다. 예를 들어, 선택된 카메라의 개수가 4개인 경우 좌상, 우상, 좌하, 우하와 같이 4개의 분할 영역으로 화면이 분할될 수 있으며, 선택된 카메라의 개수가 3개인 경우 좌측, 중앙, 우측과 같이 3개의 분할 영역으로 화면이 분할될 수 있는 것이다.
또는, 디스플레이부(600)는 복수 개의 디스플레이 수단으로 구성될 수도 있다. 예를 들어, 2개 또는 3개의 디스플레이 수단이 하나의 디스플레이부(600)를 구성하는 것으로서, 각 디스플레이 수단은 특정 카메라의 영상만을 디스플레이할 수 있으며, 하나의 디스플레이 수단이 전술한 바와 같은 복수 개의 분할 영역을 가질 수도 있다.
본 발명에서 디스플레이부(600)는 입력된 영상 신호를 디스플레이할 수 있는 음극선관(CRT, Cathode Ray Tube), 액정 화면(LCD, Liquid Crystal Display), 발광 다이오드(LED, Light-Emitting Diode), 유기 발광 다이오드(OLED, Organic Light-Emitting Diode) 또는 플라즈마 디스플레이(PDP, Plasma Display Panel) 등의 형태로 구현될 수 있으나 이에 한정되지는 않으며, 디스플레이부(600)는 인사이드 미러, 아웃사이드 미러, HUD(Head Up Display) 디스플레이 및 별도의 디스플레이 장치 중 적어도 하나를 포함하여 구성될 수 있다.
경고 출력부(700)는 영상 분석부(500)가 주변 물체의 움직임을 판단한 결과에 따라 안내 경고를 출력하는 역할을 수행한다.
도 7과 도 8 및 그에 대응되는 실시예에서 설명한 바와 같이 영상 분석부(500)는 주변 물체의 위치뿐만 아니라 주변 물체의 움직임도 파악한다. 이에 따라 차량과 주변 물체가 충돌할 것으로 판단되는 경우 경고 출력부(700)는 충돌의 위험을 알리는 안내 경고를 출력한다.
안내 경고는 시각적, 청각적, 촉각적 방식이 이용될 수 있다. 예를 들어, 경고 출력부(700)는 영상 분석부(500)로부터 전달받은 경고 제어 신호에 따라 디스플레이부(600) 또는 별도의 수단을 통해 안내 경고가 디스플레이되도록 할 수 있고, 스피커와 같은 수단을 통해 경고 음성이 출력되도록 할 수 있으며, 운전대 또는 의자에 진동이 발생되도록 할 수 있는 것이다.
또한, 경고 출력부(700)는 주행 상태 감지부(200)에 의하여 감지된 차량의 주행 상태에 따른 안내 경고를 출력할 수 있다. 전술한 바와 같이, 본 발명에서 차량의 주행 상태는 차량의 주행 속도 및 주행 방향을 의미하는데, 경고 출력부(700)는 주행 속도 및 주행 방향에 따라 서로 다른 형태의 경고를 출력하는 것이다.
예를 들어, 차량의 속도가 저속인 경우 이는 주차 중이거나 막힌 길을 주행 중인 것으로 이해될 수 있기 때문에 경고 출력부(700)는 작은 음량의 경고음을 출력하고, 차량의 속도가 고속인 경우 외부 소음의 영향을 고려하여 경고 출력부(700)는 큰 음량의 경고음을 출력한다.
또한, 차량이 후진하는 경우 경고 출력부(700)는 디스플레이부(600)의 분할 영역 중 후방 카메라(112)에 대응하는 분할 영역에 안내 경고가 디스플레이되도록 할 수 있다.
도 10은 본 발명의 실시예에 따른 디스플레이부(600)의 화면(610)이 4개로 분할된 것을 나타내고 있으며, 도 11은 도 10에 도시된 분할 영역(611~614) 중 후방 카메라(112)에 대응하는 분할 영역(612)의 테두리에 경고 표시(615)가 디스플레이된 것을 나타내고 있다.
이와 마찬가지로, 전방 카메라(111), 좌측 카메라(113) 또는 우측 카메라(114)에 대응하는 분할 영역(611, 613, 614)에 경고 표시가 디스플레이될 수도 있다.
또한, 운전자가 뒤쪽 유리창을 보면서 후진하는 경우를 대비하여 경고 출력부(700)는 뒤쪽 유리창의 주변에 LED(미도시) 등을 발광시킴으로써 안내 경고를 출력할 수도 있다.
저장부(300)는 영상 분석부(500)에 의해 촬영된 영상 내에서 이상 영역(도 5 또는 도 6의 A)이나, 주변 물체(도 7 또는 도 8의 B)가 존재하는 위치를 임시로 저장하는 역할을 수행한다.
또한, 차량의 주행 상태와 카메라간의 대응 관계 및 기타 차량용 카메라 노출 제어 장치(1)가 동작하는데 필요한 각종 데이터를 임시로 저장하는 역할을 수행하기도 한다.
더 나아가, 이상 영역을 추출할 때 사용되는 사전 설정된 임계치(도 12의 S1220), 우천 상태를 감지하는 과정에서 의미있는 우천량이라고 판단하기 위해 사용되는 사전 설정된 임계치(도 13의 S1320), 차량 주변의 물체를 운전자가 주의할 만한 가치가 있다고 볼 수 있는 장애물로 인식하기 위해 사용되는 임계 거리(도 14의 S1420) 등에 대한 정보도 저장되어 있을 수 있다.
저장부(300)는 하드 디스크, 플래시 메모리, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC(Multimedia Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 차량의 주변 정보 제공 장치(1)의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다.
제어부(400)는 차량의 주행 상태에 따른 카메라 선택을 수행하는데, 이 때 저장부(300)에 저장된 차량의 주행 상태와 카메라간의 대응 관계를 참조할 수 있다.
또한, 제어부(400)는 영상 획득부(100), 주행 상태 감지부(200), 저장부(300), 영상 분석부(500), 디스플레이부(600), 경고 출력부(700), 카메라 조작부(800), 및 레인 센서(900)에 대한 전반적인 제어를 수행하며, 각 모듈간 데이터 송수신을 중계하는 역할을 수행한다.
더 나아가, 이상 영역을 추출할 때 영상 내 특정 영역이 사전 설정된 임계치와 비교하는 역할, 우천 상태를 감지하는 과정에서 우천량을 사전 설정된 임계치와 비교하는 역할, 차량으로부터 차량 주변의 장애물까지의 거리와 임계 거리를 비교하는 역할도 제어부(400)에서 수행될 수 있다.
지금까지 도 1 및 도 2의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.
도 12은 본 발명의 일 실시예에 따른 차량용 카메라 노출 제어 방법의 순서도이고, 도 13는 본 발명의 다른 실시예에 따른 차량용 카메라 노출 제어 방법의 순서도이며, 도 14은 본 발명의 또 다른 실시예에 따른 차량용 카메라 노출 제어 방법의 순서도이다.
우선 도 12에서 도시하는 일 실시예에 따른 차량용 카메라 노출 제어 방법에 대해 설명한다.
차량용 카메라 노출 제어 장치(1)에 전원이 인가되면, 영상 획득부(100)에 구비된 복수 개의 카메라(111~114)는 차량의 주변을 촬영하여 주변 영상을 획득한다(S1210).
촬영된 영상 내에 이상 영역이 존재하는 것으로 파악되면(S1220의 Y), 영상 분석부(500)는 영상 내의 이상 영역의 위치를 계산(S1230)하고, 이를 토대로 카메라 조작부(800)는 해당 카메라의 각도를 조정한다(S1240). 이에 대한 구체적인 실시예는 도 5, 도 6 및 해당되는 설명 부분에서 이미 자세하게 설명하였으므로 이를 참고할 수 있다.
만약 촬영된 영상 내에 이상 영역이 존재하지 않는 것으로 파악되면(S1220의 N), 카메라 조정 과정이 불필요하므로 S1250 단계로 넘어간다.
주행 상태 감지부(200)는 차량의 주행 속도 및 주행 방향과 같은 주행 상태를 감지한다(S1250).
주행 상태 감지부(200)에 의하여 감지된 주행 상태는 제어부(400)로 전달되고, 제어부(400)는 복수 개의 카메라(111~114) 중 감지된 차량의 주행 상태에 따른 카메라를 선택한다. 카메라 선택에 대한 정보 예를 들어, 카메라 식별 정보가 영상 획득부(100)로 전달되고, 영상 획득부(100)의 영상 합성부(133)는 전달받은 카메라 식별 정보에 대응하는 카메라의 영상만으로 합성 영상을 생성한다(S1260).
합성된 영상은 디스플레이부(600)를 통하여 디스플레이된다(S1270).
다음으로, 도 13에서 도시하는 다른 실시예에 따른 차량용 카메라 노출 제어 방법에 대해 설명한다.
영상 획득부(100)에 구비된 복수 개의 카메라(111~114)는 차량의 주변을 촬영하여 주변 영상을 획득한다(S1310).
레인 센서(900)에 의해 우천 상황임이 감지되거나 또는 우천의 양이 사전 설정된 임계치보다 크다고 감지되면(S1320의 Y), 카메라 조작부(800)는 해당 카메라의 각도를 조정한다(S1240). 이에 대한 구체적인 실시예는 차량용 카메라 노출 제어 장치(1)에 대한 해당되는 설명 부분에서 이미 자세하게 설명하였으므로 이를 참고할 수 있다.
만약 우천 상황이 아니거나 또는 우천량이 사전 설정된 임계치보다 작아 의미 없다고 감지되면(S1320의 N), 카메라 조정 과정이 불필요하므로 S1340 단계로 넘어간다.
이후 S1340, S1350 및 S1360 단계에 대한 설명은 각각 도 12의 S1250, S1260 및 S1270 단계에 대한 설명을 참고할 수 있다.
다음으로, 도 14에서 도시하는 다른 실시예에 따른 차량용 카메라 노출 제어 방법에 대해 설명한다.
영상 획득부(100)에 구비된 복수 개의 카메라(111~114)는 차량의 주변을 촬영하여 주변 영상을 획득한다(S1410).
촬영된 영상 내에 주변 물체가 존재하는 것으로 파악되면(S1420의 Y), 영상 분석부(500)는 영상 내의 주변 물체의 위치를 계산(S1430)하고, 이를 토대로 카메라 조작부(800)는 해당 카메라의 각도를 조정한다(S1440). 이에 대한 구체적인 실시예는 도 7, 도 8 및 해당되는 설명 부분에서 이미 자세하게 설명하였으므로 이를 참고할 수 있다.
만약 촬영된 영상 내에 주변 물체가 존재하지 않는 것으로 파악되면(S1420의 N), 카메라 조정 과정이 불필요하므로 S1450 단계로 넘어간다.
이후 S1450, S1460 및 S1470 단계에 대한 설명은 각각 도 12의 S1250, S1260 및 S1270 단계에 대한 설명을 참고할 수 있다.
이상과 같이 설명된 본 발명의 실시예들에 따른 차량용 카메라 노출 제어 장치 및 방법에 따르면, 태양광, 우천과 같은 외부 환경의 영향에 의해 균일하고 명확하게 차량 주변의 영상 정보가 제공되지 못하는 경우를 방지하고, 더 나아가, 차량 주변에 존재하는 물체에 대한 정보를 보다 명확한 영상으로 획득할 수 있게 된다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1: 차량용 카메라 노출 제어 장치
10: 차량용 카메라 노출 제어 장치가 장착된 차량
100: 영상 획득부 111~114: 카메라
120: 영상 저장부 130: 주변 영상 생성부
131: 투영면 설정부 132: 좌표 변환부
133: 영상 합성부 200: 주행 상태 감지부
300: 저장부 400: 제어부
500: 영상 분석부 600: 디스플레이부
700: 경고 출력부 800: 카메라 조작부
900: 레인 센서

Claims (24)

  1. 차량의 주변을 촬영하는 적어도 하나 이상의 카메라;
    상기 카메라가 촬영한 영상 내에서, 사전 설정된 임계치보다 큰 휘도값을 갖는 이상 영역의 위치를 계산하는 영상 분석부; 및
    상기 이상 영역의 위치를 토대로, 촬영 영상 내에 상기 이상 영역이 발생하지 않도록 상기 카메라의 촬영 각도를 조정하는 카메라 조작부를 포함하는 차량용 카메라 노출 제어 장치.
  2. 제1항에 있어서,
    상기 사전 설정된 임계치는 상기 촬영한 영상의 평균 휘도값인 차량용 카메라 노출 제어 장치.
  3. 제1항에 있어서,
    상기 차량의 주행 상태를 감지하는 주행 상태 감지부;
    상기 감지된 차량의 주행 상태에 따라, 상기 적어도 하나 이상의 카메라에 의해 촬영된 주변에 대한 영상을 합성하는 영상 합성부; 및
    상기 합성된 영상을 디스플레이하는 디스플레이부를 더 포함하되,
    상기 영상 분석부는 상기 합성된 영상을 분석하여 사전 설정된 임계치보다 큰 휘도값을 갖는 이상 영역의 위치를 계산하는 차량용 카메라 노출 제어 장치.
  4. 제3항에 있어서,
    상기 차량의 주행 상태는 주행 속도 및 주행 방향 중 적어도 하나를 포함하는 차량용 카메라 노출 제어 장치.
  5. 차량의 주변을 촬영하는 적어도 하나 이상의 카메라;
    상기 차량에 장착되어 우천량을 파악하는 레인 센서(Rain Sensor);
    상기 우천량을 토대로, 상기 카메라의 촬영 각도를 조정하는 카메라 조작부를 포함하는 차량용 카메라 노출 제어 장치.
  6. 제5항에 있어서,
    상기 카메라 조작부는 우천시에 상기 카메라의 촬영 각도를 바닥을 향하도록 조정하는 차량용 카메라 노출 제어 장치.
  7. 제5항에 있어서,
    상기 차량의 주행 상태를 감지하는 주행 상태 감지부;
    상기 감지된 차량의 주행 상태에 따라, 상기 적어도 하나 이상의 카메라에 의해 촬영된 주변에 대한 영상을 합성하는 영상 합성부;
    상기 합성된 영상을 분석하여, 사전 설정된 임계치보다 큰 휘도값을 갖는 이상 영역의 위치를 계산하는 영상 분석부; 및
    상기 합성된 영상을 디스플레이하는 디스플레이부를 더 포함하는 차량용 카메라 노출 제어 장치.
  8. 차량의 주변을 촬영하는 적어도 하나 이상의 카메라;
    상기 카메라가 촬영한 영상 내에서, 상기 차량의 주변 물체의 위치를 계산하는 영상 분석부; 및
    상기 주변 물체의 위치를 토대로, 상기 주변 물체가 촬영된 영상의 중심에 오도록 상기 카메라의 촬영 각도를 조정하는 카메라 조작부를 포함하는 차량용 카메라 노출 제어 장치.
  9. 제8항에 있어서,
    상기 카메라는 적어도 상기 차량의 전, 후, 좌, 우를 촬영하는 네 개의 카메라를 포함하는 차량용 카메라 노출 제어 장치.
  10. 제8항에 있어서,
    상기 차량의 주행 상태를 감지하는 주행 상태 감지부;
    상기 감지된 차량의 주행 상태에 따라, 상기 적어도 하나 이상의 카메라에 의해 촬영된 주변에 대한 영상을 합성하는 영상 합성부; 및
    상기 합성된 영상을 디스플레이하는 디스플레이부를 더 포함하는 차량용 카메라 노출 제어 장치.
  11. 제10항에 있어서,
    상기 차량의 주행 상태는 주행 속도 및 주행 방향 중 적어도 하나를 포함하는 카메라 노출 제어 장치.
  12. 제8항에 있어서,
    상기 주변 물체의 움직임을 판단한 결과에 따라 안내 경고를 출력하는 경고 출력부를 더 포함하는 차량용 카메라 노출 제어 장치.
  13. 적어도 하나 이상의 카메라로 차량의 주변을 촬영하는 단계;
    상기 카메라가 촬영한 영상 내에서, 사전 설정된 임계치보다 큰 휘도값을 갖는 이상 영역의 위치를 계산하는 단계; 및
    상기 이상 영역의 위치를 토대로, 촬영 영상 내에 상기 이상 영역이 발생하지 않도록 상기 카메라의 촬영 각도를 조정하는 단계를 포함하는 차량용 카메라 노출 제어 방법.
  14. 제13항에 있어서,
    상기 사전 설정된 임계치는 상기 촬영한 영상의 평균 휘도값인 차량용 카메라 노출 제어 방법.
  15. 제13항에 있어서,
    상기 차량의 주행 상태를 감지하는 단계;
    상기 감지된 차량의 주행 상태에 따라, 상기 적어도 하나 이상의 카메라에 의해 촬영된 주변에 대한 영상을 합성하는 단계; 및
    상기 합성된 영상을 디스플레이하는 단계를 더 포함하되,
    상기 계산하는 단계는 상기 합성된 영상을 분석하여 사전 설정된 임계치보다 큰 휘도값을 갖는 이상 영역의 위치를 계산하는 차량용 카메라 노출 제어 방법.
  16. 제15항에 있어서,
    상기 차량의 주행 상태는 주행 속도 및 주행 방향 중 적어도 하나를 포함하는 차량용 카메라 노출 제어 방법.
  17. 적어도 하나 이상의 카메라로 차량의 주변을 촬영하는 단계;
    상기 차량 주변의 우천량을 파악하는 단계; 및
    상기 우천량을 토대로, 촬영 영상 내에 이상 영역이 발생하지 않도록 상기 카메라의 촬영 각도를 조정하는 단계를 포함하는 차량용 카메라 노출 제어 방법.
  18. 제17항에 있어서,
    상기 조정하는 단계는,
    우천시에 상기 카메라의 촬영 각도를 바닥을 향하도록 조정하는 차량용 카메라 노출 제어 방법.
  19. 제17항에 있어서,
    상기 차량의 주행 상태를 감지하는 단계;
    상기 감지된 차량의 주행 상태에 따라, 상기 적어도 하나 이상의 카메라에 의해 촬영된 주변에 대한 영상을 합성하는 단계;
    상기 합성된 영상을 디스플레이하는 단계를 더 포함하는 차량용 카메라 노출 제어 방법.
  20. 적어도 하나 이상의 카메라로 차량의 주변을 촬영하는 단계;
    상기 카메라가 촬영한 영상 내에서, 상기 차량의 주변 물체의 위치를 계산하는 단계; 및
    상기 주변 물체의 위치를 토대로, 상기 주변 물체가 촬영된 영상의 중심에 오도록 상기 카메라의 촬영 각도를 조정하는 단계를 포함하는 차량용 카메라 노출 제어 방법.
  21. 제20항에 있어서,
    상기 카메라는 적어도 상기 차량의 전, 후, 좌, 우를 촬영하는 네 개의 카메라를 포함하는 차량용 카메라 노출 제어 방법.
  22. 제20항에 있어서,
    상기 차량의 주행 상태를 감지하는 단계;
    상기 감지된 차량의 주행 상태에 따라, 상기 복수 개의 카메라 중 상기 감지된 차량의 주행 상태에 따른 카메라에 의해 촬영된 주변에 대한 영상을 합성하는 단계; 및
    상기 합성된 영상을 디스플레이하는 단계를 더 포함하는 차량용 카메라 노출 제어 방법.
  23. 제22항에 있어서,
    상기 차량의 주행 상태는 주행 속도 및 주행 방향 중 적어도 하나를 포함하는 차량용 카메라 노출 제어 방법.
  24. 제20항에 있어서,
    상기 주변 물체의 움직임을 판단한 결과에 따라 안내 경고를 출력하는 단계를 더 포함하는 차량용 카메라 노출 제어 방법.
KR1020120003021A 2012-01-10 2012-01-10 차량용 카메라 노출 제어 장치 및 그 방법 KR101432178B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120003021A KR101432178B1 (ko) 2012-01-10 2012-01-10 차량용 카메라 노출 제어 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120003021A KR101432178B1 (ko) 2012-01-10 2012-01-10 차량용 카메라 노출 제어 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130081914A true KR20130081914A (ko) 2013-07-18
KR101432178B1 KR101432178B1 (ko) 2014-08-20

Family

ID=48993421

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120003021A KR101432178B1 (ko) 2012-01-10 2012-01-10 차량용 카메라 노출 제어 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101432178B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160074108A (ko) * 2014-12-18 2016-06-28 현대모비스 주식회사 차량 및 그 제어 방법
KR20230026609A (ko) * 2021-08-17 2023-02-27 김배훈 자율 주행용 차량의 근접 거리 측정 장치 및 방법
WO2023027538A1 (ko) * 2021-08-27 2023-03-02 김배훈 자율 주행용 차량

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006222844A (ja) * 2005-02-14 2006-08-24 Fujitsu Ten Ltd 車載画像情報出力装置及び車載画像情報出力装置の制御方法
KR20070034729A (ko) * 2005-09-26 2007-03-29 현대자동차주식회사 자동차의 후방 카메라 크리닝장치
JP2007282161A (ja) * 2006-04-12 2007-10-25 Matsushita Electric Ind Co Ltd 輝度調整装置および輝度調整制御方法
KR100956011B1 (ko) * 2008-12-27 2010-05-04 동의대학교 산학협력단 지능형 자동차 주변 감시 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160074108A (ko) * 2014-12-18 2016-06-28 현대모비스 주식회사 차량 및 그 제어 방법
KR20230026609A (ko) * 2021-08-17 2023-02-27 김배훈 자율 주행용 차량의 근접 거리 측정 장치 및 방법
WO2023027538A1 (ko) * 2021-08-27 2023-03-02 김배훈 자율 주행용 차량
KR102506812B1 (ko) * 2021-08-27 2023-03-07 김배훈 자율 주행용 차량

Also Published As

Publication number Publication date
KR101432178B1 (ko) 2014-08-20

Similar Documents

Publication Publication Date Title
US10449900B2 (en) Video synthesis system, video synthesis device, and video synthesis method
US10116873B1 (en) System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
US11108992B2 (en) Imaging control device and method, and vehicle
JP6819681B2 (ja) 撮像制御装置および方法、並びに車両
EP1961613B1 (en) Driving support method and driving support device
WO2019192359A1 (zh) 一种车载全景视频显示系统、方法及车载控制器
US8947219B2 (en) Warning system with heads up display
US8395490B2 (en) Blind spot display apparatus
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
JP4969269B2 (ja) 画像処理装置
JP6793193B2 (ja) 物体検出表示装置、移動体及び物体検出表示方法
JP4876118B2 (ja) 立体物出現検知装置
JP6307895B2 (ja) 車両用周辺監視装置
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP2013107580A (ja) 車両用周辺監視装置
US11659154B1 (en) Virtual horizontal stereo camera
KR20180041524A (ko) 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
KR102031635B1 (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
US20220111794A1 (en) Driving support device
KR20160076736A (ko) 차량의 주변 감시 장치 및 방법
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
KR101432178B1 (ko) 차량용 카메라 노출 제어 장치 및 그 방법
KR20130071842A (ko) 차량의 주변 정보 제공 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 6