KR101849326B1 - 차량용 카메라 시스템 - Google Patents

차량용 카메라 시스템 Download PDF

Info

Publication number
KR101849326B1
KR101849326B1 KR1020170110688A KR20170110688A KR101849326B1 KR 101849326 B1 KR101849326 B1 KR 101849326B1 KR 1020170110688 A KR1020170110688 A KR 1020170110688A KR 20170110688 A KR20170110688 A KR 20170110688A KR 101849326 B1 KR101849326 B1 KR 101849326B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
center
images
camera
Prior art date
Application number
KR1020170110688A
Other languages
English (en)
Inventor
김동기
정성기
단희진
Original Assignee
주식회사 핀텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핀텔 filed Critical 주식회사 핀텔
Priority to KR1020170110688A priority Critical patent/KR101849326B1/ko
Application granted granted Critical
Publication of KR101849326B1 publication Critical patent/KR101849326B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 다양한 실시예는 차량용 카메라 시스템에 관한 것으로, 해결하고자 하는 기술적 과제는 사각이 없고, 고개를 좌,우로 돌릴 필요가 없는 차량용 카메라 시스템을 제공하는데 있다.
이를 위해 본 발명은 차량의 좌측 후방을 촬영하여 좌측 후방 영상을 전송하는 좌측 카메라; 상기 차량의 우측 후방을 촬영하여 우측 후방 영상을 전송하는 우측 카메라; 상기 차량의 중앙 후방을 촬영하여 중앙 후방 영상을 전송하는 후방 카메라; 상기 좌,우측 및 후방 카메라로부터 전송받은 좌,우측 후방 영상 및 중앙 후방 영상을 처리하여 출력하는 제어부; 및 상기 차량의 내부에 설치되며, 상기 제어부로부터 출력된 좌,우측 후방 영상 및 중앙 후방 영상을 좌,우측 영역 및 중앙 영역에 표시하는 표시부를 포함하고, 상기 제어부는 좌,우측 후방 영상 및 중앙 후방 영상을 처리하여 좌,우측 후방 타 차량 및 중앙 후방 타 차량까지의 거리와 속도를 계산하여 상기 표시부에 출력하는 차량용 카메라 시스템을 개시한다.

Description

차량용 카메라 시스템{Camera system for vehicle}
본 발명의 다양한 실시예는 차량용 카메라 시스템에 관한 것이다.
일반적으로 차량을 운행하는 운전자는 차량 내부에 설치되어 있는 리어 뷰 미러(또는 룸미러)와 차량 외부 양측에 설치되어 있는 사이드 뷰 미러를 통해 자신의 차량과 후방의 다른 차량의 주행 상황을 인지하도록 하고 있는데, 차량 내부의 리어 뷰 미러와 차량 외부의 사이드 뷰 미러는 운전자가 볼 수 있는 방향이 한정되어 있으므로 차량의 선회 상황 또는 오르막길과 내리막길에서는 운전자의 시야 확보가 제대로 이루어지기 어려운 실정이었다. 이에 운전자는 상기의 리어 뷰 미러와 사이드 뷰 미러에만 의존하여 주행을 하게 되는 경우 돌발 상황이 발생할 수 있는 것이므로, 사각 지대를 확인하기 위해서는 직접 상체를 움직여 주변 차량의 위치 및 거리 등을 직접 인지하도록 하는 노력을 기울여왔다. 이에 따라 주행 방향으로부터 운전자의 시야가 어느 정도 분산되는 것은 감수해야 하는 일이었으며, 운전자가 방심하여 미처 주변 차량을 확인하지 못한 경우에는 다른 차량과 충돌할 수 있는 등, 안전사고의 위험성이 항상 존재하고 있었다.
따라서 최근에는 상기와 같은 불편을 해소하기 위해서 사각 지대를 좀 더 편리하게 확인할 수 있는 다양한 기술들이 개발되고 있다.
이러한 발명의 배경이 되는 기술에 개시된 상술한 정보는 본 발명의 배경에 대한 이해도를 향상시키기 위한 것뿐이며, 따라서 종래 기술을 구성하지 않는 정보를 포함할 수도 있다.
본 발명의 다양한 실시예에 따른 해결하고자 하는 과제는 사각이 없고, 고개를 좌,우로 돌릴 필요없이 차량의 좌,우측 후방을 모니터링할 수 있는 차량용 카메라 시스템을 제공하는데 있다. 또한, 본 발명의 다양한 실시예에 따른 해결하고자 하는 과제는 좌,우측의 차량이 기준 거리 이내에 있을 경우(예를 들면, 좌,우측의 사각에 차량이 있을 경우), 경고 화면 표시 및 경고음 출력을 수행하여 안전 운전에 도움을 주는 차량용 카메라 시스템을 제공하는데 있다. 또한, 본 발명의 다양한 실시예에 따른 해결하고자 하는 과제는 후방 차량이 기준 거리 이내에서 기준 속도 이상으로 차량의 후방에 가까워질 때, 경고 화면 표시 및 경고음을 출력하여 안전 운전에 도움을 주는 차량용 카메라 시스템을 제공하는데 있다.
본 발명의 다양한 실시예에 따른 차량용 카메라 시스템은 차량의 좌측 후방을 촬영하여 좌측 후방 영상을 전송하는 좌측 카메라; 상기 차량의 우측 후방을 촬영하여 우측 후방 영상을 전송하는 우측 카메라; 상기 차량의 중앙 후방을 촬영하여 중앙 후방 영상을 전송하는 후방 카메라; 상기 좌,우측 및 후방 카메라로부터 전송받은 좌,우측 후방 영상 및 중앙 후방 영상을 처리하여 출력하는 제어부; 및 상기 차량의 내부에 설치되며, 상기 제어부로부터 출력된 좌,우측 후방 영상 및 중앙 후방 영상을 좌,우측 영역 및 중앙 영역에 표시하는 표시부를 포함하고, 상기 제어부는 좌,우측 후방 영상 및 중앙 후방 영상을 처리하여 좌,우측 후방 타 차량 및 중앙 후방 타 차량까지의 거리와 속도를 계산하여 상기 표시부에 출력한다.
상기 제어부는 좌,우측 후방 영상 및 중앙 후방 영상을 처리하여, 좌,우측 후방 영상 및 중앙 후방 영상 중 좌측의 사각 영역에 타 차량이 진입할 경우 상기 표시부의 좌측 영역에 경고 표시와 함께 거리 및 속도를 더 진하게 표시하도록 하고, 우측의 사각 영역에 타 차량이 진입할 경우 상기 표시부의 우측 영역에 경고 표시와 함께 거리 및 속도를 더 진하게 표시하도록 하며, 중앙 후방 영역의 기준 거리 내에 타 차량이 진입할 경우 상기 표시부의 중앙 영역에 경고 표시와 함께 거리 및 속도를 더 진하게 표시하도록 한다.
본 발명의 실시예는 부저부를 더 포함하고, 상기 제어부는 좌,우측 후방 영상 및 중앙 후방 영상을 처리하여, 좌,우측 후방 영상 및 중앙 후방 영상 중 좌측의 사각 영역에 타 차량이 진입할 경우, 우측의 사각 영역에 타 차량이 진입할 경우 또는 중앙 후방의 기준 거리 내에 타 차량이 진입할 경우 상기 부저를 통해 경고음을 출력한다.
상기 제어부는 상기 좌,우측 카메라 및 후방 카메라로부터 전송받은 좌,우측 후방 영상 및 중앙 후방 영상을 전처리하는 영상 정보 처리부; 상기 전처리된 좌,우측 후방 영상 및 중앙 후방 영상으로부터 좌,우측 후방 타 차량 및 중앙 후방 타 차량까지의 수직축 화소 위치를 각각 검출하는 수직축 화소 위치 검출부; 상기 검출된 수직축 화소 위치로부터 상기 좌,우측 후방 타 차량 및 중앙 후방 타 차량까지의 거리 및 속도를 각각 추정하는 거리 및 속도 추정부; 및 상기 추정된 좌,우측 후방 타 차량 또는 중앙 후방 타 차량까지의 거리가 미리 정해진 기준 거리 이내일 경우 또는 미리 정해진 속도 이상일 경우 경고 영상 또는 경고음을 출력하는 경고부를 포함한다.
상기 좌,우측 카메라는 각각 치차가 형성된 직사각 플레이트의 형태의 몸체 단부에 설치되고, 몸체의 치차에 회전 기어가 결합되며, 회전 기어에 전동 모터가 결합된다.
차량의 시동 전에는 상기 전동 모터의 동작에 의해 상기 몸체가 차량 내부에 위치되고, 차량의 시동 후에는 상기 전동 모터의 동작에 의해 상기 몸체가 차량 외측으로 돌출된다.
상기 표시부는 직사각 패널 형태로서, 대시보드에 설치된다.
상기 표시부는 리플렉터를 향하여 상기 좌,우측 후방 영상 및 중앙 후방 영상을 표시하도록 대시보드 내에 설치되고, 상기 리플렉터는 운전자 전방의 윈드 쉴드를 향하여 상기 좌,우측 후방 영상 및 중앙 후방 영상을 표시하여 헤드업 디스플레이 방식으로 운전자에게 좌,우측 후방 영상 및 중앙 후방 영상을 제공한다.
상기 제어부는 상기 좌,우측 및 후방 카메라로부터 전송받은 각각의 영상으로부터 특징점을 추출하는 특징점 추출부; 상기 추출된 특징점간의 매칭점을 검색하는 매칭점 검색부; 상기 각각의 영상으로부터 이상점을 제거하는 이상점 제거부; 상기 이상점이 제거된 상기 매칭점을 이용하여 호모그래피를 연산하는 호모그래피 연산부; 상기 각각의 영상에 대한 회전, 스케일 및 이동에 대한 관계를 파악하는 영상 관계 파악부; 및 상기 호모그래피 및 영상 관계를 이용하여 각각의 영상을 하나의 영상으로 워핑하는 워핑 영상 생성부를 더 포함할 수 있다.
본 발명의 다양한 실시예는 사각이 없고, 고개를 좌,우로 돌릴 필요없이 차량의 좌,우측 후방을 쉽게 모니터링할 수 있는 차량용 카메라 시스템을 제공한다.
또한, 본 발명의 다양한 실시예는 좌,우측의 차량이 기준 거리 이내에 있을 경우(예를 들면, 좌,우측의 사각에 차량이 있을 경우) 또는 기준 속도 이상으로 접근할 경우, 경고 화면 표시 및 경고음 출력을 수행하여 안전 운전에 도움을 주는 차량용 카메라 시스템을 제공한다.
또한, 본 발명의 다양한 실시예는 후방 차량이 기준 거리 이내에서 기준 속도 이상으로 차량의 후방에 가까워질 때, 경고 화면 표시 및 경고음을 출력하여 안전 운전에 도움을 주는 차량용 카메라 시스템을 제공한다.
도 1은 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템의 구성을 도시한 블럭도이다.
도 2는 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템 중에서 좌,우측 카메라의 설치 위치를 도시한 차량의 평면도이다.
도 3a 및 도 3b는 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템의 동작 전,후 상태를 도시한 개략도이다.
도 4는 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템 중에서 표시부의 차량내 설치예를 도시한 도면이다.
도 5 및 도 6은 카메라로 촬영된 후방 차량의 영상을 이용하여 후방 차량까지의 거리 및 상대 속도를 계산하는 원리를 도시한 도면이다.
도 7a 및 도 7b는 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템 중에서 표시부에 의한 경고 표시 예를 도시한 도면이다.
도 8a 및 도 8b는 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템 중에서 헤드업 디스플레이의 차량내 설치예를 도시한 도면이다.
도 9는 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템의 동작 방법을 도시한 순서도이다.
도 10은 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템의 구성을 도시한 블럭도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
또한, 이하의 도면에서 각 층의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장된 것이며, 도면상에서 동일 부호는 동일한 요소를 지칭한다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다. 또한, 본 명세서에서 "연결된다"라는 의미는 A 부재와 B 부재가 직접 연결되는 경우뿐만 아니라, A 부재와 B 부재의 사이에 C 부재가 개재되어 A 부재와 B 부재가 간접 연결되는 경우도 의미한다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise, include)" 및/또는 "포함하는(comprising, including)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및 /또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 부품, 영역, 층들 및/또는 부분들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들 및/또는 부분들은 이들 용어에 의해 한정되어서는 안 됨은 자명하다. 이들 용어는 하나의 부재, 부품, 영역, 층 또는 부분을 다른 영역, 층 또는 부분과 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1부재, 부품, 영역, 층 또는 부분은 본 발명의 가르침으로부터 벗어나지 않고서도 제2부재, 부품, 영역, 층 또는 부분을 지칭할 수 있다.
"하부(beneath)", "아래(below)", "낮은(lower)", "상부(above)", "위(upper)"와 같은 공간에 관련된 용어가 도면에 도시된 한 요소 또는 특징과 다른 요소 또는 특징의 용이한 이해를 위해 이용될 수 있다. 이러한 공간에 관련된 용어는 본 발명의 다양한 공정 상태 또는 사용 상태에 따라 본 발명의 용이한 이해를 위한 것이며, 본 발명을 한정하기 위한 것은 아니다. 예를 들어, 도면의 요소 또는 특징이 뒤집어지면, "하부" 또는 "아래"로 설명된 요소 또는 특징은 "상부" 또는 "위에"로 된다. 따라서, "하부"는 "상부" 또는 "아래"를 포괄하는 개념이다.
또한, 본 발명에 따른 제어부(컨트롤러) 및/또는 다른 관련 기기 또는 부품은 임의의 적절한 하드웨어, 펌웨어(예를 들어, 주문형 반도체), 소프트웨어, 또는 소프트웨어, 펌웨어 및 하드웨어의 적절한 조합을 이용하여 구현될 수 있다. 예를 들어, 본 발명에 따른 제어부(컨트롤러) 및/또는 다른 관련 기기 또는 부품의 다양한 구성 요소들은 하나의 집적회로 칩 상에, 또는 별개의 집적회로 칩 상에 형성될 수 있다. 또한, 제어부(컨트롤러)의 다양한 구성 요소는 가요성 인쇄 회로 필름 상에 구현 될 수 있고, 테이프 캐리어 패키지, 인쇄 회로 기판, 또는 제어부(컨트롤러)와 동일한 서브스트레이트 상에 형성될 수 있다. 또한, 제어부(컨트롤러)의 다양한 구성 요소는, 하나 이상의 컴퓨팅 장치에서, 하나 이상의 프로세서에서 실행되는 프로세스 또는 쓰레드(thread)일 수 있고, 이는 이하에서 언급되는 다양한 기능들을 수행하기 위해 컴퓨터 프로그램 명령들을 실행하고 다른 구성 요소들과 상호 작용할 수 있다. 컴퓨터 프로그램 명령은, 예를 들어, 랜덤 액세스 메모리와 같은 표준 메모리 디바이스를 이용한 컴퓨팅 장치에서 실행될 수 있는 메모리에 저장된다. 컴퓨터 프로그램 명령은 또한 예를 들어, CD-ROM, 플래시 드라이브 등과 같은 다른 비-일시적 컴퓨터 판독 가능 매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 본 발명에 관련된 당업자는 다양한 컴퓨팅 장치의 기능이 상호간 결합되거나, 하나의 컴퓨팅 장치로 통합되거나, 또는 특정 컴퓨팅 장치의 기능이, 본 발명의 예시적인 실시예를 벗어나지 않고, 하나 이상의 다른 컴퓨팅 장치들에 분산될 수 될 수 있다는 것을 인식해야 한다.
도 1은 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템(100)의 구성을 도시한 블럭도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 차량용 카메라 시스템(100)은 좌측 카메라(110), 우측 카메라(120), 제어부(130), 저장부(140), 블랙박스 모듈(150), 표시부(160) 및 부저부(170)를 포함할 수 있다. 또한, 본 발명의 실시예에 따른 차량용 카메라 시스템(100)은 전방 카메라(180) 및/또는 후방 카메라(190)를 더 포함할 수 있다.
좌측 카메라(110)는 차량의 좌측에 설치되어, 차량의 좌측 후방을 촬영하고, 이러한 좌측 후방 영상을 제어부(130)에 제공할 수 있다. 일례로, 한정하는 것은 아니지만, 좌측 카메라(110)는 좌측 사이드 뷰 미러 설치 영역에 대신 설치될 수 있다. 여기서, 좌측 카메라(110)는 사각 영역까지 촬영할 수 있는 광각(예를 들면, 90도 내지 180도) 카메라를 포함할 수 있다.
우측 카메라(120)는 차량의 우측에 설치되어, 차량의 우측 후방을 촬영하고, 이러한 우측 후방 영상을 제어부(130)에 제공할 수 있다. 일례로, 한정하는 것은 아니지만, 우측 카메라(120)는 우측 사이드 뷰 미러 설치 영역에 대신 설치될 수 있다. 여기서, 우측 카메라(120)는 사각 영역까지 촬영할 수 있는 광각(예를 들면, 90도 내지 180도) 카메라를 포함할 수 있다.
전방 카메라(180)는 차량의 전방에 설치되어, 차량의 전방을 촬영하고, 이러한 전방 영상을 제어부(130)에 제공할 수 있다. 일례로, 한정하는 것은 아니지만, 전방 카메라(180)는 차량의 전방 범퍼에 설치될 수 있다. 여기서, 전방 카메라(180) 역시 광각 카메라를 포함할 수 있다.
후방 카메라(190)는 차량의 후방에 설치되어, 차량의 후방을 촬영하고, 이러한 후방 영상을 제어부(130)에 제공할 수 있다. 일례로, 한정하는 것은 아니지만, 후방 카메라(190)는 차량의 후방 범퍼에 설치될 수 있다. 여기서, 후방 카메라(190)는 광각(예를 들면, 90도 내지 180도) 카메라를 포함할 수 있다.
제어부(130)는 좌,우측 카메라(110,120) 및 전,후방 카메라(180,190)로부터 전송받은 좌,우측 후방 영상 및 중앙 전,후방 영상을 각각 처리하여 표시부(160)에 출력하고 또한 저장부(140)에 저장할 수 있다.
특히, 제어부(130)는 좌측 카메라(110)로부터 좌측 후방 타 차량까지의 거리 및 속도(상대 속도 또는 절대 속도)를 측정하고, 우측 카메라(120)로부터 우측 후방 타 차량까지의 거리 및 속도(상대 속도 또는 절대 속도)를 측정하며, 후방 카메라(190)로부터 중앙 후방 타 차량까지의 거리 및 속도(상대 속도 또는 절대 속도)를 측정할 수 있다.
일례로, 한정하는 것은 아니지만, 제어부(130)는 영상 정보 처리부(131), 수직축 화소 위치 검출부(132), 거리 및 속도 추정부(133), 그리고 경고부(134)를 포함할 수 있다. 여기서, 좌,우측 카메라(110,120) 및 후방 카메라(190)로 촬영된 좌,우측 후방 영상 및 중앙 후방 영상은 각각 표시부(160)로 직접 전송되며, 상술한 영상 정보 처리부(131), 수직축 화소 위치 검출부(132) 및 거리 및 속도 추정부(133)를 통해 좌,우측 후방 타 차량 및 중앙 후방 타 차량까지의 거리와 속도(상대 속도 또는 절대 속도)가 추정된다. 영상 정보 처리부(131)는 좌,우측 카메라(110,120) 및 후방 카메라(190)에서 촬영된 좌,우측 후방 영상 및 중앙 후방 영상으로부터 휘도를 조정하고, 태양광, 가로등, 좌,우측 후방 차량 및/또는 중앙 후방 차량의 전조등 등에 의한 노이즈 등을 제거할 수 있다. 수직축 화소 위치 검출부(132)는 좌,우측 후방 영상 및 중앙 후방 영상 중에서 최하단의 수평축을 기준으로 수직축에 위치된 좌,우측 후방 및 중앙 후방 타차량까지의 화소 위치를 검출할 수 있다. 거리 및 속도 추정부(133)는 하단 수평축으로부터 수직축에 위치된 좌,우측 후방 차량 또는 중앙 후방 차량까지의 화소 위치를 기초로 하여, 좌,우측 후방 및 중앙 후방 타차량까지의 거리를 추정할 수 있다. 경고부(134)는 좌,우측 카메라(110,120) 및 후방 카메라(190)로부터 좌,우측 후방 타 차량 및 중앙 후방 타 차량까지의 거리가 사각 영역 또는 미리 결정된 기준 거리 이내일 경우, 표시부(160) 및 부저부(170)에 경고 신호를 출력할 수 있다. 여기서, 좌,우측 카메라(110,120) 및 후방 카메라(190)는 상술한 바와 같이 광각 카메라이므로, 비록 기존 좌,우측 사이드 뷰 미러를 통해서는 사각 영역의 타 차량을 볼 수 없으나, 본 발명의 좌,우측 카메라(110,120) 및/또는 후방 카메라(190)를 통해서 좌,우측 사각 영역의 후방 타 차량이 촬영된다.
상술한 바와 같이, 제어부(130)는 좌,우측 카메라(110,120) 및 전,후방 카메라(180,190)로 촬영된 영상을 표시부(160)를 통해 계속 표시하도록 하고 또한 저장부(140)에 저장할 수 있다.
저장부(140)는 상술한 바와 같이 좌측 카메라(110), 우측 카메라(120), 전방 카메라(180) 및 후방 카메라(190)를 통해 촬영된 좌측 후방 영상, 우측 후방 영상, 전방 영상 및 후방 영상을 저장할 수 있다.
블랙박스 모듈(150)은 저장부(140)에 연결되어, 필요에 따라 좌측 후방 영상, 우측 후방 영상, 전방 영상 및 후방 영상을 추출하여 사용자에게 제공할 수 있다.
표시부(160)는 기본적으로 차량의 내부에 설치되며, 기본적으로 제어부(130)로부터 출력된 좌,우측 후방 영상 및/또는 중앙 후방 영상을 좌,우측 영역 및/또는 중앙 영역에 와이드하게 일체로 표시하거나 또는 각각 분할하여 표시할 수 있다. 물론, 표시부(160)는 사용자에 의한 블랙박스 모듈(150)의 제어에 따라 전방 카메라(180)로 촬영된 차량의 전방 영상을 표시할 수도 있다.
더불어, 표시부(160)는 제어부(130)의 제어에 따라, 좌,우측 후방 영상 중 좌측의 사각 영역에 타 차량이 진입할 경우 좌측 영역에 경고 표시를 하고, 우측의 사각 영역에 타 차량이 진입할 경우 우측 영역에 경고 표시를 하며, 또한 중앙 후방에 미리 설정된 기준 거리 이내 및/또는 미리 설정된 기준 속도 이상으로 타 차량이 뒤따를 경우 중앙 영역에 경고 표시를 하며, 이를 운전자가 시각적으로 인식하도록 할 수 있다. 경고 표시는, 일례로, 한정하는 것은 아니지만, 표시부(160)의 화면을 주기적으로 적색으로 깜빡하게 하거나 또는 표시부(160)에 경고 문자를 표시할 수 있다.
부저부(170)는 제어부(130)의 제어에 따라, 좌,우측 후방 영상 및 중앙 후방 영상 중 좌측의 사각 영역에 타 차량이 진입할 경우, 우측의 사각 영역에 타 차량이 진입할 경우, 또는 중앙 후방에 기준 거리 이내 또는/및 기준 속도 이상으로 타 차량이 뒤따를 경우 경고음을 출력하여, 이를 운전자가 청각적으로 인식하도록 할 수 있다.
도 2는 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템(100) 중에서 좌,우측 카메라(110,120)의 설치 위치를 도시한 차량의 평면도이다.
도 2에 도시된 바와 같이, 좌측 카메라(110)는 차량(101)의 좌측 도어(102) 또는 좌측 사이드 뷰 미러(103)에 설치되어 차량(101)의 좌측 후방을 촬영하고, 우측 카메라(120)는 차량(101)의 우측 도어(104) 또는 우측 사이드 뷰 미러(105)에 설치되어 차량(101)의 우측 후방을 촬영할 수 있다.
더불어, 전방 카메라(180)는 차량(101)의 전방 범퍼(106)에 설치되어 차량(101)의 전방을 촬영하고, 후방 카메라(190)는 차량의 후방 범퍼(107)에 설치되어 차량(101)의 후방을 촬영할 수 있다.
도 3a 및 도 3b는 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템(100)의 동작 전,후 상태를 도시한 개략도이다. 도면에 좌측 카메라(110)를 기준으로 도시되어 있으나, 이의 구성 및 동작은 우측 카메라(120)에도 동일하게 적용될 수 있다.
도 3a 및 도 3b에 도시된 바와 같이, 카메라(110)는 직사각 플레이트 형태의 몸체(111)의 단부에 설치될 수 있다. 또한, 몸체(111)의 하면에 치차(112)가 형성될 수 있으며, 이러한 치차(113)에 회전 기어(113)가 결합될 수 있다. 더욱이, 회전 기어(113)는 전동 모터(114)에 의해 회전될 수 있다.
이러한 구성에 의해, 차량 시동 전에는 카메라(110) 및 몸체(111)가 차량의 도어 측면 내부에 안전하게 위치하게 된다. 이어서, 차량 시동 후에는 전동 모터(114)에 전원이 인가됨으로써, 회전 기어(113)가 정회전되고, 이에 따라 카메라(110) 및 몸체(111)가 차량의 도어 측면 외측으로 일정 길이 돌출됨으로써, 카메라(110)가 차량의 좌측 후방을 촬영하게 된다. 물론, 차량의 시동을 끄게 되면 전동 모터(114)의 회전 기어(113)가 역회전되고, 이에 따라 카메라(110) 및 몸체(111)는 후퇴하여 차량의 도어 내부에 안전하게 보관된다.
이와 같이 하여, 본 발명의 실시예는 카메라(110)를 차량 외측으로 항상 노출시켜 놓을 필요가 없으며, 차량의 시동 및 주행 시에만 카메라(110)가 차량 외측으로 노출/돌출됨으로써, 카메라(110)의 손상 현상 등을 최소화시킬 수 있다. 또한, 카메라(110)가 설치된 몸체(111)가 기존의 사이드 뷰 미러에 비해 슬림함으로써, 사이드 뷰 미러와 공기 사이의 마찰이 감소하고 또한 이에 따른 풍절음 현상도 감소된다.
도 4는 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템(100) 중에서 표시부(160)의 차량내 설치예를 도시한 도면이다.
도 4에 도시된 바와 같이, 표시부(160)는, 예를 들면, 한정하는 것은 아니지만, 대략 직사각 패널 형태로서, 운전자 전방의 대시보드(108)에 설치될 수 있다. 또한, 표시부(160)에서 좌측 영역은 좌측 카메라(110)로 촬영된 차량의 좌측 후방 영역을 표시하고, 우측 영역은 우측 카메라(120)로 촬영된 차량의 우측 후방 영역을 표시하며, 중앙 영역은 중앙 후방 카메라(190)로 촬영된 차량의 중앙 후방 영역을 표시할 수 있다. 이때, 좌측 후방 영상, 우측 후방 영상 및 그 사이의 중앙 후방 영상은 표시부(160)를 통하여 와이드하게 일체로 표시되거나 또는 각각 분할되어 표시될 수 있다.
따라서, 운전자는 운전 중 전방을 주시하면서도, 고개를 돌리지 않고, 차량의 좌측 후방 영역, 차량의 우측 후방 영역 및/또는 차량의 중앙 후방 영역을 주시할 수 있으므로, 본 발명은 안전 운전에 도움이 된다.
더욱이, 표시부(160)는 차량의 좌,우측 사각 영역을 포함하는 좌,우측 영상을 운전자에게 제공함으로써, 차선 변경 시 운전자에게 도움을 준다.
또한, 표시부(160)는 사각 영역 또는 미리 지정된 거리 이내에 타 차량이 있거나 또는 미리 지정된 기준 속도 이상으로 타 차량이 접근할 경우, 이를 운전자에게 인지할 수 있는 색상으로 표시함으로써, 차선 변경 시 좌측 또는 우측의 후방 타 차량과 추돌하지 않도록 도움을 준다.
또한, 표시부(160)는 차량의 중앙 후방 영역을 포함하는 중앙 후방 영상을 운전자에게 제공함으로써, 후방에서 추돌/충돌할려고 하는 차량(예를 들면, 졸음 운전 버스나 화물차 등)이 있을 경우, 이를 운전자에게 인지할 수 있는 색상으로 표시함으로써, 최근 자주 발생하는 후방 추돌/충돌에 의한 위험을 미리 회피할 수 있도록 한다.
도 5 및 도 6은 카메라로 촬영된 후방 차량의 영상을 이용하여 후방 차량까지의 거리 및 속도를 계산하는 원리를 도시한 도면이다. 도 6에서 X축은 화소 위치를 의미하고, Y축은 거리(m)를 의미할 수 있다.
도 5 및 도 6에 도시된 바와 같이, 제어부(130) 중에서 수직축 화소 위치 검출부(132)는 영상 정보 처리부(131)로부터 인가받은 좌,우측 후방 영상 및/또는 중앙 후방 영상에서 각각 후방 차량의 Y축 화소 위치를 검출할 수 있다. 예를 들어, 후방 차량과 운행 차량 사이의 거리가 가까우면, 후면 방향 영상에서 후방 차량의 Y축 화소 위치가 낮다(y1). 후방 차량과 운행 차량 사이의 거리가 점차 멀어지면, 후면 방향 영상에서 y축 화소 위치가 점차 높아진다(y2, y3). 후방 차량과 운행 차량 사이의 거리가 많이 멀어지면, 후면 방향 영상에서 y축 화소 위치가 많이 높아진다(y4).
이를 이용하여 후면 방향 영상에서 후방 차량 영상의 수직축 화소 위치(y1, y2, y3, y4)를 검출하면, 각 수직축 화소 위치(y1, y2, y3, y4)에 대응되는 후방 차량과의 차간 거리(d1, d2, d3, d4)를 추정할 수 있다.
또한, 차간 거리 변화량을 시간 변화량으로 나누면, 후방 차량의 상대 속도를 계산할 수 있다. 예를 들면, (d4-d1)/△t의 수학식을 이용하면 후방 차량이 y4 지점에서 y1 지점으로 접근하였을 때의 상대 속도를 계산할 수 있다. 물론, 여기에 운전 차량의 속도(이는 속도계나 GPS로부터 획득함)를 더하면, 후방 차량의 절대 속도도 계산할 수 있다. 더불어, 이러한 상대 속도 또는 절대 속도는 표시부(160)를 통해 표시될 수 있다.
더불어, 도면에 도시되어 있지는 않지만, 이러한 영상의 화소 분석 대신 레이더 센서를 이용하여, 좌,우측 후방의 타 차량 및/또는 중앙 후방의 타 차량까지의 거리 및 속도(상대 속도 또는 절대 속도)를 계산할 수 있다.
도 7a 및 도 7b는 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템(100) 중에서 표시부(160)에 의한 경고 표시 예를 도시한 도면이다.
도 7a에 도시된 바와 같이 표시부(160)는, 좌측 카메라(110)로부터 촬영된 좌측 후방 영상을 좌측에 표시하고, 우측 카메라(120)로부터 촬영된 우측 후방 영상을 우측에 표시할 수 있다. 여기서, 좌측 카메라(110)로 촬영된 좌측 후방의 타 차량 거리가 미리 결정된 기준 거리 이내(예를 들면, 사각 영역 이내 또는 미리 결정된 기준 속도 이상)일 경우, 좌측 화면을 깜박이거나 다른 색상으로 깜박이거나 또는 문자 등을 통하여 좌측 후방 영역, 특히 사각 영역에 타 차량이 있음을 알린다. 더불어, 우측 카메라(120)로 촬영된 우측 후방의 차량 거리가 미리 결정된 기준 거리보다 멀리 있을 경우, 상대적으로 후방 차량의 크기를 작게 표시하여, 운전자가 우측으로 차선을 변경할 수 있음을 표시할 수 있다.
도 7b에 도시된 바와 같이 표시부(160)는, 후방 카메라(190)로부터 촬영된 중앙 후방 영상을 중앙에 표시할 수 있다. 표시부(160)는 후방 카메라(190)로부터 촬영된 중앙 후방 영상을 항상 중앙에 표시하거나, 또는 후방 카메라(190)로 촬영된 중앙 후방의 차량 거리가 미리 결정된 기준 거리 이내 또는 미리 결정된 기준 속도 이상일 경우에만 새롭게 중앙에 표시하되, 중앙 화면을 깜박이거나 다른 색상으로 깜박이거나 또는 문자 등을 통하여 중앙 후방 영역의 차량이 운전 차량을 향하여 기준 거리 이내 및 기준 속도 이상으로 접근함을 표시할 수 있다.
이와 같이 하여, 본 발명의 실시예에 따른 차량용 카메라 시스템(100)은 좌,우측 후방의 타 차량 정보 뿐만 아니라 중앙 후방의 타 차량 정보까지 운전자에게 알림으로써, 운전자가 미리 회피 기동하도록 하여, 주행 안전성이 더욱 향상되도록 한다.
도 8a 및 도 8b는 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템(100) 중에서 헤드업 디스플레이의 차량내 설치예를 도시한 도면이다.
도 8a에 도시된 바와 같이, 표시부(160)는 리플렉터(161)를 향하여 좌,우측 후방 영상 및/또는 중앙 후방 영상을 표시하도록 운전자 전방의 대시보드 내부에 설치될 수도 있다. 이때, 리플렉터(161)는 운전자 전방의 윈드쉴드를 향하여 좌,우측 후방 영상(가상 영상) 및 중앙 후방 영상(가상 영상)을 표시함으로써, 헤드업 디스플레이 방식으로 운전자에게 좌,우측 후방 영상 및/또는 중앙 후방 영상을 제공할 수 있다.
도 8b에 도시된 바와 같이, 윈드 실드는 좌,우측 후방 차량의 정보(영상, 거리 및 상대/절대 속도)를 헤드업 디스플레이 방식으로 표시하고, 또한 중앙에 중앙 후방 차량의 정보(영상, 거리 및 상대/절대 속도)를 헤드업 디스플레이 방식으로 와이드하게 일체로 또는 각각 분할하여 표시할 수 있다. 여기서, 중앙 후방 차량의 정보는 항상 표시되는 것은 아니고, 기준 거리 이내에 중앙 후방 타 차량이 있거나 또는 기준 속도 이상으로 중앙 후방 타 차량이 접근할 경우 표시될 수도 있다. 또한, 운전자에게 현재 자신이 운전하고 있는 차량 후방의 어느 방향에서 차량이 뒤따라오는지를 명확하게 인지시켜주기 위해 운전자 차량의 아이콘 내지 영상을 좌,우측 후방 영상 및 중앙 후방 영상의 상단에 표시할 수도 있다.
이와 같이 하여, 차량의 좌,우측 후방 영상과 중앙 후방 영상과 운전자 차량을 표시하기 위한 표시부(160)가 운전자 전방의 대시보드에 돌출되어 설치될 필요가 없으며, 따라서 운전자의 전방을 시야를 최대한 넓게 확보할 수 있다.
도 9는 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템(100)의 동작 방법을 도시한 순서도이다. 여기서, 제어의 주체는 제어부(130)이다.
도 9에 도시된 바와 같이, 본 발명의 실시예에 따른 차량용 카메라 시스템(100)의 동작 방법은 좌,우측 및 중앙 후방 카메라 촬영 단계(S1)와, 좌,우측 및 중앙 후방 카메라 영상 표시 단계(S2)와, 좌,우측 및 중앙 후방 카메라 영상 전처리 단계(S3)와, 좌,우측 및 중앙 후방 카메라 영상 화소 검출 단계(S4)와, 좌,우측 및 중앙 후방 카메라 영상 거리/속도 추정 단계(S5)와, 좌측 후방 차량 거리가 미리 설정된 기준 거리 이내인지 또는 미리 설정된 속도 이상인지 판단하는 단계(S6)와, 좌측 영상 경고 표시 및 경고음 출력 단계(S7)와, 우측 후방 차량 거리가 미리 설정된 기준 거리 이내인지 또는 미리 설정된 속도 이상인지 판단하는 단계(S8)와, 우측 영상 경고 표시 및 경고음 출력 단계(S9)와, 중앙 후방 차량 거리가 미리 설정된 기준 거리 이내인지 또는 미리 설정된 속도 이상인지 판단하는 단계(S10)와, 중앙 후방 영상 경고 표시 및 경고음 출력 단계(S11)를 포함할 수 있다.
좌,우측 및 중앙 후방 카메라 촬영 단계(S1)에서, 제어부(130)는 좌,우측 및 중앙 후방 카메라(110,120,190)를 이용하여 차량의 좌,우측 후방 및 중앙 후방을 촬영하여 영상 정보를 획득할 수 있다.
좌,우측 및 중앙 후방 카메라 영상 표시 단계(S2)에서, 제어부(130)는 좌,우측 및 중앙 후방 카메라(110,120,190)를 이용하여 획득한 차량의 좌,우측 후방 및 중앙 후방 영상을 표시부(160)로 표시할 수 있다. 이때, 표시부(160)의 좌측 영역에는 좌측 카메라(110)로부터 얻은 차량의 좌측 후방 영상을 표시하고, 표시부(160)의 우측 영역에는 우측 카메라(120)로부터 얻은 차량의 우측 후방 영상을 표시하며, 표시부(160)의 대략 중앙 영역에는 후방 카메라(190)로부터 얻은 차량의 중앙 후방 영상을 표시할 수 있다.
좌,우측 및 중앙 후방 카메라 영상 전처리 단계(S3)에서, 제어부(130)는 영상 정보 처리부(131)를 이용하여 좌,우측 및 중앙 후방 카메라(110,120,190)로부터 얻은 영상으로부터 휘도를 조정하고, 태양광, 가로등, 후방 차량의 전조등 등에 의한 노이즈 등을 제거할 수 있다.
좌,우측 및 중앙 후방 카메라 영상 화소 검출 단계(S4)에서, 제어부(130)는 수직축 화소 위치 검출부를 이용하여 좌,우측 후방 및 중앙 후방 영상 중에서 최하단의 수평축을 기준으로 수직축에 위치된 좌,우측 후방 및 중앙 후방 타차량까지의 화소 위치를 검출할 수 있다.
좌,우측 및 중앙 후방 카메라 영상 거리 및 속도 추정 단계(S5)에서, 제어부(130)는 거리 및 속도 추정부(133)를 이용하여 하단 수평축으로부터 수직축에 위치된 좌,우측 후방 및 중앙 후방 타차량까지의 화소 위치를 기초로 하여, 좌,우측 후방 및 중앙 후방 타차량까지의 거리를 추정하도록 한다. 또한, 제어부(130)는 거리 및 속도 추정부(133)를 이용하여 타차량의 이동 거리를 시간으로 나눠 속도(상대 속도 또는 절대 속도)를 추정한다.
좌측 후방 차량 거리가 미리 설정된 기준 거리 이내인지 판단하는 단계(S6)에서, 제어부(130)는 경고부(134)를 이용하여 좌측 카메라(110)로부터 좌측 후방 타차량까지의 거리가 미리 결정된 기준 거리 이내 또는 좌측 사이드 뷰 미러로 보았을 때 사각 영역 또는 미리 결정된 기준 속도 이상인 좌측 후방 타차량이 존재하는지 판단할 수 있다.
좌측 영상 경고 표시 및 경고음 출력 단계(S7)에서, 제어부(130)는 표시부(160)를 이용하여 좌측 영역(예를 들면, 좌측 사각 영역에 또는 기준 속도 이상으로 접근하는)에 타차량이 존재함을 강조/깜박거림 등의 방법으로 알리거나, 문자로 알리거나, 또는 색상을 붉게 표시하여 알리고, 또한 부저(예를 들면, 운전석 좌측 스피커)를 이용하여 운전자에게 청각적으로 경고 신호를 출력할 수 있다. 특히, 운전석 좌측 스피커를 이용하여 경고 신호를 줄 경우, 운전자는 시각적인 확인없이도 바로 좌측 스피커에서 들리는 소리를 듣고 바로 좌측 후방에 타차량이 존재함을 인식할 수 있다.
우측 후방 차량 거리가 미리 설정된 기준 거리 이내 또는 미리 설정된 속도 이상인지 판단하는 단계(S8)에서, 제어부(130)는 경고부(134)를 이용하여 우측 카메라(120)로부터 우측 후방 타차량까지의 거리가 미리 결정된 기준 거리 이내 또는 우측 사이드 뷰 미러로 보았을 때 사각 영역 또는 미리 설정된 기준 속도 이상인 우측 후방 타차량이 존재하는지 판단할 수 있다.
우측 영상 경고 표시 및 경고음 출력 단계(S9)에서, 제어부(130)는 표시부(160)를 이용하여 우측 영역(예를 들면, 우측 사각 영역에 또는 기준 속도 이상으로 접근하는)에 타차량이 존재함을 강조/깜박거림 등의 방법으로 알리거나, 문자로 알리거나, 또는 색상을 붉게 표시하여 알리고, 또한 부저(예를 들면, 운전석 우측 스피커)를 이용하여 운전자에게 청각적으로 경고 신호를 출력할 수 있다. 특히, 운전석 우측 스피커를 이용하여 경고 신호를 줄 경우, 운전자는 시각적인 확인없이도 바로 우측 스피커에서 들리는 소리를 듣고 바로 우측 후방에 타차량이 존재함을 인식할 수 있다.
중앙 후방 차량 거리가 미리 설정된 기준 거리 이내인지 또는 미리 설정된 속도 이상인지 판단하는 단계(S10)에서, 제어부(130)는 경고부(134)를 이용하여 중앙 후방 카메라(190)로부터 중앙 후방 타 차량까지의 거리가 미리 결정된 기준 거리 이내 또는/및 미리 설정된 기준 속도 이상인 중앙 후방 타 차량이 존재하는지 판단할 수 있다.
중앙 후방 영상 경고 표시 및 경고음 출력 단계(S11)에서, 제어부(130)는 표시부(160)를 이용하여 중앙 후방 영역(예를 들면, 기준 거리 이내 및/또는 기준 속도 이상으로 접근하는)에 타 차량이 존재함을 강조/깜박거림 등의 방법으로 알리거나, 문자로 알리거나, 또는 색상을 붉게 표시하여 알리고, 또한 부저(예를 들면, 운전석 좌,우측 스피커 또는 중앙 스피커)를 이용하여 운전자에게 청각적으로 경고 신호를 출력할 수 있다. 특히, 운전석 후방 중앙 스피커를 이용하여 경고 신호를 줄 경우, 운전자는 시각적인 확인없이도 바로 후방 중앙 스피커에서 들리는 소리를 듣고 바로 중앙 후방에 타차량이 존재함을 인식할 수 있다.
이와 같이 하여, 본 발명의 다양한 실시예는 사각이 없고, 고개를 좌,우로 돌릴 필요가 없는 차량용 카메라 시스템(100)을 제공할 수 있다. 또한, 본 발명의 다양한 실시예는 좌,우측 및/또는 중앙 후방 차량이 기준 거리 이내 또는 기준 속도 이상으로 접근할 경우, 경고 화면 표시 및 경고음 출력을 수행하여 안전 운전에 도움을 주는 차량용 카메라 시스템(100)을 제공할 수 있다.
도 10을 참조하면, 본 발명의 다양한 실시예에 따른 차량용 카메라 시스템(100)의 구성에 대한 블럭도가 도시되어 있다.
도 10에 도시된 바와 같이, 제어부(230)는 좌,우측 및 후방 카메라(110,120,190)로부터 각각 전송받은 영상을 노이즈없이 하나의 영상으로 합성하여 와이드하게 표시부(160)에 표시하기 위한 구성을 포함할 수 있다. 즉, 제어부(230)는 특징점 추출부(231), 매칭점 검색부(232), 이상점 제거부(233), 호모그래피 연산부(234), 영상 관계 파악부(235) 및 워핑 영상 생성부(236)를 더 포함할 수 있다.
특징점 추출부(231)는 좌,우측 및 후방 카메라(110,120,190)로부터 전송받은 각각의 영상으로부터 특징점을 추출한다. 여기서, 특징점은, 예를 들면, 한정하는 것은 아니지만, SURF(Speeded Up Robust Features), SIFT(Scale-invariant feature transform) 등으로 언급되는 특징들에 기반한 것으로서, 각 영상들로부터 엣지나 코너점들을 추출함을 의미한다.
매칭점 검색부(232)는 추출된 특징점간의 매칭점을 검색한다. 즉, 매칭점 검색부(232)는 각 영상에서 나타나는 특징점 즉, 엣지나 코너점들을 이용하여 매칭점을 찾는다.
이상점 제거부(233)는 각각의 영상으로부터 이상점(outlier)을 제거한다. 즉, 이상점 제거부(233)는, 예를 들면, 촬영 오차나 노이즈의 영향으로 데이터의 대세(경향)상 데이터로 쓸 수 없다고 판단되는 것(outlier)을 제거한다. 반면, 촬영치 분포에서 크게 벗어나지 않은 것들 즉, 촬영 오차, 노이즈의 영향을 받았지만, 데이터의 대세(경향)를 따르는 데이터를 정상점(inlier)이라고 할 수 있다. 여기서, 이상점 제거는, 예를 들면, 한정하는 것은 아니지만, RANSAC(Random Sample Consensus) 알고리즘을 이용할 수 있다.
호모그래피 연산부(234)는 이상점이 제거된 매칭점을 이용하여 호모그래피를 연산한다. 즉, 호모그래피 연산부(234)는 각 영상들의 정상점으로부터 회전, 스케일, 이동에 대한 정보를 연산하여 획득한다.
영상 관계 파악부(235)는 상술한 바와 같이 각각의 영상에 대한 회전, 스케일 및 이동에 대한 관계를 파악한다.
마지막으로, 워핑 영상 생성부(236)는 상술한 바와 같이 호모그래피 및 영상 관계를 이용하여 각각의 영상을 하나의 영상으로 워핑(warping)하여 표시부(160)로 출력한다.
따라서, 표시부(160)는 좌,우측 및 후방 카메라(110,120,190)로부터 각각 전송받은 영상을 노이즈없이 하나의 영상으로 합성하여 와이드하게 표시할 수 있게 된다.
이와 같이 하여, 본 발명에 따른 차량용 카메라 시스템(100)은 좌,우측 및 후방 카메라로 각각 촬영한 영상들을 상호간 왜곡이나 이상없이 파노라마 뷰 방식으로 와이드하게 하나의 화면으로 사용자에게 제공함으로써, 안전 운전에 기여를 하게 된다.
이상에서 설명한 것은 본 발명에 따른 차량용 카메라 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
100; 차량용 카메라 시스템
110; 좌측 카메라 120; 우측 카메라
130; 제어부 131; 영상 정보 처리부
132; 수직축 화소 위치 검출부 133; 거리 및 속도 추정부
134; 경고부 140; 저장부
150; 블랙박스 모듈 160; 표시부
170; 부저부 180; 전방 카메라
190; 후방 카메라

Claims (9)

  1. 차량의 좌측 후방을 촬영하여 좌측 후방 영상을 전송하는 좌측 카메라;
    상기 차량의 우측 후방을 촬영하여 우측 후방 영상을 전송하는 우측 카메라;
    상기 차량의 중앙 후방을 촬영하여 중앙 후방 영상을 전송하는 후방 카메라;
    상기 좌,우측 및 후방 카메라로부터 전송받은 좌,우측 후방 영상 및 중앙 후방 영상을 처리하여 출력하는 제어부; 및
    상기 차량의 내부에 설치되며, 상기 제어부로부터 출력된 좌,우측 후방 영상 및 중앙 후방 영상을 좌,우측 영역 및 중앙 영역에 표시하는 표시부를 포함하고,
    상기 제어부는 좌,우측 후방 영상 및 중앙 후방 영상을 처리하여 좌,우측 후방 타 차량 및 중앙 후방 타 차량까지의 거리와 속도를 계산하여 상기 표시부에 출력하고,
    상기 표시부는 리플렉터를 향하여 상기 좌,우측 후방 영상 및 중앙 후방 영상을 표시하도록 대시보드 내에 설치되고, 상기 리플렉터는 운전자 전방의 윈드 쉴드를 향하여 상기 좌,우측 후방 영상 및 중앙 후방 영상을 표시하여 헤드업 디스플레이 방식으로 운전자에게 좌,우측 후방 영상 및 중앙 후방 영상을 제공하며, 또한 헤드업 디스플레이 방식으로 상기 운전자에게 현재 자신이 운전하고 있는 차량 후방의 어느 방향에서 타 차량이 뒤따라오는지를 인지시켜주기 위해 상기 운전자의 차량을 아이콘 또는 영상 형태로 상기 좌,우측 후방 영상 및 상기 중앙 후방 영상의 상단에 표시함을 특징으로 하는 차량용 카메라 시스템.
  2. 제 1 항에 있어서,
    상기 제어부는 좌,우측 후방 영상 및 중앙 후방 영상을 처리하여,
    좌,우측 후방 영상 및 중앙 후방 영상 중 좌측의 사각 영역에 타 차량이 진입할 경우 상기 표시부의 좌측 영역에 경고 표시와 함께 거리 및 속도를 더 진하게 표시하도록 하고, 우측의 사각 영역에 타 차량이 진입할 경우 상기 표시부의 우측 영역에 경고 표시와 함께 거리 및 속도를 더 진하게 표시하도록 하며, 중앙 후방 영역의 기준 거리 내에 타 차량이 진입할 경우 상기 표시부의 중앙 영역에 경고 표시와 함께 거리 및 속도를 더 진하게 표시하도록 함을 특징으로 하는 차량용 카메라 시스템.
  3. 제 1 항에 있어서,
    부저부를 더 포함하고,
    상기 제어부는 좌,우측 후방 영상 및 중앙 후방 영상을 처리하여, 좌,우측 후방 영상 및 중앙 후방 영상 중 좌측의 사각 영역에 타 차량이 진입할 경우, 우측의 사각 영역에 타 차량이 진입할 경우 또는 중앙 후방의 기준 거리 내에 타 차량이 진입할 경우 상기 부저를 통해 경고음을 출력함을 특징으로 하는 차량용 카메라 시스템.
  4. 제 1 항에 있어서,
    상기 제어부는
    상기 좌,우측 카메라 및 후방 카메라로부터 전송받은 좌,우측 후방 영상 및 중앙 후방 영상을 전처리하는 영상 정보 처리부;
    상기 전처리된 좌,우측 후방 영상 및 중앙 후방 영상으로부터 좌,우측 후방 타 차량 및 중앙 후방 타 차량까지의 수직축 화소 위치를 각각 검출하는 수직축 화소 위치 검출부;
    상기 검출된 수직축 화소 위치로부터 상기 좌,우측 후방 타 차량 및 중앙 후방 타 차량까지의 거리 및 속도를 각각 추정하는 거리 및 속도 추정부; 및
    상기 추정된 좌,우측 후방 타 차량 또는 중앙 후방 타 차량까지의 거리가 미리 정해진 기준 거리 이내일 경우 또는 미리 정해진 속도 이상일 경우 경고 영상 또는 경고음을 출력하는 경고부를 포함함을 특징으로 하는 차량용 카메라 시스템.
  5. 제 1 항에 있어서,
    상기 좌,우측 카메라는 각각 치차가 형성된 직사각 플레이트의 형태의 몸체 단부에 설치되고, 몸체의 치차에 회전 기어가 결합되며, 회전 기어에 전동 모터가 결합된 것을 특징으로 하는 차량용 카메라 시스템.
  6. 제 5 항에 있어서,
    차량의 시동 전에는 상기 전동 모터의 동작에 의해 상기 몸체가 차량 내부에 위치되고, 차량의 시동 후에는 상기 전동 모터의 동작에 의해 상기 몸체가 차량 외측으로 돌출됨을 특징으로 하는 차량용 카메라 시스템.
  7. 제 1 항에 있어서,
    상기 표시부는 직사각 패널 형태로서, 대시보드에 설치된 것을 특징으로 하는 차량용 카메라 시스템.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 제어부는
    상기 좌,우측 및 후방 카메라로부터 전송받은 각각의 영상으로부터 특징점을 추출하는 특징점 추출부;
    상기 추출된 특징점간의 매칭점을 검색하는 매칭점 검색부;
    상기 각각의 영상으로부터 이상점을 제거하는 이상점 제거부;
    상기 이상점이 제거된 상기 매칭점을 이용하여 호모그래피를 연산하는 호모그래피 연산부;
    상기 각각의 영상에 대한 회전, 스케일 및 이동에 대한 관계를 파악하는 영상 관계 파악부; 및
    상기 호모그래피 및 영상 관계를 이용하여 각각의 영상을 하나의 영상으로 워핑하는 워핑 영상 생성부를 더 포함함을 특징으로 하는 차량용 카메라 시스템.
KR1020170110688A 2017-08-31 2017-08-31 차량용 카메라 시스템 KR101849326B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170110688A KR101849326B1 (ko) 2017-08-31 2017-08-31 차량용 카메라 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170110688A KR101849326B1 (ko) 2017-08-31 2017-08-31 차량용 카메라 시스템

Publications (1)

Publication Number Publication Date
KR101849326B1 true KR101849326B1 (ko) 2018-04-17

Family

ID=62083053

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170110688A KR101849326B1 (ko) 2017-08-31 2017-08-31 차량용 카메라 시스템

Country Status (1)

Country Link
KR (1) KR101849326B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210001783A1 (en) * 2019-07-05 2021-01-07 Hyundai Mobis Co., Ltd. System and method for displaying vehicle driving information
KR20210043036A (ko) * 2019-10-10 2021-04-21 송해성 자동차의 주변 영상 표시 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000242896A (ja) * 1999-02-19 2000-09-08 Sony Corp モニタ装置
KR100466458B1 (ko) * 1999-09-20 2005-01-14 마츠시타 덴끼 산교 가부시키가이샤 운전지원장치
KR101276208B1 (ko) * 2011-05-30 2013-06-18 전자부품연구원 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000242896A (ja) * 1999-02-19 2000-09-08 Sony Corp モニタ装置
KR100466458B1 (ko) * 1999-09-20 2005-01-14 마츠시타 덴끼 산교 가부시키가이샤 운전지원장치
KR101276208B1 (ko) * 2011-05-30 2013-06-18 전자부품연구원 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210001783A1 (en) * 2019-07-05 2021-01-07 Hyundai Mobis Co., Ltd. System and method for displaying vehicle driving information
US11697380B2 (en) * 2019-07-05 2023-07-11 Hyundai Mobis Co., Ltd. System and method for displaying vehicle driving information
KR20210043036A (ko) * 2019-10-10 2021-04-21 송해성 자동차의 주변 영상 표시 장치
KR102257404B1 (ko) * 2019-10-10 2021-05-27 송해성 자동차의 주변 영상 표시 장치

Similar Documents

Publication Publication Date Title
US8933797B2 (en) Video-based warning system for a vehicle
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
JP6040897B2 (ja) 注意喚起表示装置及び注意喚起表示方法
JP5099451B2 (ja) 車両周辺確認装置
US10878253B2 (en) Periphery monitoring device
JP6307895B2 (ja) 車両用周辺監視装置
JP2007228448A (ja) 撮像環境認識装置
US10974649B2 (en) Vehicular parking assist system using backup camera
JP2006338594A (ja) 歩行者認識装置
CN106476695B (zh) 用于可视性增强的系统和方法
JP2007221200A (ja) 車両周辺監視装置
JP7077616B2 (ja) 表示制御装置および表示制御方法
WO2015111417A1 (ja) 運転支援装置、および運転支援方法
JP2018142885A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP7006460B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
KR101849326B1 (ko) 차량용 카메라 시스템
JP4930432B2 (ja) 車両用周辺監視装置
JP2011215769A (ja) 車線位置検出装置および車線位置検出方法
JP2000016181A (ja) カメラ付ドアミラー及び車両周辺認識システム
JP5083142B2 (ja) 車両周辺監視装置
JP2011003117A (ja) 後方視認支援システム
JP2007133644A (ja) 歩行者認識装置
JP4397719B2 (ja) 視線検出装置
JP5020606B2 (ja) 周辺監視装置
JP4768499B2 (ja) 車載周辺他車検出装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant