KR20240057357A - 각진 인식 라인을 갖춘 카메라 모니터 시스템 - Google Patents

각진 인식 라인을 갖춘 카메라 모니터 시스템 Download PDF

Info

Publication number
KR20240057357A
KR20240057357A KR1020230140165A KR20230140165A KR20240057357A KR 20240057357 A KR20240057357 A KR 20240057357A KR 1020230140165 A KR1020230140165 A KR 1020230140165A KR 20230140165 A KR20230140165 A KR 20230140165A KR 20240057357 A KR20240057357 A KR 20240057357A
Authority
KR
South Korea
Prior art keywords
line
recognition
adjacent
trailer
vehicle
Prior art date
Application number
KR1020230140165A
Other languages
English (en)
Inventor
샤르마 우트카르쉬
마 리앙
판 응우옌
쿠프라이더 트로이
Original Assignee
스토너릿지 일렉트로닉스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스토너릿지 일렉트로닉스 에이비 filed Critical 스토너릿지 일렉트로닉스 에이비
Publication of KR20240057357A publication Critical patent/KR20240057357A/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/408—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using a data bus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/14—Trucks; Load vehicles, Busses
    • B60Y2200/147—Trailers, e.g. full trailers or caravans
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량용 카메라 모니터 시스템에서 인식 라인(awareness line)을 표시하는 방법은 차량에 대한 인접 차선 마커(adjacent lane marker)를 검출하고, 인접 차선 마커에 수직인 인식 라인을 계산하고, 그리고 트레일러 끝단 위치와 관련하여 인식 라인을 표시하는 것을 포함한다.

Description

각진 인식 라인을 갖춘 카메라 모니터 시스템 {CAMERA MONITOR SYSTEM WITH ANGLED AWARENESS LINES}
본 개시는 상용 트럭 또는 이와 유사한 차량에서 사용하기 위한 카메라 모니터 시스템(CMS: camera monitor system), 특히 차량 위치와 관련된 인식 라인(awareness lines)을 표시하는 CMS에 관한 것이다.
배경
미러 대체 시스템 및 미러 뷰를 보완하기 위한 카메라 시스템은 차량 운전자가 주변 환경을 볼 수 있는 능력을 향상시키기 위해 상용 차량에서 활용되는 것이다. 카메라 모니터 시스템(CMS)은 하나 이상의 카메라를 활용하여 차량 운전자에게 향상된 시야를 제공한다. 일부 예에서, CMS는 기존 미러보다 더 넓은 시야를 커버하거나 기존 미러로는 완전히 확보할 수 없는 시야를 포함하기도 한다.
일반적인 CMS에는 차량의 좌측과 우측에 각각 카메라 암(arm)이 배치되어 클래스II 및 클래스IV 뷰를 제공한다. 운전석과 조수석 양쪽의 A-필러에 디스플레이가 제공되어 기존 미러를 시뮬레이션하여 해당 측에 카메라 암에 대한 시야를 표시한다.
상업용 트럭 운송에서는 긴 트레일러를 트랙터로 견인하는 경우가 많다. 차선 변경과 같은 조작 중에 운전자가 트레일러 끝단의 위치를 정확하게 관찰하기는 어렵다. 따라서, 운전자가 보다 안전하게 차량을 운행할 수 있도록 트레일러 끝단 위치 또는 트레일러 끝단 후방 위치를 나타내기 위해 계산된 "인식 라인"을 표시하는 CMS를 제공하는 것이 바람직하다.
요약
일 실시예에서, 차량용 카메라 모니터 시스템에서 인식 라인을 표시하는 방법은 차량에 대한 인접 차선 마커(adjacent lane marker)를 검출하고, 인접 차선 마커에 수직인 인식 라인을 계산하고, 트레일러 끝단 위치와 관련하여 인식 라인을 표시하는 공정을 포함한다.
상기 중 임의의 것에 대한 추가 실시예에서, 인접 차선 마커는 도로에서 점선 차선 마커 또는 실선 차선 마커 중 적어도 하나이다.
상기 중 임의의 것에 대한 추가 실시예에서, 인접한 라인은 트레일러 끝단 위치를 나타내는 트랙터 트레일러에 바로 인접해 있다.
상기 중 임의의 것에 대한 추가 실시예에서, 방법은 카메라로 이미지를 캡처하는 단계를 포함하고, 검출 단계는 캡처된 이미지에 기초한 라인 인식 알고리즘을 사용하여 수행된다.
상기 중 임의의 것에 대한 추가 실시예에서, 방법은 실제 거리를 픽셀 거리에 매핑하는 단계를 포함하고, 표시 단계(displaying step)는 인식 라인을 예시하기 위해 픽셀 거리를 표시하는 공정을 포함한다.
상기 중 임의의 것에 대한 추가 실시예에서, 표시 단계는 트레일러 끝단 위치에 인식 라인을 예시하는 공정을 포함한다.
상기 중 임의의 것에 대한 추가 실시예에서, 표시 단계는 트레일러 끝단 위치의 후방에 인식 라인을 예시하여 트레일러 끝단 위치의 후방 거리를 나타내는 공정을 포함한다.
상기 중 임의의 것에 대한 추가 실시예에서, 표시 단계는 인식 라인을 도로의 한 차선에 대응하는 폭으로 예시하는 공정을 포함한다.
상기 중 임의의 것에 대한 추가 실시예에서, 인접 차선 마커는 곡선이고, 인식 라인은 곡선진 인접 차선 마커에 접하는 라인에 수직으로 표시된다.
다른 예시적인 실시예에서, 차량용 카메라 모니터 시스템은 각각 제1 및 제2 시야를 제공하는 제1 및 제2 카메라를 구비하는 복수의 카메라를 포함한다. 복수의 디스플레이는 제1 및 제2 시야의 적어도 일부를 각각 묘사하도록 구성되는 제1 및 제2 디스플레이를 포함한다. 컨트롤러는 제1 및 제2 디스플레이, 및 제1 및 제2 카메라와 통신한다. 컨트롤러는 제1 카메라 및 제2 카메라 중 적어도 하나에 의해 캡처된 이미지를 기반으로 차량에 대한 인접 차선 마커를 검출하도록 구성된다. 컨트롤러는 인접 차선 마커에 수직인 인식 라인을 계산하고, 차량의 트레일러 끝단 위치와 관련하여 제1 디스플레이 및 제2 디스플레이 중 적어도 하나에 인식 라인을 표시하도록 구성된다.
상기 중 임의의 것에 대한 추가 실시예에서, 제1 시야 및 제2 시야(fields of view)는 각각 차량의 좌측 및 우측을 캡처한다. 제1 및 제2 시야 각각은 각각 클래스II 및/또는 클래스IV 뷰의 적어도 일부를 포함한다.
상기 중 임의의 것에 대한 추가 실시예에서, 인접 차선 마커는 도로에서 점선 차선 마커 또는 실선 차선 마커 중 적어도 하나이다.
상기 중 임의의 것에 대한 추가 실시예에서, 인접한 라인은 트레일러 끝단 위치를 나타내는 트랙터 트레일러에 바로 인접해 있다.
상기 중 임의의 것에 대한 추가 실시예에서, 컨트롤러는 캡처된 이미지에 기초하여 인접 차선 마커를 식별하기 위한 라인 인식 알고리즘을 수행하도록 구성된다.
상기 중 임의의 것에 대한 추가 실시예에서, 컨트롤러는 실제 거리를 픽셀 거리로 매핑하도록 구성되고, 인식 라인은 픽셀 거리를 예시한다.
상기 중 임의의 것에 대한 추가 실시예에서, 컨트롤러는 트레일러 끝단 위치의 제1 디스플레이 및 제2 디스플레이 중 적어도 하나에 인식 라인을 예시하도록 구성된다.
상기 중 임의의 것에 대한 추가 실시예에서, 컨트롤러는 트레일러 끝단 위치의 후방에 인식 라인을 예시하여 트레일러 끝단 위치의 후방 거리를 나타내도록 구성된다.
상기 중 임의의 것에 대한 추가 실시예에서, 컨트롤러는 도로의 한 차선에 대응하는 폭으로 인식 라인을 예시하도록 구성된다.
상기 중 임의의 것에 대한 추가 실시예에서, 인접 차선 마커는 곡선이고, 컨트롤러는 곡선형 인접 차선 마커에 접하는 라인에 수직인 인식 라인을 표시하도록 구성된다.
본 개시는 첨부된 도면과 관련하여 고려될 때 다음의 상세한 설명을 참조함으로써 더욱 잘 이해할 수 있다.
도 1a는 적어도 클래스II 및 클래스IV 뷰를 제공하는 데 사용되는 카메라 모니터 시스템(CMS)을 갖춘 상용 트럭의 개략적인 정면도이다.
도 1b는 클래스II, 클래스IV, 클래스V 및 클래스VI 뷰를 제공하는 카메라 미러 시스템이 장착된 상용 트럭의 개략적인 평면도이다.
도 2a는 디스플레이를 포함한 차량 실내의 개략적인 평면도이다.
도 2b는 개시된 카메라 모니터 시스템(CMS)에 따른 일례의 디스플레이의 사시도이다.
도 3은 디스플레이 중 적어도 하나에서 인식 라인을 생성하는 방법을 설명하는 흐름도이다.
도 4는 개시된 방법에 따른 디스플레이 상의 인식 라인을 도시한 도면이다.
다양한 양태 또는 개별적인 특징 중 임의의 것을 포함하는, 전술한 단락, 청구범위, 또는 다음의 설명 및 도면에 대한 실시예, 예 및 대안은 독립적으로 또는 임의의 조합으로 취해질 수 있다. 일 실시예와 관련하여 설명된 특징은 그러한 특징이 양립할 수 없는 경우를 제외하고는 모든 실시예에 적용 가능한 것이다. 다양한 도면에서 유사한 참조 번호 및 지정 부분은 유사한 요소를 나타낸다.
상업용 차량(10)이 도 1a 및 도 1b에 개략도로 도시되어 있다. 차량(10)은 트레일러(14)를 견인하기 위한 차량 운전실 또는 트랙터(12)를 포함한다. 차량 운전실(12) 및/또는 트레일러(14)는 임의의 구성일 수 있다는 것을 이해해야 한다. 본 개시에서는 상용 트럭이 고려되었지만, 본 발명은 다른 유형의 차량에도 적용될 수 있다. 차량(10)은 차량 운전실(12)의 외부에 장착된 운전석 및 조수석 측 카메라 암(16a, 16b)을 갖는 카메라 모니터 시스템(CMS)(15)(도 2a)을 포함한다. 필요한 경우, 카메라 암(16a, 16b)은 이들과 통합된 종래의 거울도 포함할 수 있지만, 일부 예에서는 CMS(15)가 거울을 완전히 대체하는 데 사용될 수 있다. 추가적인 예에서, 각 측면은 복수의 카메라 암을 포함할 수 있으며, 각 암은 하나 이상의 카메라 및/또는 거울을 수용한다. 각 암(16a, 16b)은 또한 CMS(15)의 다양한 기능을 제공하도록 구성된 전자 장치, 예컨대 컨트롤러를 둘러싸는 하우징을 제공할 수도 있다.
각 카메라 암(16a, 16b)은 예를 들어, 운전실(12)에 고정되는 베이스를 포함한다. 피벗 암은 베이스에 의해 지지되며, 베이스와 상대적으로 연결될 수 있다. 적어도 하나의 후방 카메라(20a, 20b)는 카메라 암(16a, 16b) 내에 각각 배치된다. 외부 카메라(20a, 20b)는 각각 상업용 트럭 운송 업계에서 법적으로 규정된 시야인 클래스II 및 클래스IV 뷰(도 1b) 중 적어도 하나를 포함하는 외부 시야(FOVEX1, FOVEX2)를 제공한다. 차량(10)의 특정 측면에 대한 클래스II 뷰는 차량(10)의 동일한 측면에 대한 클래스IV 뷰의 하위 집합이다. 원하는 경우, 이러한 뷰를 제공하기 위해 각 카메라 암(16a, 16b)에 복수의 카메라를 사용할 수도 있다. 예를 들어, 클래스II 및 클래스IV 뷰는 유럽 R46 법규에 정의되어 있으며, 미국 및 기타 국가에서는 상업용 트럭에 대해 유사한 운전자 가시성 요구 사항을 가지고 있다. "클래스" 뷰에 대한 언급은 제한적인 것이 아니라 특정 카메라가 디스플레이에 제공하는 뷰 유형을 예시하기 위한 것이다.
제1 및 제2 비디오 디스플레이 또는 모니터(18a, 18b)는 차량 운전실(12) 내의 운전석 및 조수석 측 각각에 배치되어, 차량(10)의 각 측에 클래스II 및 클래스IV 뷰를 표시하고, 이는 외부 카메라(20a, 20b)에 의해 캡처된 차량(10)을 따라 후방을 향하는 측면 뷰를 제공한다.
클래스V 및/또는 클래스VI 뷰의 비디오도 원하는 경우, 카메라 하우징(16c) 및 카메라(20c)가 차량(10)의 전면 또는 그 부근에 배치되어 이러한 뷰를 제공할 수 있다(도 1b). 앞 유리의 상단 중앙 근처에 운전실(12) 내에 배치된 제3 디스플레이(18c)는 차량(10)의 전방을 향하는 클래스V 및 클래스VI 뷰를 운전자에게 표시하는 데 사용될 수 있다. 디스플레이(18a, 18b, 18c)(일반적으로, 디스플레이(18))는 운전자/조작자가 운전석(26)에 착석하는 캐빈(22) 내의 운전자 영역(24)을 향한다. 특정 디스플레이로 스트리밍되는 위치, 크기 및 시야는 본 개시내용에 설명된 구성과 다를 수 있으며, 개시된 발명을 계속하여 포함할 수 있다.
클래스VIII 뷰의 영상이 필요한 경우, 카메라 하우징은 차량(10)의 클래스VIII 구역의 일부 또는 전부를 포함하는 시야를 제공하기 위해 차량(10)의 측면 및 후방에 배치될 수 있다. 이러한 예들에서, 제3 디스플레이(18c)는 클래스VIII 뷰를 표시하는 하나 이상의 프레임을 포함할 수 있다. 대안적으로, 제1, 제2 및 제3 디스플레이(18a, 18b, 18c) 근처에 추가 디스플레이를 추가하여 클래스VIII 뷰를 제공하기 위한 전용 디스플레이를 제공할 수 있다.
도 2a 및 도 2b를 참조하면, 각 디스플레이(18a, 18b)(및 원하는 경우 다른 디스플레이)는 예를 들어 브래킷에 의해 각각의 A-필러(19)(즉, 19a, 19b)에 장착되거나 차량 트림에 통합된 하우징을 포함한다. 스크린(28)(즉, 28a, 28b)은 운전자를 향하는 하우징 전면에 장착된다. 스크린(28)은 TFT, LCD, LED, OLED 등과 같은 임의의 적합한 스크린일 수 있다.
트레일러의 길이가 비교적 길기 때문에 차선 변경 등의 조작 시 운전자가 트레일러 끝단의 위치를 정확하게 관찰하기가 어렵다. 이를 위해, 운전자가 보다 안전하게 차량을 운행할 수 있도록 트레일러 끝단 위치 또는 트레일러 끝단의 후방 위치를 나타내도록 계산된 "인식 라인"을 디스플레이(18a, 18b) 중 적어도 하나 이상에 제공하는 것이 바람직하다. 인식 라인을 생성하고 표시하는 방법(100)이 도 3에 도시되어 있다. 일반적으로, 이 방법은 차량에 대한 인접 차선 마커를 검출하는 단계(블록 102), 인접 차선 마커에 수직인 인식 라인을 계산하는 단계(블록 104), 및 트레일러 끝단 위치와 관련하여 인식 라인을 표시하는 단계(블록 106)를 포함한다.
도 4를 참조하면, 디스플레이(18a, 18b) 중 하나의 스크린(28)은 도로(40)에 있는 차량과 그 트레일러를 예시한다. 일반적인 도로(40)는 주행 차선을 정의하는 인접 차선 마커(42)를 포함한다. 일례로, 인접 차선 마커(42)는 페인트 대시와 같은 개별적인 개별 마킹(44)을 포함하며, 이는 차선으로 추월하는 것이 허용됨을 알리거나 운전자에게 다른 정보를 전달할 수 있다.
라인 마커(42)는 하나 이상의 카메라(20)에 의해 캡처된 이미지의 이미지 처리를 사용하여 식별될 수 있다. 라인 인식 알고리즘을 사용하여 라인 또는 라인 마커를 검출하는 한 가지 예시적인 기술은 2021년 10월 19일에 출원된 발명의 명칭 "도로 표시 식별 시스템을 포함하는 상업 차량용 카메라 미러 시스템 디스플레이"의 미국 출원번호 17/504,648에 개시되어 있으며, 본 명세서에 그 전체 내용이 포함되어 있다.
인접 차선 마커에 수직인 인식 라인을 계산하는(블록 104) 것은 차량의 관심 위치, 예를 들어 트레일러 끝단을 참조하여 수행된다. 트레일러 끝단은 트레일러 끝단의 후방 거리, 예를 들어 허용 가능한 차량 추월/통과 거리에 해당하는 거리를 나타내는 데 사용되는 인식 라인을 결정하는 데에도 사용된다. 그런 다음, 관심 위치는 차선 마커에서 수직 인식 라인이 계산되는 지점을 결정하는 데 사용된다. 인접 차선 마커가 곡선인 경우, 인접 차선 마커에 접하는 라인으로부터 수직으로 인식 라인이 계산된다. 인접 차선 마커가 차량과 바로 인접한 라인일 필요는 없으며, 연석 및/또는 도로의 갓길을 기준으로 차선의 반대편에 있을 수 있다.
트레일러 끝단(48)과 같은 관심 위치의 경우, 트레일러 끝단을 식별하기 위해 다양한 기술이 사용될 수 있다. 트레일러 끝단(48)은, 예를 들어 트레일러의 바퀴(46)를 식별함으로써 적어도 부분적으로 결정될 수 있다. 트레일러 에지를 결정하고 인식 라인을 표시하는 한 가지 예시적인 기술은 2022년 3월 31일에 출원된 발명의 명칭 "상업용 차량 카메라 미러 시스템용 인식 라인의 동적 종방향 및 측면 조정"의 가출원 번호 63/325,788에 개시되어 있으며, 본 명세서에 그 전체 내용이 포함되어 있다. 그러나 이 개시된 기술은 디스플레이에 인식 라인을 수평으로 표시하는 것이다.
관심 위치로부터의 수직선이 결정되면, 이 수직선은 실제 거리에서 픽셀 거리로 매핑되어, 이 가상 라인이 유용한 인식 라인으로서 운전자에게 디스플레이(18)에 어떻게 표시되어야 하는지를 결정한다. 일 실시예에서, 인식 라인은 도로의 인접한 한 차선의 폭(58)에 대응하는 라인으로 표시하는 것이 바람직하다.
예시에서는 복수의 인식 라인(50)이 표시되었다. 예를 들어, 제1 인식 라인(52)은 트레일러 끝단(48)에 대응하고, 제2 인식 라인(54)은 트레일러 끝단(48)의 후방 제1 거리에 대응하며, 제3 인식 라인(56)은 트레일러 끝단(48) 및 제2 인식 라인(54)의 후방에 대응한다. 인식 라인(50)은 차선 폭(58)에 대응하는 방식으로 표시되기 때문에, 인식 라인(50)은 표시된 이미지의 소실점 방향으로 작아진다.
하드웨어 아키텍처 측면에서 보면, 이러한 컴퓨팅 장치는 로컬 인터페이스를 통해 통신 가능하게 연결된 프로세서, 메모리 및 하나 이상의 입력 및/또는 출력(I/O) 장치 인터페이스를 포함할 수 있다. 로컬 인터페이스는 예를 들어, 하나 이상의 버스 및/또는 기타 유선 또는 무선 연결을 포함할 수 있지만, 이에 국한되지는 않는다. 로컬 인터페이스는 통신을 가능하게 하는 컨트롤러, 버퍼(캐시), 드라이버, 리피터 및 수신기와 같이 단순화를 위해 생략된 추가 요소를 포함할 수 있다. 또한, 로컬 인터페이스는 앞서 언급한 구성요소들 간의 적절한 통신을 가능하게 하기 위해 어드레스, 제어 및/또는 데이터 연결을 포함할 수 있다.
컨트롤러(30)는 소프트웨어, 특히 메모리에 저장된 소프트웨어를 실행하기 위한 하드웨어 장치일 수 있다. 컨트롤러(30)는 맞춤형 또는 상업적으로 이용 가능한 프로세서, 중앙처리장치(CPU), 컨트롤러와 관련된 여러 프로세서 중 보조 프로세서, 반도체 기반 마이크로프로세서(마이크로칩 또는 칩 세트 형태) 또는 일반적으로 소프트웨어 명령을 실행하기 위한 임의의 장치일 수 있다.
메모리는 휘발성 메모리 요소(예를 들어, 랜덤 액세스 메모리(DRAM, SRAM, SDRAM, VRAM 등과 같은 RAM) 및/또는 비휘발성 메모리 요소(예를 들어, ROM, 하드 드라이브, 테이프, CD-ROM 등) 중의 임의의 하나 또는 조합을 포함할 수 있다. 또한, 메모리는 전자, 자기, 광학 및/또는 다른 유형의 저장 매체를 포함할 수 있다. 메모리는 다양한 구성요소가 서로 멀리 떨어져 있지만 프로세서에 의해 액세스할 수 있는 분산 아키텍처를 가질 수도 있다.
메모리에 있는 소프트웨어는 하나 이상의 개별 프로그램을 포함할 수 있으며, 각 프로그램은 논리 기능을 구현하기 위한 실행 가능한 명령의 순서화된 목록을 포함한다. 소프트웨어로 구현된 시스템 구성요소는 소스 프로그램, 실행 프로그램(객체 코드), 스크립트 또는 수행해야 할 명령 집합을 포함하는 기타 독립체(entity)로 이해될 수도 있다. 소스 프로그램으로 구성되는 경우, 프로그램은 컴파일러, 어셈블러, 인터프리터 등을 통해 번역되며, 이는 메모리 내에 포함되거나 포함되지 않을 수 있는 것이다.
시스템 I/O 인터페이스(들)에 연결될 수 있는 개시된 입력 및 출력 장치는, 예를 들어, 키보드, 마우스, 스캐너, 마이크, 카메라, 모바일 장치, 근접 장치(proximity device) 등과 같은 입력 장치를 포함할 수 있지만, 이에 국한되지는 않는다. 또한, 출력 장치는 예를 들어 프린터, 디스플레이 등이 있으나, 이에 국한되지는 않는다. 마지막으로, 입력 및 출력 장치는 변조기/복조기(모뎀; 다른 장치, 시스템 또는 네트워크에 액세스하기 위한 모뎀), 무선 주파수(RF) 또는 기타 트랜시버, 전화 인터페이스, 브리지, 라우터 등과 같이 입력 및 출력 모두로서 통신하는 장치를 더 포함할 수 있으며, 이에 국한되지는 않는다.
컨트롤러(30)가 작동 중일 때, 프로세서는 메모리 내에 저장된 소프트웨어를 실행하고, 메모리와 데이터를 주고받으며, 일반적으로 소프트웨어에 따라 컴퓨팅 장치의 동작을 제어하도록 구성될 수 있다. 메모리에 있는 소프트웨어는 전체 또는 일부가 프로세서에 의해 읽혀지고, 아마도 프로세서 내에 버퍼링된 다음 실행된다.
개시된 방법은 적어도 두 가지 이점을 제공한다. 즉, (1)인식 라인이 차선 마커의 검출 결과에 따라 인접 차선으로 한정되고, (2)인식 라인이 차선 마커에 수직으로 표시된다. 표시된 인식 라인을 통해 운전자는 디스플레이에 나타난 대로 트레일러 끝단 부근의 트럭 사각지대에 있는 물체의 거리를 더 잘 추정할 수 있어서 조작 시 더 나은 판단을 내리는 데 도움이 된다.
또한, 특정 구성요소 배치가 예시된 실시예에 개시되어 있지만, 다른 배치도 이로부터 이점을 얻을 수 있는 것으로 이해해야 한다. 특정 단계 순서가 도시되고, 설명되고, 청구되었지만, 달리 명시하지 않는 한, 단계는 임의의 순서로 수행되거나, 분리되거나, 결합될 수 있으며, 여전히 본 발명의 이점을 얻을 수 있는 것임을 이해해야 한다.
상이한 실시예들이 도면에 도시된 특정 구성요소를 가지지만, 본 발명의 실시예들은 이러한 특정 조합에 한정되지 않는다. 실시예 중 하나의 구성요소 또는 특징 중 일부를 다른 실시예의 특징 또는 구성요소와 조합하여 사용할 수 있는 것이다.
예시적인 실시예가 개시되었지만, 관련 기술분야의 통상의 기술자는 특정 수정이 청구범위 내에 포함된다는 것을 인식할 수 있을 것이다. 따라서 첨부 청구범위를 검토하여 실제 범위와 내용을 결정해야 한다.

Claims (19)

  1. 차량용 카메라 모니터 시스템에 인식 라인을 표시하는 방법으로, 상기 방법은:
    차량에 인접 차선 마커를 검출하는 단계;
    인접 차선 마커에 수직인 인식 라인을 계산하는 단계; 및
    트레일러 끝단 위치와 관련하여 인식 라인을 표시하는 단계; 를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 인접 차선 마커는 도로의 점선 차선 마커 또는 실선 차선 마커 중 적어도 하나인 것을 특징으로 하는 방법.
  3. 제2항에 있어서, 인접 라인은 트레일러 끝단 위치를 나타내는 트랙터 트레일러에 바로 인접하여 있는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 카메라로 이미지를 캡처하는 단계를 포함하고, 상기 검출 단계는 캡처된 이미지에 기초한 라인 인식 알고리즘을 사용하여 수행되는 것을 특징으로 하는 방법.
  5. 제4항에 있어서, 실제 거리를 픽셀 거리에 매핑하는 단계를 포함하고, 상기 표시 단계는 인식 라인을 예시하기 위해 픽셀 거리를 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 표시 단계는 트레일러 끝단 위치에서 인식 라인을 예시하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서, 상기 표시 단계는 트레일러 끝단 위치의 후방에 인식 라인을 예시하여 트레일러 끝단 위치의 후방 거리를 나타내는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서, 상기 표시 단계는 상기 인식 라인을 도로의 한 차선에 대응하는 폭으로 예시하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 인접 차선 마커는 곡선이고, 상기 인식 라인은 상기 곡선 인접 차선 마커에 접하는 라인에 수직으로 표시되는 것을 특징으로 하는 방법.
  10. 차량용 카메라 모니터 시스템으로, 상기 시스템은:
    각각 제1 및 제2 시야를 제공하는 제1 및 제2 카메라를 구비하는 다수의 카메라;
    상기 제1 및 제2 시야의 적어도 일부를 각각 묘사하도록 구성된 제1 및 제2 디스플레이를 구비하는 다수의 디스플레이;
    상기 제1 및 제2 디스플레이와 상기 제1 및 제2 카메라와 통신하는 컨트롤러;를 포함하고,
    상기 컨트롤러는, 상기 제1 및 제2 카메라 중 적어도 하나에 의해 캡처된 이미지에 기초하여 차량에 인접 차선 마커를 검출하게 구성되고, 그리고 인접 차선 마커와 수직인 인식 라인을 계산하고 차량의 트레일러 끝단 위치와 관련하여 제1 및 제2 디스플레이 중 적어도 하나에 인식 라인을 표시하도록 구성된 것을 특징으로 하는 시스템.
  11. 제10항에 있어서, 제1 시야 및 제2 시야가 각각 차량의 좌측 및 우측을 캡처하고, 상기 제1 및 제2 시야 각각은 클래스II 및/또는 클래스IV 뷰의 적어도 일부를 포함하는 것을 특징으로 하는 시스템.
  12. 제10항에 있어서, 인접 차선 마커는 도로의 점선 차선 마커 또는 실선 차선 마커 중 적어도 하나인 것을 특징으로 하는 시스템.
  13. 제12항에 있어서, 상기 인접 라인은 트레일러의 끝단 위치를 나타내는 트랙터 트레일러에 바로 인접한 것을 특징으로 하는 시스템.
  14. 제10항에 있어서, 상기 컨트롤러는 캡처된 이미지에 기초하여 인접 차선 마커를 식별하기 위한 라인 인식 알고리즘을 수행하도록 구성되는 것을 특징으로 하는 시스템.
  15. 제14항에 있어서, 상기 컨트롤러는 실제 거리를 픽셀 거리로 매핑하도록 구성되고, 상기 인식 라인은 픽셀 거리를 예시한 것을 특징으로 하는 시스템.
  16. 제10항에 있어서, 상기 컨트롤러는 트레일러 끝단 위치에서 제1 디스플레이 및 제2 디스플레이 중 적어도 하나에 인식 라인을 예시하도록 구성되는 것을 특징으로 하는 시스템.
  17. 제10항에 있어서, 상기 컨트롤러는 트레일러 끝단 위치의 후방에 인식 라인을 예시하여 트레일러 끝단 위치의 후방 거리를 나타내도록 구성되는 것을 특징으로 하는 시스템.
  18. 제10항에 있어서, 상기 컨트롤러는 인식 라인을 도로의 한 차선에 대응하는 폭으로 예시하도록 구성되는 것을 특징으로 하는 시스템.
  19. 제10항에 있어서, 상기 인접 차선 마커는 곡선이고, 상기 컨트롤러는 상기 곡선 인접 차선 마커에 접하는 라인에 수직인 인식 라인을 표시하도록 구성되는 것을 특징으로 하는 시스템.
KR1020230140165A 2022-10-24 2023-10-19 각진 인식 라인을 갖춘 카메라 모니터 시스템 KR20240057357A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263418688P 2022-10-24 2022-10-24
US63/418,688 2022-10-24

Publications (1)

Publication Number Publication Date
KR20240057357A true KR20240057357A (ko) 2024-05-02

Family

ID=88511589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230140165A KR20240057357A (ko) 2022-10-24 2023-10-19 각진 인식 라인을 갖춘 카메라 모니터 시스템

Country Status (5)

Country Link
US (1) US20240135606A1 (ko)
EP (1) EP4361999A1 (ko)
JP (1) JP2024062394A (ko)
KR (1) KR20240057357A (ko)
CN (1) CN117922435A (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10946798B2 (en) * 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
DE102015011536A1 (de) * 2015-09-02 2017-03-02 Man Truck & Bus Ag Spiegelersatzsystem als Kamera-Monitor-System (KMS) eines Kraftfahrzeugs, insbesondere eines Nutzfahrzeugs
US10549694B2 (en) * 2018-02-06 2020-02-04 GM Global Technology Operations LLC Vehicle-trailer rearview vision system and method
US11661006B2 (en) * 2019-09-27 2023-05-30 Magna Electronics Inc. Vehicular trailering assist system

Also Published As

Publication number Publication date
EP4361999A1 (en) 2024-05-01
CN117922435A (zh) 2024-04-26
US20240135606A1 (en) 2024-04-25
JP2024062394A (ja) 2024-05-09

Similar Documents

Publication Publication Date Title
US11553153B2 (en) Display system and method
JP6145497B2 (ja) ビジュアルシステム
US8233045B2 (en) Method and apparatus for distortion correction and image enhancing of a vehicle rear viewing system
JP7171743B2 (ja) 自動車のためのカメラモニタシステム、および自動車のためのカメラモニタシステムを動作させるための方法および装置
US11263758B2 (en) Image processing method and apparatus
GB2544158A (en) Display system and method
US11833968B2 (en) Imaging system and method
GB2529408A (en) Display system and method
WO2016120874A1 (en) Vision system
KR20240057357A (ko) 각진 인식 라인을 갖춘 카메라 모니터 시스템
US11400861B2 (en) Camera monitoring system
US20240013555A1 (en) Image based reference position identification and use for camera monitoring system
US20220383641A1 (en) Safety system for a mobile vehicle and control method thereof
US20240087159A1 (en) Camera monitor system for commercial vehicles including wheel position estimation
KR20240034949A (ko) 딥러닝 기반의 사물인식과 svm 카메라와 dsw 카메라를 이용한 운전자 시선 위치의 a 필러 사각영상 제공 장치
JP2023183870A (ja) 表示制御装置、表示装置、表示システム、車両、表示制御方法及びプログラム
CN117485243A (zh) 一种安全提醒方法、装置及车辆
JPH09265054A (ja) 車両用ヘッドアップ型表示装置