KR20180048090A - 차량용 운전 보조 장치 및 차량 - Google Patents

차량용 운전 보조 장치 및 차량 Download PDF

Info

Publication number
KR20180048090A
KR20180048090A KR1020160145238A KR20160145238A KR20180048090A KR 20180048090 A KR20180048090 A KR 20180048090A KR 1020160145238 A KR1020160145238 A KR 1020160145238A KR 20160145238 A KR20160145238 A KR 20160145238A KR 20180048090 A KR20180048090 A KR 20180048090A
Authority
KR
South Korea
Prior art keywords
trailer
vehicle
processor
image
information
Prior art date
Application number
KR1020160145238A
Other languages
English (en)
Other versions
KR101859045B1 (ko
Inventor
손종인
박연출
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020160145238A priority Critical patent/KR101859045B1/ko
Priority to US15/801,466 priority patent/US10496892B2/en
Priority to CN201711066054.8A priority patent/CN108010053A/zh
Priority to EP17199631.7A priority patent/EP3318469B1/en
Publication of KR20180048090A publication Critical patent/KR20180048090A/ko
Application granted granted Critical
Publication of KR101859045B1 publication Critical patent/KR101859045B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/30—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for sway control, e.g. stabilising or anti-fishtail devices; Sway alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/14—Tractor-trailers, i.e. combinations of a towing vehicle and one or more towed vehicles, e.g. caravans; Road trains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 발명은 카메라부, 트레일러와 차량의 연결 상태를 판단하고, 상기 카메라부로부터 영상를 수신하여, 상기 영상에 기초하여 트레일러의 자세를 판단하고, 상기 감지된 트레일러의 자세에 기초하여 상기 차량의 주행을 제어하기 위한 신호를 제공하는 프로세서;를 포함하는 차량용 운전 보조 장치에 관한 것이다.

Description

차량용 운전 보조 장치 및 차량{Apparatus for providing around view and Vehicle}
본 발명은 차량에 구비되는 차량용 운전 보조 장치 및 차량에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
차량을 이용하는 사용자의 편의를 위해, 각종 센서와 전자 장치 등이 구비되는 추세이다. 특히, 사용자의 운전 편의를 위한 다양한 장치 등이 개발되고 있다.
한편, 차량이 분절 트럭이거나 차량에 트레일러 등이 별도 부착되어 있는 경우, 주차, 주행, 도로선택 등의 문제점이 있다.
또한, 기존 차량에 별도의 기구가 추가로 부착되는 경우, 기 설정되어있는 AVM등의 카메라 장치를 의 주차 및 주행 시 활용할 수 없는 문제저점이 있다.
본 발명의 실시예는 상기한 문제점을 해결하기 위하여, 트레일러와 차량의 연결 상태를 판단하고, 상기 카메라부로부터 영상을 수신하여, 상기 영상에 기초하여 트레일러의 자세를 판단하고, 상기 감지된 트레일러의 자세에 기초하여 상기 차량의 주행을 제어하기 위한 신호를 제공하는 차량용 운전 보조 장치를 제공하는데 목적이 있다.
또한, 본 발명의 실시예는 상기 차량용 운전 보조 장치를 포함하는 차량을 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 차량용 운전 보조 장치는
카메라부; 트레일러와 차량의 연결 상태를 판단하고, 상기 카메라부로부터 영상을 수신하여, 상기 영상에 기초하여 트레일러의 자세를 판단하고, 상기 감지된 트레일러의 자세에 기초하여 상기 차량의 주행을 제어하기 위한 신호를 제공하는 프로세서;를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 카메라를 통해, 트레일러의 형태와 길이 상관없이 사각지대 영상을 획득할 수 있는 효과가 있다.
둘째, 트레일러의 효율적인 제어를 통한 사고를 예방하는 효과가 있다. 또한, 그에 따라, 트레일러의 주행, 주차에 편의를 도모하는 효과가 있다.
셋째, 기존 ADAS와 AVM시스템을 최대로 활용하여 효율성을 극대화하는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량 및 차량 및 트레일러의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따라 차량 및 트레일러에 부착되는 카메라의 위치를 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 4는 본 발명의 실시예에 따른 차량용 운전 보조 장치를 설명하는데 참조되는 블럭도이다.
도 5는 본 발명의 실시예에 따른 차량용 운전 보조 장치의 동작을 설명하는데 참조되는 플로우 차트이다.
도 6은 본 발명의 실시예에 따른 주행 상태에 따른 연결고리 제어를 설명하는데 참조되는 플로우 차트이다.
도 7은 본 발명의 실시예에 따른 트레일러 자세에 따른 충돌 회피 동작을 설명하는데 참조되는 플로우 차트이다.
도 8은 본 발명의 실시예에 따른 트레일러 자세에 따른 차선 유지 동작을 설명하는데 참조되는 플로우 차트이다.
도 9는 본 발명의 실시예에 따른 트레일러 자세에 따른 주차 동작을 설명하는데 참조되는 플로우 차트이다.
도 10은 본 발명의 실시예에 따라, 마커를 이용한 트레일러 자세 판단 동작을 설명하는데 참조되는 도면이다.
도 11은 본 발명의 실시예에 따라, 자이로 센서를 이용한 트레일러 자세 판단 동작을 설명하는데 참조되는 도면이다.
도 12는 본 발명의 실시예에 따라, 트레일러의 자세에 따라 룩업테이블를 제공하는 동작을 설명하는데 참조되는 도면이다.
도 13 는 본 발명의 실시예에 따라, 차량 직진 주행에 따라 연결고리를 제공하는 동작을 설명하는데 참조되는 도면이다.
도 14는 본 발명의 실시예에 따라, 차량 선회 주행에 따라 연결고리를 제공하는 동작을 설명하는데 참조되는 도면이다.
도 15은 본 발명의 실시예에 따라, 트레일러와 외부 오브젝트의 충돌 위험을 회피하기 위한 차량 제어 동작을 설명하는데 참조되는 도면이다.
도 16은 본 발명의 실시예에 따라, 트레일러의 주행차선 유지를 위한 차량 제어 설명하는데 참조되는 도면이다.
도 17은 본 발명의 실시예에 따라, 트레일러를 포함한 차량의 주차 동작을 설명하는데 참조되는 도면이다.
도 18은 본 발명의 실시예에 따라, 트레일러와 외부 오브젝트의 충돌 위험을 회피하기 위한 트레일러 제어 동작을 설명하는데 참조되는 도면이다.
도 19는 본 발명의 실시예에 따라, 트레일러의 주행차선 유지를 위한 트레일러 제어 동작을 설명하는데 참조되는 도면이다.
도 20은 본 발명의 실시예에 따라, 차량의 주행 경로와 동일한 경로를 주행하는 트레일러의 제어 동작을 설명하는데 참조되는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시예에 따른 차량 및 트레일러의 외관을 도시한 도면이다.
도 1을 참조하면, 차량(100)은, 동력원에 의해 회전하는 바퀴(103FR,103FL,103RL,..) 및 차량(100) 내부에 구비되는 차량용 운전 보조 장치(300)를 포함할 수 있다.
차량용 운전 보조 장치(300)는, 적어도 하나의 카메라를 구비할 수 있으며, 적어도 하나의 카메라에 의해 획득되는 이미지는, 프로세서(350) 내에서 신호 처리될 수 있다.
트레일러(900)는, 차량(100)의 주행에 기초하여 회전하는 바퀴(903FR, 903FL, 903RL,..) 및 복수의 카메라, 상기 차량과 상기 트레일러를 연결하는 연결고리(910)를 포함할 수 있다.
한편, 본 명세서에 설명되는 트레일러(900)는 상기 연결고리(910)를 통해 차량과 연결되어 차량의 주행에 대응하여 이동 할 수 있다. 차량(100) 이 전진하는 경우, 트레일러(900)는 전진할 수 있다. 또한 차량(100)이 정지 및 후진 하는 경우, 트레일러(900)는 정지 및 후진할 수 있다. 차량(100)이 선회하는 경우, 트레일러(900)는 차량의 선회방향으로 선회할 수 있다.
트레일러(900)는, 차량(100)의 움직임에 따라 수동적으로 움직인다.
예를 들면, 차량(100)이 소정 방향으로 움직이면, 연결고리(910)에 의해 차량과 연결된 트레일러(900)는, 차량(100)의 움직임을 따라 움직인다.
트레일러(900)의 조향은, 차량(100)의 조향에 종속된다.
실시예에 따라, 트레일러(900)의 프런트 휠은, 차량 진행 방향의 좌측 또는 우측으로 회전되어, 조향 입력이 이루어 질 수 있다. 트레일러(900) 휠에 대한 조향 입력은, 차량용 운전 보조 장치(300)로부터 제공될 수 있다.
도 2a는 본 발명의 실시예에 따라 차량 및 트레일러에 부착되는 카메라의 위치를 개략적으로 도시한 도면이다.
도 2(a) 및 도 2(b)를 참조하면, 차량의 주변 영상을 획득하는 복수의 카메라(310a, 310b, 310c, 310d)를 포함하고, 트레일러의 주변 영상을 획득하는 복수의 카메라(920a, 920b, 920c,)를 포함하는 차량용 운전 보조 장치에 대해 설명한다.
도 2에서 차량용 운전 보조 장치(300)가 7개의 카메라를 포함하는 것으로 도시하였지만, 본 발명은 카메라의 개수에 한정되지 아니함을 명시한다.
도 2(a)를 참조하면, 차량용 운전 보조 장치(300)는, 차량의 복수의 카메라 (310a, 310b, 310c, 310d)를 포함할 수 있다. 상기 차량의 포함된 복수의 카메라 (310a, 310b, 310c, 310d)는, 각각 차량의 전방, 후방, 좌측방 및 우측방에 배치될 수 있다.
제1 카메라(310a)는 차량의 전방에 배치되고, 제2 카메라 (310b)는 차량의 후방에 배치되고, 제3 카메라 (310c)는 차량의 좌측방에 배치되고, 제4 카메라 (310d)는 차량의 우측방에 배치될 수 있다.
제1 카메라(310a)는, 차량(100)의 엠블럼 부근 또는 라이에이터 그릴 부근에 배치 될 수 있다.
제2 카메라(310b)은, 차량(100)의 후방 번호판 또는 트렁크 스위치 부근에 배치될 수 있다.
제3 카메라(310c)은, 차량(100)의 좌측 프런트 도어, 좌측 리어 도어, 좌측 프런트 휀더, 좌측 리어 휀더, 좌측 사이드 미러 또는 좌측 프런트 휠하우스, 좌측 리어 휠하우스 중 어느 하나에 배치될 수 있다.
제4 카메라(310d)은, 차량(100)의 우측 프런트 도어, 우측 리어 도어, 우측 프런트 휀더, 우측 리어 휀더, 우측 사이드 미러 또는 우측 프런트 휠하우스, 우측 리어 휠하우스 중 어느 하나에 배치될 수 있다.
예를 들면, 제3 카메라(310c) 및 제4 카메라(310d)는가 양방향 카메라일 수 있다. 상기 양방향 카메라는 설치된 위치를 기준으로 차량의 측방 및 후방을 모두 출력하는 카메라이다.
양방향 카메라는, 2개의 카메라가 모듈로 형성되어, 차량에 부착된 위치에서 서로 다른 방향을 촬영할 수 있다. 예를 들면, 제3 카메라(310c)가 양방향 카메라로 형성되는 경우, 제3 카메라(310c)는, 차량(100)의 우측방과 후방을 촬영할 수 있다. 예를 들면, 제4 카메라(310d)가 양방향 카메라로 형성되는 경우, 제4 카메라(310d)는, 차량(100)의 좌측방과 후방을 촬영할 수 있다.
한편, 차량용 운전 보조 장치(300)는, 트레일러(900)에 배치되는의 복수의 카메라 (920a, 920b, 920c)를 포함할 수 있다.
트러일러에 포함된 복수의 카메라(920a, 920b, 920c)는, 각각 트레일러의 후방, 좌측방 및 우측방에 배치될 수 있다.
제5 카메라 (920a)는 트레일러의 후방에 배치되될 수 있다. 제6 카메라 (920b)는 트레일러의 좌측방에 배치될 수 있다. 제7 카메라 (920c)는 트레일러의 우측방에 배치될 수 있다.
차량의 카메라(310) 및 트레일러의 카메라(920)에서 촬영된 각각의 이미지는, 프로레서(350)에 전달되고, 프로세서는 상기 각각의 이미지를 합성하여, 차량 주변 영상을 생성할 수 있다.
한편, 실시예에 따라, 트레일러(900)에 배치되는 복수의 카메라(920a, 920b, 920c)는, 트레일러(900)의 하위 구성으로 분류될 수 있다. 이경우, 복수의 카메라(920a, 920b, 920c)는, 트레일러(900)에 포함된 전자 제어 장치와 전기적으로 연결될 수 있다.
프로세서(350)는, 트레일러(900)에 배치되는 복수의 카메라(920a, 920b, 920c)로부터 직접 영상을 수신하거나, 인터페이스부(330)를 통해, 트레일러의 전자 제어 장치를 경유하여 영상을 수신할 수 있다.
도 2b는 차량 차량 주변 영상의 일예를 도시한다.
차량 주변 영상은, 제1 카메라(310a)에 의해 촬영된 제1 이미지 영역(310ai), 제2 카메라(310b)에 의해 촬영된 제2 이미지 영역(310bi), 제3 카메라(310c)에 의해 촬영된 제3 이미지 영역(310ci), 제4 카메라(310d)에 의해 촬영된 제4 이미지 영역(310di), 제5 카메라(920a)에 의해 촬영된 제5 이미지 영역(920ai), 제6 카메라(920b)에 의해 촬영된 제6 이미지 영역(920bi), 및 제7 카메라(920c)에 의해 촬영된 제7 이미지 영역(920ci)을 포함할 수 있다.
한편, 복수의 카메라로부터, 어라운드 뷰 이미지 생성시, 각 이미지 영역 사이의 경계 부분이 발생한다. 이러한 경계 부분은 이미지 블렌딩(blending) 처리하여 자연스럽게 표시될 수 있다.
한편, 차량 주변 영상에는 차량 이미지(100i)가 포함될 수 있다. 여기서 차량 이미지(100i)는 프로세서(350)에 의해 생성된 이미지일 수 있다.
또한 트레일러 주변 영상에는 트레일러 이미지(900i)가 포함될 수 있다. 여기서 차량 이미지(900i)는 프로세서(350)에 의해 생성된 이미지일 수 있다.
차량 주변 영상은 차량의 디스플레이부(141) 또는 차량용 운전 보조 장치의 디스플레이부(371)를 통해 표시될 수 있다.
차량 주변 영상은, 차량 어라운드 뷰 영상 또는 차량에 관한 어라운드 뷰 영상으로 명명될 수 있다.
차량 주변 영상은, 제1 내지 제4 카메라(310a, 310b, 310c, 310d)에 의해 획득된 영상에 기초하여 생성될 수 있다.
차량 주변 영상은, 제1 내지 제7 카메라(310a, 310b, 310c, 310d, 920a, 920b, 920c)에 의해 획득된 영상에 기초하여 생성될 수 있다. 이경우, 차량 주변 영상에는, 차량 이미지(100i) 및 트레일러 이미지(900i)가 포함될 수 있다.
도 3는 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 3을 참조하면, 차량(100)은 통신부(110), 입력부(120), 센싱부(125), 메모리(130), 출력부(140), 차량 구동부(150), 오브젝트 검출부(160), 제어부(170), 인터페이스부(180), 전원 공급부(190), 및 차량용 운전 보조 장치(300)를 포함할 수 있다.
통신부(110)는, 차량(100)과 이동 단말기(미도시) 사이, 차량(100)과 외부 서버 사이 또는 차량(100)과 타차량(미도시)과의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 통신부(110)는 차량(100)을 하나 이상의 망(network)에 연결하는 하나 이상의 모듈을 포함할 수 있다.
통신부(110)는, 방송 수신 모듈(111), 무선 인터넷 모듈(112), 근거리 통신 모듈(113), 위치 정보 모듈(114), 광통신 모듈(115) 및 V2X 통신 모듈(116)을 포함할 수 있다.
방송 수신 모듈(111)은, 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 또는 방송 관련된 정보를 수신한다. 여기서, 방송은 라디오 방송 또는 TV 방송을 포함한다.
무선 인터넷 모듈(112)은, 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 차량(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(112)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들면, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(112)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 예를 들면, 무선 인터넷 모듈(112)은 외부 서버와 무선으로 데이터를 교환할 수 있다. 무선 인터넷 모듈(112)은 외부 서버로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))정보를 수신할 수 있다.
근거리 통신 모듈(113)은, 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
이러한, 근거리 통신 모듈(113)은, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다. 예를 들면, 근거리 통신 모듈(113)은 이동 단말기(미도시)와 무선으로 데이터를 교환할 수 있다. 근거리 통신 모듈(113)은 이동 단말기(미도시)로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))를 수신할 수 있다. 가령, 사용자가 차량(100)에 탑승한 경우, 사용자의 이동 단말기(미도시)와 차량(100)은 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링을 수행할 수 있다.
위치 정보 모듈(114)은, 차량(100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈이 있다. 예를 들면, 차량은 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 차량의 위치를 획득할 수 있다.
광통신 모듈(115)은, 광발신부 및 광수신부를 포함할 수 있다.
광수신부는, 광(light)신호를 전기 신호로 전환하여, 정보를 수신할 수 있다. 광수신부는 광을 수신하기 위한 포토 다이오드(PD, Photo Diode)를 포함할 수 있다. 포토 다이오드는 빛을 전기 신호로 전환할 수 있다. 예를 들면, 광수신부는 전방 차량에 포함된 광원에서 방출되는 광을 통해, 전방 차량의 정보를 수신할 수 있다.
광발신부는 전기 신호를 광 신호로 전환하기 위한 발광 소자를 적어도 하나 포함할 수 있다. 여기서, 발광 소자는 LED(Light Emitting Diode)인 것이 바람직하다. 광발신부는, 전기 신호를 광 신호로 전환하여, 외부에 발신한다. 예를 들면, 광 발신부는 소정 주파수에 대응하는 발광소자의 점멸을 통해, 광신호를 외부에 방출할 수 있다. 실시예에 따라, 광발신부는 복수의 발광 소자 어레이를 포함할 수 있다. 실시예에 따라, 광발신부는 차량(100)에 구비된 램프와 일체화될 수 있다. 예를 들면, 광발신부는 전조등, 후미등, 제동등, 방향 지시등 및 차폭등 중 적어도 어느 하나일 수 있다. 예를 들면, 광통신 모듈(115)은 광 통신을 통해 타차량(미도시)과 데이터를 교환할 수 있다.
V2X 통신 모듈(116)은, 서버 또는 타차량(미도시)과의 무선 통신 수행을 위한 모듈이다. V2X 모듈(116)은 차량간 통신(V2V) 또는 차량과 인프라간 통신(V2I) 프로토콜이 구현 가능한 모듈을 포함한다. 차량(100)은 V2X 통신 모듈(116)을 통해, 외부 서버 및 타 차량(미도시)과 무선 통신을 수행할 수 있다.
입력부(120)는, 운전 조작 수단(121), 마이크로 폰(123) 및 사용자 입력부(124)를 포함할 수 있다.
운전 조작 수단(121)은, 차량(100) 운전을 위한 사용자 입력을 수신한다. 운전 조작 수단(121)은 조향 입력 수단(121a), 쉬프트 입력 수단(121b), 가속 입력 수단(121c), 브레이크 입력 수단(121d)을 포함할 수 있다.
조향 입력 수단(121a)은, 사용자로부터 차량(100)의 진행 방향 입력을 수신한다. 조향 입력 수단(121a)은 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 수단(121a)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
쉬프트 입력 수단(121b)은, 사용자로부터 차량(100)의 주차(P), 전진(D), 중립(N), 후진(R)의 입력을 수신한다. 쉬프트 입력 수단(121b)은 레버 형태로 형성되는 것이 바람직하다. 실시예에 따라, 쉬프트 입력 수단(121b)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
가속 입력 수단(121c)은, 사용자로부터 차량(100)의 가속을 위한 입력을 수신한다. 브레이크 입력 수단(121d)은, 사용자로부터 차량(100)의 감속을 위한 입력을 수신한다. 가속 입력 수단(121c) 및 브레이크 입력 수단(121d)은 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 수단(121c) 또는 브레이크 입력 수단(121d)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
마이크로 폰(123)은, 외부의 음향 신호를 전기적인 데이터로 처리할 수 있다. 처리된 데이터는 차량(100)에서 수행 중인 기능에 따라 다양하게 활용될 수 있다. 마이크로폰(123)은 사용자의 음성 명령을 전기적인 데이터로 전환할 수 있다. 전환된 전기적인 데이터는 제어부(170)에 전달될 수 있다.
한편, 실시예에 따라, 마이크로폰(123)는 입력부(120)에 포함되는 구성요소가 아닌, 센싱부(125)에 포함되는 구성요소일 수도 있다.
사용자 입력부(124)는 사용자로부터 정보를 입력받기 위한 것이다. 사용자 입력부(124)를 통해, 정보가 입력되면, 제어부(170)는 입력된 정보에 대응되도록 차량(100)의 동작을 제어할 수 있다. 사용자 입력부(124)는 터치식 입력수단 또는 기계식 입력 수단을 포함할 수 있다. 실시예에 따라, 사용자 입력부(124)는 스티어링 휠의 일 영역에 배치될 수 있다. 이경우, 운전자는 스티어링 휠을 잡은 상태에서, 손가락으로 사용자 입력부(124)를 조작할 수 있다.
센싱부(125)는, 차량(100)의 주행 등과 관련한 신호를 센싱한다. 이를 위해, 센싱부(125)는, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 레인(rain) 센서, 초음파 센서, 레이더, 라이더(LiADAR: Light Detection And Ranging) 등을 포함할 수 있다.
이에 의해, 센싱부(125)는, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 비가 오는지에 대한 정보, 스티어링 휠 회전 각도 등에 대한 센싱 신호를 획득할 수 있다.
한편, 센싱부(125)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
센싱부(125)는 생체 인식 정보 감지부를 포함할 수 있다. 생체 인식 정보 감지부는 탑승객의 생체 인식 정보를 감지하여 획득한다. 생체 인식 정보는 지문 인식(Fingerprint) 정보, 홍채 인식(Iris-scan) 정보, 망막 인식(Retina-scan) 정보, 손모양(Hand geo-metry) 정보, 안면 인식(Facial recognition) 정보, 음성 인식(Voice recognition) 정보를 포함할 수 있다. 생체 인식 정보 감지부는 탑승객의 생체 인식 정보를 센싱하는 센서를 포함할 수 있다. 여기서, 내부 카메라 및 마이크로 폰(123)이 센서로 동작할 수 있다. 생체 인식 정보 감지부는 내부 카메라를 통해, 손모양 정보, 안면 인식 정보를 획득할 수 있다.
출력부(140)는, 제어부(170)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이 장치(141), 음향 출력부(142) 및 햅틱 출력부(143)를 포함할 수 있다.
디스플레이 장치(141)는 제어부(170)에서 처리되는 정보를 표시할 수 있다. 예를 들면, 디스플레이 장치(141)는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 차량에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량 운전자에게 운전 가이드를 위한 차량 운전 보조 정보를 포함할 수 있다. 또한, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다.
디스플레이 장치(141)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이 장치(141)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 차량(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(124)로써 기능함과 동시에, 차량(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다. 이경우, 디스플레이 장치(141)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이 장치(141)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이 장치(141)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(170)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 디스플레이 장치(141)는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이경우, 운전자는, 시선을 차량 전방에 유지한채로 클러스터에 표시되는 정보를 확인할 수 있다.
한편, 실시예에 따라, 디스플레이 장치(141)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이 장치(141)가 HUD로 구현되는 경우, 윈드 쉴드에 구비되는 투명 디스플레이를 통해 정보를 출력할 수 있다. 또는, 디스플레이 장치(141)는 투사 모듈을 구비하여 윈드 쉴드에 투사되는 이미지를 통해 정보를 출력할 수 있다.
음향 출력부(142)는 제어부(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(142)는 스피커 등을 구비할 수 있다. 음향 출력부(142)는, 사용자 입력부(124) 동작에 대응하는, 사운드를 출력하는 것도 가능하다.
햅틱 출력부(143)는 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(143)는, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
차량 구동부(150)는, 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(150)는, 차량용 운전 보조 장치(300)로부터 제어신호를 제공 받을 수 있다. 차량 구동부(150)는, 상기 제어신호를 기초로, 각 장치를 제어할 수 있다.
차량 구동부(150)는 동력원 구동부(151), 조향 구동부(152), 브레이크 구동부(153), 램프 구동부(154), 공조 구동부(155), 윈도우 구동부(156), 에어백 구동부(157), 썬루프 구동부(158) 및 서스펜션 구동부(159)를 포함할 수 있다.
동력원 구동부(151)는, 차량(100) 내의 동력원에 대한 전자식 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부(151)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(151)가 엔진인 경우, 제어부(170)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.
다른 예로, 전기 기반의 모터(미도시)가 동력원인 경우, 동력원 구동부(151)는, 모터에 대한 제어를 수행할 수 있다. 이에 의해, 모터의 회전 속도, 토크 등을 제어할 수 있다.
동력원 구동부(151)는, 차량용 운전 보조 장치(300)로부터 가속 제어신호를 수신할 수 있다. 동력원 구동부(151)는 수신된 가속 제어신호에 따라 동력원을 제어할 수 있다.
조향 구동부(152)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 차량의 진행 방향을 변경할 수 있다. 조향 구동부(152)는, 차량용 운전 보조 장치(300)로부터 스티어링 제어신호를 수신할 수 있다. 조향 구동부(152)는 수신된 스티어링 제어신호에 따라 조향되도록 조향 장치를 제어할 수 있다.
브레이크 구동부(153)는, 차량(100) 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량(100)의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다. 브레이크 구동부(153)는, 차량용 운전 보조 장치(300)로부터 감속 제어신호를 수신할 수 있다. 브레이크 구동부(159)는 수신된 감속 제어신호에 따라 브레이크 장치를 제어할 수 있다.
램프 구동부(154)는, 차량 내, 외부에 배치되는 램프의 턴 온/턴 오프를 제어할 수 있다. 또한, 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.
공조 구동부(155)는, 차량(100) 내의 공조 장치(air cinditioner)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
윈도우 구동부(156)는, 차량(100) 내의 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량의 측면의 좌,우 윈도우들에 대한 개방 또는 폐쇄를 제어할 수 있다.
에어백 구동부(157)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 위험시, 에어백이 터지도록 제어할 수 있다.
썬루프 구동부(158)는, 차량(100) 내의 썬루프 장치(sunroof apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 썬루프의 개방 또는 폐쇄를 제어할 수 있다.
서스펜션 구동부(159)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다. 서스펜션 구동부(159)는, 차량용 운전 보조 장치(300)로부터 서스펜션 제어신호를 수신할 수 있다. 서스펜션 구동부(159)는 수신된 서스펜션 제어신호에 따라 서스펜션 장치를 제어할 수 있다.
메모리(130)는, 제어부(170)와 전기적으로 연결된다. 메모리(130)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(130)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(130)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
오브젝트 검출부(160)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다. 예를 들면, 오브젝트는, 차량(100) 주변에 위치하는 보행자, 이륜차, 타 차량, 구조물 등을 포함할 수 있다. 구조물은, 벽, 가로수, 가로등, 신호등, 기둥 등, 지면에 고정되어 있는 물체일 수 있다.
오브젝트 검출부(160)는, 카메라(161), 레이다(162), 라이다(163), 초음파 센서(164), 적외선 센서(165)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출부(160)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(161)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(301)는, 모노 카메라, 스테레오 카메라(301a), AVM(Around View Monitoring) 카메라(301b) 또는 360도 카메라일 수 있다.
레이다(162)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(162)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(162)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(162)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(163)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(163)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(163)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(163)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(164)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(164)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(164)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(165)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(165)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(165)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
제어부(170)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
인터페이스부(180)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(180)는 이동 단말기(미도시)와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기(미도시)와 연결할 수 있다. 이경우, 인터페이스부(180)는 이동 단말기(미도시)와 데이터를 교환할 수 있다.
한편, 인터페이스부(180)는 연결된 이동 단말기(미도시)에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기(미도시)가 인터페이스부(180)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 인터페이스부(180)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기(미도시)에 제공한다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.
차량용 운전 보조 장치(300)는 제어부(170)와 데이터를 교환할 수 있다. 차량용 운전 보조 장치(300)에서 생성되는 각종 정보, 데이터 또는 제어신호는 제어부(170)로 출력될 수 있다.
도 4는 본 발명의 실시예에 따른 차량용 운전 보조 장치를 설명하는데 참조되는 블럭도이다.
도 4를 참조하면, 차량용 운전 보조 장치(300)는, 카메라부(310), 입력부(320), 인터페이스부(330), 메모리(340), 프로세서(350), 전원 공급부(360), 및 출력부(370)을 포함할 수 있다.
카메라부(310)는, 복수개의 카메라(310a, 310b, 310c, 310d, 920a, 920b, 920c)를 포함할 수 있다.
복수의 카메라(310a, 310b, 310c, 310d, 920a, 920b, 920c)는 차량 및또는 트레일러의 일 영역에 장착될 수 있다.
카메라부(310)는, 차량에 포함된 복수의 카메라(310)로부터 차량 주변 영상을 획득할 수 있다. 여기서, 차량 주변 영상은 차량을 중심으로 하는 차량 주변 영상일 수 있다. 또는, 영상은, 트레일러를 중심으로 하는 트레일러 주변 영상일 수 있다.
예를 들면, 카메라부(310)는, 복수의 카메라(310a, 310b, 310c, 310d)를 통해, 차량의 전방 영상, 후방 영상, 좌측방 영상, 및 우측방 영상을 획득할 수 있다.
또한, 카메라부(310)는, 트레일러에 포함된 복수의 카메라(920a, 920b, 920c)로부터를 통해, 트레일러 주변 영상을 획득할 수 있다. 여기서, 트레일러 주변 영상은 트레일러를 중심으로 하는 주변 영상일 수 있다. 예를 들면, 카메라부(310)는, 트레일러의 후방 영상, 좌측방 영상 및 우측방 영상을 획득할 수 있다.
카메라부(310)는 도 2a 내지 도 2b를 참조하여 설명한 바와 같다.
입력부(320)는, 복수의 버튼 또는 터치 스크린을 구비할 수 있다. 복수의 버튼 또는 터치 스크린을 통해, 차량용 운전 보조 장치(300)의 전원을 온 시켜, 동작시키는 것이 가능하다. 그 외, 다양한 입력 동작을 수행하는 것도 가능하다. 한편, 실시예에 따라, 입력부(320)는 사용자 음성 입력을 수신하는 음성 입력부를 포함할 수 있다. 이경우, 음성 입력부는, 사용자의 음성을 전기적 신호로 전환할 수 있는 마이크로 폰을 포함할 수 있다.
인터페이스부(330)는, 차량 관련 데이터를 수신하거나, 프로세서(350)에서 처리 또는 생성된 신호를 외부로 전송할 수 있다. 이를 위해, 인터페이스부(330)는, 유선 통신 또는 무선 통신 방식에 의해, 차량 내부의 제어부(170), 출력부(140), 센싱부(125), 차량 구동부(150), 트레일러(900)와 데이터 통신을 수행할 수 있다.
한편, 인터페이스부(330)는, 제어부(170) 또는 센싱부(125)로부터, 센서 정보를 수신할 수 있다.
여기서, 센서 정보는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차속 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 비가 오는지에 대한 정보 중 적어도 하나를 포함할 수 있다.
이러한 센서 정보는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 레인 센서, GPS 센서 등으로부터 획득될 수 있다.
한편, 센서 정보 중, 차량 주행과 관련한, 차량 방향 정보, 차량 위치 정보, 차량 각도 정보, 차량 속도 정보, 차량 기울기 정보 등을 차량 주행 정보라 명명할 수 있다.
인터페이스부(330)는, 제어부(170) 또는 차량 구동부(150)에, 신호를 제공할 수 있다. 여기서, 신호는 제어신호일 수 있다. 예를 들면, 프로세서(350)는, 동력원 구동부(751)에 가속을 위한 제어신호를 제공할 수 있다. 예를 들면, 프로세서(350)는, 인터페이스부(330)를 통해, 조향 구동부(752)에, 스티어링 제어신호를 제공할 수 있다. 예를 들면, 프로세서(350)는, 인터페이스부(330)를 통해, 브레이크 구동부(753)에, 감속을 위한 제어신호를 제공할 수 있다.
인터페이스부(330)는, 차량(100)의 센싱부(125)에 포함된 조향각 센서로부터 조향각 정보를 제공 받을 수 있다.
인터페이스부(330)는, 차량(100)의 센싱부(125)에 포함된 GPS 센서 또는, 통신부(110)에 포함된 위치 정보 모듈(714)로부터 차량의 위치 정보를 제공받을 수 있다.
인터페이스부(330)는, 차량(100)의 센싱부(125)에 포함된 차량 속도 센서로부터 차량의 주행 속도 정보를 제공받을 수 있다.
인터페이스부(330)는, 트레일러(900)로부터 데이터를 수신 받을 수 있다.
트레일러(900)는, 전자 제어 장치를 포함할 수 있다. 인터페이스부(330)는, 트레일러(900)의 전자 제어 장치와 전기적으로 연결될 수 있다.
인터페이스부(330)는, 트레일러(900)의 전자 제어 장치로부터 데이터를 수신할 수 있다.
인터페이스부(330)는, 트레일러(900)의 전자 제어 장치로, 프로세서(350)에서 생성된 제어 신호를 전달할 수 있다.
예를 들면, 인터페이스부(330)는, 트레일러(900)에 포함된 휠의 조향을 제어하는 제어 신호를 전달할 수 있다.
인터페이스부(330)는, 트레일러(900)로부터 상기 트레일러에 포함된 자이로 센서가 센싱한 트레일러의 위치정보 및 방향 정보를 제공받을 수 있다.
인터페이스부(330)는, 트레일러(900)로부터에 상기 트레일러에 포함배치된 카메라(910920a, 920b, 920c)로부터 상기 트레일러의 주변 영상을 제공받을 수 있다.
인터페이스부(330)는, 트레일러(900)로부터 상기 트레일러에 포함된 카메라외의 센서로부터 상기 트레일러의 주변 센싱 정보를 제공받을 수 있다.
예를 들면, 트레일러(900)에는, 레이다, 라이다, 초음파 센서, 적외선 센서 중 적어도 어느 하나의 센서가 배치될 수 있다. 인터페이스부(330)는, 트레일러(900)에 배치된, 레이다, 라이다, 초음파 센서, 적외선 센서 중 적어도 어느 하나로부터 센싱 정보를 수신할 수 있다.
인터페이스부(330)는, 오브젝트 검출부(160)로부터 차량 외부의 오브젝트 검출 정보를 제공받을 수 있다.
인터페이스부(330)는, 프로세서(350)에서 생성된한 연결고리 제어신호를 차량연결고리(910)에 제공할 수 있다.
인터페이스부(330)는 차량 구동부에 가속 제어신호, 제동 제어신호 및 조향 제어신호중 적어도 하나 이상을 포함하는 차량 제어신호를 제공할 수 있다.
인터페이스부(330)는 트레일러에 제동 제어신호 및 조향 제어신호 중 적어도 하나 이상 하나를 포함하는 제어신호를 제공할 수 있다.
메모리(340)는, 프로세서(350)의 처리 또는 제어를 위한 프로그램 등, 차량용 운전 보조 장치(300) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
메모리(340)는, 트레일러의 자세를 판단하기 위한 데이터를 저장할 수 있다.
예를 들면, 메모리(340)는, 트레일러(900)가 차량(100)과 정렬되어 있는 상태에 대응하여 생성된 트레일러의 자세 데이터를 마커로 저장할 수 있다. 여기서, 자세 데이터는, 마커로 명명될 수 있다.
예를 들면, 메모리(340)는, 차량(100)과 트레일러(900)가 차량(100)의 전장 방향으로 일렬로 정렬된 상태에서, 차량(100)의 후방에서, 트레일러(900)를 바라보는 영상에서, 트레일러(900)의 자세에 관한 데이터를 저장할 수 있다.
예를 들면, 메모리(340)는, 트레일러(900)의 외관 중 특징적인 부분(예를 들면, 모서리, 면 등)에 대응되는 영역을 점, 선 또는 면으로 매칭시킨 이미지 형태의 데이터로 저장할 수 있다. 여기서, 특정적인 부분에 대응되는 영역을 점, 선 또는 면으로 매칭시킨 부분을 마커로 명명할 수 있다.
또한, 메모리(340)는 트레일러(900)가 차량(100)과 정렬되어 있는 상태에 기초하여, 상기 트레일러(900)에 포함된 자이로 센서가 센싱한 트레일러 위치 정보 및 방향 정보를 저장할 수 있다.
메모리(340)는 트레일러의 자세 정보를 저장할 수 있다.
메모리(340)는 트레일러의 자세 정보에 대응하여 미리 생성된 복수의 룩업테이블(Look Up Table, LUT)을 저장할 수 있다.
예를 들면, 메모리(340)는, 트레일러(900)의 제1 자세에 대응되는, 제1 룩업 테이블, 트레일러(900)의 제2 자세에 대응되는 제2 룩업 테이블 및 트레일러(900)의 제3 자세에 대응되는 제3 룩업 테이블을 저장할 수 있다.
여기서, 트레일러(900)의 자세는, 차량(100)과 트레일러(900)의 연결 상태를 기초로 결정될 수 있다.
예를 들면, 트레일러(900)의 자세는, 차량(100)을 기준으로, 차량(100)의 전장 방향으로, 트레일러(900)가 어디에 위치하는지 여부에 의해 결정될 수 있다. 예를 들면, 트레일러(900)의 자세는, 위에서 볼때, 차량(100)과 트레일러(900)가 어떻게 연결되는지 여부에 의해 결정될 수 있다.
메모리(340)는 오브젝트 확인을 위한 데이터를 저장할 수 있다. 예를 들면, 메모리(340)는, 카메라부(310)을 통해 획득된 영상에서, 소정 오브젝트가 검출되는 경우, 소정 알고리즘에 의해, 상기 오브젝트가 무엇에 해당하는지 확인하기 위한 데이터를 저장할 수 있다.
한편, 메모리(340)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다.
프로세서(350)는, 차량용 운전 보조 장치(300) 내의 각 유닛의 전반적인 동작을 제어한다.
프로세서(350)는 카메라부(310)로부터 수신받은 차량 주변 영상을 처리할 수 있다. 특히, 프로세서(350)는 컴퓨터 비전 (computer vision) 기반의 신호 처리를 수행한다. 프로세서(350)는, 오브젝트 검출 및 오브젝트 트래킹을 수행할 수 있다. 특히, 프로세서(350)는, 오브젝트 검출시, 차선 검출(Lane Detection, LD), 주변 차량 검출(Vehicle Detection, VD), 보행자 검출(Pedestrian Detection,PD), 불빛 검출(Brightspot Detection, BD), 교통 신호 검출(Traffic Sign Recognition, TSR), 도로면 검출 등을 수행할 수 있다.
프로세서(350)는 카메라부(310)로부터 수신받은 차량 주변 영상에서 정보를 검출할 수 있다.
정보는 차량 주행 상황에 대한 정보일 수 있다. 예를 들면, 정보는 차량이 주행하는 도로 정보, 교통 법규 정보, 주변 차량 정보, 차량 또는 보행자 신호등 정보, 공사 정보, 교통 상황 정보, 주차장 정보, 차선 정보 등을 포함하는 개념일 수 있다.
프로세서(350)는 검출된 정보를 메모리(340)에 저장된 정보와 비교하여, 정보를 확인할 수 있다.
한편, 프로세서(350)는, 차량용 운전 보조 장치(300)에서, 이미지를 기반으로 파악한, 차량 주변 교통 상황 정보를, 실시간으로 파악할 수도 있다.
한편, 프로세서(350)는, 인터페이스부(330)를 통해, 제어부(170) 또는 센싱부(125)로부터, 센서 정보를 수신할 수 있다. 여기서, 센서 정보는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 정보 중 적어도 하나를 포함할 수 있다.
프로세서(350)는, 트레일러(900)와 차량(100)의 연결 상태를 판단할 수 있다.
프로세서(350)는, 트레일러(900)와 차량(100)이 전기적으로 연결되었는지 여부를 기초로, 트레일러(900)와 차량(100)의 연결 상태를 판단할 수 있다.
프로세서(350)는, 카메라부(310)에서 획득된 영상을 기초로, 트레일러(900)와 차량(100)의 연결 상태를 판단할 수 있다.
프로세서(350)는, 오브젝트 검출부(160)를 통해 검출된 트레일러(900) 센싱 정보에 기초하여, 트레일러(900)와 차량(100)의 연결 상태를 판단할 수 있다.
프로세서(350)는, 입력부(320)을 통해 수신되는, 사용자 입력에 기초하여, 트레일러(900)와 차량(100)의 연결 상태를 판단할 수 있다.
상기 연결 상태는 차량과 트레일러가 전기적으로 연결된 상태이다.
차량(100)과 트레일러(900)가 전기적으로 연결되는 경우, 프로세서(350)는, 트레일러(900)로부터 데이터, 정보, 신호를 수신할 수 있다.
상기여기서, 데이터는 트레일러로부터 제공수신되는 센싱 정보는, 트레일러의 영상 정보, 트레일러 방향 정보, 트레일러 위치 정보(GPS 정보), 트레일러 각도 정보, 트레일러 속도 정보, 트레일러 가속도 정보, 트레일러 기울기 정보, 트레일러 램프 정보중 적어도 하나를 포함할 수 있다.
한편 프로세서(350)는, 카메라부(310)로부터 제공받는 차량의 후방영상에서 트레일러가 검출되고, 상기 트레일러에 데이터가 송신되는 경우, 트레일러와 차량이 연결되었다고 판단할 수 있다.
한편, 프로세서(350)는, 트레일러(900)와 연결된 차량(100)이, 지정된 장소를 주행하는 경우, 트레일러(900)의 길이를 추정할 수 있다.
가령, 트레일러(900)와 연결된 차량(100)이 기 설정 범위의 구간을 통과할 때, 걸리는 시간을 측정함으로써, 프로세서(350)는, 트레일러(900)의 길이를 추정할 수 있다.
프로세서(350)는, 인터페이스부(330)를 통해, 트레일러로부터 데이터를 제공받을 수 있다.
프로세서(350)는, 차량(100)과 트레일러(900)가 연결 된 경우, 트레일러로부터 트레일러의 형태 정보를 제공받을 수 있다. 상기 트레일러의 형태 정보는, 트레일러의 길이, 넓이, 높이를 포함하는 트레일러(900)의 외관에 관한 수치 정보이다.
프로세서(350)는 입력부(320)을 통해 수신되는 사용자의 입력에 기초하여, 트레일러의 형태 정보를 제공받을 수 있다.
프로세서(350)는, 차량(100)과 트레일러(900)가 연결 된 경우, 차량의 센싱부(125)로부터 센싱정보를 제공받아, 트레일러 형태를 판단할 수 있다.
예를 들면, 트레일러의 길이를 센싱하는 경우, 프로세서(350)는 트레일러(900)가 지정된 장소를 주행하여 생성된 위치 정보에 기초하여, 트레일러의 길이를 판단할 수 있다.
프로세서(350)는, 인터페이스부(330)를 통해 트레일러(900)로부터 데이터를 제공받는 경우, 차량(100)과 트레일러(900)가 연결된 상태라고 판단할 수 있다.
한편, 프로세서(350)는, 인터페이스부(330)를 통해 트레일러(900)로부터 데이터를 제공받지 않는 경우, 차량과 트레일러가 연결 상태가 아니라고 판단할 수 있다.
프로세서(350)는, 카메라부(310)로부터 제공받은 영상에 기초하여, 트레일러의 자세를 판단 할 수 있다.
상기 트레일러의 자세는, 차량(100)의 전장 방향과 트레일러(900)의 전장 방향 간의 각도 차이 및 상기 차량(100)의 후면과 상기 트레일러(900)의 전면 사이의 거리를 포함한 데이터이다.
트레일러 자세는, 트레일러(900)가 차량(100)에 연결된 상태를 의미할 수 있다.
예를 들면, 트레일러(900) 자세는, 위에서 볼때, 트레일러(900)가 차량(100)에 연결된 상태일 수 있다.
예를 들면, 트레일러(900) 자세는, 차량(100)과 트레일러(900)가 전장 방향으로 일자를 형성하는 모습을 기준으로 결정될 수 있다.
예를 들면, 트레일러(900)는, 위에서 볼때, 차량(100)과 차량의 진행 방향을 기준으로 꺽이지 않은 상태의 자세를 취할 수 있다.
예를 들면, 트레일러(900)는, 위에서 볼때, 차량(100)과 차량의 진행 방향을 기준으로 좌측으로 소정의 각도로 꺽인 상태의 자세를 취할 수 있다.
예를 들면, 트레일러(900)는, 위에서 볼때, 차량(100)과 차량의 진행 방향을 기준으로 우측으로 소정의 각도로 꺽인 상태의 자세를 취할 수 있다.
프로세서(350)는 카메라부(310)에 포함된 후방 카메라(310b)에서 제공받은 영상에서 트레일러(900)를 검출할 수 있다. 프로세서(350)는, 상기 카메라부(310)에 포함된 제2 카메라로부터 획득된 제 2영상에서 상기 차량과 연결되어있는 트레일러(900)를 검출할 수 있다.
프로세서(350)는, 메모리(340)를 통해, 마커(1010)를 제공 받을 수 있다.
마커는, 트레일러(900)의 자세를 판단하기 위해 기준이 되는 기준 데이터일 수 있다.
마커는, 트레일러(900)가 차량(100)과 일렬로 배치된 상태에서, 차량(100)의 후방에서 트레일러(900)를 바라보는 영상을 기초로 생성된 기준 데이터일 수 있다. 구체적으로, 마커는, 차량(100)의 후방 영상에서, 트레일러의 이미지를 형성하는 특징점에, 점, 선 또는 면을 매칭시켜 형성될 수 있다. 이러한, 마커는, 디폴트로 생성되거나, 사용자 설정에 의해 생성될 수 있다.
상기 마커는 차량의 제 2영상에서 검출된 트레일러(900)와 매칭되어 상기 검출된 트레일러의 자세를 파악하기 위한 데이터이다.
상기 마커는 상기 차량 후방에 트레일러가 일직선으로 정렬되어 차량의 전장 방향과 트레일러의 전장 방향이 같은 때, 트레일러의 자세에 기초하여 생성된 데이터이다.
상기 마커는 상기 검출된 트레일러에 대응하여 트레일러의 전면부의 하측 모서리에 매칭되는 전방 마커(1011), 상기 트레일러의 전면부의 좌측방 모서리에 매칭되는 좌측방 마커(1013) 및 상기 트레일러(900) 의 전면부의 우측방에 매칭되는 우측방 마커(1015)를 포함할 수 있다.
프로세서(350)는 카메라부(310)로부 제공받은 영상에서 검출한 트레일러 이미지와 마커를 매칭할 수 있다.
프로세서(350)는 메모리(340)로부터 저장된 기 설정된 마커를 상기 트레일러를 검출한 영상에 매칭할 수 있다
예를 들면, 프로세서(350)는 전방 마커(1011)를 검출된 트레일러의 전면부의 하측 모서리에 매칭할수 있다. 프로세서(350)는 좌측방 마커를 검출된 트레일러의 전면부의 좌측방 모서리에 매칭할 수 있다. 프로세서(350)는 우측방 마커를 검출된 트레일러의 전면부의 우측방 모서리에 매칭할 수 있다.
프로세서(350)는, 차량의 후방 영상에 마커(1010)를 오버레이 시킨 후, 트레일러 이미지와 마커를 비교하여, 트레일러의 자세를 판단할 수 있다.
예를 들면, 프로세서(350)는, 트레일러의 특징점과 마커를 비교하여, 트레일러의 자세를 판단할 수 있다. 구체적으로, 프로세서(350)는, 트레일러(900)의 우측 상단 모서리에 대응되는 마커와, 획득된 영상에서, 트레일러(900)의 우측 상단 모서리가 차지하는 영역을 비교하여, 트레일러(900)의 자세를 판단할 수 있다. 또는, 프로세서(250)는, 트레일러(900)의 좌측 상단 모서리에 대응되는 마커와, 획득된 영상에서, 트레일러(900)의 좌측 상단 모서리가 차지하는 영역을 비교하여, 트레일러(900)의 자세를 판단할 수 있다.
프로세서(350)는 트레일러(900) 이미지와 마커(1010)가 매칭되어 이루는 각도에 기초하여, 트레일러의 자세를 판단할 수 있다.
예를 들어, 프로세서(350)는, 상기 전방 마커(1011)를 검출된 트레일러의 전면부의 하측 모서리에 평행하게 매칭하고, 상기 좌측방 마커(1013)와 상기 트레일러 전면부의 좌측방 모서리가 이루는 각도 및 우측방 마커(1015)와 상기 트레일러 전면부의 우측방 모서리가 이루는 각도에 기초하여, 트레일러의 자세를 판단할 수 있다.
예를 들어, 프로세서(350)는, 상기 좌측방 마커(1013)를 검출된 트레일러의 전면부의 좌측방 모서리에 평행하게 매칭하고, 상기 전방 마커(1013)와 상기 트레일러 전면부 전면부의 하측 모서리가 이루는 각도 및 우측방 마커(1015)와 상기 트레일러 전면부의 우측방 모서리가 이루는 각도에 기초하여, 트레일러의 자세를 판단할 수 있다.
예를 들어, 프로세서(350)는 상기 우측방 마커(1015)를 검출된 트레일러의 전면부의 우측방 모서리에 평행하게 매칭하고, 상기 전방 마커(1011)와 상기 트레일러 전면부의 하측 모서리가 이루는 각도 및 우측방 마커(1015)와 상기 트레일러 전면부의 우측방 모서리가 이루는 각도에 기초하여, 트레일러의 자세를 판단할 수 있다.
프로세서(350)는 트레일러 크기 이상의 하나의 영상을 메모리(340)로부터 제공받아, 상기 차량의 후방 카메라로부터 제공된 영상을 분석하여 트레일러의 자세를 판단할 수 있다.
프로세서(350)는 인터페이부(330)를 통해 트레일러로부터 자이로 센싱 정보를 제공받을 수 있다. 상기 자이로 센싱 정보는 트레일러의 포함된 자이로 센서로부터 셍신된 위치 정보 및 방향 정보를 포함할 수 있다.
상기 자이로센서는 트레일러(900)의 일 영역에 배치될 수 있다. 자이로센서는, 하나 이상일 수 있다. 예를 들면, 자이로 센서는 트레일러의 좌측 상단, 좌측 하단, 우측 상단, 우측 하단에 적어도 하나씩 배치 될 수 있다.
프로세서(350)는 트레일러의 위치정보 및 방향 정보에 기초하여 트레일러의 자세를 판단할 수 있다.
프로세서(350)는 메모리(340)로부터 차량(100)과 트레일러(900)가 정렬 되어 있는 상태에서 자이로 센서에 의해 감지된 기 설정된 기준값을 제공받을 수 있다.
프로세서(350)는 트레일러(900)로부터 위치 정보 및 방향 정보를 포함한 자이로 센싱 정보를 수신할 수 있다
프로세서(350)는 메모리(340)로부터 수신한 자이로 센싱 정보와 현재 트레일러의 자이로 센싱 정보 에 기초하여, 트레일러(900)의 자세를 판단할 수 있다.
프로세서(350)는, 카메라부(310)로부터 제공받은 복수의 영상을 합성하여 어라운드 뷰 영상을 생성할 수 있다.
상기 어라운드 뷰는 복수의 카메라를 이용하여 차량의 전방, 후방, 좌측방, 우측방의 이미지를 합성하여 생성된 이미지이다. 이때, 어라운드 뷰 이미지는 탑뷰 이미지일 수 있다. 한편 어라운드 뷰에는 차량의 이미지(300i)가 포함될 수 있다. 여기서 차량의 이미지(300i)는 프로세서(350)에 의해 생성된 이미지일 수 있다.
프로세서(350)는 차량의 이미지를 포함하는 어라운드 뷰에 기초하여, 차량 및 트레일러에 관한 어라운드 뷰 영상을 생성할 수 있다.
상기 차량 및 트레일러를 포함하는 어라운드 뷰는 복수의 카메라를 이용하여 차량의 전방, 차량의 후방, 차량의 좌측방, 차량의 우측방, 트레일러의 좌측방, 트레일러의 우측방, 트레일러의 후방의 이미지를 합성하여 생성된 이미지이다.
프로세서(350)는, 트레일러(900)가 연결되어 기존의 차량 중심에 어라운드 뷰에서 트레일러(900)에 의한 사각지대가 발생할 경우, 사각 지대에 대응하여 어라운드 뷰를 보정할 수 있다.
예를 들면, 제3 카메라(310c) 및 제4 카메라(310d)가 양방향 카메라인 경우, 프로세서(350)는 제3 카메라(310c)로부터 트레일러에 의한 사각지대를 포함한 제3 이미지 영역(310ci) 영역을 제공 받을 수 있다. 프로세서(350)는 제4 카메라(310d)로부터 트레일러에 의한 사각지대를 포함한 제4 이미지 영역(310di) 영역을 제공 받을 수 있다.
예를 들면, 차량의 일 부분에 상기 사각지대를 비춰주는 거울이 부착되는 경우, 프로세서(350)는 제3 카메라(310c)가 상기 거울에 통해 획득한 트레일러의 사각지대를 포함한 제3 이미지 영역(310ci)을 제공 받을 수 있다. 프로세서(350)는 제4 카메라(310d)가 상기 거울에 통해 획득한 트레일러의 사각지대를 포함한 제4 이미지 영역(310di)을 제공 받을 수 있다.
프로세서(350)는, 트레일러의 후방에 배치된 제5 카메라(920a)로부터 제5 이미지 영역(920ai)을 제공받을 수 있다.
프로세서(350)는, 트레일러에 포함된 복수의 카메라에서 획득된 복수의 영상 각각을 합성하여 차량 및 트레일러를 포함하는 어라운드 뷰 영상을 생성할 수 있다.
프로세서(350)는 인터페이스부(330)를 통해 트레일러 포함된 복수의 카메라로(920)부터 트레일러의 주변 영상을 제공받을 수 있다.
상기 트레일러의 주변 영상은 제5 카메라 (920a)로부터 수신되는 트레일러 후방 영상, 제6 카메라 (920b)로부터 수신되는 트레일러 좌측방 영상, 제7 카메라 (920c)로부터 수신되는 트레일러 우측방 영상을 포함할 수 있다.
프로세서(350)는 트레일러의 주변 영상과 상기 차량의 이미지를 더 포함하는 어라운드뷰 영상을 조합하여, 상기 차량 및 상기 트레일러(900)에 관한 어라운드뷰 영상을 생성할 수 있다.
프로세서(350)는 상기 차량을 포함하는 어라운드뷰 영상을 기초로하여, 트레일러의 주변 영상과 겹치는 영역의 특징점들을 기초로 영상을 합성할 수 있다. 예를 들면, 프로세서(350)는, 제3 카메라에서 획득된 제3 영상과 제6 카메라에서 획득된 제2 영상 중 겹치는 영역에서 공통되는 특징점을 검출할 수 있다. 프로세서(350)는, 공통되는 특징점을 기초로, 제3 영상 및 제6 영상을 합성할 수 있다.
이와 같은 방법으로, 프로세서(350)는, 차량(100) 및 트레일러(900)에서 획득한 복수의 영상 각각을 합성하여 차량 및 트레일러를 포함한 어라운드뷰 영상을 생성할 수 있다. 한편, 상기 어라운드 뷰에는 차량의 이미지(100i) 및 트레일러 이미지(900i)가 포함될 수 있다.
여기서 차량 이미지(100i)는 프로세서(350)에 의해 생성된 이미지일 수 있다. 또한, 트레일러 이미지(900i)는 프로세서(350)에 의해 생성된 이미지일 수 있다.
프로세서(350)는 레이다, 라이다, 초음파, 센서, 적외선 센서 중 적어도 하나 이상의 센서로부터 출력되는 센싱 정보에 대응하여 상기 차량 및 상기 트레일러에 관한 어라운드뷰를 생성할 수 있다.
프로세서(350)는, 인터페이스부(330)를 통해 트레일러로(900)부터 레이다, 라이다, 초음파, 센서, 적외선 센서 중 적어도 하나 이상의 센서로부터 오브젝트 검출 유무, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도 등의 센싱정보를 제공받을 수 있다.
프로세서(350)는 상기 센싱 정보에 대응하여, 차량(100) 및 트레일러(900)를 포함한 어라운드뷰 영상을 생성할 수 있다.
프로세서(350)는, 상기 카메라로부터 수신된 영상에 사각지대가 생성되는 경우, 상기 센싱 정보에 대응하여 어라운드 뷰를 보정할 수 있다.
프로세서(350)는 센싱 정보에 대응하여 생성된 어라운드 뷰의 영역은 영상 정보에 의해 생성된 어라운드 뷰의 영역과 구분할 수 있다. 프로세서(350)는 보정된 어라운드 뷰를 출력부(370)에 제공할 수 있다.
프로세서(350)는 메모리(340)부로부터 트레일러의 자세에 대응하여 미리 생성된 복수의 룩업테이블을 제공받을 수 있다.
상기 룩업 테이블은 카메라부(310)로부터 제공되는 영상을 어라운드뷰로 생성하기 위해 트레일러의 복수의 자세에 대응하여 변경되는 영상들의 좌표 및 영상합성 영역을 저장하는 데이터이다.
프로세서(350)는, 트레일러의 자세가 변경되는 경우, 변경된 트레일러의 자세에 대응하는 룩업테이블에 기초하여 차량 및 트레일러에 관한 어라운드 뷰 영상을 생성할 수 있다,
프로세서(350)는, 트레일러 자세에 변경하는 경우, 메모리에 저장되어 있는 따른 다수의 룩업테이블 중, 현재 트레일러의 자세에 대응하는 룩업테이블을 제공받을 수 있다. 프로세서(350)는 선택된 룩업테이블에 기초하여 변경된 트레일러의 자세에 대응하는 어라운드 뷰 영상을 제공할수 있다.
예를 들면, 트레일러(900)가 차량 진행 방향의 좌측으로 꺽인 상태로 차량(100)과 연결된 경우, 트레일러의 전장방향이 차량의 전장 방향 기준으로 좌측방인 경우, 프로세서(350)는 메모리(340)로부터 트레일러 전장방향이 좌측방인 자세에 대응하는 룩업테이블을 제공받을 수있다. 프로세서(350)는 룩업테이블에 기초하여, 상기 좌측방 자세의 트레일러(900)를 포함하는 어라운드 뷰를 제공할 수 있다.
예를 들면, 트레일러(900)가 차량 진행 방향의 우측으로 꺽인 상태로 차량(100)과 연결된 경우, 예를 들면, 트레일러의 전장방향이 차량의 전장 방향 기준으로 우측방인 경우, 프로세서(350)는 메모리(340)로부터 트레일러 전장 방향이 우측방인의 자세에 대응하는 룩업테이블을 제공받을 수있다. 프로세서(350)는 룩업테이블에 기초하여, 상기 우측방 자세의 트레일러(900)를 포함하는 어라운드 뷰를 제공할 수 있다.
프로세서(350)는, 트레일러의 자세에 기초하여 차량의 주행을 제어하는 신호를 생성할 수 있다. 프로세서(350)는 인터페이스부(330)를 통하여 차량의 주행을 제어하는 신호를 제어부(170) 또는 차량 구동부(150)에 제공할 수 있다. 제어부(170)나 차량 구동부(150)는, 프로세서(350)가 제공하는 제어신호에 기초하여 차량(100)이 주행되도록 할 수 있다.
프로세서(350)는 트레일러의 주행 상태에 기초하여 차량의 연결고리의 상태를 고정상태 또는 조정상태로 제어하기 위한 신호를 제공하는 할 수 있다. 상기
연결고리(910)는 차량(100)과 트레일러(900)를 물리적으로 연결하는 연결장치이다.
연결고리(910)는, 프로세서(350)에서 생성된 제어 신호에 의해 제어될 수 있다. 예를 들면, 연결고리(910)는, 제어 신호에 따라, 고정 상태 또는 조정 상태로 전환될 수 있다.
상기 연결고리 고정상태는 차량의 움직임에 대응하여 차량의 전장 방향과 트레일러의 전장 방향이 같은 방향을 이루도록 연결고리를 고정한 상태이다.
상기 연결고리 조정상태는 차량의 움직임에 대응하여 트레일러의 전장 방향을자세를 조정할수 있는 상태이다.
프로세서(350)는, 차량이 직진하는 경우, 연결고리(910)를 고정상태로 제어하기 위한 신호를 제공할 수 있다.
예를 들면, 차량(100)이 직진으로 후진하는 경우, 프로세서(350)는, 상기 차량과 트레일러를 연결하는 연결고리(910)를 고정상태로 제어하는 신호를 제공할 수 있다.
예를 들면, 차량이 기 설정된 속도 이상으로 주행 하는 경우, 프로세서(350)는, 상기 차량과 트레일러를 연결하는 연결고리(910)를 고정상태로 제어하는 신호를 제공할 수 있다.
예를 들면, 차량이 기 설정된 거리를 직진으로 주행하는 경우, 프로세서(350)는, 상기 차량과 트레일러를 연결하는 연결고리(910)를 고정상태로 제어하는 신호를 제공할 수 있다
프로세서(350)는, 차량이 기 설정된 각도 이상 선회하는 경우, 연결고리(910)를 조정상태로 제어하는 신호를 제공할 수 있다.
예를 들면, 차량(100)이 조향방향이 입력되고, 전진하는 경우, 프로세서(350)는, 상기 차량과 트레일러를 연결하는 연결고리(910)를 조정상태로 제어하는 신호를 제공할 수 있다.
예를 들면, 차량(100)이 조향방향이 입력되고, 후진하는 경우, 프로세서(350)는, 상기 차량과 트레일러를 연결하는 연결고리(910)를 조정상태로 제어하는 신호를 제공할 수 있다.
예를 들면, 좌측 방향의 조향 입력이 수신되고, 상기 입력 조향각이 기 설정된 것 크기보다 큰 경우, 프로세서(350)은 차량(100)과 트레일러(900)를 연결하는 연결고리(910)를 조정상태로 제어하는 신호를 제공할 수 있다.
예를 들면, 우측 방향의 조향 입력이 수신되고, 상기 입력 조향 각이 기 설정된 것 크기보다 큰 경우, 상기 차량과 트레일러를 연결하는 연결고리(910)를 조정상태로 제어하는 신호를 제공할 수 있다.
프로세서(350)는 트레일러의 자세에 대응하여, 트레일러의 주행을 제어하기 위해, 차량 구동부에 가속 제어신호, 제동 제어신호 및 조향 제어신호중 적어도 하나 이상의 제어신호를 제공할 수 있다.
프로세서(350)는 오브젝트 검출부(160)로부터 차량 외부의 오브젝트 검출 정보를 수신하고, 상기 트레일러의 자세에 대응하여, 상기 트레일러의 주변의 오브젝트 검출 정보를 재조합할 수 있다.
상기 오브젝트 검출 정보는 차량 및 트레일러 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 확인할 수 있다.
트레일러(900)가 차량(100)에 연결되는 상태에서의 차량(100)의 움직임은, 트레일러(900)가 차량(100)에 연결되지 않은 상태에서의 차량(100)의 움직임과 상이하다.
트레일러(900)가 차량(100)에 연결된 경우, 트레일러(900)의 길이만큼 차량(100)의 길이가 늘어나므로, 트레일러(900)가 차량(100)에 연결되지 않은 상태와는 다른 제어가 요구된다.
프로세서(350)는, 오브젝트 검출 정보에 기초하여, 제어 동작을 수행할 수 있다.
트레일러(900)가 차량(100)에 연결되는 경우, 프로세서(900)는, 트레일러(900)의 부피 및 무게를 더 고려하여, 제어 동작을 수행할 수 있다.
예를 들면, 트레일러(900)가 차량(100)에 연결되지 않은 경우, 프로세서(350)는, 후행하는 타차량이 Am 거리에 있다고 판단할 수 있다. 만약, 트레일러(900)가 차량(100)에 연결된 상태인 경우, 프로세서(350)는, Am에 트레일러(900)의 길이를 뺀 값을 차량(100)과 후행 차량과의 거리로 판단할 수 있다. 이와 같은 동작을, 오브젝트 검출 정보의 재조합으로 명명할 수 있다.
프로세서(350)는 상기 재조합된 오브젝트 검출 정보에 기초하여, 상기 트레일러와 상기 검출된 오브젝트와의 거리를 검출하여, 트레일러(900)와 검출 오브젝트의 충돌 위험을 판단할 수 있다.
프로세스(350) 상기 오브젝트 검출부(160)에 검출한 오브젝트의 정보에 기초하여, 검출된 오브젝트의 위치, 속도, 및 트레일러(900)와의 거리등을 판단할 수 있다.
상기 충돌 위험은 상기 검출 오브젝트가 트레일러로부터 기 설정된 거리안에 위치하여, 상기 트레일러 및 오브젝트 중 적어도 하나의 이상의 움직임에 의해 충돌하는 경우 일 수 있다.
프로세서(350)는, 상기 검출한 오브젝트가 상기 트레일러에 기 설정된 거리 이내에 위치하는 경우, 상기 트레일러와 사기 검출오브젝트가 충돌 위험이 있다고 판단할 수 있다.
프로세서(350)는, 검출 오브젝트와 충돌 위험이 있다고 판단한 경우, 트레일러가 검출 오브젝트와 기 설정된 거리만큼 멀어지도록 차량을 제어하는 신호를 제공할 수 있다.
프로세서(350)는 상기 트레일러의 자세에 대응하여 재조합된 오브젝트 검출 정보에 기초하여 상기 오브젝트와 트레일러와의 거리 및, 오브젝트의 속도를 판단할 수 있다.
예를 들면, 충돌 예상 오브젝트가 트레일러의 후방에 접근하는 경우, 프로세서(350)는 후방에서 접근하는 오브젝트를 회피하기 위해 가속 제어신호를 생성할수 있다.
예를 들면, 충돌 예상 오브젝트가 트레일러의 측방에 접근하는 경우, 프로세서(350)는 후방에서 접근하는 오브젝트를 회피하기 위해 가속 제어신호, 제동 신호 및 조향 제어신호를 생성할수 있다.
프로세서(350)는 상기 가속 제어신호 및 조향 제어신호를 차량 구동부(150)에 제공할 수 있다.
프로세서(350)는 카메라부로부터 수신한 영상에 기초하여, 트레일러의 주행차선을 판단할 수 있다.
프로세서(350)는, 카메라부(310)로부터 수신받은 영상으로부터 차량의 주행차선을 검출할 수 있다.
프로세서(350)는, 인터페이스부(330)를 통해 트레일러의 복수의 카메라(910)로부터 제공받은 영상으로부터 트레일러의 주행차선을 검출할 수 있다.
프로세서(350)는, 트레일러의 자세에 기초하여, 트레일러가 상기 트레일러의 주행차선을 이탈 하였는지 판단할 수 있다.
프로세서(350)는, 트레일러가 주행차선을 유지하도록 차량을 제어하는 신호를 제공할 수 있다.
예를 들면, 트레일러가 주행차선을 이탈하지 않은 것으로 판단한 경우,
프로세서(350)는, 트레일러가 주행차선을 유지하도록 제어신호를 제공할 수 있다. 프로세서(350)는 상기 가속 제어신호 및 조향 제어신호를 차량 구동부(150)에 제공할 수 있다
프로세서(350)는, 주차 시, 트레일러의 자세에 기초하여 주차경로를 생성할 수 있다.
프로세서(350)는, 차량 및 트레일러를 포함한 영상에 기초하여 주차 공간을 설정할 수 있다.
프로세서(350)는, 차량 및 트레일러를 포함한 전장길이에 기초하여 주차 공간을 판단할수 있다.
주차공간(1710)은, 차량(100)이 주차를 수행하기 위하여 요구되는 공간이다. 주차공간(1710)은, 차량(100)이 주차 수행 중 감지된 오브젝트와 충돌하지 않고 이동할 수 있는 공간이다. 프로세서(350)는 오브젝트의 종류, 크기, 위치, 속도 및 트레일러(900)와의 거리 등 판단할 수 있다.
프로세서(350)는, 트레일러의 형태 및 자세에 기초하여 주차공간(1710)을 판단할 수 있다. 프로세서(350)는, 오브젝트 검출부(160)를 통하여 검출된 오브젝트에 기초하여 주차공간(1710)을 판단할 수 있다.
프로세서(350)는, 상기 주차 공간에 기초하여, 트레일러를 연결한 차량의 주차경로를 생성할 수 있다.
주차경로는, 트레일러가 주차를 수행하기 위하여 요구되는 경로이다.
프로세서(350)는, 트레일러(900)가 주차 공간에 주차되기 위하여 필요한 트레일러(900)의 조향각, 전진, 및 후진을 판단할 수 있다. 프로세서(350)는, 트레일러가 주차되기 위한, 상기 조향각의 전환, 전진, 후진 및 속도에 기초하여, 차량(100)의 주차경로를 생성할 수 있다.
프로세서(350)는, 주차경로에 대응하여 트레일러를 주차하도록 차량을 제어하는 신호를 생성할수 있다.
프로세서(350)는, 주차경로에서 대응하여 트레일러가 주차되도록, 차량 구동부(150)에 포함된 동력원 구동부(151), 조향 구동부(152), 및 브레이크 구동부(153) 중 적어도 하나를 제어하기 위한 신호를 제공할 수 있다.
프로세서(350)는 상기 생성하는 상기 제어신호에 기초하여 차량(100)이 상기 주차경로에 대응하여 트레일러가 주차되도록 차량 구동부 (150)에 제공할 수 있다.
예를 들면, 트레일러를 우측으로 후진하여 주차하는 경우,
프로세서(350)는 차량의 후미가 좌측을 향하도록 차량의 조향을 좌측으로 제어하는 조향 제어신호를 제공할 수 있다. 프로세서(350)는 차량이 후진하도록 가속 제어신호를 제공할 수 있다.
예를 들면, 트레일러를 좌측으로 후진하여 주차하는 경우, 프로세서(350)는 차량의 후미가 우측을 향하도록 차량의 조향을 우측으로 제어하는 조향 제어신호를 제공할 수 있다. 프로세서(350)는 차량이 후진하도록 가속 제어신호를 제공할 수 있다.
프로세서(350)는, 트레일러의 자세에 대응하여, 트레일러의 휠을 제어하기 위한 트레일러 제동 제어신호 및 조향 제어신호 중 적어도 하나 이상의 제어신호를 제공할 수 있다.
프로세서(350)는 트레일러와 검출 오브젝트의 충돌 위험을 판단할 수 있다.
프로세서(350)은 충돌 위험 판단 시, 트레일러가 상기 검출 오브젝트와 기 설정된 거리만큼 멀어지도록 트레일러의 휠을 제어하기 위한 신호를 제공할수 있다.
프로세서(350)는 상기 검출 오브젝트가 트레일러로부터 기 설정된 거리 안으로 접근하는 경우 충돌 위험이 있다고 판단할 수 있다.
상기 충돌 위험은 상기 검출 오브젝트가 트레일러로부터 기 설정된 거리안에 위치하여, 상기 트레일러 및 오브젝트 중 적어도 하나의 이상의 움직임에 의해 충돌하는 경우 일 수 있다.
예를 들면, 충돌 예상 오브젝트가 트레일러에 우측방에 접근하는 경우, 프로세서(350)는 트레일러의 휠을 제어하여 트레일러가 좌측을 향하도록 조향 제어신호를 제공할 수 있다.
예를 들면, 충돌 예상 오브젝트가 트레일러에 좌측방에 접근하는 경우, 프로세서(350)는 트레일러의 휠을 제어하여 트레일러가 우측을 향하도록 조향 제어신호를 제공할 수 있다.
프로세서(350)는 인터페이스부(330)를 통해 조향 제어신호를 트레일러(900)에 제공할 수 있다.
프로세서(350)는, 차량 밑 트레일러에서 제공된 영상 기초하여, 트레일러의 주행차선을 판단하고, 상기 트레일러가 주행차선을 유지하도록, 트레일러의 휠을 제어하기 위한 신호를 제공할수 있다.
프로세서(350)는, 트레일러가 주행차선을 유지하도록 트레일러의 휠을 제어하는 신호를 제공할 수 있다.
예를 들면, 트레일러가 주행차선을 이탈하는 것을 판단한 경우, 프로세서(350)는, 트레일러가 주행차선을 유지하도록 제어신호를 제공할 수 있다. 프로세서(350)는 인터페이스부(330)를 통해 트레일러의 주행 방향이 주행차선과 평행이 되도록 조향 제어신호를 트레일러(900)에 제공할 수 있다
프로세서(350)는, 트레일러가 차량의 주행경로에 대응하여, 트레일러가 상기 주행경로와 같은 경로를 주행하도록 트레일러의 휠을 제어하기 위한 신호를 제공할수 있다.
프로세서(350)는 트레일러(900)의 주행경로를 생성 할 수 있다.
상기 주행경로는, 차량이 도로를 주행하기 위하여 요구되는 경로이다.
프로세서(350)는 트레일러(900)가 차량의 주행경로와 같은 경로를 주행하도록 조향 제어신호, 제동 제어신호 중 적어도 하나 이상을 생성할 수 있다.
예를 들면, 차량이 우측으로 코너링 하는 경우, 프로세서(350)는 트레일러의 휠이 우측을 향하도록 조향 제어신호를 제공할 수 있다.
예를 들면, 차량이 좌측으로 코너링 하는 경우, 프로세서(350)는 트레일러의 휠이 좌측을 향하도록 조향 제어신호를 제공할 수 있다.
프로세서(350)는 인터페이스부(330)를 통해 상기 주행경로에 대응하는 조향 제어신호를 트레일러(900)에 제공할 수 있다.
전원 공급부(360)는, 프로세서(350)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(360)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.
출력부(370)는, 디스플레이부(371) 및 음향 출력부(373)를 포함할 수 있다.
디스플레이부(371)는, 프로세서(350)에서 처리된 각종 정보를 표시할 수 있다. 디스플레이부(180)는 차량용 운전 보조 장치(300)의 동작과 관련한 이미지를 표시할 수 있다.
디스플레이부(371)는, 프로세서(350)에서 생성된 어라운드 뷰 이미지를 표시할 수 있다. 한편, 어라운드 뷰 이미지 표시시, 다양한 사용자 유저 인터페이스를 제공하는 것도 가능하며, 제공되는 유저 인터페이스에 대한 터치 입력이 가능한 터치 센서를 구비하는 것도 가능하다.
한편, 디스플레이부(371)는, 룸미러, 사이드 미러 또는 사이드 윈도우 글래스 상에 영상이 표시되도록 구현될 수 있다.
예를 들면, 디스플레이부(371)는, 룸미러 또는 사이드 미러에 배치될 수 있다. 이경우, 디스플레이부(371)는, 평소에는 거울 역할을 수행하고, 소정 이벤트 발생시 영상을 표시할 수 있다.
예를 들면, 디스플레이부(371)는, 투명 디스플레이로 형성되어, 사이드 윈도우 글래스에 근접하게 배치될 수 있다. 또는, 디스플레이부(371)는, 투사 모듈을 포함하고, 투사 모듈은 사이드 윈도우 글래스 상에 영상을 투사할 수 있다.
예를 들면, 디스플레이부(371)는, 투명 디스플레이로 형성되어, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 디스플레이부(371)는, 투사 모듈을 포함하고, 투사 모듈은 프런트 윈드 쉴드 상에 영상을 투사할 수 있다.
음향 출력부(373)는, 프로세서(350)에서 처리된 오디오 신호에 기초하여 사운드를 외부로 출력할 수 있다. 이를 위해, 음향 출력부(373)는, 적어도 하나의 스피커를 구비할 수 있다.
도 5는 본 발명의 실시예에 따른 차량용 운전 보조 장치의 동작을 설명하는데 참조되는 플로우 차트이다.
도 5을 참조하면, 프로세서(350)는, 트레일러의 연결을 판단할 수 있다(S510).
프로세서(350)는 차량(100)과 트레일러(900)가 연결고리(910)에 의해 연결되는 경우, 상기 트레일러로부터 트레일러의 영상 정보, 트레일러 방향 정보, 트레일러 위치 정보(GPS 정보), 트레일러 각도 정보, 트레일러 속도 정보, 트레일러 가속도 정보, 트레일러 기울기 정보, 트레일러 램프 정보 중 적어도 하나를 포함하는 데이터를 수신할 수 있다. 프로세서(350)는 트레일러(900)로부터 데이터를 수신하는 경우, 트레일러와 차량이 연결되었다고 판단할 수 있다.
한편 프로세서(350)는, 카메라부(310)로부터 제공받는 차량의 후방영상에서 트레일러가 검출되고, 상기 트레일러에 데이터가 송신되는 경우, 트레일러와 차량이 연결되었다고 판단할 수 있다.
프로세서(350)는, 카메라부(310)로부터 차량 및 트레일러로부터 영상을 수신할 수 있다(S520).
프로세서(350)는, 인터페이스부(330)를 통해 트레일러(900)에 부착된 복수의 카메라로(910)로부터 트레일러의 주변 영상을 제공받을 수 이다.
프로세서(350)는, 상기 차량 및 트레일러로부터 수신한 영상으로부터 상기 차량과 연결되어있는 트레일러(900)를 검출할 수 있다.
이후, 프로세서(350)는 트레일러의 자세를 판단할 수 있다(S530).
상기 트레일러의 자세는, 트레일러가 차량의 후방을 기준으로 하여, 차량(100)과 트레일러(900) 거리 및 차량(100)과 트레일러(900)가 이루는 각도에 따른 트레일러의 위치이다.
프로세서(350)는 카메라부(310)로부 제공받은 영상에서 검출한 트레일러와 마커를 매칭할 수 있다. 프로세서(350)는 트레일러와 마커의 이루는 각도에 기초하여, 트레일러의 자세를 판단할 수 있다.
프로세서(350)는 트레일러(900)로부터 자이로 센싱 정보를 제공받아, 트레일러의 자세를 판단할 수 있다. 프로세서(350)는 트레일러의 위치정보 및 방향 정보에 기초하여 트레일러의 자세를 판단할 수 있다.
프로세서(350)는, 차량 및 트레일러의 주행 상태를 판단 할 수 있다(S540).
프로세서(350)는, 트레일러의 주행 상태 및 트레일러의 자세에 대응하여 차량 및 트레일러를 제어하는 신호를 제공할 수 있다(S550).
프로세서(350)는 트레일러의 자세에 기초하여, 차량(100)과 트레일러(900)를 연결하는 연결고리를 제어하기 위한 신호를 제공할 수 있다. 프로세서(350)는, 트레일러의 주행상태에 기초하여, 차량 구동부(150)를 제어하기 위한 신호를 제공할 수 있다. 프로세서(350)는, 트레일러의 주행상태에 기초하여, 트레일러를 제어하기 위한 신호를 제공할 수 있다.
도 6는 본 발명의 실시예에 따른 주행 상태에 따른 연결고리 제어를 설명하는데 참조되는 플로우 차트이다.
도 6을 참조하면, 프로세서(350)는, 차량이 운전 상태를 판단할 수 있다(S610).
차량이 운전 상태가 아닌 경우, 프로세서(350)는 연결고리를 조정상태로 제어하는 신호를 생성할 수 있다(S650).
상기 조정상태는 차량과 트레일러의 연결된 연결고리가 차량의 스티어링에을 의해 변화되어 트레일러의 조향각을 조작할 수 있는 상태이다.
차량이 운전 상태인 경우, 프로세서(350)는, 트레일러가 직진 상태인지 판단할 수 있다(S620).
차량이 직진 상태인 경우, 프로세서(350)는 연결고리를 고정상태로 제어하는 신호를 생성할 수 있다(S640).
상기 고정상태는 차량과 트레일러의 연결된 연결고리가 차량의 스티어링에을 의해 변화되어 트레일러의 조향각을 조작할 수 없는 상태이다.
차량이 직진 상태가 아닌경우, 프로세서(350)는 트레일러가 선회 상태인지 판단할 수 잇다(S630).
차량이 선회 상태가 아닌 경우, 프로세서(350)는 연결고리를 고정상태로 제어하는 신호를 생성할 수 있다(S640).
차량이 선회 상태인 경우, 프로세서(350)는 연결고리를 조정상태로 제어하는 신호를 생성할 수 있다(S650).
도 7는 본 발명의 실시예에 따른 트레일러 자세에 따른 충돌 회피 동작을 설명하는데 참조되는 플로우 차트이다.
도 7을 참조하면, 프로세서(350)는, 오브젝트 검출불(160)로부터 오브젝트 검출 정보를 수신받을 수 있다(S710).
이후, 프로세서(350)는 상기 오브젝트 검출 정보 및 트레일러의 자세에 기초하여, 상기 트레일러 와 검출 오브젝트와의 충돌 위험을 판단할 수 있다(S720).
상기 충돌 위험은 상기 검출 오브젝트가 트레일러로부터 기 설정된 거리안에 위치하여, 상기 트레일러 및 오브젝트 중 적어도 하나의 이상의 움직임에 의해 충돌하는 경우 일 수 있다.
트레일러와 오브젝트가 충돌 위험이 없다고 판단할 경우, 프로세서(350)는 오브젝트 검출불(160)로부터 오브젝트 검출 정보를 수신받을 수 있다(S710).
트레일러와 오브젝트가 충돌 위험이 있다고 판단할 경우, 프로세서(350)는 트레일러와 검출 오브젝트가 기 설정된 거리만큼 멀어지도록 제어신호를 제공할 수 있다(S730).
프로세서(350)는 차량 구동부(150)에 가속 제어신호, 제동 제어신호 및 조향 제어신호 중 적어도 하나 이상의 제어신호를 제공할 수 있다.
프로세서(350)는 인터페이스부(330)를 통해 트레일러에 제동 제어신호 및 조향 제어신호 중 적어도 하나 이상의 제어신호를 제공할 수 있다.
도 8는 본 발명의 실시예에 따른 트레일러 자세에 따른 차선 유지 동작을 설명하는데 참조되는 플로우 차트이다.
도 8을 참조하면, 프로세서(350)는, 카메라부(310)로부터 수신받은 영상으로부터 트레일러(900)의 주행차선을 검출할 수 있다(S810).
이후, 프로세서(350)는 상기 주행차선 및 트레일러의 자세에 기초하여, 상기 트레일러의 주행차선 이탈을 판단할 수 있다(S820).
트레일러와 주행차선 이탈하지 않은 것으로 판단할 경우, 프로세서(350)는 트레일러의 주행차선을 검출할 수 있다(S810).
이후, 주행차선을 이탈한 것으로 판단한 경우, 프로세서(350)는 트레일러가 주행차선을 유지하도록 제어신호를 제공할 수 있다(S830).
프로세서(350)는 차량 구동부(150)에 가속 제어신호, 제동 제어신호 및 조향 제어신호 중 적어도 하나 이상의 제어신호를 제공할 수 있다.
프로세서(350)는 인터페이스부(330)를 통해 트레일러에 제동 제어신호 및 조향 제어신호 중 적어도 하나 이상의 제어신호를 제공할 수 있다.
도 9는 본 발명의 실시예에 따른 트레일러 자세에 따른 주차 동작을 설명하는데 참조되는 플로우 차트이다.
도 9을 참조하면, 프로세서(350)는, 카메라부(310)로부터 수신받은 영상으로부터 주차공간을 검출할 수 있다(S910).
이후, 프로세서(350)는 상기 트레일러의 형태에 기초하여, 상기 트레일러의 주차가 가능 여부를 판단할 수 있다(S920).
트레일러의 주차가 가능하지 않은 경우, 프로세서(350)는 주차공간을 검출할 수 있다(S910).
트레일러의 주차가 가능한 경우 프로세서(350)는 주차경로를 생성할 수 있다 (S930).
이후, 프로세서(350)는 주차경로에 대응하여 트레일러를 주차 공간에 주차하도록 제어신호를 제공할 수 있다(S940).
프로세서(350)는 차량 구동부(150)에 가속 제어신호, 제동 제어신호 및 조향 제어신호 중 적어도 하나 이상의 제어신호를 제공할 수 있다.
프로세서(350)는 인터페이스부(330)를 통해 트레일러에 제동 제어신호 및 조향 제어신호 중 적어도 하나 이상의 제어신호를 제공할 수 있다.
도 10은 본 발명의 실시예에 따라, 마커를 이용한 트레일러 자세 판단 동작을 설명하는데 참조되는 도면이다.
도 10(a) 및 도10(b)를 참조하면, 프로세서(350)는, 카메라부(310)로부터 차량의 후방 영상을 제공받아, 상기 후방 영상으로부터 트레일러 검출할 수 있다.
프로세서(350)는 메모리(340)에 저장된 기 설정된 마커를 제공받을 수 있다. 상기 마커는 차량 후방에 트레일러가 일직선으로 정렬되어 차량의 전장 방향과 트레일러의 전장 방향이 같은 자세에 기초하여 생성된 데이터이다. 프로세서(350)는 상기 마커를 상기 트레일러를 검출한 후방 영상에 매칭할 수 있다.
예를 들면, 프로세서(350)는 전방 마커(1011)를 검출된 트레일러의 전면부의 하측 모서리에 매칭할수 있다. 프로세서(350)는 좌측방 마커를 검출된 트레일러의 전면부의 좌측방 모서리에 매칭할 수 있다. 프로세서(350)는 우측방 마커를 검출된 트레일러의 전면부의 우측방 모서리에 매칭할 수 있다.
프로세서(350)는 트레일러(900)와 마커(1010)가 매칭되어 이루는 각도에 기초하여, 트레일러의 자세를 판단할 수 있다.
예를 들어, 프로세서(350)는, 상기 전방 마커(1011)를 검출된 트레일러의 전면부의 하측 모서리에 평행하게 매칭하고, 상기 좌측방 마커(1013)와 상기 트레일러 전면부의 좌측방 모서리가 이루는 각도 및 우측방 마커(1015)와 상기 트레일러 전면부의 우측방 모서리가 이루는 각도에 기초하여, 트레일러의 자세를 판단할 수 있다.
예를 들어, 프로세서(350)는, 상기 좌측방 마커(1013)를 검출된 트레일러의 전면부의 좌측방 모서리에 평행하게 매칭하고, 상기 전방 마커(1013)와 상기 트레일러 전면부 전면부의 하측 모서리가 이루는 각도 및 우측방 마커(1015)와 상기 트레일러 전면부의 우측방 모서리가 이루는 각도에 기초하여, 트레일러의 자세를 판단할 수 있다.
예를 들어, 프로세서(350)는 상기 우측방 마커(1015)를 검출된 트레일러의 전면부의 우측방 모서리에 평행하게 매칭하고, 상기 전방 마커(1011)와 상기 트레일러 전면부의 하측 모서리가 이루는 각도 및 우측방 마커(1015)와 상기 트레일러 전면부의 우측방 모서리가 이루는 각도에 기초하여, 트레일러의 자세를 판단할 수 있다.
도 10의 (a)는 트레일러가 정렬상태로 위치하는 경우이다.
프로세서(350)는, 상기 전방 마커(1011)를 검출된 트레일러의 전면부의 하측 모서리에 평행하게 매칭하고, 상기 좌측방 마커(1013)와 상기 트레일러 전면부의 좌측방 모서리가 이루는 각도 및 우측방 마커(1015)와 상기 트레일러 전면부의 우측방 모서리가 이루는 각도가 기 설정된 범위 내일 경우, 트레일러가 정렬상태라고 판단할 수 있다.
예를 들어, 프로세서(350)는, 상기 좌측방 마커(1013)를 검출된 트레일러의 전면부의 좌측방 모서리에 평행하게 매칭하고, 상기 전방 마커(1013)와 상기 트레일러 전면부 전면부의 하측 모서리가 이루는 각도 및 우측방 마커(1015)와 상기 트레일러 전면부의 우측방 모서리가 이루는 각도가 기 설정된 범위 내일 경우, 트레일러가 정렬상태라고 판단할 수 있다.
예를 들어, 프로세서(350)는 상기 우측방 마커(1015)를 검출된 트레일러의 전면부의 우측방 모서리에 평행하게 매칭하고, 상기 전방 마커(1011)와 상기 트레일러 전면부의 하측 모서리가 이루는 각도 및 좌측방 마커(1015)와 상기 트레일러 전면부의 좌측방 모서리가 평행하는 경우, 트레일러가 정렬상태라고 판단할 수 있다.
도 10의(b)에 트레일러가 비정렬상태로 위치하는 경우이다.
트레일러의 전장방향이 차량의 전장 방향 기준으로 좌측방인 경우, 프로세서(350)는, 상기 좌측방 마커(1013)를 검출된 트레일러의 전면부의 좌측방 모서리에 평행하게 매칭하고, 상기 전방 마커(1013)와 상기 트레일러 전면부 전면부의 하측 모서리가 이루는 각도 및 우측방 마커(1015)와 상기 트레일러 전면부의 우측방 모서리가 이루는 각도가 기 설정된 범위 이내인 경우, 상기 각도에 기초하여 트레일러의 전장 방향을 좌측이라고 판단할 수 있다.
또한, 트레일러의 전장방향이 차량의 전장 방향 기준으로 우측방인 경우, 프로세서(350)는 상기 우측방 마커(1015)를 검출된 트레일러의 전면부의 우측방 모서리에 평행하게 매칭하고, 상기 전방 마커(1011)와 상기 트레일러 전면부의 하측 모서리가 이루는 각도 및 좌측방 마커(1015)와 상기 트레일러 전면부의 좌측방 모서리가 이루는 각도가 기 설정된 범위 이내인 경우, 상기 각도에 기초하여 트레일러의 전장 방향을 우측이라고 판단할 수 있다.
도 11은 본 발명의 실시예에 따라, 자이로 센서를 이용한 트레일러 자세 판단 동작을 설명하는데 참조되는 도면이다.
도 11(a) 및 도11(b)를 참조하면, 프로세서(350)는 인터페이부(330)를 통해 트레일러로부터 자이로 센싱 정보를 제공받을 수 있다. 상기 자이로 센싱 정보는 트레일러의 위치 정보 및 방향 정보를 포함할 수 있다. 프로세서(350)는 메모리(340)로부터 기 설정된 자이로 센서 기준값을 제공받을 수 있다. 프로세서(350)는 상기 자이로 센서 기준값과 현재 트레일러의 자이로 센싱 정보에 기초하여, 트레일러(900)의 자세를 판단할 수 있다.
도 11의 (a)는 트레일러가 정렬상태로 위치하는 경우이다.
프로세서(350)는 인터페이스부(330)를 통해 트레일러로부터 자이로 센싱 정보를 제공 받을 수 있다. 프로세서(350)는 메모리(340)로부터 기 설정되어 있는 자이로 센싱값을 제공받을 수 있다.
프로세서(350)는 상기 자이로 센싱 기준값(1110)과 상기 자이로 센싱 정보에 기초하여, 트레일러의 위치정보 및 방향 정보에 기초하여 트레일러의 자세를 판단할 수 있다.프로세서(350)는 상기 기준값과 상기 자이로 센싱 정보가 같은 값을 가지는 경우, 프로세서는 트레일러의 자세가 정렬상태라고 판단할 수 있다.
도 11의(b)는 트레일러가 비정렬상태로 위치하는 경우이다.
프로세서(350)는 인터페이스부(330)를 통해 트레일러로부터 자이로 센싱 정보(1120)를 제공 받을 수 있다. 프로세서(350)는 메모리(340)로부터 기 설정되어 있는 자이로 센싱 기준값(110)을 제공받을 수 있다. 프로세서(350)는 상기 자이로 센싱 기준값(1110)과 상기 자이로 센싱 정보(1120)가 다른 값을 가지는 경우, 프로세서(350)는 트레일러의 자세가 비정렬상태라고 판단할 수 있다.
프로세서(350)는, 상기 자이로 센싱 기준값(1110)과 상기 자이로 센싱 정보(1120)가 다른 값을 가지는 경우, 상기 자이로 센싱 기준값(1110)과 상기 제2 자이로 센싱 정보(1120)에 기초하여 상기 트레일러(900) 전장 방향을 판단할 수 있다.
도 12은 본 발명의 실시예에 따라, 주행 중 트레일러의 자세에 따라 룩업테이블를 제공하는 동작을 설명하는데 참조되는 도면이다.
도 12 (a) 및 도12 (b)를 참조하면, 프로세서(350)는 메모리(340)부로부터 트레일러의 자세에 대응하여 미리 생성된 복수의 룩업테이블을 제공받을 수 있다.
프로세서(350)는, 주행 중 트레일러의 자세가 변경되는 경우, 변경된 트레일러의 자세에 대응하는 룩업테이블에 기초하여 차량 및 트레일러에 관한 어라운드 뷰 영상을 생성할 수 있다,
프로세서(350)는, 트레일러 자세에 변경하는 경우, 메모리에 저장되어 있는 따른 다수의 룩업테이블 중, 현재 트레일러의 자세에 대응하는 룩업테이블을 선택할 수 있다. 프로세서(350)는 선택된 룩업테이블에 기초하여 변경된 트레일러의 자세에 대응하는 어라운드 뷰를 제공할 수 있다.
도 12의 (a)는 트레일러가 차량의 전방을 기준으로 우측으로 회전되어 있는경우이다. 프로세서(350)는 메모리(340)로부터 우측으로 회전된 트레일러의 자세에 대응하는 룩업테이블을 제공받을 수있다. 프로세서(350)는 룩업테이블에 기초하여, 상기 좌측으로 트레일러(900)를 포함하는 어라운드 뷰를 제공할 수 있다.
도 12의 (b)는 트레일러(900)가 차량의 전방을 기준으로 좌측으로 회전되어 있는 경우이다. 프로세서(350)는 메모리(340)로부터 좌측으로 회전된 트레일러의 자세에 대응하는 룩업테이블을 제공받을 수있다. 프로세서(350)는 룩업테이블에 기초하여, 상기 좌측으로 트레일러를 포함하는 어라운드 뷰를 제공할 수 있다.
도 13 는 본 발명의 실시예에 따라, 차량 직진 주행에 따라 연결고리를 제공하는 동작을 설명하는데 참조되는 도면이다.
도 13을 참조하면, 차량(100)이 직진으로 전진하는 경우, 프로세서(350)는, 상기 차량과 트레일러를 연결하는 연결고리(910)를 고정상태로 제어하는 신호를 제공할 수 있다.
예를 들면, 차량(100)이 직진으로 후진하는 경우, 프로세서(350)는, 상기 차량과 트레일러를 연결하는 연결고리(910)를 고정상태로 제어하는 신호를 제공할 수 있다.
예를 들면, 차량이 기 설정된 속도 이상으로 주행 하는 경우, 프로세서(350)는, 상기 차량과 트레일러를 연결하는 연결고리(910)를 고정상태로 제어하는 신호를 제공할 수 있다.
예를 들면, 차량이 기 설정된 거리를 직진으로 주행하는 경우, 프로세서(350)는, 상기 차량과 트레일러를 연결하는 연결고리(910)를 고정상태로 제어하는 신호를 제공할 수 있다.
도 14는 본 발명의 실시예에 따라, 차량 선회 주행에 따라 연결고리를 제공하는 동작을 설명하는데 참조되는 도면이다.
차량(100)이 조향방향이 입력되고, 전진하는 경우, 프로세서(350)는, 상기 차량과 트레일러를 연결하는 연결고리(910)를 조정상태로 제어하는 신호를 제공할 수 있다.
예를 들면, 차량(100)이 조향방향이 입력되고, 후진하는 경우, 프로세서(350)는, 상기 차량과 트레일러를 연결하는 연결고리(910)를 조정상태로 제어하는 신호를 제공할 수 있다.
예를 들면, 좌측 방향의 조향 입력이 수신되고, 상기 입력 조향각이 기 설정된 것 크기보다 큰 경우, 프로세서(350)은 차량(100)과 트레일러(900)를 연결하는 연결고리(910)를 조정상태로 제어하는 신호를 제공할 수 있다.
예를 들면, 우측 방향의 조향 입력이 수신되고, 상기 입력 조향 각이 기 설정된 것 크기보다 큰 경우, 상기 차량과 트레일러를 연결하는 연결고리(910)를 조정상태로 제어하는 신호를 제공할 수 있다.
도 15은 본 발명의 실시예에 따라, 트레일러와 외부 오브젝트의 충돌 위험을회피하기 위한 차량 제어 동작을 설명하는데 참조되는 도면이다.
도 15(a) 및 15(b)를 참조하면, 주행 중에 트레일러(900)와 오브젝트가 접근할 수 있다.
프로세서(350)는 오브젝트 검출부(160)로부터 오브젝트 검출 정보를 제공받을 수 있다. 프로세스(350) 상기 오브젝트의 정보에 기초하여, 검출된 오브젝트의 위치, 속도, 및 트레일러(900)와의 거리 등을 판단할 수 있다.
프로세서(350)는 상기 오브젝트 검출 정보에 기초하여, 트레일러(900)와 검출 오브젝트(1510)의 충돌 위험을 판단할 수 있다.
프로세서(350)는 상기 검출 오브젝트와 상기 트레일러(900)가 기 설정된 거리만큼 근접하여 위치하는 경우 충돌 위험이 있다고 판단할 수 있다.
프로세서(350)는 상기 트레일러와 오브젝트의 충돌을 회피하기 위해 트레일러의 위치를 판단할 수 있다. 프로세서(350), 트레일러가 상기 위치로 이동하기 위한 차량의 주행경로(1520)를 생성할 수 있다. 프로세서(350)는 상기 주행경로를 주행 하기 위한, 가속 제어신호 및 조향 제어신호를 제공할 수 있다. 프로세서(350)는 차량 구동부(150)를 상기 가속 제어신호 및 조향 제어신호를 제공할 수 있다.
도 15(a)는 주행중인 트레일러(900)에 오브젝트가 접근하는 경우이다.
도 15(a)를 참조하면, 프로세서(350)는 오브젝트 검출부(160)로부터 트레일러에 접근하는 오브젝트(1510) 정보를 제공받을 수 있다. 프로세서(350)는 트레일러의 자세를 판단할 수 있다. 프로세서(350)는 트레일러의 자세에 기초하여, 상기 오브젝트의 이동경로(1530)를 판단하여 트레일러(900)와 오브젝트(1510)가 충돌 위험을 판단할 수 있다.
프로세서(350)는, 트레일러(900)와 상기 오브젝트와의 충돌 위험이 있다고 판단한 경우, 상기 오브젝트를 회피하기 위한 차량 제어신호를 제공할 수 있다.
예를 들면, 프로세서(350)는, 오브젝트가 트레일러의 후방에 접근하는 경우, 트레일러(900)가 전진하도록 차량(100)에 가속 신호를 제공할 수 있다. 프로세서(350)는, 차량(100)의 전방에 공간이 있는 경우, 트레일러(900)가 전방으로 주행하도록 가속 제어신호를 제공할 수 있다. 프로세서(350)는 트레일러(900)가 상기 오브젝트와 기 설정된 거리만큼 멀어지도록 차량을 전진시키는 차량 제어 신호를 제공할 수 있다.
프로세서(350)는, 트레일러(900)에 좌측방의 오브젝트(미도시)가 접근하는 경우, 센싱부(125)로부터 차량의 전방 및 우측방에 이동 가능한 공간을 판단할 수 있다. 프로세서(350)는, 차량의 전방 및 우측방에 공간이 이는 경우, 트레일러가 우측으로 주행하도록 차량(100)에 우측 조향 제어신호 및 가속 제어신호를 제공할 수 있다. 프로세서(350)는 트레일러(900)가 상기 오브젝트와 기 설정된 거리만큼 멀어지도록 차량을 우측으로 전진시키는 차량 제어신호를 제공할 수 있다.
프로세서(350)는, 트레일러(900)에 우측방의 오브젝트(1510)가 접근하는 경우, 센싱부(125)로부터 차량의 전방 및 좌측방에 이동 가능한 공간을 판단할 수 있다. 프로세서(350)는 트레일러가 좌측으로 주행하도록 차량(100)에 좌측 조향 제어신호 및 가속 제어신호를 제공할 수 있다. 프로세서(350)는 트레일러(900)가 상기 오브젝트와 기 설정된 거리만큼 멀어지도록 차량을 좌측으로 전진시키는 차량 제어신호를 제공할 수 있다.
도 15(b)는 오브젝트에 주행중인 트레일러(900)가 접근하는 경우이다.
도 15(b)를 참조하면, 프로세서(350)는 오브젝트 검출부(160)로부터 트레일러가 접근하는 오브젝트(1510) 정보를 제공받을 수 있다. 프로세서(350)는 트레일러의 자세를 판단할 수 있다. 프로세서(350)는 트레일러의 자세에 기초하여, 상기 트레일러의 이동경로(1530)를 판단하여 트레일러(900)와 오브젝트(1510)가 충돌 위험을 판단할 수 있다.
프로세서(350)는, 트레일러(900)와 상기 오브젝트와의 충돌한다고 판단한 경우, 상기 충돌을 회피하기 위한 차량 제어신호를 제공할 수 있다.
프로세서(350)는, 트레일러가 후방의 오브젝트에 접근하는 경우, 트레일러(900)기 정지하도록 차량(100)에 제동 신호를 제공할 수 있다. 프로세서(350)는 트레일러(900)가 상기 오브젝트와 기 설정된 거리만큼 멀어지도록 차량을 제동 할 수 있다.
프로세서(350)는, 트레일러(900)가 좌측방의 오브젝트에 접근하는 경우, 센싱부(125)로부터 차량의 전방 및 우측방에 이동 가능한 공간을 판단할 수 있다. 프로세서(350)는, 차량의 전방 및 우측방에 공간이 이는 경우, 트레일러가 우측으로 주행하도록 차량(100)에 우측 조향 제어신호 및 가속 제어신호를 제공할 수 있다. 프로세서(350)는 트레일러(900)가 상기 오브젝트와 기 설정된 거리만큼 멀어지도록 차량을 우측으로 전진시키는 차량 제어신호를 제공할 수 있다.
프로세서(350)는, 트레일러(900)가 우측방의 오브젝트(1510)에 접근하는 경우, 센싱부(125)로부터 차량의 전방 및 좌측방에 이동 가능한 공간을 판단할 수 있다. 프로세서(350)는 트레일러가 좌측으로 주행하도록 차량(100)에 좌측 조향 제어신호 및 가속 제어신호를 제공할 수 있다. 프로세서(350)는 트레일러(900)가 상기 오브젝트와 기 설정된 거리만큼 멀어지도록 차량을 좌측으로 전진시키는 차량 제어신호를 제공할 수 있다.
도 16은 본 발명의 실시예에 따라, 트레일러의 주행차선 유지를 위한 차량 제어 설명하는데 참조되는 도면이다.
도 16(a) 및 16(b)를 참조하면, 프로세서(350)는 카메라부(310)로부터 수신받은 차량 주변 영상에 기초하여, 차량(100)의 주행차선을 검출 할 수 있다. 프로세서(350)는, 카메라부(310)로부터 수신받은 차량 주변 영상으로부터 트레일러(900)의 주행차선을 검출할 수 있다. 또한, 프로세서(350)는, 인터페이스부(330)를 통해 트레일러(900)의 복수의 카메라(910)로부터 제공받은 영상으로부터 트레일러의 주행차선을 검출할 수 있다.
프로세서(350)는 카메라부(310)로부터 수신받은 차량 주변 영상으로부터 트레일러(900)의 자세를 판단할수 있다. 프로세서(350)는, 트레일러의 자세에 기초하여, 트레일러가 상기 트레일러의 주행차선을 이탈 하였는지 판단할 수 있다.
도16(a)는 트레일러(900)가 주행차선을 이탈한 상태이다.
프로세서(350)는 카메라부(310)로부터 수신받은 차량 주변 영상에서 상기 트레일러(900)의 자세에 기초하여 트레일러의 주행차선을 검출 할수 있다.
프로세서(350)는 상기 검출된 트레일러 주행차선이 상기 차량의 주행차선과 같은 차선인지 확인할수 있다.
프로세서(350)는 상기 검출된 트레일러 주행차선이 상기 차량의 주행차선과 다른 차선인 경우, 상기 트레일러가 주행차선을 이탈하였다고 판단할 수 있다.
프로세서(350)는, 트레일러(900)에 제동 제어신호 및 조향 제어신호를 제공할 수 있다.
차량(100)은, 주행차선에 기초하여 가속 및 조향을 제어하여, 트레일러(900)의 주행경로(1620)를 변경할 수 있고, 상기 트레일러(900)가 차량의 주행차선과 같은 주행차선으로 복귀하도록 제어할 수 있다.
예를 들어, 트레일러(900)가 차량(100)의 주행차선 중 좌측 주행차선을 이탈한 경우, 프로세서(350)는, 트레일러(900)가 우측으로 주행하도록 차량(100)에 우측 조향 제어신호 및 가속 제어신호를 제공할 수 있다.
프로세서(350)는 상기 트레일러(900)가 이전 차량의 주행차선으로 진입할때까지, 차량(100)을 우측으로 전진하도록 제어신호를 제공할 수 있다.
프로세서(350)는, 상기 차량(100)이 우측으로 전진하다가 트레일러의 전장 방향이 주행 차선과 평행이 되는 경우, 차량이 직진하도록 가속 제어신호를 제공하여, 트레일러가 주행차선로 복귀하도록 제어할 수 있다.
예를 들어, 트레일러(900)가 차량(100)의 주행차선 중 우측 주행차선을 이탈한 경우, 프로세서(350)는, 트레일러가 좌측으로 주행하도록 차량(100)에 좌측 조향 제어신호 및 가속 제어신호를 제공할 수 있다.
프로세서(350)는 상기 트레일러가 이전 차량의 주행차선으로 진입할때까지 차량을 좌측으로 전진하도록 제어신호를 제공할 수 있다.
프로세서(350)는, 상기 차량(100)이 좌측으로 전진하다가 트레일러의 전장 방향이 주행 차선과 평행이 되는 경우, 차량이 직진하도록 가속 제어신호를 제공하여. 트레일러가 주행차선로 복귀하도록 제어할 수 있다.
도16(b)는 트레일러가 주행차선을 이탈하려는 상태이다.
프로세서(350)는 카메라부(310)로부터 수신받은 차량 주변 영상에서 상기 트레일러(900)의 자세에 기초하여 트레일러의 주행차선을 검출 할수 있다.
프로세서(350), 트레일러의 자세에 기초하여 트레일러의 주행경로를 생성할 수 있다.
프로세서(350)는 상기 생성된 트레일러 주행경로가 상기 트레일러의 주행차선을 이탈하는지 판단할수 있다.
프로세서(350)는 트레일러의 주행경로가 주행차선(1630)내에서 유지하도록 상기 가속 제어신호 및 조향 제어신호를 차량 구동부(150)에 제공할 수 있다.
차량(100)은 상기 가속 제어신호 및 조향 제어신호에 대응하여 트레일러(900)의 주행경로(1640)를 변경할 수 있고, 상기 트레일러(900)가 주행차선을 유지하도록 주행할 수 있다.
예를 들어, 트레일러(900)가 차량(100)의 주행차선 중 좌측 주행차선을 이탈하려하는 경우, 프로세서(350)는, 트레일러(900)의 주행경로를 우측으로 변경하도록 차량(100)에 우측 조향 제어신호 및 가속 제어신호를 제공할 수 있다.
프로세서(350)는 상기 트레일러의 주행경로가 차량의 주행차선 내로 진입할때까지 차량을 우측으로 전진하도록 제어할 수 있다.
예를 들어, 트레일러(900)가 차량(100)의 주행차선 중 우측 주행차선을 이탈하려하는 경우, 프로세서(350)는, 트레일러의 주행경로를 좌측으로 변경하도록 차량(100)에 좌측 조향 제어신호 및 가속 제어신호를 제공할 수 있다.
프로세서(350)는 상기 트레일러의 주행경로가 차량의 주행차선 내로 진입할때까지 차량을 좌측으로 전진하도록 제어할 수 있다.
도 17은 본 발명의 실시예에 따라, 트레일러를 포함한 차량의 주차 동작을 설명하는데 참조되는 도면이다.
도 17(a)는 트레일러의 자세에 기초하여 주차 공간 및 주차경로를 생성하는 상태이다.
프로세서(350)는, 카메라부(310)로부터 차량 및 트레일러를 포함한 주변 영상을 제공받을수 있다. 프로세서(350)는, 상기 카메라부(310)로부터 제공받은 영상에 기초하여 트레일러의 자세를 판단할 수 있다. 프로세서(350)는, 트레일러의 자세에 기초하여 주차공간(1710)을 판단할 수 있다.
프로세서(350)는, 오브젝트 검출부(160)를 통하여 차량 및 트레일러의 주변 오브젝트를 검출할 수 있다. 프로세서(350)는, 오브젝트 검출부(160)를 통하여 검출된 오브젝트에 기초하여 주차공간(1710)을 판단할 수 있다.
프로세서(350)는, 상기 주차 공간(1710)에 기초하여, 트레일러를 연결한 차량의 주차경로(1720)를 생성할 수 있다.
프로세서(350)는, 트레일러(900)가 주차공간(1710)에 주차되기 위하여 필요한 트레일러(900)의 전진, 후진 및 조향각을 판단할 수 있다. 프로세서(350)는, 트레일러를 주차하기 위한, 상기 전진, 후진 및 조향각을 제어하도록 차량에 가속, 제동 및 조향 제어신호를 제공할수 있다.
도 17(b)는 주차경로에 기초하여 트레일러를 후진 주차하는 상태이다.
차량(100)은, 주행경로(1720)에 기초하여 가속, 제동 및 조향을 제어하여, 트레일러(900)를 이동시킬 수 있고, 상기 트레일러(900)를 주차공간(1710)에 주차 시킬 수 있다.
프로세서(350)는, 트레일러(900)가 이 주차공간(1710) 내에서 후진 중 트레일러(900)의 자세가 변경되도록 차량구동부(150)에 가속, 제동 및 조향각 제어신호를 제공할 수 있다.
프로세서(350)는, 트레일러(900)의 자세 변경 중 트레일러가 주차공간(1710)에 진입할 수 있는 것으로 판단되는 경우, 트레일러(900)가 정지하도록 차량구동부(150)에 제동 제어신호를 제공할 수 있다.
프로세서(350)는, 트레일러가 주차경로(1720)에 기초하여 우측 후방으로 후진하는 경우, 차량(100)이 좌측으로 후진하여 트레일러(900)가 우측으로 후진 할 수 있도록, 차량구동부(150)에 좌측 조향각 제어신호 및 가속 제어신호를 제공할 수 있다.
프로세서(350)는, 트레일러가 주차경로(1720)에 기초하여 좌측 후방으로 후진하는 경우, 차량(100)이 우측으로 후진하여 트레일러(900)가 좌측으로 후진할 수 있도록, 차량구동부(150)에 우측 조향각 제어신호 및 가속 제어를 제공할 수 있다.
프로세서(350)는, 트레일러(900)가 후진 중, 오브젝트 검출부(160)통하여 오브젝트와 트레일러(900)의 거리가 기 설정된 거리 이하가 되는 경우, 트레일러(900)가 정지하도록, 차량구동부(150)에 제동 제어신호를 제공할 수 있다.
프로세서(350)는, 트레일러(900)의 전장 방향과 주차공간(1710)이 정렬되었다고 판단되는 경우, 트레일러(900)가 전장방향으로 후진하도록 가속 제어신호를 제공할 수 있다.
도 18은 본 발명의 실시예에 따라, 트레일러와 외부 오브젝트의 충돌 위험을회피하기 위한 트레일러 제어 동작을 설명하는데 참조되는 도면이다.
프로세서(350)는 오브젝트 검출부(160)로부터 오브젝트 검출 정보를 제공받을 수 있다. 프로세스(350) 상기 오브젝트의 정보에 기초하여, 검출된 오브젝트의 위치, 속도, 및 트레일러(900)와의 거리 등을 판단할 수 있다. 프로세서(350)는 상기 오브젝트 검출 정보에 기초하여, 트레일러(900)와 검출 오브젝트(1510)의 충돌 위험을 판단할 수 있다.
프로세서(350)는 상기 트레일러와 오브젝트의 충돌을 회피하기 위해 트레일러의 위치를 판단할 수 있다. 프로세서(350), 트레일러가 상기 위치로 이동하기 위한 트레일러의 주행경로(1810)를 생성할 수 있다. 프로세서(350)는 트레일러(900)가 접근하는 오브젝트를 회피하기 위해 상기 제동 제어신호 및 조향 제어신호 중 적어도 하나 이상의 제어신호를 생성할수 있다. 프로세서(350)는 인터페이스부(330)를 통해 상기 제동 제어신호 및 조향 제어신호를 트레일러(900)에 제공할 수 있다.
도 18(a)는 주행중인 트레일러(900)에 오브젝트가 접근하는 경우이다.
도 18(a)를 참조하면, 프로세서(350)는 트레일러의 자세에 대응하여, 오브젝트 검출부(160)로부터 트레일러에 접근하는 오브젝트(1510) 정보를 제공받을 수 있다.
프로세서(350)는 트레일러의 자세에 대응하여, 상기 오브젝트의 이동경로를 판단하여 트레일러(900)와 오브젝트(1510)가 충돌 위험을 판단할 수 있다.
프로세서(350)는, 트레일러(900)와 상기 오브젝트와의 충돌 위험이 있다고 판단한 경우, 상기 오브젝트를 회피하기 위해 트레일러의 휠을 제어하기 위한 신호를 제공할 수 있다.
프로세서(350)는, 트레일러(900)에 우측방의 오브젝트(1510)가 접근하는 경우, 센싱부(125)로부터 트레일러의 좌측방에 이동 가능한 공간을 판단할 수 있다. 프로세서(350)는 트레일러의 좌측방에 공간이 있는 경우, 트레일러(900)가 좌측방향으로 주행하도록 트레일러(900)에 좌측 조향각 제어신호를 제공할 수 있다.
프로세서(350)는 인터페이스부(330)를 통해 상기 오브젝트와 기 설정된 거리만큼 멀어지도록 트레일러가 좌측으로 전진하도록 트레일러의 휠을 제어하기 위한 신호를 트레일러(900)에 제공할 수 있다.
프로세서(350)는, 트레일러(900)에 좌측방의 오브젝트(미도시)가 접근하는 경우, 센싱부(125)로부터 트레일러의 우측방에 이동 가능한 공간을 판단할 수 있다. 프로세서(350)는, 트레일러의 우측방에 공간이 있는 경우, 트레일러가 우측으로 주행하도록 트레일러(900)에 우측 조향 제어신호 및 가속 제어신호를 제공할 수 있다. 프로세서(350)는 인터페이스부(330)를 통해 상기 오브젝트와 기 설정된 거리만큼 멀어지도록 우측으로 전진하도록 트레일러의 휠을 제어하기 위한 신호를 트레일러(900)에 제공할 수 있다.
트레일러(900)는, 상기 트레일러의 휠을 제어하기 위한 신호에 대응하여 상기 오브젝트와 기 설정된 거리만큼 이동(1810)하여 충돌을 회피할 수 있다.
도 18(b)는 오브젝트에 주행중인 트레일러(900)가 접근하는 경우이다.
도 18(b)를 참조하면, 프로세서(350)는 오브젝트 검출부(160)로부터 트레일러가 접근하는 오브젝트(1510) 정보를 제공받을 수 있다. 프로세서(350)는 트레일러의 자세를 판단할 수 있다. 프로세서(350)는 트레일러의 자세에 기초하여, 상기 트레일러의 이동경로(18200)를 판단하여 트레일러(900)와 오브젝트(1510)의 충돌 위험을 판단할 수 있다.
프로세서(350)는, 트레일러(900)와 상기 오브젝트(1510)가 충돌한다고 판단한 경우, 상기 충돌을 회피하기 위해 트레일러의 휠을 제어하기 위한 신호를 제공할 수 있다.
프로세서(350)는, 트레일러가 후방의 오브젝트에 접근하는 경우, 트레일러(900)기 정지하도록 트레일러의 휠에 제동 신호를 제ni공할 수 있다. 프로세서(350)는 트레일러(900)가 상기 오브젝트와 기 설정된 거리만큼 멀어지도록 제동 제어신호를 제공할 수 있다.
프로세서(350)는, 트레일러(900)가 좌측방의 오브젝트에 접근하는 경우, 센싱부(125)로부터 트레일러의 우측방에 이동 가능한 공간을 판단할 수 있다. 프로세서(350)는, 트레일러의 우측방에 공간이 존재하는 경우, 트레일러가 우측으로 주행하도록 트레일러의 휠에 우측 조향 제어신호 및 가속 제어신호를 제공할 수 있다. 프로세서(350)는 트레일러(900)가 상기 오브젝트와 기 설정된 거리만큼 멀어지도록 우측으로 트레일러의 휠을 제어하기 위한 신호를 제공할 수 있다
프로세서(350)는, 트레일러(900)가 우측방의 오브젝트에 접근하는 경우, 센싱부(125)로부터 트레일러의 좌측방에 이동 가능한 공간을 판단할 수 있다. 프로세서(350)는 트레일러의 좌측방에 공간이 존재하는 경우, 트레일러(900)가 좌측으로 주행하도록 트레일러(900)에 좌측 조향 제어신호 및 가속 제어신호를 제공할 수 있다. 프로세서(350)는 트레일러(900)가 상기 오브젝트와 기 설정된 거리만큼 멀어지도록 좌측으로 트레일러의 휠을 제어하기 위한 신호를 제공할 수 있다.
도 19는 본 발명의 실시예에 따라, 트레일러의 주행차선 유지를 위한 트레일러 제어 동작을 설명하는데 참조되는 도면이다.
도 19(a) 및 19(b)를 참조하면, 프로세서(350)는 카메라부(310)로부터 수신받은 차량 주변 영상에 기초하여, 차량의 주행차선을 검출 할 수 있다. 프로세서(350)는, 카메라부(310)로부터 수신받은 영상으로부터 트레일러의 주행차선을 검출할 수 있다. 프로세서(350)는, 인터페이스부(330)를 통해 트레일러의 복수의 카메라(910)로부터 제공받은 영상으로부터 트레일러의 주행차선을 검출할 수 있다.
프로세서(350)는, 트레일러의 자세에 기초하여, 상기 트레일러(900)가 상기 차량의 주행차선을 이탈 하였는지 판단할 수 있다.
도19(a)는 트레일러가 주행차선을 이탈한 상태이다.
프로세서(350)는 카메라부(310)로부터 수신받은 차량 주변 영상에서 상기 트레일러(900)의 자세에 기초하여 트레일러의 주행차선을 검출 할수 있다.
프로세서(350)는 상기 검출된 트레일러 주행차선이 상기 차량의 주행차선과 같은 차선인지 확인할수 있다.
프로세서(350)는 상기 검출된 트레일러 주행차선이 상기 차량의 주행차선과 다른 차선인 경우, 상기 트레일러가 주행차선을 이탈하였다고 판단할 수 있다.
프로세서(350)는, 트레일러(900)에 제동 제어신호 및 조향 제어신호를 제공할 수 있다.
예를 들어, 프로세서(350)는, 트레일러(900)가 차량(100)의 주행차선 중 좌측 주행차선을 이탈한 경우, 상기 트레일러(900)가 우측으로 주행하도록 트레일러에 우측 조향 제어신호를 제공할 수 있다.
상기 트레일러가 이전 차량의 주행차선으로 진입할때까지 트레일러의 휠은 우측 방향을 유지할 수 있다.
예를 들어, 프로세서(350)는, 트레일러(900)가 차량(100)의 주행차선 중 우측 주행차선을 이탈한 경우, 트레일러가 좌측으로 주행하도록 트러일러에 좌측 조향 제어신호 및 가속 제어신호를 제공할 수 있다.
상기 트레일러가 이전 차량의 주행차선으로 진입할때까지 트레일러의 휠은 좌측 방향을 유지할 수 있다.
도19(b)는 트레일러가 주행차선을 이탈하려는 상태이다.
프로세서(350)는 카메라부(310)로부터 수신받은 차량 주변 영상에서 상기 트레일러(900)의 자세에 기초하여 트레일러의 주행차선을 검출 할수 있다.
프로세서(350), 트레일러의 자세에 기초하여 트레일러의 주행경로(1920)를 생성할 수 있다.
프로세서(350)는 상기 생성된 트레일러 주행경로가 상기 트레일러의 주행차선을 이탈하는지 판단할수 있다.
프로세서(350)는 트레일러의 주행경로(1920)가 주행차선 내에서 유지하도록 조향 제어신호를 인터페이스부(330)를 통해 트레일러(900)에 제공할 수 있다.
트레일러(900)은, 상기 조향 제어신호에 대응하여, 트레일러의 휠을 제어 할수 있다.
프로세서(350)는 상기 트레일러 휠의 제어를 통해 트레일러(900)의 주행경로를 변경하고, 상기 트레일러(900)가 주행차선을 유지하도록 제어신호를 제공할 수 있다.
예를 들어, 프로세서(350)는, 트레일러(900)가 차량(100)의 주행차선 중 좌측 주행차선을 이탈하려하는 경우, 트레일러(900)의 주행경로를 우측으로 변경하도록 우측 조향 제어신호를 인터페이스부(330)를 통해 트레일러에 제공할 수 있다.
트레일러의 휠은 상기 트레일러의 주행경로가 차량의 주행차선 내로 진입할때까지 우측 방향을 유지할 수 있다.
예를 들어, 프로세서(350)는, 트레일러(900)가 차량(100)의 주행차선 중 우측 주행차선을 이탈하려하는 경우, 트레일러의 주행경로를 좌측으로 변경하도록 차량(100)에 좌측 조향 제어신호를 인터페이스부(330)를 통해 트레일러에 제공할 수 있다.
트레일러의 휠은 상기 트레일러의 주행경로가 차량의 주행차선 내로 진입할때까지 좌측 방향을 유지할 수 있다.
도 20는 본 발명의 실시예에 따라, 차량의 주행경로와 동일한 경로를 주행하는 트레일러의 제어 동작을 설명하는데 참조되는 도면이다.
도 20는 트레일러가 상기 차량의 주행경로를 유지하도록 코너링하는 상태이다.
프로세서(350)는, 카메라부(310)로부터 차량 및 트레일러를 포함한 주변 영상을 제공받을수 있다. 프로세서(350)는, 상기 카메라부(310)로부터 제공받은 영상에 기초하여 트레일러의 자세를 판단할 수 있다. 프로세서(350)는, 상기 트레일러의 자세에 기초하여, 트레일러의 주행경로(2010)를 생성할 수 있다.
프로세서(350)는, 차량의 주행경로(2010)에 대응하여, 트레일러(900)가 상기 차량의 주행경로(2010)와 같은 주행경로를 주행하도록, 조향 제어신호를 인터페이부(330)를 통해 트레일러(900)에 제공할 수 있다.
예를 들어, 트레일러의 주행 방향(2020)이 상기 주행경로와 비교하여 좌측으로 기울어진 경우, 프로세서(350)는, 트레일러의 휠이 우측을 향하도록 조향 제어신호를 제공할 수 있다. 프로세서(350)는, 트레일러의 주행경로가 상기 차량의 주행경로와 동일한 경로를 가질때까지 우측 조향 제어신호를 제공할 수 있다.
예를 들어, 트레일러의 주행 방향(2020)이 상기 주행경로와 비교하여 우측으로 기울어진 경우, 프로세서(350)는, 트레일러의 휠이 좌측을 향하도록 조향 제어신호를 제공할 수 있다. 프로세서(350)는, 트레일러의 주행경로가 상기 차량의 주행경로와 동일한 경로를 가질때까지 우측 조향 제어신호를 제공할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서(350) 또는 제어부(170)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100 : 차량
300 : 차량용 운전 보조 장치
900 : 트레일러

Claims (20)

  1. 카메라부;
    트레일러와 차량의 연결 상태를 판단하고,
    상기 카메라부로부터 영상를 수신하여, 상기 영상에 기초하여 트레일러의 자세를 판단하고,
    상기 감지된 트레일러의 자세에 기초하여 상기 차량의 주행을 제어하기 위한 신호를 제공하는 프로세서;
    를 포함하는 차량용 운전 보조 장치.
  2. 제 1항에 있어서,
    인터페이스부를 더 포함하고,
    상기 프로세서는,
    상기 인터페이스부를 통해 트레일러로부터 데이터를 제공받는 경우,
    상기 트레일러와 상기 차량의 연결을 판단하는 차량용 운전 보조 장치.
  3. 제 1항에 있어서,
    기 설정된 트레일러의 자세를 마커로 저장하는 메모리;를 더 포함하고,
    상기 프로세서는,
    상기 카메라부에 포함된 후방 카메라의 영상에서 트레일러를 검출하고,
    상기 메모리로터 상기 마커를 수신하고,
    상기 검출된 트레일러의 전면부와 상기 마커를 매칭하고,
    상기 검출된 트레일러의 전면부와 상기 매칭된 마커가 이루는 각도에 기초하여, 상기 트레일러의 자세를 판단하는 차량용 운전 보조 장치.
  4. 제 1항에 있어서,
    상기 트레일러에 설치된 자이로 센서로부터 자이로 센싱 정보를 수신하는 인터페이스부를 더 포함하고,
    상기 프로세서는,
    상기 자이로 센성 정보에 기초하여,
    상기 트레일러의 자세를 판단하는 차량용 운전 보조 장치.
  5. 제 1항에 있어서,
    상기 프로세서는,
    상기 카메라부에서 획득한 복수의 영상을 합성하여 상기 차량의 이미지를 포함하는 어라운드 뷰 영상을 생성하고,
    상기 차량의 이미지를 포함하는 어라운드 뷰에 기초하여,
    상기 차량 및 상기 트레일러에 관한 어라운드 뷰 영상을 제공하는
    차량용 운전 보조 장치.
  6. 제 5항에 있어서,
    상기 트레일러에 포함된 카메라로부터 상기 트레일러의 주변 영상을 수신하는 인터페이스부를 더 포함하고,
    상기 프로세서는,
    상기 트레일러의 주변 영상과 상기 차량의 이미지를 더 포함하는 어라운드뷰 영상을 조합하여,
    상기 차량 및 상기 트레일러에 관한 어라운드뷰 영상을 제공하는 차량용 운전 보조 장치.
  7. 제 6항에 있어서,
    상기 인터페이스부는,
    상기 트레일러로부터 레이다, 라이다, 초음파 센서, 적외선 센서 중 적어도 하나 이상의 센서로부터 출력되는 센싱정보를 수신하고,
    상기 프로세서는,
    상기 센싱 정보에 대응하여 상기 차량 및 상기 트레일러에 관한 어라운드뷰를 제공하는 차량용 운전 보조 장치.
  8. 제 5항에 있어서,
    상기 트레일러의 자세에 대응하여 미리 생성된 복수의 룩업테이블(Look Up Table, LUT)을 저장하는 메모리;를 더 포함하고,
    상기 프로세서는,
    상기 트레일러의 자세가 변경되는 경우,
    상기 메모리로부터 상기 변경된 트레일러의 자세에 대응하는 룩업테이블을 수신하고, 상기 수신된 룩업테이블에 대응하여 상기 차량 및 트레일러에 관한 어라운드 뷰 영상을 제공하는
    차량용 운전 보조 장치.
  9. 제 1항에 있어서,
    상기 프로세서는,
    상기 트레일러의 주행 상태에 기초하여 차량의 연결고리의 상태를 고정상태 또는 조정상태로 제어하기 위한 신호를 제공하는
    차량용 운전 보조 장치.
  10. 제 9항에 있어서,
    상기 프로세서는,
    차량이 직진하는 경우,
    상기 연결고리를 고정상태로 제어하기 위한 신호를 제공하는
    차량용 운전 보조 장치.
  11. 제 9항에 있어서,
    상기 프로세서는,
    차량이 기 설정된 각도 이상 선회하는 경우,
    상기 연결고리를 조정상태로 제어하기 위한 신호를 제공하는
    차량용 운전 보조 장치.
  12. 제 1항에 있어서,
    상기 프로세서는,
    상기 트레일러의 자세에 대응하여,
    상기 트레일러의 주행을 제어하기 위해,
    차량 구동부 제공되는 가속 제어신호, 제동 제어신호 및 조향 제어신호중 적어도 하나 이상을 포함하는 상기 차량을 제어하기 위한 신호를 제공하는
    차량용 운전 보조 장치.
  13. 제 12항에 있어서,
    상기 인터페이부는,
    오브젝트 검출부로부터 차량 외부의 오브젝트 검출 정보를 수신하고,
    상기 프로세서는,
    상기 트레일러의 자세에 대응하여 상기 트레일러 주변의 오브젝트 정보를 재조합하는 차량용 운전 보조 장치.
  14. 제 13항에 있어서,
    상기 프로세서는,
    상기 재조합된 오브젝트 검출 정보에 기초하여, 상기 트레일러와 상기 검출된 오브젝트와의 거리를 검출하고,
    상기 오브젝트가 상기 트레일러에 기 설정된 거리 이내로 위치하는 경우, 충돌 위험이 있다고 판단하고,
    상기 충돌 위험이 있다고 판단한 경우, 트레일러가 상기 검출 오브젝트와 기 설정된 거리만큼 멀어지도록 상기 차량을 제어하기 위한 신호를 제공하는 차량용 운전 보조 장치.
  15. 제 12항에 있어서,
    상기 프로세서는,
    상기 차량 및 트레일러에서 제공된 영상에 기초하여, 상기 트레일러의 주행차선을 판단하고,
    상기 트레일러가 주행차선을 유지하도록 상기 차량을 제어하기 위한 신호를 제공하는 차량용 운전 보조 장치.
  16. 제 12항에 있어서,
    상기 프로세서는, 주차시,
    상기 트레일러의 자세에 기초하여 주차경로를 생성하고,
    상기 주차경로에 대응하여 트레일러를 주차하도록 상기 차량을 제어하기 위한 신호를 제공하는 차량용 운전 보조 장치.
  17. 제 1항에 있어서,
    상기 프로세서는,
    상기 트레일러의 자세에 대응하여,
    상기 트레일러의 휠을 제어하기 위해 상기 트레일러에 제공되는 제동 제어신호 및 조향 제어신호 중 적어도 하나 이상을 포함하는 상기 트레일러의 휠을 제어하기 위한 신호를 제공하는 차량용 운전 보조 장치.
  18. 제 17항에 있어서,
    상기 인터페이부는,
    오브젝트 검출부로부터 차량 외부의 오브젝트 검출 정보를 수신하고,
    상기 프로세서는,
    상기 재조합된 오브젝트 검출 정보에 기초하여, 상기 트레일러와 상기 검출된 오브젝트와의 거리를 검출하고,
    상기 오브젝트가 상기 트레일러에 기 설정된 거리 이내로 접근하는 경우, 충돌 위험이 잇다고 판단하고,
    상기 충돌 위험이 있다고 판단한 경우, 트레일러가 상기 검출 오브젝트와 기 설정된 거리만큼 멀어지도록 상기 트레일러의 휠을 제어하기 위한 신호를 제공하는 차량용 운전 보조 장치.
  19. 제 17항에 있어서,
    상기 프로세서는,
    차량 및 트레일러에서 제공된 영상에 기초하여,
    상기 트레일러의 주행차선을 판단하고,
    상기 트레일러가 주행차선을 유지하도록 상기 트레일러의 휠을 제어하기 위한 신호를 제공하는 차량용 운전 보조 장치.
  20. 제 17항에 있어서,
    상기 프로세서는,
    상기 트레일러가 상기 차량의 주행경로에 대응하여,
    상기 트레일러가 상기 주행경로와 같은 경로를 주행하도록 상기 트레일러의 휠을 제어하기 위한 신호를 제공하는 차량용 운전 보조 장치.

KR1020160145238A 2016-11-02 2016-11-02 차량용 운전 보조 장치 및 차량 KR101859045B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160145238A KR101859045B1 (ko) 2016-11-02 2016-11-02 차량용 운전 보조 장치 및 차량
US15/801,466 US10496892B2 (en) 2016-11-02 2017-11-02 Apparatus for providing around view image, and vehicle
CN201711066054.8A CN108010053A (zh) 2016-11-02 2017-11-02 提供环视图像的装置和方法、车辆及计算机可读存储介质
EP17199631.7A EP3318469B1 (en) 2016-11-02 2017-11-02 Apparatus for providing around view image, and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160145238A KR101859045B1 (ko) 2016-11-02 2016-11-02 차량용 운전 보조 장치 및 차량

Publications (2)

Publication Number Publication Date
KR20180048090A true KR20180048090A (ko) 2018-05-10
KR101859045B1 KR101859045B1 (ko) 2018-05-17

Family

ID=60201924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160145238A KR101859045B1 (ko) 2016-11-02 2016-11-02 차량용 운전 보조 장치 및 차량

Country Status (4)

Country Link
US (1) US10496892B2 (ko)
EP (1) EP3318469B1 (ko)
KR (1) KR101859045B1 (ko)
CN (1) CN108010053A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021076882A1 (en) * 2019-10-18 2021-04-22 Wavesense, Inc. Oscillation detection for vehicles and trailers
WO2024112092A1 (ko) * 2022-11-22 2024-05-30 주식회사 에이브이지니어스 원격 대행 주차 서비스 시스템 및 방법

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10801169B2 (en) 2015-06-29 2020-10-13 Royal Truck & Equipment, Inc Truck safety modules for assisting workpersons to place and retrieve traffic delineators
US11008717B2 (en) * 2015-06-29 2021-05-18 Royal Truck & Equipment, Inc. Safety truck attachments, and methods of safety truck use
US10556545B2 (en) * 2015-06-29 2020-02-11 Royal Truck & Equipment, Inc. Over-cab rack for traffic delineators
US10239555B2 (en) 2015-11-19 2019-03-26 Agjunction Llc Single-mode implement steering
US11180189B2 (en) * 2015-11-19 2021-11-23 Agjunction Llc Automated reverse implement parking
WO2019037870A1 (en) * 2017-08-25 2019-02-28 Volvo Truck Corporation METHOD FOR DIRECTING AN ARTICULATED VEHICLE
US11591018B2 (en) * 2017-10-10 2023-02-28 Aisin Corporation Parking assistance device
JP6972938B2 (ja) * 2017-11-07 2021-11-24 株式会社アイシン 周辺監視装置
US10919350B2 (en) * 2018-01-04 2021-02-16 Hall Labs Llc System for optimizing a trailer path
DE102018203152A1 (de) * 2018-03-02 2019-09-05 Continental Automotive Gmbh Anhängerwinkelbestimmungssystem für ein Fahrzeug
DE102018209382A1 (de) * 2018-06-13 2019-12-19 Zf Friedrichshafen Ag Kamera-basiertes Andocken von Fahrzeugen mittels künstlicher Intelligenz
CN109308686B (zh) * 2018-08-16 2022-06-24 北京市商汤科技开发有限公司 一种鱼眼图像处理方法及装置、设备和存储介质
US11023742B2 (en) * 2018-09-07 2021-06-01 Tusimple, Inc. Rear-facing perception system for vehicles
WO2020076427A1 (en) * 2018-10-08 2020-04-16 Agjunction Llc Automated reverse implement parking
JP2020067702A (ja) * 2018-10-22 2020-04-30 株式会社Ihi 姿勢検出装置及び運搬システム
US11125881B2 (en) * 2018-12-10 2021-09-21 Waymo Llc Lidar-based trailer tracking
JP7293648B2 (ja) * 2018-12-21 2023-06-20 トヨタ自動車株式会社 運転支援装置、車両、運転支援システム、及び運転支援方法
US11214105B2 (en) * 2019-01-29 2022-01-04 Ford Global Technologies, Llc Saturated steering detection and operation for guided vehicle operation
CN110084230B (zh) * 2019-04-11 2021-05-28 北京百度网讯科技有限公司 基于图像的车身方向检测方法和装置
CN112184545A (zh) * 2019-07-05 2021-01-05 杭州海康威视数字技术股份有限公司 车载环视图生成方法、装置及系统
CN112215917A (zh) * 2019-07-09 2021-01-12 杭州海康威视数字技术股份有限公司 车载全景图生成方法、装置及系统
US11180148B2 (en) * 2019-09-03 2021-11-23 Ford Global Technologies, Llc Detection and response to confined trailer in system-assisted hitch operation
CN110705445A (zh) * 2019-09-27 2020-01-17 长城汽车股份有限公司 拖车及盲区目标检测方法和装置
US11433943B2 (en) * 2019-11-01 2022-09-06 Ford Global Technologies, Llc Hitch angle detection using automotive radar
SE1951476A1 (en) * 2019-12-17 2021-06-18 Scania Cv Ab Method and control arrangement for relational position displacement between two bodies of a multibody vehicle
JP7271416B2 (ja) * 2019-12-27 2023-05-11 株式会社クボタ 作業車両及び作業車両の走行管理システム
CN111284502B (zh) * 2020-03-10 2021-06-04 仓擎智能科技(上海)有限公司 一种牵引车组位姿检测方法及系统
EP4029744B1 (en) * 2021-01-19 2023-08-09 Volvo Truck Corporation Dynamics-based articulation angle estimator for a vehicle combination
DE102021207558A1 (de) 2021-07-15 2023-01-19 Continental Autonomous Mobility Germany GmbH Kamerasystem sowie Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem
US20230021911A1 (en) * 2021-07-26 2023-01-26 Ford Global Technologies, Llc Operation assistance system for a vehicle
CN117657144A (zh) * 2022-08-26 2024-03-08 北汽福田汽车股份有限公司 车辆控制的方法、装置、电子设备和车辆
KR102490073B1 (ko) * 2022-09-01 2023-01-20 엘케이시스(주) 트레일러 정보를 자율주행 이용한 시스템
FR3141427A3 (fr) * 2022-10-27 2024-05-03 Sc Optima Guidage d’essieu d’une remorque sur la trajectoire d’un véhicule tracteur
CN117622322B (zh) * 2024-01-26 2024-04-26 杭州海康威视数字技术股份有限公司 转角检测方法、装置、设备及存储介质

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235036A (ja) * 2002-02-07 2003-08-22 Nissan Motor Co Ltd 車両用画像表示装置
DE10322829A1 (de) 2003-05-19 2004-12-09 Daimlerchrysler Ag Steuerungssystem für ein Fahrzeug
JP3945467B2 (ja) * 2003-10-02 2007-07-18 日産自動車株式会社 車両後退支援装置および方法
JP4104631B2 (ja) * 2006-03-27 2008-06-18 三洋電機株式会社 運転支援装置
KR20090105230A (ko) 2008-04-02 2009-10-07 현대자동차주식회사 트레일러의 연결장치
DE102008045436A1 (de) * 2008-09-02 2010-03-04 Volkswagen Ag Verfahren und Vorrichtung zum Bestimmen eines Knickwinkels zwischen einem Zugfahrzeug und einem Anhänger
US9085261B2 (en) * 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
US8469125B2 (en) * 2011-03-25 2013-06-25 Honda Motor Co., Ltd. System and method for controlling a trailer connected to a vehicle
US9164955B2 (en) * 2013-02-04 2015-10-20 Ford Global Technologies Trailer active back-up assist with object avoidance
US9500497B2 (en) * 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
US9694850B2 (en) * 2011-07-18 2017-07-04 Daniel Robert Shepard Trailer backing up device and table based method
US9373044B2 (en) * 2011-07-25 2016-06-21 Ford Global Technologies, Llc Trailer lane departure warning system
US9335845B2 (en) * 2012-01-31 2016-05-10 MCube Inc. Selective accelerometer data processing methods and apparatus
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9558409B2 (en) * 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
KR101469562B1 (ko) * 2013-07-02 2014-12-05 현대오트론 주식회사 견인차량과 트레일러의 연동장치 및 그 제어 방법
GB2515800B (en) * 2013-07-04 2017-06-07 Jaguar Land Rover Ltd Vehicle control system
KR20150019192A (ko) * 2013-08-13 2015-02-25 현대모비스 주식회사 Avm 시스템을 위한 영상 합성 장치 및 그 방법
US9464887B2 (en) * 2013-11-21 2016-10-11 Ford Global Technologies, Llc Illuminated hitch angle detection component
US10160382B2 (en) * 2014-02-04 2018-12-25 Magna Electronics Inc. Trailer backup assist system
US20150286878A1 (en) * 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
AU2014393428B2 (en) * 2014-05-06 2017-08-17 Robert Bosch Gmbh Dynamic camera view to aid with trailer attachment
DE202014004888U1 (de) * 2014-06-16 2014-07-31 Liebherr-Werk Ehingen Gmbh Gitterstück für ein Gitterausleger, Gitterausleger sowie Kran
US9949338B2 (en) * 2014-07-08 2018-04-17 Phillip C. Wilson Device to allow a two-way switch to operate in a multiple-switch electrical circuit
KR102289748B1 (ko) 2014-09-19 2021-08-13 현대모비스 주식회사 트레일러 정상 견인 확인 방법
US9550481B2 (en) * 2014-11-11 2017-01-24 Tuson (Jiaxing) Corporation Trailer with a trailer brake control device therein
US9428188B2 (en) * 2014-12-11 2016-08-30 Robert Bosch Gmbh Lane assist functions for vehicles with a trailer
US10086870B2 (en) * 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
US10611407B2 (en) * 2015-10-19 2020-04-07 Ford Global Technologies, Llc Speed control for motor vehicles
WO2017112444A1 (en) * 2015-12-22 2017-06-29 Continental Automotive Systems, Inc. Wireless capability and display for collision warning of a vehicle-trailer unit
JP6748212B2 (ja) * 2016-01-14 2020-08-26 コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． 標的物を必要としないヒッチ角度検出およびトレーラ形状学習を有する車両−トレーラ後退システム
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
US10106193B2 (en) * 2016-07-01 2018-10-23 Ford Global Technologies, Llc Enhanced yaw rate trailer angle detection initialization

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021076882A1 (en) * 2019-10-18 2021-04-22 Wavesense, Inc. Oscillation detection for vehicles and trailers
WO2024112092A1 (ko) * 2022-11-22 2024-05-30 주식회사 에이브이지니어스 원격 대행 주차 서비스 시스템 및 방법

Also Published As

Publication number Publication date
CN108010053A (zh) 2018-05-08
US20180121742A1 (en) 2018-05-03
KR101859045B1 (ko) 2018-05-17
EP3318469A1 (en) 2018-05-09
EP3318469B1 (en) 2021-04-14
US10496892B2 (en) 2019-12-03

Similar Documents

Publication Publication Date Title
KR101859045B1 (ko) 차량용 운전 보조 장치 및 차량
CN109910749B (zh) 设于车辆的车辆控制装置及车辆的控制方法
CN109693665B (zh) 自动驻车装置及其控制方法
KR101942527B1 (ko) 차량용 어라운드 뷰 제공 장치 및 차량
CN109249939B (zh) 用于车辆的驱动系统和车辆
KR101850795B1 (ko) 주차 수행 장치 및 차량
US11661005B2 (en) Apparatus for providing around view
US11086335B2 (en) Driving assistance system and vehicle comprising the same
KR102012776B1 (ko) 차량용 어라운드 뷰 제공 장치 및 차량
CN109542096B (zh) 控制车辆的运行系统的方法及车辆的运行系统
CN108928342B (zh) 车辆用驻车系统及车辆
CN106956676B (zh) 转向装置以及车辆
KR20180132922A (ko) 차량용 디스플레이 장치 및 차량
KR20190098818A (ko) 자동 주차 시스템 및 차량
US10573177B2 (en) Vehicle controlling technology
US10703374B2 (en) Vehicle driving assisting apparatus and vehicle comprising same
KR102470298B1 (ko) 카메라 보정 방법 및 장치
KR20160147557A (ko) 자동 주차 장치 및 차량
KR20200095314A (ko) 차량 간 영상 공유 방법
KR102611337B1 (ko) 차량의 ar 디스플레이 장치 및 그것의 동작방법
KR101893815B1 (ko) 차량용 어라운드 뷰 제공 장치 및 차량
US11546555B2 (en) Around-view image control device and around-view image processing method therefor
KR102043954B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
KR101781535B1 (ko) 선바이저 장치 및 그 제어 방법
US20210323469A1 (en) Vehicular around view image providing apparatus and vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right