KR20210061497A - Surround view monitoring system and method for vehicle - Google Patents

Surround view monitoring system and method for vehicle Download PDF

Info

Publication number
KR20210061497A
KR20210061497A KR1020190148666A KR20190148666A KR20210061497A KR 20210061497 A KR20210061497 A KR 20210061497A KR 1020190148666 A KR1020190148666 A KR 1020190148666A KR 20190148666 A KR20190148666 A KR 20190148666A KR 20210061497 A KR20210061497 A KR 20210061497A
Authority
KR
South Korea
Prior art keywords
vehicle
display
display device
composite image
detection sensor
Prior art date
Application number
KR1020190148666A
Other languages
Korean (ko)
Inventor
이일규
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020190148666A priority Critical patent/KR20210061497A/en
Priority to US17/096,094 priority patent/US11760262B2/en
Publication of KR20210061497A publication Critical patent/KR20210061497A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/60—Structural details of dashboards or instruments
    • B60K2360/65—Features of dashboards
    • B60K2360/652—Crash protection features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Disclosed is a system for monitoring a surround view of a vehicle, which comprises: a plurality of cameras provided in a vehicle and capturing an image near the vehicle; an image synthesis unit synthesizing the image captured by the cameras to form a synthesized image monitoring a periphery of the vehicle; a driving recognition unit recognizing driving state information of the vehicle; and a display control unit controlling a display device to enable a portion or an entire of the synthesized image formed in the image synthesis unit to be selectively displayed based on the driving state information of the vehicle recognized by the driving recognition unit.

Description

차량의 서라운드 뷰 모니터링 시스템 및 방법 {SURROUND VIEW MONITORING SYSTEM AND METHOD FOR VEHICLE}Surround view monitoring system and method of vehicle {SURROUND VIEW MONITORING SYSTEM AND METHOD FOR VEHICLE}

본 발명은 차량의 서라운드 뷰 모니터링 시스템 및 방법에 관한 것으로, 차량을 위에서 내려다보는 시점으로 차량의 주위를 모니터링하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for monitoring a surround view of a vehicle, and to a system and method for monitoring the surroundings of a vehicle at a point of view from above.

차량의 서라운드 뷰 모니터링(SVM: Surround View Monitoring) 또는 어라운드 뷰 모니터링(AVM: Around View Monitoring) 시스템은 차량에 설치된 4개의 카메라로부터 수신한 영상을 처리하여 차량 주변을 조감도(Bird's Eye View) 형태로 보여주는 시스템이다.Surround View Monitoring (SVM) or Around View Monitoring (AVM) system of the vehicle processes images received from four cameras installed in the vehicle and displays the surroundings of the vehicle in the form of a bird's eye view. System.

차량의 서라운드 뷰 모니터링은 180 [deg] 이상의 화각을 갖는 초광각 렌즈가 적용된 카메라를 이용하고, 이에 따라 발생하는 왜곡에 의해 주차선이 심하게 휘어지는 문제가 있었으며, 이러한 문제를 해결하기 위하여 다수의 카메라에서 촬영되는 영상을 이용하여 정합성 기준에 맞도록 합성하는 기술이 필수적으로 요구된다.Surround view monitoring of a vehicle uses a camera with an ultra-wide angle lens having a field of view of 180 [deg] or more, and there is a problem that the parking line is severely bent due to the distortion that occurs. A technique of synthesizing the images to meet the consistency criteria is indispensable.

다만, 서라운드 뷰 모니터링은 주행 상황에 따라 일부분분만이 요구되고, 전체적인 서라운드 뷰 모니터링의 전체 화면은 오히려 운전자의 집중력을 흐릴 수 있는 문제가 있었다.However, the surround view monitoring requires only a partial delivery depending on the driving situation, and the entire surround view monitoring has a problem that may obscure the driver's concentration.

상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.The matters described as the background art are only for enhancing an understanding of the background of the present invention, and should not be taken as acknowledging that they correspond to the prior art already known to those of ordinary skill in the art.

KR 10-1987634 B1KR 10-1987634 B1

본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, 차량의 주행 상황에 따라 서라운드 뷰 모니터링의 디스플레이 화면을 가변하는 기술을 제공하고자 함이다.The present invention has been proposed to solve this problem, and is to provide a technology for varying a display screen of surround view monitoring according to a driving situation of a vehicle.

상기의 목적을 달성하기 위한 본 발명에 따른 차량의 서라운드 뷰 모니터링 시스템은 차량에 구비되고, 차량 주위의 영상을 촬영하는 복수의 카메라; 복수의 카메라에서 촬영한 영상을 합성하여 차량의 주위를 모니터링하는 합성 영상을 형성하는 영상 합성부; 차량의 주행 상태 정보를 인식하는 주행 인식부; 및 주행 인식부에서 인식한 차량의 주행 상태 정보를 기반으로 영상 합성부에서 형성한 합성 영상의 일부분 또는 전체가 선택적으로 표시되도록 디스플레이 장치를 제어하는 디스플레이 제어부;를 포함한다.A surround view monitoring system for a vehicle according to the present invention for achieving the above object comprises: a plurality of cameras provided in the vehicle and photographing images around the vehicle; An image synthesizing unit for synthesizing images captured by a plurality of cameras to form a composite image for monitoring the surroundings of the vehicle; A driving recognition unit for recognizing driving state information of the vehicle; And a display control unit for controlling the display device to selectively display a part or all of the synthesized image formed by the image synthesis unit based on the driving state information of the vehicle recognized by the driving recognition unit.

주행 인식부에서는, 차량의 변속 모드, 주행 속도 또는 조향각을 입력받아 차량의 주행 상태 정보를 인식할 수 있다.The driving recognition unit may recognize the driving state information of the vehicle by receiving a shift mode, a driving speed, or a steering angle of the vehicle.

디스플레이 제어부에서는, 주행 인식부에서 차량이 후진하는 상태로 인식하는 경우에 차량의 후반부 주위를 포함하는 합성 영상의 일부분이 표시되도록 디스플레이 장치를 제어할 수 있다.The display control unit may control the display device to display a portion of the composite image including the rear portion of the vehicle when the driving recognition unit recognizes that the vehicle is moving backwards.

차량 주위의 장애물을 감지하는 감지센서;를 더 포함하고, 디스플레이 제어부에서는, 감지센서에서 차량의 전반부 주위를 감지한 전반부 감지 정보가 더 표시되도록 디스플레이 장치를 제어할 수 있다.It further includes a detection sensor for detecting an obstacle around the vehicle, and the display controller may control the display device to further display front half detection information detected by the detection sensor around the front half of the vehicle.

차량 주위의 장애물을 감지하는 감지센서;를 더 포함하고, 디스플레이 제어부에서는, 감지센서가 장애물이 차량의 전반부로부터 기설정된 거리 이하에 존재하는 것으로 감지한 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치를 제어할 수 있다.A detection sensor that detects an obstacle around the vehicle; the display control unit further includes, in the display control unit, the display device so that the entire composite image is displayed when the detection sensor detects that the obstacle exists less than a preset distance from the front part of the vehicle. Can be controlled.

차량 주위의 장애물을 감지하는 감지센서;를 더 포함하고, 디스플레이 제어부에서는, 감지센서가 장애물이 차량의 전반부에 접근하는 것으로 감지한 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치를 제어할 수 있다.It further includes a detection sensor for detecting an obstacle around the vehicle, and the display controller may control the display device to display the entire composite image when the detection sensor detects that the obstacle approaches the front part of the vehicle.

주행 인식부에서는, 차량의 조향각 정보를 입력 받고, 디스플레이 제어부에서는, 입력 받은 조향각의 크기가 기설정된 각도 이상인 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치를 제어할 수 있다.The driving recognition unit may receive information on the steering angle of the vehicle, and the display controller may control the display device to display the entire composite image when the size of the received steering angle is greater than or equal to a preset angle.

차량 주위의 장애물을 감지하는 감지센서; 및 주행 인식부에서 인식한 차량의 주행 상태 정보를 기반으로 차량의 전반부가 감지센서에서 감지한 장애물과 충돌 가능성이 존재하는지 판단하는 충돌 판단부;를 더 포함하고, 디스플레이 제어부에서는, 충돌가능성 판단부가 충돌 가능성이 존재하는 것으로 판단한 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치를 제어할 수 있다.A detection sensor that detects an obstacle around the vehicle; And a collision determination unit configured to determine whether there is a possibility of collision with an obstacle detected by the detection sensor in the first half of the vehicle based on the driving state information of the vehicle recognized by the driving recognition unit. When it is determined that there is a possibility of collision, the display device may be controlled to display the entire composite image.

상기의 목적을 달성하기 위한 본 발명에 따른 차량의 서라운드 뷰 모니터링 방법은 차량 주위의 영상을 촬영하는 복수의 카메라에서 촬영한 영상을 합성하여 차량의 주위를 모니터링하는 합성 영상을 형성하는 단계; 및 차량의 주행 상태 정보를 기반으로 합성 영상의 일부분 또는 전체가 선택적으로 표시되도록 디스플레이 장치를 제어하는 단계;를 포함한다.In order to achieve the above object, a method for monitoring a surround view of a vehicle according to the present invention includes the steps of forming a composite image for monitoring the surroundings of the vehicle by synthesizing images captured by a plurality of cameras for photographing images around the vehicle; And controlling the display device to selectively display part or all of the synthesized image based on the driving state information of the vehicle.

디스플레이 장치를 제어하는 단계에서는, 차량이 후진하는 상태로 인식하는 경우에 차량의 후반부 주위를 포함하는 합성 영상의 일부분이 표시되도록 디스플레이 장치를 제어할 수 있다.In the controlling of the display device, when it is recognized that the vehicle is moving backward, the display device may be controlled so that a part of the composite image including the rear portion of the vehicle is displayed.

디스플레이 장치를 제어하는 단계 이전에, 차량의 주행 상태 정보를 기반으로 차량의 전반부가 감지센서에서 감지한 장애물과 충돌 가능성이 존재하는지 판단하는 단계;를 더 포함하고, 디스플레이 장치를 제어하는 단계에서는, 합성 영상의 전체가 표시되도록 디스플레이 장치를 제어할 수 있다.Prior to the controlling of the display device, determining whether there is a possibility of a collision with an obstacle detected by the detection sensor in the first half of the vehicle based on the driving state information of the vehicle; further comprising, in the step of controlling the display device, The display device can be controlled so that the entire composite image is displayed.

본 발명의 차량의 서라운드 뷰 모니터링 시스템 및 방법에 따르면, 차량의 주행 상태에 따라 운전자의 주의가 요구되는 영역을 집중해서 표시함으로써 운전자의 집중도를 향상시켜 편의성 및 안정성이 향상되는 효과를 갖는다.According to the surround view monitoring system and method of a vehicle of the present invention, by focusing and displaying an area requiring the driver's attention according to the driving state of the vehicle, the driver's concentration is improved, thereby improving convenience and stability.

도 1은 본 발명의 일 실시예에 따른 차량의 서라운드 뷰 모니터링 시스템의 구성도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치에 표시된 합성 영상의 전체를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치에 표시된 합성 영상의 일부를 도시한 것이다.
도 4는 본 발명의 다른 실시예에 따른 디스플레이 장치에 표시된 합성 영상의 일부를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 차량의 서라운드 뷰 모니터링 방법의 순서도이다.1 is a block diagram of a system for monitoring a surround view of a vehicle according to an exemplary embodiment of the present invention.
2 is a diagram illustrating the entire composite image displayed on a display device according to an exemplary embodiment of the present invention.
3 illustrates a part of a composite image displayed on a display device according to an embodiment of the present invention.
4 illustrates a part of a composite image displayed on a display device according to another exemplary embodiment of the present invention.
5 is a flowchart of a method for monitoring a surround view of a vehicle according to an embodiment of the present invention.

본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다. Specific structural or functional descriptions of the embodiments of the present invention disclosed in this specification or application are exemplified only for the purpose of describing the embodiments according to the present invention, and the embodiments according to the present invention may be implemented in various forms. And should not be construed as being limited to the embodiments described in this specification or application.

본 발명에 따른 실시 예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Since the embodiments according to the present invention can be modified in various ways and have various forms, specific embodiments are illustrated in the drawings and will be described in detail in the present specification or application. However, this is not intended to limit the embodiments according to the concept of the present invention to a specific form of disclosure, and it should be understood that all changes, equivalents, and substitutes included in the spirit and scope of the present invention are included.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first and/or second may be used to describe various components, but the components should not be limited by the terms. The terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of the rights according to the concept of the present invention, the first component may be named as the second component, and similarly The second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다. When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. It should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle. Other expressions describing the relationship between components, such as "between" and "directly between" or "adjacent to" and "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terms used in the present specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of a set feature, number, step, action, component, part, or combination thereof, and one or more other features or numbers. It is to be understood that the presence or additional possibilities of, steps, actions, components, parts, or combinations thereof are not preliminarily excluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless otherwise defined, all terms used herein including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present specification. .

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, the present invention will be described in detail by describing a preferred embodiment of the present invention with reference to the accompanying drawings. The same reference numerals shown in each drawing indicate the same members.

도 1은 본 발명의 일 실시예에 따른 차량의 서라운드 뷰 모니터링 시스템의 구성도를 도시한 것이다.1 is a block diagram of a system for monitoring a surround view of a vehicle according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 차량의 서라운드 뷰 모니터링 시스템은 차량에 구비되고, 차량 주위의 영상을 촬영하는 복수의 카메라(10); 복수의 카메라(10)에서 촬영한 영상을 합성하여 차량의 주위를 모니터링하는 합성 영상을 형성하는 영상 합성부(30); 차량의 주행 상태 정보를 인식하는 주행 인식부(40); 및 주행 인식부(40)에서 인식한 차량의 주행 상태 정보를 기반으로 영상 합성부(20)에서 형성한 합성 영상의 일부분 또는 전체가 선택적으로 표시되도록 디스플레이 장치(70)를 제어하는 디스플레이 제어부(60);를 포함한다.Referring to FIG. 1, a surround view monitoring system of a vehicle according to an embodiment of the present invention includes a plurality of cameras 10 provided in a vehicle and photographing images around the vehicle; An image synthesizing unit 30 for synthesizing images captured by a plurality of cameras 10 to form a composite image for monitoring the surroundings of the vehicle; A driving recognition unit 40 for recognizing driving state information of the vehicle; And a display control unit 60 for controlling the display device 70 to selectively display a part or all of the synthesized image formed by the image synthesis unit 20 based on the driving state information of the vehicle recognized by the driving recognition unit 40. ); includes.

카메라는 차량 주위의 영상을 촬영하는 장치로, 스테레오 카메라일 수 있다. 카메라는 차량에 복수 개가 구비되어 다양한 각도에서 차량의 주위를 촬영할 수 있다.The camera is a device for photographing an image around a vehicle, and may be a stereo camera. A plurality of cameras are provided on the vehicle, so that it is possible to photograph the surroundings of the vehicle from various angles.

일 실시예로, 복수의 카메라(10)는 차량의 전방, 후방, 좌측방 및 우측방을 각각 촬영하도록 전방카메라, 후방카메라, 좌측카메라 및 우측카메라가 구비될 수 있다.In one embodiment, the plurality of cameras 10 may be provided with a front camera, a rear camera, a left camera, and a right camera to respectively photograph the front, rear, left and right sides of the vehicle.

본 발명의 예시적인 실시예에 따른 영상 합성부(30), 주행 인식부(40), 충돌 판단부(50) 및 디스플레이 제어부(60)는 ECU 또는 별도의 SVM 제어기에 포함되거나, 별도의 제어기로 구성될 수 있다. 특히, 이러한 제어기는 차량의 다양한 구성 요소의 동작을 제어하도록 구성된 알고리즘 또는 상기 알고리즘을 재생하는 소프트웨어 명령어에 관한 데이터를 저장하도록 구성된 비휘발성 메모리(도시되지 않음) 및 해당 메모리에 저장된 데이터를 사용하여 이하에 설명되는 동작을 수행하도록 구성된 프로세서(도시되지 않음)를 통해 구현될 수 있다. 여기서, 메모리 및 프로세서는 개별 칩으로 구현될 수 있다. 대안적으로는, 메모리 및 프로세서는 서로 통합된 단일 칩으로 구현될 수 있다. 프로세서는 하나 이상의 프로세서의 형태를 취할 수 있다.The image synthesis unit 30, the driving recognition unit 40, the collision determination unit 50, and the display control unit 60 according to an exemplary embodiment of the present invention are included in the ECU or a separate SVM controller, or as a separate controller. Can be configured. In particular, such a controller uses an algorithm configured to control the operation of various components of the vehicle or a nonvolatile memory (not shown) configured to store data related to a software instruction to reproduce the algorithm and data stored in the memory. It may be implemented through a processor (not shown) configured to perform the operation described in FIG. Here, the memory and the processor may be implemented as individual chips. Alternatively, the memory and processor may be implemented as a single chip integrated with each other. The processor may take the form of one or more processors.

영상 합성부(30)는 복수의 카메라(10)에서 각각 촬영한 영상을 합성하여 합성 영상을 형성한다. 합성 영상은 어라운드 뷰 영상일 수 있다. 영상 합성부(30)는 합성되는 과정에서 높은 정합성을 가지기 위하여 공차를 보정할 수 있다.The image synthesizing unit 30 synthesizes images captured by each of the plurality of cameras 10 to form a composite image. The composite image may be an around view image. The image synthesizing unit 30 may correct the tolerance in order to have high consistency during the synthesis process.

영상 합성부(30)는 복수의 카메라(10)에서 촬영한 영상을 합성하여 차량을 상부에서 바라보는 것과 같은 합성 영상을 형성할 수 있다.The image synthesizing unit 30 may synthesize images captured by a plurality of cameras 10 to form a composite image such as viewing a vehicle from above.

주행 인식부(40)는 차량의 주행 상태 정보를 인식할 수 있다. 여기서, 차량의 주행 상태 정보는 차량의 주행 방향, 조향각, 변속 모드 정보 및 차속 등의 주행과 관련된 정보가 포함될 수 있다.The driving recognition unit 40 may recognize driving state information of the vehicle. Here, the driving state information of the vehicle may include information related to driving, such as driving direction, steering angle, shift mode information, and vehicle speed of the vehicle.

디스플레이 장치(70)는 AVN 시스템(Audio, Video, Navigation)에 포함된 운전자에게 디스플레이되는 화면이 포함된 장치일 수 있다.The display device 70 may be a device including a screen displayed to a driver included in an AVN system (Audio, Video, Navigation).

디스플레이 장치(70)는 카메라에서 촬영된 차량 주변 영상을 운전자가 확인할 수 있도록 출력하기 위한 장치로, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등의 다양한 화상 출력 패널을 사용할 수 있다. The display device 70 is a device for outputting an image around a vehicle photographed by a camera so that a driver can check it, and various image output panels such as LCD (Liquid Crystal Display) and OLED (Organic Light Emitting Diodes) can be used.

여기서, 디스플레이 장치(70)는 LCD 등과 같은 화상 출력 패널 그 자체를 의미할 수도 있으나, 화상 출력 패널을 구비하는 PC, 노트북, 차량용 네비게이션 등의 제품을 의미할 수도 있다.Here, the display device 70 may refer to an image output panel itself such as an LCD, but may also refer to a product such as a PC, a notebook computer, or a vehicle navigation device having an image output panel.

디스플레이 제어부(60)는 영상 합성부(20)에서 형성한 합성 영상이 디스플레이 장치(70)에 표시되도록 제어할 수 있다. 종래 기술에 따르면, 디스플레이 제어부(60)는 차속이 기설정된 속도 이하인 경우, 차량의 변속 모드가 후진(R)단인 경우 또는 운전자로부터 선택된 경우 등에 합성 영상이 표시되도록 디스플레이 장치(70)를 제어하였다.The display control unit 60 may control the synthesized image formed by the image synthesis unit 20 to be displayed on the display device 70. According to the prior art, the display controller 60 controls the display device 70 to display a composite image when the vehicle speed is less than or equal to a preset speed, when the vehicle shift mode is in the reverse (R) stage, or when the driver selects it.

도 2는 본 발명의 일 실시예에 따른 디스플레이 장치(70)에 표시된 합성 영상의 전체를 도시한 것이고, 도 3은 본 발명의 일 실시예에 따른 디스플레이 장치(70)에 표시된 합성 영상의 일부를 도시한 것이다.2 is a view showing the entire composite image displayed on the display device 70 according to an embodiment of the present invention, and FIG. 3 is a partial view of the composite image displayed on the display device 70 according to an embodiment of the present invention. It is shown.

도 2 내지 3을 더 참조하면, 본 발명의 일 실시예에 따른 디스플레이 제어부(60)는 주행 인식부(40)에서 인식한 차량의 주행 상태 정보를 기반으로 합성 영상의 일부분 또는 전체가 선택적으로 표시되도록 디스플레이 장치(70)를 제어할 수 있다.2 to 3, the display control unit 60 according to an embodiment of the present invention selectively displays part or all of the composite image based on the driving state information of the vehicle recognized by the driving recognition unit 40. The display device 70 can be controlled as much as possible.

즉, 디스플레이 제어부(60)는 도 2에 도시한 것과 같이 차량의 주행 상태 정보에 따라 합성 영상의 전체가 표시되거나, 도 3에 도시한 것과 같이 합성 영상의 일부분만이 표시되도록 디스플레이 장치(70)를 제어할 수 있다. 이에 따라, 차량의 주행 상태에 따라 운전자의 주의가 요구되는 영역을 집중해서 표시함으로써 운전자의 집중도를 향상시켜 편의성 및 안정성이 향상되는 효과를 갖는다.That is, the display control unit 60 displays the entire composite image according to the driving state information of the vehicle as shown in FIG. 2, or displays only a part of the composite image as shown in FIG. 3. Can be controlled. Accordingly, the driver's concentration is improved by focusing and displaying the area requiring the driver's attention according to the driving state of the vehicle, thereby improving convenience and stability.

주행 인식부(40)에서는, 차량의 변속 모드, 주행 속도 또는 조향각을 입력받아 차량의 주행 상태 정보를 인식할 수 있다.The driving recognition unit 40 may recognize the driving state information of the vehicle by receiving a shift mode, a driving speed, or a steering angle of the vehicle.

주행 인식부(40)는 변속기 제어기(TCU: Transmission Control Unit)와 통신 가능하도록 연결되어 변속 모드를 입력받을 수 있고, 차량의 속도 센서 등과 연결되어 차속을 입력받을 수 있으며, 차량의 조향 핸들이 회전된 회전각을 센싱하거나 조향휠이 회전된 조향각을 직접 센싱하는 센서와 연결되어 조향휠이 회전된 조향각을 입력받을 수 있다.The driving recognition unit 40 is connected to enable communication with a transmission control unit (TCU) to receive a shift mode input, is connected to a vehicle speed sensor, etc. to receive vehicle speed, and the steering wheel of the vehicle is rotated. The steering angle by which the steering wheel is rotated may be input by being connected to a sensor that senses the rotated angle or directly senses the steering angle by which the steering wheel is rotated.

즉, 주행 인식부(40)는 차량이 전진하는 전진모드인지 또는 후진하는 후진모드인지에 관한 정보, 차량이 고속 주행 중인지 저속 주행 중인지에 관한 정보 및 조향각에 따른 차량의 예상 주행 경로 등이 포함된 주행 상태 정보를 인식할 수 있다.That is, the driving recognition unit 40 includes information on whether the vehicle is in a forward mode in which the vehicle is moving forward or in a reverse mode in which the vehicle is moving backwards, information on whether the vehicle is driving at high speed or at a low speed, and the expected driving route of the vehicle according to the steering angle. Driving status information can be recognized.

디스플레이 제어부(60)에서는, 주행 인식부(40)에서 차량이 후진하는 상태로 인식하는 경우에 차량의 후반부 주위를 포함하는 합성 영상의 일부분이 표시되도록 디스플레이 장치(70)를 제어할 수 있다.The display control unit 60 may control the display device 70 to display a part of the composite image including the rear part of the vehicle when the driving recognition unit 40 recognizes that the vehicle is moving backwards.

차량 주위의 장애물을 감지하는 감지센서(20);를 더 포함할 수 있다. 감지센서(20)에는 전방카메라, 초음파센서, 레이더(Radar), 라이다(Lidar) 등이 포함될 수 있다.It may further include a; detection sensor 20 for detecting an obstacle around the vehicle. The detection sensor 20 may include a front camera, an ultrasonic sensor, a radar, a lidar, and the like.

전방카메라는 차량의 주행 방향인 전방을 촬영하는 카메라일 수 있고, 복수의 카메라(10) 중 차량의 전방을 촬영하는 카메라를 이용할 수도 있다. 전방카메라는 차량의 전방에서 촬영한 영상으로부터 차량의 전방에 위치된 장애물을 검출할 수 있다.The front camera may be a camera that photographs the front, which is the driving direction of the vehicle, or a camera that photographs the front of the vehicle among the plurality of cameras 10 may be used. The front camera may detect an obstacle located in front of the vehicle from an image captured in front of the vehicle.

초음파센서는 차량의 전면 및 후면에 각각 위치되고, 특히 차량의 모서리 부분에 위치될 수 있다. 초음파센서는 초음파를 송신하는 송신부 및 초음파를 수신하는 수신부가 포함되고, 장애물에 반사된 초음파를 수신하여 장애물을 검출하고, 장애물과의 거리를 측정할 수 있다.The ultrasonic sensors are located at the front and rear sides of the vehicle, respectively, and in particular can be located at the corners of the vehicle. The ultrasonic sensor includes a transmitter for transmitting ultrasonic waves and a receiver for receiving ultrasonic waves, and may detect an obstacle by receiving ultrasonic waves reflected from the obstacle, and measure a distance to the obstacle.

레이더 및 라이다는 차량에 설치되어 전자기파를 송신 및 수신함으로써 장애물을 감지하거나 장애물과의 거리를 측정할 수 있다.Radars and radars are installed in vehicles and can detect obstacles or measure distances to obstacles by transmitting and receiving electromagnetic waves.

도 4는 본 발명의 다른 실시예에 따른 디스플레이 장치(70)에 표시된 합성 영상의 일부를 도시한 것이다.4 illustrates a part of a composite image displayed on the display device 70 according to another exemplary embodiment of the present invention.

도 4를 더 참조하면, 디스플레이 제어부(60)에서는, 감지센서(20)에서 차량의 전반부 주위를 감지한 전반부 감지 정보가 더 표시되도록 디스플레이 장치(70)를 제어할 수 있다.Referring further to FIG. 4, the display controller 60 may control the display device 70 to further display front half detection information detected by the detection sensor 20 around the front half of the vehicle.

디스플레이 제어부(60)는 디스플레이 장치(70)에 차량의 후반부 주위를 포함하는 합성 영상의 일부분만이 표시되도록 디스플레이 장치(70)를 제어하면서, 차량의 전방부 주위에는 감지센서(20)에 의해 감지된 전반부 감지 정보를 표시할 수 있다.The display control unit 60 controls the display device 70 to display only a part of the composite image including the rear part of the vehicle on the display device 70, while the detection sensor 20 detects around the front part of the vehicle. The first half detection information can be displayed.

일 실시예로, 감지센서(20)는 초음파센서일 수 있고, 전반부 감지 정보는 2-D(Dimension)의 감지 정보일 수 있고, 차량에서 기설정된 거리 이내에 장애물이 위치된 경우에 이를 표시할 수 있다. 동시에, 기설정된 거리 이내에 장애물이 위치된 경우 경고음을 발생시켜 운전자에게 알림을 제공할 수 있다.In one embodiment, the detection sensor 20 may be an ultrasonic sensor, and the first half detection information may be 2-D (Dimension) detection information, and may be displayed when an obstacle is located within a preset distance from the vehicle. have. At the same time, when an obstacle is located within a preset distance, a warning sound may be generated to provide a notification to the driver.

즉, 디스플레이 제어부(60)는 일 실시예에 따라 차량의 후반부 주위를 포함하는 합성 영상의 일부분만을 표시되도록 디스플레이 장치(70)를 제어함으로써 차량의 후반부 주위를 확대하여 표시할 수도 있고, 다른 실시예에 따라 차량의 후반부 주위는 합성 영상으로 표시하면서 나머지 차량의 전반부 주위는 별도의 감지센서(20)에 의해 감지된 전반부 감지 정보를 표시하도록 디스플레이 장치(70)를 제어할 수 있다.That is, the display controller 60 may enlarge and display the surroundings of the rear part of the vehicle by controlling the display device 70 to display only a part of the composite image including the surroundings of the rear part of the vehicle according to an embodiment. Accordingly, the display device 70 may be controlled to display the surrounding of the second half of the vehicle as a composite image and the surrounding of the other half of the vehicle to display the first half detection information sensed by the separate detection sensor 20.

또한, 이러한 디스플레이 장치(70)의 표시 화면은 운전자의 조작에 의해 선택 가능한 옵션으로 설정될 수 있고, 운전자의 조작에 따라 디스플레이 장치(70)에 표시되는 합성 영상이 슬라이딩 이동되거나 확대될 수 있다.In addition, the display screen of the display device 70 may be set as an option selectable by a driver's manipulation, and a composite image displayed on the display device 70 may be slid or enlarged according to the driver's manipulation.

주행 인식부(40)에서 인식한 차량의 주행 상태 정보를 기반으로 차량의 전반부가 감지센서(20)에서 감지한 장애물과 충돌 가능성이 존재하는지 판단하는 충돌 판단부(50);를 더 포함하고, 디스플레이 제어부(60)에서는, 충돌가능성 판단부가 충돌 가능성이 존재하는 것으로 판단한 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치(70)를 제어할 수 있다.A collision determination unit 50 for determining whether a possibility of collision with an obstacle detected by the detection sensor 20 exists in the first half of the vehicle based on the driving state information of the vehicle recognized by the driving recognition unit 40; further comprising, The display controller 60 may control the display device 70 to display the entire composite image when the collision probability determination unit determines that a collision probability exists.

충돌 판단부(50)는 차량의 후진 상태에서 차량의 전반부가 장애물과 충돌할 가능성이 있는지 판단할 수 있다. 구체적으로, 차량이 후진하는 상태에서 조향휠(일반적으로 전륜)을 조향하는 경우 또는 장애물이 차량 측으로 접근하는 경우 등에는 차량의 전반부가 장애물과 충돌할 가능성이 존재한다.The collision determination unit 50 may determine whether there is a possibility that the first half of the vehicle collides with an obstacle in the reverse state of the vehicle. Specifically, when a steering wheel (generally a front wheel) is steered in a state in which the vehicle is reversing, or when an obstacle approaches the vehicle side, there is a possibility that the first half of the vehicle collides with the obstacle.

디스플레이 제어부(60)는 차량의 전반부가 장애물과 충돌할 가능성이 존재하는 경우, 합성 영상의 일부분만을 표시하지 않고 합성 영상의 전체가 표시되도록 디스플레이 장치(70)를 제어할 수 있다.When there is a possibility that the first half of the vehicle collides with an obstacle, the display controller 60 may control the display device 70 to display the entire composite image without displaying only a part of the composite image.

즉, 디스플레이 제어부(60)는 운전자에게 차량의 전반부 주위의 합성 영상이 요구되는 것으로 판단하면 합성 영상의 전체를 운전자에게 표시할 수 있다.That is, if the display controller 60 determines that the driver requires the synthesized image around the first half of the vehicle, the entire synthesized image may be displayed to the driver.

더 구체적으로, 디스플레이 제어부(60)에서는, 감지센서(20)가 장애물이 차량의 전반부로부터 기설정된 거리 이하에 존재하는 것으로 감지한 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치(70)를 제어할 수 있다.More specifically, in the display control unit 60, when the detection sensor 20 detects that an obstacle exists less than a preset distance from the first half of the vehicle, the display control unit 60 controls the display device 70 to display the entire composite image. I can.

여기서, 감지센서(20)는 초음파센서 또는 레이더일 수 있고, 감지센서(20)가 차량의 전반부로부터 기설정된 거리 이하에 장애물이 존재하는 것으로 감지하면 디스플레이 제어부(60)는 합성 영상의 전체를 표시할 수 있다.Here, the detection sensor 20 may be an ultrasonic sensor or a radar, and when the detection sensor 20 detects that an obstacle exists less than a preset distance from the front part of the vehicle, the display control unit 60 displays the entire composite image. can do.

또한, 디스플레이 제어부(60)에서는, 감지센서(20)가 장애물이 차량의 전반부에 접근하는 것으로 감지한 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치(70)를 제어할 수 있다.In addition, the display controller 60 may control the display device 70 to display the entire composite image when the detection sensor 20 detects that the obstacle approaches the front part of the vehicle.

장애물이 차량의 전반부로 접근하는 경우에는 차량이 이동하면서 정지된 장애물과의 거리가 가까워지는 경우 및 장애물이 차량 측으로 이동되는 경우를 모두 포함할 수 있다.When the obstacle approaches the front part of the vehicle, it may include both a case where a distance to a stopped obstacle becomes close while the vehicle moves, and a case where the obstacle moves toward the vehicle side.

특히, 차량의 전반부로 장애물이 접근함으로써 차량의 전반부가 장애물에 충돌할 가능성 있는 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치(70)가 제어될 수 있다.In particular, when an obstacle approaches the first half of the vehicle and the first half of the vehicle may collide with the obstacle, the display device 70 may be controlled so that the entire composite image is displayed.

주행 인식부(40)에서는, 차량의 조향각 정보를 입력 받고, 디스플레이 제어부(60)에서는, 입력 받은 조향각의 크기가 기설정된 각도 이상인 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치(70)를 제어할 수 있다.The driving recognition unit 40 receives the steering angle information of the vehicle, and the display controller 60 controls the display device 70 to display the entire composite image when the size of the received steering angle is greater than or equal to a preset angle. I can.

차량의 후진 주행인 상태에서 조향각의 크기가 기설정된 각도 이상인 경우에는 차량의 전륜 및 차량의 전반부는 차량의 후륜이 진행하는 방향과 반대 측방으로 이동될 수 있다. 여기서 기설정된 각도는 0 [deg] 또는 10 [deg] 등으로 매우 작게 설정될 수도 있고, 30 [deg] 정도로 설정되어 차량의 전반부가 후륜이 진행하는 방향의 반대 측방으로 크게 벗어나는 경우에만 한정될 수 있다.When the steering angle is greater than or equal to a preset angle while the vehicle is traveling in reverse, the front wheels of the vehicle and the first half of the vehicle may be moved in a direction opposite to the direction in which the rear wheels of the vehicle travel. Here, the preset angle may be set very small, such as 0 [deg] or 10 [deg], or it is set to about 30 [deg] and is limited only when the first half of the vehicle deviates significantly to the opposite side of the direction in which the rear wheels travel. have.

특히, 운전에 익숙하지 않은 운전자의 경우 후진 상태에서 차량의 전반부가 이동하는 궤적을 파악하기 어렵다. 따라서, 차량의 조향각이 기설정된 각도 이상인 경우에는 차량의 전반부 주위의 합성 영상이 포함된 합성 영상의 전체가 표시되도록 디스플레이 장치(70)를 제어할 수 있다. In particular, in the case of a driver unfamiliar with driving, it is difficult to grasp the trajectory of the first half of the vehicle in the reverse state. Accordingly, when the steering angle of the vehicle is greater than or equal to a preset angle, the display device 70 may be controlled to display the entire composite image including the composite image around the first half of the vehicle.

다른 실시예로, 디스플레이 제어부(60)는 입력받은 조향각에 따라 차량의 전반부 또는 전륜의 궤적을 설정하고, 차량의 전반부 또는 전륜의 궤적에 장애물이 위치되는 경우 합성 영상의 전체가 표시되도록 디스플레이 장치(70)를 제어할 수 있다.In another embodiment, the display controller 60 sets the trajectory of the front part or the front wheel of the vehicle according to the received steering angle, and when an obstacle is located in the trajectory of the front part or the front wheel of the vehicle, the display device 60 displays the entire composite image ( 70) can be controlled.

도 5는 본 발명의 일 실시예에 따른 차량의 서라운드 뷰 모니터링 방법의 순서도이다.5 is a flowchart of a method for monitoring a surround view of a vehicle according to an embodiment of the present invention.

도 5를 더 참조하면, 본 발명의 일 실시예에 따른 차량의 서라운드 뷰 모니터링 방법은 차량 주위의 영상을 촬영하는 복수의 카메라(10)에서 촬영한 영상을 합성하여 차량의 주위를 모니터링하는 합성 영상을 형성하는 단계(S100); 및 차량의 주행 상태 정보를 기반으로 합성 영상의 일부분 또는 전체가 선택적으로 표시되도록 디스플레이 장치(70)를 제어하는 단계(S400);를 포함한다.5, the surround view monitoring method of a vehicle according to an embodiment of the present invention is a composite image for monitoring the surroundings of the vehicle by synthesizing images captured by a plurality of cameras 10 for photographing images around the vehicle. Forming a step (S100); And controlling the display device 70 to selectively display part or all of the synthesized image based on the driving state information of the vehicle (S400).

디스플레이 장치(70)를 제어하는 단계(S400) 이전에, 차량의 주행 상태 정보를 인식하는 단계(S200)를 더 포함할 수 있다.Before the controlling the display device 70 (S400 ), the step of recognizing the driving state information of the vehicle (S200) may be further included.

차량의 주행 상태 정보를 인식하는 단계(S200)에서는 차량이 후진하는 상태인지 여부를 인식할 수 있다.In the step S200 of recognizing the driving state information of the vehicle, it may be recognized whether the vehicle is in a reversed state.

디스플레이 장치(70)를 제어하는 단계(S400)에서는, 차량이 후진하는 상태로 인식하는 경우(S200)에 차량의 후반부 주위를 포함하는 합성 영상의 일부분이 표시되도록 디스플레이 장치(70)를 제어할 수 있다(S420).In the step of controlling the display device 70 (S400), when it is recognized that the vehicle is moving backward (S200), the display device 70 may be controlled so that a part of the composite image including the rear part of the vehicle is displayed. Yes (S420).

디스플레이 장치(70)를 제어하는 단계(S400) 이전에, 차량의 주행 상태 정보를 기반으로 차량의 전반부가 감지센서(20)에서 감지한 장애물과 충돌 가능성이 존재하는지 판단하는 단계(S300);를 더 포함하고, 디스플레이 장치(70)를 제어하는 단계(S400)에서는, 합성 영상의 전체가 표시되도록 디스플레이 장치(70)를 제어할 수 있다(S410).Prior to the step of controlling the display device 70 (S400), determining whether the first half of the vehicle has a possibility of collision with an obstacle detected by the detection sensor 20 based on the driving state information of the vehicle (S300). Further, in the step of controlling the display device 70 (S400), the display device 70 may be controlled so that the entire composite image is displayed (S410).

본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.Although shown and described in connection with a specific embodiment of the present invention, it is understood in the art that the present invention can be variously improved and changed within the limit without departing from the technical spirit of the present invention provided by the following claims. It will be obvious to those of ordinary skill.

10 : 카메라 20 : 감지센서
30 : 영상 합성부 40 : 주행 인식부
50 : 충돌 판단부 60 : 디스플레이 제어부
70 : 디스플레이 장치10: camera 20: detection sensor
30: image synthesis unit 40: driving recognition unit
50: collision determination unit 60: display control unit
70: display device

Claims (11)

차량에 구비되고, 차량 주위의 영상을 촬영하는 복수의 카메라;
복수의 카메라에서 촬영한 영상을 합성하여 차량의 주위를 모니터링하는 합성 영상을 형성하는 영상 합성부;
차량의 주행 상태 정보를 인식하는 주행 인식부; 및
주행 인식부에서 인식한 차량의 주행 상태 정보를 기반으로 영상 합성부에서 형성한 합성 영상의 일부분 또는 전체가 선택적으로 표시되도록 디스플레이 장치를 제어하는 디스플레이 제어부;를 포함하는 차량의 서라운드 뷰 모니터링 시스템.A plurality of cameras provided in the vehicle and photographing images around the vehicle;
An image synthesizing unit for synthesizing images captured by a plurality of cameras to form a composite image for monitoring the surroundings of the vehicle;
A driving recognition unit for recognizing driving state information of the vehicle; And
A vehicle surround view monitoring system comprising: a display control unit for controlling a display device to selectively display a part or all of the synthesized image formed by the image synthesis unit based on the driving state information of the vehicle recognized by the driving recognition unit. 청구항 1에 있어서,
주행 인식부에서는, 차량의 변속 모드, 주행 속도 또는 조향각을 입력받아 차량의 주행 상태 정보를 인식하는 것을 특징으로 하는 차량의 서라운드 뷰 모니터링 시스템.The method according to claim 1,
The driving recognition unit receives a shift mode, a driving speed, or a steering angle of the vehicle and recognizes driving state information of the vehicle. 청구항 1에 있어서,
디스플레이 제어부에서는, 주행 인식부에서 차량이 후진하는 상태로 인식하는 경우에 차량의 후반부 주위를 포함하는 합성 영상의 일부분이 표시되도록 디스플레이 장치를 제어하는 것을 특징으로 하는 차량의 서라운드 뷰 모니터링 시스템.The method according to claim 1,
In the display control unit, when the driving recognition unit recognizes that the vehicle is in a reversed state, a surround view monitoring system of a vehicle, wherein the display device is controlled to display a portion of a composite image including a rear portion of the vehicle. 청구항 3에 있어서,
차량 주위의 장애물을 감지하는 감지센서;를 더 포함하고,
디스플레이 제어부에서는, 감지센서에서 차량의 전반부 주위를 감지한 전반부 감지 정보가 더 표시되도록 디스플레이 장치를 제어하는 것을 특징으로 하는 차량의 서라운드 뷰 모니터링 시스템.The method of claim 3,
Further comprising; a detection sensor for detecting an obstacle around the vehicle,
In the display control unit, the surround view monitoring system of a vehicle, characterized in that the detection sensor controls the display device to further display first half detection information detected around the front half of the vehicle. 청구항 3에 있어서,
차량 주위의 장애물을 감지하는 감지센서;를 더 포함하고,
디스플레이 제어부에서는, 감지센서가 장애물이 차량의 전반부로부터 기설정된 거리 이하에 존재하는 것으로 감지한 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치를 제어하는 것을 특징으로 하는 차량의 서라운드 뷰 모니터링 시스템.The method of claim 3,
Further comprising; a detection sensor for detecting an obstacle around the vehicle,
In the display control unit, when the detection sensor detects that an obstacle exists less than a predetermined distance from the front part of the vehicle, the display device is controlled to display the entire composite image. 청구항 3에 있어서,
차량 주위의 장애물을 감지하는 감지센서;를 더 포함하고,
디스플레이 제어부에서는, 감지센서가 장애물이 차량의 전반부에 접근하는 것으로 감지한 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치를 제어하는 것을 특징으로 하는 차량의 서라운드 뷰 모니터링 시스템.The method of claim 3,
Further comprising; a detection sensor for detecting an obstacle around the vehicle,
In the display control unit, when the detection sensor detects that the obstacle approaches the front part of the vehicle, the display device is controlled to display the entire composite image. 청구항 3에 있어서,
주행 인식부에서는, 차량의 조향각 정보를 입력 받고,
디스플레이 제어부에서는, 입력 받은 조향각의 크기가 기설정된 각도 이상인 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치를 제어하는 것을 특징으로 하는 차량의 서라운드 뷰 모니터링 시스템.The method of claim 3,
The driving recognition unit receives information on the steering angle of the vehicle,
The display control unit controls the display device to display the entire composite image when the input steering angle is greater than or equal to a preset angle. 청구항 3에 있어서,
차량 주위의 장애물을 감지하는 감지센서; 및
주행 인식부에서 인식한 차량의 주행 상태 정보를 기반으로 차량의 전반부가 감지센서에서 감지한 장애물과 충돌 가능성이 존재하는지 판단하는 충돌 판단부;를 더 포함하고,
디스플레이 제어부에서는, 충돌가능성 판단부가 충돌 가능성이 존재하는 것으로 판단한 경우에 합성 영상의 전체가 표시되도록 디스플레이 장치를 제어하는 것을 특징으로 하는 차량의 서라운드 뷰 모니터링 시스템.The method of claim 3,
A detection sensor that detects an obstacle around the vehicle; And
A collision determination unit that determines whether the first half of the vehicle has a possibility of collision with an obstacle detected by the detection sensor based on the driving state information of the vehicle recognized by the driving recognition unit; further comprising,
The display control unit controls the display device to display the entire composite image when the collision probability determination unit determines that there is a collision possibility. 차량 주위의 영상을 촬영하는 복수의 카메라에서 촬영한 영상을 합성하여 차량의 주위를 모니터링하는 합성 영상을 형성하는 단계; 및
차량의 주행 상태 정보를 기반으로 합성 영상의 일부분 또는 전체가 선택적으로 표시되도록 디스플레이 장치를 제어하는 단계;를 포함하는 차량의 서라운드 뷰 모니터링 방법. Forming a composite image for monitoring the surroundings of the vehicle by synthesizing images captured by a plurality of cameras for capturing images around the vehicle; And
Controlling a display device to selectively display part or all of the synthesized image based on the driving state information of the vehicle. 청구항 9에 있어서,
디스플레이 장치를 제어하는 단계에서는, 차량이 후진하는 상태로 인식하는 경우에 차량의 후반부 주위를 포함하는 합성 영상의 일부분이 표시되도록 디스플레이 장치를 제어하는 것을 특징으로 하는 차량의 서라운드 뷰 모니터링 방법. The method of claim 9,
In the step of controlling the display device, the display device is controlled to display a portion of a composite image including a rear part of the vehicle when it is recognized as a state in which the vehicle is reversing. 청구항 10에 있어서,
디스플레이 장치를 제어하는 단계 이전에, 차량의 주행 상태 정보를 기반으로 차량의 전반부가 감지센서에서 감지한 장애물과 충돌 가능성이 존재하는지 판단하는 단계;를 더 포함하고,
디스플레이 장치를 제어하는 단계에서는, 합성 영상의 전체가 표시되도록 디스플레이 장치를 제어하는 것을 특징으로 하는 차량의 서라운드 뷰 모니터링 방법.
The method of claim 10,
Prior to the step of controlling the display device, determining whether there is a possibility of collision with an obstacle detected by the detection sensor in the first half of the vehicle based on the driving state information of the vehicle; further comprising,
In the step of controlling the display device, a surround view monitoring method of a vehicle, comprising controlling the display device to display the entire composite image.
KR1020190148666A 2019-11-19 2019-11-19 Surround view monitoring system and method for vehicle KR20210061497A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190148666A KR20210061497A (en) 2019-11-19 2019-11-19 Surround view monitoring system and method for vehicle
US17/096,094 US11760262B2 (en) 2019-11-19 2020-11-12 Surround view monitoring system and method for vehicle, and parking assist control system of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190148666A KR20210061497A (en) 2019-11-19 2019-11-19 Surround view monitoring system and method for vehicle

Publications (1)

Publication Number Publication Date
KR20210061497A true KR20210061497A (en) 2021-05-28

Family

ID=76140231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190148666A KR20210061497A (en) 2019-11-19 2019-11-19 Surround view monitoring system and method for vehicle

Country Status (1)

Country Link
KR (1) KR20210061497A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240045510A (en) 2022-09-30 2024-04-08 (주)스페이스인사이트 All around view System for vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101987634B1 (en) 2012-09-10 2019-06-11 현대모비스 주식회사 Method and Apparatus for Compensating Camera Tolerance and Around View Monitoring System Using the Same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101987634B1 (en) 2012-09-10 2019-06-11 현대모비스 주식회사 Method and Apparatus for Compensating Camera Tolerance and Around View Monitoring System Using the Same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240045510A (en) 2022-09-30 2024-04-08 (주)스페이스인사이트 All around view System for vehicle

Similar Documents

Publication Publication Date Title
CN110341695B (en) Vehicle control device, system comprising the device and method thereof
US10661786B2 (en) Autonomous parking assist apparatus and method for assisting parking using the same
US9475420B2 (en) Display apparatus
WO2017056995A1 (en) Vehicle state display system
US11760262B2 (en) Surround view monitoring system and method for vehicle, and parking assist control system of vehicle
US20170030722A1 (en) Vehicle localization system
CN103991448A (en) Dynamic lane line detection system and method
US11188078B2 (en) Apparatus for automatically parking vehicle in personal garage, system including the same, and method for the same
JP2008013015A (en) Vehicle surroundings image producing device and image switching method
US20200180635A1 (en) Apparatus for controlling driving of a vehicle, a system having the same and a method thereof
US11584297B2 (en) Display device for vehicle and parking assist system
US20180162274A1 (en) Vehicle side-rear warning device and method using the same
JP2014060646A (en) Image processing apparatus, image processing method, and image processing system
US20220144169A1 (en) Rear-view camera system for a trailer hitch system
KR20210061497A (en) Surround view monitoring system and method for vehicle
US20240034236A1 (en) Driver assistance apparatus, a vehicle, and a method of controlling a vehicle
US11580861B2 (en) Platooning controller, system including the same, and method thereof
JP2023184778A (en) Vehicle display system and vehicle display method
US20230290154A1 (en) Control device, control method, and computer-readable recording medium
US11981343B2 (en) Autonomous vehicle, control system for remotely controlling the same, and method thereof
WO2021071878A1 (en) 3d display system for camera monitoring system
US20200148222A1 (en) Driving support device
KR20210061498A (en) Parking assist control system and method of vehicle
JP2005081860A (en) Display device for vehicle
WO2024111324A1 (en) Display control device