KR20150019182A - Image displaying Method and Apparatus therefor - Google Patents

Image displaying Method and Apparatus therefor Download PDF

Info

Publication number
KR20150019182A
KR20150019182A KR20130095700A KR20130095700A KR20150019182A KR 20150019182 A KR20150019182 A KR 20150019182A KR 20130095700 A KR20130095700 A KR 20130095700A KR 20130095700 A KR20130095700 A KR 20130095700A KR 20150019182 A KR20150019182 A KR 20150019182A
Authority
KR
South Korea
Prior art keywords
vehicle
images
cameras
predetermined angle
proximity
Prior art date
Application number
KR20130095700A
Other languages
Korean (ko)
Other versions
KR102045088B1 (en
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020130095700A priority Critical patent/KR102045088B1/en
Priority to CN201410177292.6A priority patent/CN104369698B/en
Publication of KR20150019182A publication Critical patent/KR20150019182A/en
Application granted granted Critical
Publication of KR102045088B1 publication Critical patent/KR102045088B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Abstract

The present invention relates to an image display method and an apparatus for the same and, more specifically, to a method for controlling the direction of cameras according to the running speed of a vehicle and processing and displaying captured images on the basis of the controlled direction. The image display method according to an embodiment of the present invention comprises the steps of: calculating the running speed of a vehicle; controlling the direction of at least two among a plurality of cameras to have a predetermined angle according to the calculated running speed; synthesizing and displaying images captured at the predetermined angle according to the calculated running speed, synthesizing and displaying images captured at the predetermined angle and virtual images according to the calculated running speed, or displaying images captured at the predetermined angle, an image captured by at least one different camera, and virtual images together. Therefore, synthesized images may be provided to a driver during high-speed driving and low-speed driving, thereby helping the driver to change lanes.

Description

영상 표시 방법 및 이를 위한 위한 장치{Image displaying Method and Apparatus therefor}TECHNICAL FIELD [0001] The present invention relates to an image displaying method,

본 발명은 영상 표시 방법 및 이를 위한 장치에 대한 것으로, 특히 차량의 주행 속도에 따라 카메라의 방향을 제어하고, 이로부터 촬영된 영상을 처리하여 표시하는 방법 및 이를 위한 장치에 대한 것이다.
The present invention relates to an image display method and apparatus therefor, and more particularly, to a method and apparatus for controlling the direction of a camera according to the traveling speed of a vehicle, and processing and displaying images photographed therefrom.

어라운드 뷰 모니터(AVM)는 차량의 위에서 내려다보는 듯한 영상을 실시간으로 운전자에게 보여주는 방식이다. 이 시스템은 차량의 전·후방, 좌·우 사이드 미러 밑에 광각 카메라가 각 1개씩 탑재돼 360도 상황을 쉽게 확인할 수 있어 사각지대의 장애물을 피해, 보다 안전하게 주차할 수 있다. 또한, 저속에서 전진과 후진시 모두 작동하기 때문에 전면 주차 시에도 주차가 용이하다.The Around View Monitor (AVM) is a way to show the driver in real time the image looking down from the top of the vehicle. This system is equipped with one wide angle camera under the front and rear of the vehicle, under the left and right side mirrors, so you can easily check the situation at 360 degrees, so you can park more safely without the obstacles in the blind spot. In addition, since it operates both at forward and backward at low speed, it is easy to park even in front parking.

이러한 영상 합성 뷰는 주로 저속 주행 모드에서 주차하는 경우 유용하게 사용될 수 있다. 하지만, 고속 주행 모드에서는 차선 변경에 적합한 영상 합성 뷰가 중요한데, 사각지대 감시 시스템(blind spot detection System)과 유사하게 사이드 미러의 사각 시야 영역을 없애주는데 한계가 있다.This image composition view can be useful when parking in low-speed driving mode. However, in the high-speed driving mode, the image synthesis view suitable for the lane change is important. Similar to the blind spot detection system, there is a limitation in eliminating the rectangular view area of the side mirror.

이를 보완하기 위해, 사이드 미러에 카메라를 장착하여 차량 후방 좌/우측 영역의 사각 시야 영역을 최소화 해주는 시스템(한국공개 2013-0040422)도 제안되어 있지만, 원영상만 디스플레이 되어, 운전자가 고속 주행에서 화면 표시 장치를 보면서 차선 변경하는데 여전히 어려움을 겪을 수 있다.In order to compensate for this, a system (Korean Laid-Open Publication No. 2013-0040422) that minimizes the rectangular view area of the rear left and right area of the vehicle by mounting a camera on the side mirror has been proposed. However, only the original image is displayed, It may still be difficult to change lanes while viewing the display device.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 근접 차선 도로 영역에서 근접 거리 차량이 존재하는 경우 합성 영상에 해당 근접 차선과 근접 차량에 대한 거리 표시선을 표현해 줌으로써 운전자가 육안으로 쉽게 확인 가능하도록 도와준다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-described problems, and it is an object of the present invention to provide a vehicle navigation system capable of easily displaying a proximity lane and a distance indicator line for a near- Help.

또한, 주행 속도에 따라 차량 주변 영상 또는 차량 후방 합성 영상을 표시해 줌으로써 주행 모드에 따라 운전자의 관심 영역을 능동적으로 표시할 수 있도록 한다.Further, by displaying the vehicle periphery image or the rearward vehicle composite image according to the traveling speed, it is possible to actively display the area of interest of the driver according to the driving mode.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 표시 방법은 차량의 주행 속도를 계산하고, 상기 계산된 주행 속도에 따라 복수의 카메라들 중 적어도 두 개의 카메라들의 방향을 소정의 각도로 제어하고, 상기 계산된 주행 속도에 따라 상기 소정의 각도에서 촬영된 영상들 자체만 합성하여 표시하거나, 상기 계산된 주행 속도에 따라 상기 소정의 각도에서 촬영된 영상들 및 가상의 영상들을 합성하여 표시하거나, 상기 소정의 각도에서 촬영된 영상들, 적어도 하나의 다른 카메라로부터 촬영된 영상 및 가상의 영상들과 함께 표시하는 단계를 포함하여 이루어진다.According to an aspect of the present invention, there is provided an image display method including calculating a running speed of a vehicle, controlling a direction of at least two cameras among a plurality of cameras at a predetermined angle according to the calculated running speed, And synthesizes and displays only the images photographed at the predetermined angle according to the calculated traveling speed or synthesizes and displays images and virtual images taken at the predetermined angle according to the calculated traveling speed , Displaying the images photographed at the predetermined angle, images photographed from at least one other camera, and virtual images.

본 발명의 다양한 실시예에 따르면, 저속 주행에서는 위에서 아래로 바라보는 차량 주변 합성 영상을 제공하고, 고속 주행에서는 차량 좌우측 부분 합성 영상을 제공하여 사이드 미러의 사각 시야 영역을 최소화 해 줄 뿐 아니라, 좌우측 근접 차선 도로에 근접 거리의 주행 차량이 존재하는 경우 OSD로 차선 영역과 거리 표시선을 합성 영상에 표시해 줌으로써 운전자가 차선 변경을 하는데 도움을 줄 수 있다.According to various embodiments of the present invention, it is possible to provide a vehicle periphery composite image viewed from top to bottom in low-speed traveling, and to provide a vehicle left and right partial composite image in high-speed traveling to minimize the rectangular view area of the side mirror, If there is a driving vehicle in close proximity to the lane road, the OSD can display the lane area and the distance line on the composite image, which can help the driver to change the lane.

도 1은 본 발명의 바람직한 실시예에 따라 AVM 시스템의 화면 표시 방법을 도시한 흐름도이다.
도 2a 내지 도 2b는 본 발명의 바람직한 실시예에 따라 AVM 시스템의 화면 표시 예들을 도시한 도면이다.
도 3a 내지 도 3b는 본 발명의 바람직한 실시예에 따른 버드 뷰 영상의 예를 도시한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따라 고속 주행 시 차량 후방 좌/우측 영상 합성 방법을 도시한 도면이다.
도 5는 본 발명의 바람직한 실시예에 따라 AVM 시스템의 화면 표시 방법을 도시한 블록도이다.1 is a flowchart illustrating a screen display method of an AVM system according to a preferred embodiment of the present invention.
2A and 2B are diagrams illustrating screen display examples of an AVM system according to a preferred embodiment of the present invention.
3A and 3B are views showing an example of a bird's view image according to a preferred embodiment of the present invention.
4 is a view illustrating a vehicle rear left / right image synthesizing method during a high-speed driving according to a preferred embodiment of the present invention.
5 is a block diagram illustrating a screen display method of an AVM system according to a preferred embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. As used herein, the terms " comprises, " and / or "comprising" refer to the presence or absence of one or more other components, steps, operations, and / Or additions.

본 발명에서는 차량의 주행 속도를 계산하고, 상기 계산된 주행 속도에 따라 복수의 카메라들 중 적어도 두 개의 카메라들(본 발명에서는 주행 속도에 따라 운전자의 관심 영역이 달라질 수 있으므로, 이에 따라 서로 다른 영역을 표시할 수 있도록 하며, 좌/우측 카메라에 한정하여 설명한다.)의 방향을 소정의 각도(차량의 좌측 또는 우측 차선의 차량을 인식하는데 있어 사각 지대가 있어 사고가 빈번히 발생하는 추세이므로, 이를 촬영할 수 있는 소정의 각도로 정의하며, 해당 각도는 근접 차량의 크기, 길이, 구조 등을 고려하여 선정하는 것이 바람직하다.)로 제어하고, 상기 계산된 주행 속도에 따라 상기 소정의 각도에서 촬영된 영상들 및 가상의 영상들을 합성하여 표시하거나, 상기 소정의 각도에서 촬영된 영상들, 적어도 하나의 다른 카메라로부터 촬영된 영상 및 가상의 영상들과 함께 표시하도록 한다.In the present invention, the traveling speed of the vehicle is calculated, and at least two cameras among the plurality of cameras (according to the present invention, the area of interest of the driver may vary according to the traveling speed, (The description will be limited to the left and right cameras), since the direction of the vehicle is a predetermined angle (an accident often occurs due to a blind spot in recognizing the vehicle on the left or right lane of the vehicle, And the angle is preferably determined in consideration of the size, length, structure, etc. of the proximal vehicle), and it is preferable to control the angle of view Images and virtual images are combined and displayed, or images photographed at the predetermined angle, at least one other camera, And displays the photographed image and the virtual images together.

도 1은 본 발명의 바람직한 실시예에 따라 AVM 시스템의 화면 표시 방법을 도시한 흐름도이다.1 is a flowchart illustrating a screen display method of an AVM system according to a preferred embodiment of the present invention.

도 2a 내지 도 2b는 본 발명의 바람직한 실시예에 따라 AVM 시스템의 화면 표시 예들을 도시한 도면이다.2A and 2B are diagrams illustrating screen display examples of an AVM system according to a preferred embodiment of the present invention.

도 1을 참조하면, 본 발명은 AVM(Around View Monitoring) 시스템을 장착한 차량의 주행 속도를 계산하고(S10), 상기 계산된 차량의 주행 속도에 따라 AVM 측면(좌/우측) 카메라의 방향을 이동시킴으로써 주행 속도에 적합한 합성 영상을 운전자에게 제공한다.Referring to FIG. 1, the present invention calculates a traveling speed of a vehicle equipped with an AVM (Around View Monitoring) system, calculates a traveling speed of the vehicle based on the calculated traveling speed of the vehicle, Thereby providing a composite image suitable for the traveling speed to the driver.

만일, 차량이 임계치 미만 즉, 저속으로 주행할 때는 좌/우 카메라의 방향을 지면으로 향하도록 하며, 도 2a에 도시된 바와 같이 위에서 아래로 바라보는(이하 버드 뷰) 차량 주변 합성 영상을 생성하고, 이를 화면 표시 장치에 디스플레이한다. (S11, S12, S13, S20) 교통 신호 대기 중인 상황(차량이 움직이지 않으나 차량 기어가 P가 아닌 D 또는 N(중립 기어)에 위치해 있는 상태)도 운전자가 지속적으로 운전 의지가 있는 것으로 판단하여 저속 주행으로 인정하고, 버드 뷰를 표시할 수 있다.If the vehicle travels below the threshold value, that is, at a low speed, the direction of the left / right camera is directed to the ground, and a composite image around the vehicle viewed from top to bottom (hereinafter referred to as bird view) , And displays it on the screen display device. (S11, S12, S13, S20) In a state of waiting for a traffic signal (a state in which the vehicle does not move but the vehicle gear is located at D or N (neutral gear) instead of P) It can be recognized as low-speed driving, and the bird view can be displayed.

그러나, 차량이 임계치 이상 즉, 고속으로 주행할 때는 도 2b에 도시된 바와 같이, 좌우측 카메라 방향을 차량 후방으로 회전시키도록 하고, 차량 좌/우 후방들을 촬영한 영상들로부터 좌우측 부분 합성 영상을 생성하고, 이를 화면 표시 장치에 디스플레이한다. (S11, S14, S15)However, when the vehicle travels beyond the threshold value, that is, at a high speed, as shown in FIG. 2B, the left and right camera directions are rotated to the rear of the vehicle, and left and right partial composite images are generated from the images of the vehicle left / And displays it on a screen display device. (S11, S14, S15)

또한, 좌우측 근접 차선 도로를 인식하고(S16), 상기 인식한 근접 차선 도로 영역에서만 차량을 검출한다. (S17)Further, the left and right close lane roads are recognized (S16), and the vehicle is detected only in the recognized lane road area. (S17)

상기 검출한 차량이 있는 경우, 이 차량과의 거리를 계산하고(S18), 이 차량과의 거리가 임계치 이내인 경우, 근접 거리에 차량이 존재하는 것으로 판단한다. (S19)If there is the detected vehicle, the distance to the vehicle is calculated (S18). If the distance to the vehicle is within the threshold, it is determined that the vehicle exists in the proximity distance. (S19)

따라서, 운전자가 알기 쉽게 해당 근접 차선과 거리 표시선을 화면에 OSD로 표시해 준다. (S21)Therefore, the OSD displays the proximity lane and the distance display line on the screen so that the driver can understand it easily. (S21)

이렇게 함으로써 저속 주행에서는 운전의 어려움을 겪을 수 있는 주차나 좁은 공간을 지나가는 상황에 도움을 주기 위해 위에서 아래로 바라보는 차량 주변 합성 영상을 운전자에게 제공하고, 고속 주행에서는 차선 변경 시, Blind Spot Detection 시스템과 유사하게 차량 좌우측 부분의 사이드 미러의 사각 시야 영역을 최소화하기 위해 차량 좌우측 부분 합성 영상 제공 및 좌우측 근접 거리의 차량 유/무를 운전자에게 알려준다.This provides the driver with a composite image of the vehicle looking down from the top to help the driver in difficult situations such as parking or narrow spaces where driving difficulties may occur during low speed driving, To provide the vehicle left and right partial composite images to minimize the rectangular view area of the side mirrors of the vehicle left and right portions and to inform the driver of the vehicle proximity at the left and right close distances.

본 발명에서는 AVM 시스템을 이용하여 저속 주행 뿐 아니라 고속 주행에서도 운전자에게 편의를 제공하기 위해 차량 주행 속도에 따라 좌우측 카메라 방향을 지면 또는 차량 후방으로 회전시킴으로써 저속 주행에서는 위에서 아래로 바라보는 차량 주변 합성 영상을 제공하고, 고속 주행에서는 차량 좌우측 부분 합성 영상을 제공하여 사이드 미러의 사각 시야 영역을 최소화 해 줄 뿐 아니라, 좌우측 근접 차선 도로에 근접 거리의 주행 차량이 존재하는 경우 OSD로 차선 영역과 거리 표시선을 합성 영상에 표시해 줌으로써 운전자가 차선 변경을 하는데 도움을 줄 수 있다.In the present invention, the AVM system is used to rotate the left and right cameras toward the ground or the rear of the vehicle in accordance with the vehicle traveling speed to provide convenience to the driver not only at low speeds but also at high speeds, In addition, in the case of a vehicle traveling close to the left and right lane nearby lanes, the lane area and the distance line are displayed on the OSD. By displaying on the composite image, the driver can help change the lane.

도 3a 내지 도 3b는 본 발명의 바람직한 실시예에 따른 버드 뷰 영상의 예를 도시한 도면이다.3A and 3B are views showing an example of a bird's view image according to a preferred embodiment of the present invention.

도 3a 참조하면, 직진 저속 주행 직진의 경우 좌/우측 카메라는 지면을 향하고 있으며, 전방 카메라는 차량의 전방을 촬영한다.3A, in the case of straight forward low-speed running straight ahead, the left / right camera faces the ground, and the front camera shoots the front of the vehicle.

AVM 합성 영상은 상기 전방 카메라의 촬영 영상 및 좌/우측 카메라의 지면 촬영 영상에 근거하여 주차 구획 공간에 인접해 있는 차량의 버드 뷰 영상을 포함한다.The AVM composite image includes a bird's view image of a vehicle adjacent to the parking space based on the photographed image of the front camera and the ground photographed image of the left / right camera.

도 3b를 참조하면, 직진 저속 주행 후진의 경우 좌/우측 카메라는 마찬가지로 지면을 향하고 있으며, 후방 카메라는 차량의 후방을 촬영한다. 상기 후방 카메라의 영상은 해당 차량에 인접해 있는 주차 구획 공간으로의 주차 예상 경로를 오버레이하여 함께 표시할 수 있다.Referring to FIG. 3B, in the case of straight forward low-speed running backward, the left / right camera is likewise facing the ground, and the rear camera photographs the rear of the vehicle. The image of the rear camera can overlay the estimated parking route to the parking space adjacent to the vehicle and display the overlaid parking route together.

AVM 합성 영상은 상기 좌/우측 카메라의 지면 촬영 영상 및 상기 주차 예상 경로 및 주변 차량 영상을 포함한다.The AVM composite image includes a ground image of the left and right cameras and the expected parking path and the surrounding vehicle image.

도 4는 본 발명의 바람직한 실시예에 따라 고속 주행 시 차량 후방 좌/우측 영상 합성 방법을 도시한 도면이다.4 is a view illustrating a vehicle rear left / right image synthesizing method during a high-speed driving according to a preferred embodiment of the present invention.

고속으로 주행하는 차량의 좌/우측 근접 차선 도로에 근접 거리 주행 차량이 존재하지 않는 경우, 차량 후방 좌/우측 영상 합성은 먼저 좌우측 카메라 원영상을 사이드 미러로 보는 것처럼 영상 변환 수행 후, 화면 표시 장치에 왼쪽 절반은 좌측 카메라 영상 미러 뷰를 표시하고 오른쪽 절반은 우측 카메라 영상 미러 뷰를 표시한다. When there is no close-range driving vehicle on the left / right lane of the vehicle traveling at high speed, the rear left / right side image synthesis of the vehicle is performed by first performing image conversion as if the left and right camera original images are viewed as side mirrors, The left half displays the left camera image mirror view and the right half displays the right camera image mirror view.

고속으로 주행하는 차량의 좌측 또는 우측 근접 차선 도로에 근접 거리 주행 차량이 존재하는 경우, 먼저 좌우측 카메라 원영상을 사이드 미러로 보는 것처럼 영상 변환 수행 후, 화면 표시 장치에 왼쪽 절반은 좌측 카메라 영상 미러 뷰를 표시하고 오른쪽 절반은 우측 카메라 영상 미러 뷰를 표시한다. 또한, 해당 차량이 위치하는 해당 방향 근접 차선 도로 및 거리 표시선을 합성 영상에 표시한다. 거리 표시선에서 빨간색은 차선 변경 위험 거리를 의미하며, 노란색은 차량 속도를 고려하여 운전자 판단하에 차선 변경을 해야하는 거리를 의미한다. When there is a near-distance driving vehicle on the left or right lane of the vehicle traveling at a high speed, first, the left and right camera image views are viewed as a side mirror, And the right half displays the right camera image mirror view. In addition, the directional proximity lane road and the distance indicating line where the vehicle is located are displayed on the composite image. In the distance line, red means lane change hazard distance, and yellow means lane change distance under driver's judgment in consideration of vehicle speed.

이렇게 함으로써 고속 주행에서 운전자가 차선 변경 하는데 좀 더 용이하게 해준다.This makes it easier for the driver to change lanes at high speeds.

도 4는 좌우측 근접 차선에 주변 차량이 존재하는 경우를 도시한 것이다.FIG. 4 shows a case where a nearby vehicle exists in left and right proximate lanes.

만일, 좌측 근접 차선 도로에 근접 차량이 존재하는 경우, 좌측에만 If there is a nearby vehicle on the left lane close road,

차선과 거리 표시선을 OSD로 합성 영상에 표시한다. Display the lane and distance lines on the composite image with OSD.

만일, 우측 근접 차선 도로에 근접 차량이 존재하는 경우, 우측에만 If there is a nearby vehicle on the right lane,

차선과 거리 표시선을 OSD로 합성 영상에 표시한다. Display the lane and distance lines on the composite image with OSD.

그러나, 근접 차량이 존재하지 않는 경우는 합성 영상만 디스플레이한다.However, when there is no proximity vehicle, only the composite image is displayed.

본 발명에서는 종래와 달리 근접 차선 도로 영역 내에서만 차량을 검출한다.In the present invention, the vehicle is detected only in the close lane road area, unlike the prior art.

도 5는 본 발명의 바람직한 실시예에 따라 AVM 시스템의 화면 표시 방법을 도시한 블록도이다.5 is a block diagram illustrating a screen display method of an AVM system according to a preferred embodiment of the present invention.

도 5를 참조하면, 본 발명에 따른 차량 표시 장치는 차량의 주행 속도를 계산하는 속도 측정부(20), 상기 계산된 주행 속도에 따라 복수의 카메라들 중 적어도 두 개의 카메라들의 방향을 소정의 각도로 제어하는 AVM 시스템 제어부(30), 상기 계산된 주행 속도에 따라 상기 소정의 각도에서 촬영된 영상들 및 가상의 영상들을 합성하여 표시하거나, 상기 소정의 각도에서 촬영된 영상들, 적어도 하나의 다른 카메라로부터 촬영된 영상 및 가상의 영상들과 함께 표시하는 AVM 시스템(10), 상기 AVM 시스템 제어부(30)의 제어에 따라 소정의 각도로 움직이는 카메라들(40)을 포함하여 구성된다.Referring to FIG. 5, the vehicle display apparatus according to the present invention includes a speed measuring section 20 for calculating a running speed of a vehicle, a direction detecting section for detecting a direction of at least two cameras among a plurality of cameras according to the calculated running speed, An AVM system control unit 30 for controlling the AVM system controller 30 to control the AVM system controller 30 to display images synthesized at the predetermined angle and virtual images according to the calculated traveling speed, An AVM system 10 for displaying images taken from a camera together with virtual images, and cameras 40 moving at a predetermined angle under the control of the AVM system control unit 30.

상기 AVM 시스템 제어부는(30)는 상기 계산된 주행 속도가 임계치 이상인 경우, 상기 적어도 두 개의 카메라들의 각도를 상기 차량의 후방을 촬영할 수 있는 상태로 각도 제어하며, 상기 각도 제어된 적어도 두 개의 카메라들로부터 촬영된 영상들을 미러 뷰 상태로 변환한다.The AVM system control unit 30 controls the angle of the at least two cameras to a state in which the rear of the vehicle can be photographed when the calculated traveling speed is equal to or greater than a threshold value, And converts the photographed images into a mirror view state.

상기 AVM 시스템(10)은 상기 미러 뷰 상태의 영상들을 합성하여 표시한다.The AVM system 10 synthesizes and displays images in the mirror view state.

한편, 상기 AVM 시스템 제어부는(30)는 상기 적어도 두 개의 카메라들에 근거하여 근접 차선을 인식하고, 상기 근접 차선에 적어도 하나의 근접 차량이 있는지를 검출한다.On the other hand, the AVM system control unit 30 recognizes an adjacent lane based on the at least two cameras, and detects whether there is at least one nearby vehicle in the adjacent lane.

상기 AVM 시스템(10)은 상기 검출된 근접 차량이 있는 경우, 상기 근접 차선과, 상기 근접 차량까지의 근접 거리 표시선을 상기 미러 뷰 상태의 영상들과 함께 표시한다. The AVM system 10 displays the proximity lane and the proximity distance line to the proximity vehicle together with the images in the mirror view state when the detected nearby vehicle exists.

이상에서 설명한 본 발명의 실시 예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention described above are not only implemented by the apparatus and method but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded, The embodiments can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. The present invention is not limited to the drawings, and all or some of the embodiments may be selectively combined so that various modifications may be made.

10 : AVM 시스템
20: AVM 시스템 제어부
30 : 속도 측정부
40 : 카메라들10: AVM system
20: AVM system control unit
30: speed measuring unit
40: Cameras

Claims (8)

차량의 주행 속도를 계산하는 단계;
상기 계산된 주행 속도에 따라 복수의 카메라들 중 적어도 두 개의 카메라들의 방향을 소정의 각도로 제어하는 단계;
상기 계산된 주행 속도에 따라 상기 소정의 각도에서 촬영된 영상들 및 가상의 영상들을 합성하여 표시하거나, 상기 소정의 각도에서 촬영된 영상들, 적어도 하나의 다른 카메라로부터 촬영된 영상 및 가상의 영상들과 함께 표시하는 단계를 포함하여 이루어지는 것을 특징으로 하는 차량의 영상 표시 방법Calculating a traveling speed of the vehicle;
Controlling a direction of at least two cameras among a plurality of cameras at a predetermined angle according to the calculated traveling speed;
And displays images synthesized at the predetermined angle and virtual images according to the calculated traveling speed, or displays synthesized images at the predetermined angle, images captured from at least one other camera, and virtual images And a step of displaying a video image of the vehicle 제 1 항에 있어서, 상기 계산된 주행 속도가 임계치 이상인 경우, 상기 적어도 두 개의 카메라들의 각도를 상기 차량의 후방을 촬영할 수 있는 상태로 각도 제어하는 단계;
상기 각도 제어된 적어도 두 개의 카메라들로부터 촬영된 영상들을 미러 뷰 상태로 변환하는 단계;
상기 미러 뷰 상태의 영상들을 합성하여 표시하는 단계를 포함하여 이루어지는 것을 특징으로 하는 차량의 영상 표시 방법.2. The method of claim 1, further comprising: angle-controlling the angle of the at least two cameras to a state in which the rear of the vehicle can be photographed when the calculated traveling speed is equal to or greater than a threshold value;
Converting images photographed from at least two angularly controlled cameras into a mirror view state;
And synthesizing and displaying the images in the mirror view state. 제 2 항에 있어서, 상기 적어도 두 개의 카메라들에 근거하여 근접 차선을 인식하고, 상기 근접 차선에 적어도 하나의 근접 차량이 있는지를 검출하는 단계를 포함하여 이루어지고,
상기 검출된 근접 차량이 있는 경우, 상기 근접 차선과, 상기 근접 차량까지의 근접 거리 표시선을 상기 미러 뷰 상태의 영상들과 함께 표시하는 것을 특징으로 하는 차량의 영상 표시 방법.3. The method according to claim 2, comprising the steps of: recognizing an approaching lane based on the at least two cameras and detecting if there is at least one proximity vehicle in the proximate lane;
And displaying the proximity lane and the proximity distance line to the proximity vehicle together with the images in the mirror view state when the detected proximity vehicle is present. 제 3 항에 있어서, 상기 검출된 근접 차량이 있는 경우, 해당 차량이 포함된 방향의 영상만 상기 가상 영상과 함께 표시하는 것을 특징으로 하는 차량의 영상 표시 방법.4. The method according to claim 3, wherein when the detected nearby vehicle exists, only the image in the direction in which the vehicle is included is displayed together with the virtual image. 제 1 항에 있어서, 상기 계산된 주행 속도가 임계치 미만인 경우, 상기 적어도 두 개의 카메라들의 각도를 상기 차량의 지면 방향을 촬영할 수 있는 상태로 각도 제어하고, 상기 지면 방향 상태인 상기 적어도 두 개의 카메라들 및 상기 적어도 하나의 다른 카메라로부터 촬영된 영상들을 위에서 아래로 내려다보는 가상 영상과 함께 표시하는 것을 특징으로 하는 차량의 영상 표시 방법.2. The method according to claim 1, wherein, when the calculated traveling speed is less than a threshold value, the angle of the at least two cameras is angularly controlled to photograph the ground direction of the vehicle, And displaying the images photographed from the at least one other camera together with a virtual image looking downward from above. 차량의 주행 속도를 계산하는 속도 측정부;
상기 계산된 주행 속도에 따라 복수의 카메라들 중 적어도 두 개의 카메라들의 방향을 소정의 각도로 제어하는 AVM 시스템 제어부;
상기 계산된 주행 속도에 따라 상기 소정의 각도에서 촬영된 영상들 및 가상의 영상들을 합성하여 표시하거나, 상기 소정의 각도에서 촬영된 영상들, 적어도 하나의 다른 카메라로부터 촬영된 영상 및 가상의 영상들과 함께 표시하는 AVM 시스템을 포함하여 구성되는 것을 특징으로 하는 차량의 영상 표시 장치.A speed measuring unit for calculating a running speed of the vehicle;
An AVM system controller for controlling a direction of at least two cameras among a plurality of cameras at a predetermined angle according to the calculated traveling speed;
And displays images synthesized at the predetermined angle and virtual images according to the calculated traveling speed, or displays synthesized images at the predetermined angle, images captured from at least one other camera, and virtual images And an AVM system for displaying the AVM system together with the AVM system. 제 6 항에 있어서, 상기 AVM 시스템 제어부는,
상기 계산된 주행 속도가 임계치 이상인 경우, 상기 적어도 두 개의 카메라들의 각도를 상기 차량의 후방을 촬영할 수 있는 상태로 각도 제어하며, 상기 각도 제어된 적어도 두 개의 카메라들로부터 촬영된 영상들을 미러 뷰 상태로 변환하며,
상기 AVM 시스템은 상기 미러 뷰 상태의 영상들을 합성하여 표시하는 것을 특징으로 하는 차량의 영상 표시 장치.7. The system of claim 6, wherein the AVM system controller comprises:
Controlling an angle of the at least two cameras to a state in which the rear of the vehicle can be photographed when the calculated traveling speed is equal to or greater than a threshold value, Conversion,
Wherein the AVM system synthesizes and displays images in the mirror view state. 제 6 항에 있어서, 상기 AVM 시스템 제어부는,
상기 적어도 두 개의 카메라들에 근거하여 근접 차선을 인식하고, 상기 근접 차선에 적어도 하나의 근접 차량이 있는지를 검출하며,
상기 AVM 시스템은 상기 검출된 근접 차량이 있는 경우, 상기 근접 차선과, 상기 근접 차량까지의 근접 거리 표시선을 상기 미러 뷰 상태의 영상들과 함께 표시하는 것을 특징으로 하는 차량의 영상 표시 장치.7. The system of claim 6, wherein the AVM system controller comprises:
Recognizing an approach lane based on the at least two cameras, detecting whether there is at least one near vehicle in the proximate lane,
Wherein the AVM system displays the proximity lane and the proximity distance line to the proximity vehicle together with the images in the mirror view state when the detected nearby vehicle exists.
KR1020130095700A 2013-08-13 2013-08-13 Image displaying Method and Apparatus therefor KR102045088B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130095700A KR102045088B1 (en) 2013-08-13 2013-08-13 Image displaying Method and Apparatus therefor
CN201410177292.6A CN104369698B (en) 2013-08-13 2014-04-29 Image display method and its device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130095700A KR102045088B1 (en) 2013-08-13 2013-08-13 Image displaying Method and Apparatus therefor

Publications (2)

Publication Number Publication Date
KR20150019182A true KR20150019182A (en) 2015-02-25
KR102045088B1 KR102045088B1 (en) 2019-11-14

Family

ID=52548984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130095700A KR102045088B1 (en) 2013-08-13 2013-08-13 Image displaying Method and Apparatus therefor

Country Status (2)

Country Link
KR (1) KR102045088B1 (en)
CN (1) CN104369698B (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133072A (en) * 2015-05-11 2016-11-22 삼성전자주식회사 Method and apparatus for providing around view of vehicle
JP2017182595A (en) * 2016-03-31 2017-10-05 日産自動車株式会社 Drive support method and drive support apparatus
WO2018097595A1 (en) * 2016-11-28 2018-05-31 충북대학교 산학협력단 Method and device for providing driving information by using camera image
KR20180134604A (en) * 2017-06-09 2018-12-19 현대자동차주식회사 Apparatus and method for guiding driving information, vehicle system
CN111801711A (en) * 2018-03-14 2020-10-20 法弗人工智能有限公司 Image annotation

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107776487B (en) 2016-08-24 2021-01-15 京东方科技集团股份有限公司 Auxiliary display system and display method for automobile and automobile
US9934440B1 (en) * 2017-10-04 2018-04-03 StradVision, Inc. Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
CN108583433A (en) * 2018-03-14 2018-09-28 斑马网络技术有限公司 Automobile auxiliary display system and its auxiliary display method
TWI668146B (en) * 2018-03-30 2019-08-11 帷享科技股份有限公司 Vehicle side safety distance display system
US11155209B2 (en) * 2019-08-22 2021-10-26 Micron Technology, Inc. Virtual mirror with automatic zoom based on vehicle sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP2008293122A (en) * 2007-05-22 2008-12-04 Fujitsu Ten Ltd Obstacle monitoring device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5420216B2 (en) * 2008-09-16 2014-02-19 本田技研工業株式会社 Vehicle perimeter monitoring device
JP5233816B2 (en) * 2009-04-22 2013-07-10 アイシン・エィ・ダブリュ株式会社 Driving support device, driving support method, and driving support program
JP5087051B2 (en) * 2009-07-02 2012-11-28 富士通テン株式会社 Image generating apparatus and image display system
CN103101497A (en) * 2013-01-25 2013-05-15 深圳市保千里电子有限公司 Automobile picture pick-up system and data process method of synchronous change of visual angle of automobile picture pick-up system and automobile speed

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP2008293122A (en) * 2007-05-22 2008-12-04 Fujitsu Ten Ltd Obstacle monitoring device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133072A (en) * 2015-05-11 2016-11-22 삼성전자주식회사 Method and apparatus for providing around view of vehicle
JP2017182595A (en) * 2016-03-31 2017-10-05 日産自動車株式会社 Drive support method and drive support apparatus
WO2018097595A1 (en) * 2016-11-28 2018-05-31 충북대학교 산학협력단 Method and device for providing driving information by using camera image
CN109070882A (en) * 2016-11-28 2018-12-21 忠北国立大学产学合作基金会 Utilize the driving information providing method and device of camera image
CN109070882B (en) * 2016-11-28 2019-09-20 忠北国立大学产学合作基金会 Utilize the driving information providing method and device of camera image
KR20180134604A (en) * 2017-06-09 2018-12-19 현대자동차주식회사 Apparatus and method for guiding driving information, vehicle system
CN111801711A (en) * 2018-03-14 2020-10-20 法弗人工智能有限公司 Image annotation

Also Published As

Publication number Publication date
CN104369698A (en) 2015-02-25
KR102045088B1 (en) 2019-11-14
CN104369698B (en) 2017-06-09

Similar Documents

Publication Publication Date Title
KR102045088B1 (en) Image displaying Method and Apparatus therefor
JP7010221B2 (en) Image generator, image generation method, and program
CA3001287C (en) Display assistance device and display assistance method
US8421863B2 (en) In-vehicle image display device
JP5454934B2 (en) Driving assistance device
JP5523448B2 (en) Driving support system, information display device, and information display program
JP5070809B2 (en) Driving support device, driving support method, and program
US10878253B2 (en) Periphery monitoring device
BR112018008270B1 (en) PARKING SPACE LINE DETECTION DEVICE AND METHOD
JP2007221200A (en) Vehicle periphery monitoring system
WO2015163205A1 (en) Vehicle display system
JP5724446B2 (en) Vehicle driving support device
JPWO2014129026A1 (en) Driving support device and image processing program
JP6366881B2 (en) Parking assistance device
JP2009065483A (en) Parking support system
JP2014129093A (en) Periphery monitoring device for vehicle
JP2020065141A (en) Vehicle overhead image generation system and method thereof
JP2012153256A (en) Image processing apparatus
JP4986070B2 (en) Ambient monitoring device for vehicles
JP2012001126A (en) Vehicle surroundings monitoring device
JP6429069B2 (en) Driving support information display system
JP2016197312A (en) Drive support display device
JP4081548B2 (en) Driving support system
JP2018019155A (en) Display controller for vehicle, display system for vehicle, display control method for vehicle and program
JP6206246B2 (en) Vehicle display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right