KR20170111511A - In-Vehicle Display System for Displaying External Real-time Images Which Cannot Be Seen from a Driver - Google Patents

In-Vehicle Display System for Displaying External Real-time Images Which Cannot Be Seen from a Driver Download PDF

Info

Publication number
KR20170111511A
KR20170111511A KR1020160037090A KR20160037090A KR20170111511A KR 20170111511 A KR20170111511 A KR 20170111511A KR 1020160037090 A KR1020160037090 A KR 1020160037090A KR 20160037090 A KR20160037090 A KR 20160037090A KR 20170111511 A KR20170111511 A KR 20170111511A
Authority
KR
South Korea
Prior art keywords
vehicle
image
point
windshield
external camera
Prior art date
Application number
KR1020160037090A
Other languages
Korean (ko)
Other versions
KR102222914B1 (en
Inventor
편범준
정창현
문철우
Original Assignee
자동차부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 자동차부품연구원 filed Critical 자동차부품연구원
Priority to KR1020160037090A priority Critical patent/KR102222914B1/en
Publication of KR20170111511A publication Critical patent/KR20170111511A/en
Application granted granted Critical
Publication of KR102222914B1 publication Critical patent/KR102222914B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/23206—
    • H04N5/23216—
    • H04N5/23229—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Abstract

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템을 개시한다.
본 실시예는 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 외부 카메라의 촬상된 영상을 수신하고, 실시간적으로 차량 내에서 디스플레이함으로써, 특히, 장애물 등으로 인해 운전자의 시야 범위에서 벗어나 있는 도로 상황을 확인할 수 있도록 하여 더욱 안전하게 운전할 수 있도록 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템을 제공한다.A display system in an external visual field disturbance section video vehicle is disclosed.
In the present embodiment, when the vehicle enters the set range of the external camera according to the running of the vehicle, the captured image of the external camera is received and displayed in the vehicle in real time. In particular, The present invention also provides a display system in an external visual disturbance interval image vehicle, which enables a driver to more safely operate the vehicle so as to be able to check road conditions.

Figure P1020160037090
Figure P1020160037090

Description

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템{In-Vehicle Display System for Displaying External Real-time Images Which Cannot Be Seen from a Driver}Technical Field [0001] The present invention relates to an in-vehicle display system,

본 실시예는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템에 관한 것이다.The present embodiment relates to a display system in an external visual disturbance interval imaging vehicle.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to the present embodiment and do not constitute the prior art.

일반적으로 차량이 교차로, 구부러진 산길 등을 진입하는 경우, 시야반경에 안보이는 차량 또는 물체 때문에 사고가 발생하는 경우가 생긴다. 따라서, 현재 교차로 또는 구부러진 산길에 차량의 운전자가 안 보이는 곳에 위치하는 것을 볼 수 있도록 거울을 설치한다. 하지만 이와 같은 거울의 경우, 눈 또는 비가 내리는 날씨나 거울 표면이 오염된 경우에는 그 기능을 제대로 달성하지 못하는 문제가 있으며, 거울에 의한 시야각의 한계 때문에 사각지대를 완전히 다 보여주지 못하는 문제도 있다.Generally, when a vehicle enters an intersection, a curved mountain road, or the like, an accident may occur due to a vehicle or an object that is not visible in the visual field radius. Therefore, a mirror is installed so that the driver of the vehicle can be seen in the current intersection or on a curved mountain road. However, in the case of such a mirror, there is a problem that the function is not properly achieved when the snow or the rain or the surface of the mirror is contaminated, and there is a problem that the blind spot is not completely displayed due to the limitation of the viewing angle by the mirror.

따라서, 차량이 교차로 또는 구부러진 산길 등을 진입하는 경우, 시야방해물(건물, 산 등)로 인해 다른 차량 또는 물체가 보이지 않는 지점에 대한 시야를 확보시켜줄 새로운 방식의 장치가 필요하다.Therefore, when the vehicle enters an intersection or a curved mountain road, a new type of apparatus is required to ensure a view of a point where no other vehicle or object is visible due to a visual obstacle (building, mountain, etc.).

공개번호 KR 2014-0135368 A에는 어레이형 카메라를 이용한 교차로 촬영 시스템이 개시되어 있는데, 이는 단지, 교차로 교통 상황을 촬영하는 장치를 소개하고 있을 뿐이다. Publication No. KR 2014-0135368 A discloses an intersection photographing system using an array camera, which merely introduces a device for photographing an intersection traffic situation.

본 실시예는 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 외부 카메라의 촬상된 영상을 수신하고, 실시간적으로 차량 내에서 디스플레이함으로써, 특히, 장애물 등으로 인해 운전자의 시야 범위에서 벗어나 있는 도로 상황을 확인할 수 있도록 하여 더욱 안전하게 운전할 수 있도록 하는데 목적이 있다.In the present embodiment, when the vehicle enters the set range of the external camera according to the running of the vehicle, the captured image of the external camera is received and displayed in the vehicle in real time. In particular, It is aimed to make it possible to confirm the road condition and drive it more safely.

본 실시예의 일 측면에 의하면, 차량 내에 설치되어 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 상기 외부 카메라의 위치정보 및 상기 외부 카메라에 의해 촬상된 영상을 수신하는 영상 수신부; 상기 외부 카메라로부터 전송된 상기 위치정보를 이용하여 상기 외부 카메라가 위치하는 방향을 결정하는 방향결정부; 및 윈드실드 상에 상기 영상을 실시간적으로 디스플레이 하되, 상기 방향결정부에 의해 결정된 상기 방향으로 조사하여 디스플레이하는 디스플레이 장치를 포함하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템을 제공한다.According to an aspect of the present invention, there is provided an image display apparatus comprising: an image receiving unit installed in a vehicle and receiving positional information of the external camera and an image picked up by the external camera when the vehicle enters a setting range of the external camera according to traveling of the vehicle; A direction determining unit for determining a direction in which the external camera is located using the positional information transmitted from the external camera; And a display device for displaying the image on the windshield in real time, and for illuminating and displaying the image in the direction determined by the direction determination unit.

또한, 본 실시예의 다른 측면에 의하면, 차량 내에 설치되어 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 상기 외부 카메라로부터 촬상된 영상을 수신하는 영상 수신부; 및 상기 수신된 영상을 실시간적으로 차량 내에서 디스플레이 하는 디스플레이 장치를 포함하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템을 제공한다.According to another aspect of the present invention, there is provided an image processing apparatus comprising: an image receiving unit installed in a vehicle and receiving an image captured by the external camera when the vehicle enters a set range of the external camera according to traveling of the vehicle; And a display device for displaying the received image in a vehicle in real time.

또한, 본 실시예의 다른 측면에 의하면, 외부 카메라에 대해 대상 차량의 위치를 판단하는 차량 위치 판단 단계; 상기 대상 차량이 상기 외부 카메라의 설정 범위 이내로 진입하는지 여부를 판단하는 진입 여부 판단 단계; 상기 대상 차량이 상기 설정 범위 이내로 진입한 경우에, 상기 외부 카메라로부터 촬상된 영상을 수신하는 영상 수신단계; 및 상기 수신된 영상을 실시간적으로 차량 내에서 디스플레이 하는 디스플레이 단계를 포함하는 외부 시야 방해 구간 영상 차량 내 디스플레이 방법을 제공한다.According to another aspect of the present invention, there is provided an image processing apparatus including: a vehicle position determination step of determining a position of a target vehicle with respect to an external camera; Determining whether the target vehicle is within a set range of the external camera; A video receiving step of receiving a video image picked up by the external camera when the target vehicle enters the set range; And a display step of displaying the received image in a vehicle in real time.

이상에서 설명한 바와 같이 본 실시예에 의하면, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템은 운전자에게 사각지대 정보를 제공할 수 있고, 차량 제어를 통해 충돌을 방지할 수 있는 효과가 있다. As described above, according to the present embodiment, the display system in the external visual field disturbance interval image vehicle can provide the driver with blind zone information, and the collision can be prevented through the vehicle control.

또한, 본 실시예에 의하면, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템은 증강현실 기법을 이용하여 운전자의 전방주시 태만을 줄여 사고예방에 효과가 있다. In addition, according to the present embodiment, the display system in the external visual field disturbance interval imaging vehicle is effective in preventing accidents by reducing the forward observer's neglect by using the augmented reality technique.

또한, 본 실시예에 의하면, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템은 윈드실드 상에 실제 시야 방해 구간에 위치하는 영상의 정보를 거리비율에 따라 축소하여 디스플레이하기 때문에 운전자가 실제 시야 방해 구간의 영상을 시야 방해물이 제거된 상태에서 실제 육안으로 보는 것처럼 볼 수 있는 효과가 있다. In addition, according to the present embodiment, since the display system in the external view interception area video in-vehicle displays information of the video located in the actual visual field disturbance section on the windshield in accordance with the distance ratio, Can be viewed as if it were actually seen with the naked eye in the state where the visual obstacle was removed.

도 1은 본 실시예에 따른외부 시야 방해 구간 영상 차량 내 디스플레이 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 동작을 개략적으로 나타낸 도면이다.
도 3은 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 디스플레이 장치가 가상영상을 윈드실드에 디스플레이할 때 수평화면보정 방법을 개략적으로 나타낸 도면이다.
도 4는 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 디스플레이 장치가 가상영상을 윈드실드에 디스플레이할 때 수직화면보정 방법을 개략적으로 나타낸 도면이다.
도 5는 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 디스플레이 장치가 가상영상을 윈드실드에 디스플레이하는 방법을 개략적으로 나타낸 도면이다.
도 6은 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 동작을 나타낸 순서도이다.FIG. 1 is a schematic view of an in-vehicle display system in an external view disturbance interval image according to the present embodiment.
FIG. 2 is a diagram schematically illustrating the operation of the display system in the external view disturbance interval image vehicle according to the present embodiment.
3 is a diagram schematically illustrating a method of correcting a horizontal screen when a display device of an intra-vehicle display system in an external view interception interval video vehicle according to the present embodiment displays a virtual image on a windshield.
4 is a diagram schematically illustrating a method of correcting a vertical screen when a display device of an intra-vehicle display system in an external view interception area video according to the present embodiment displays a virtual image on a windshield.
5 is a view schematically showing a method of displaying a virtual image on a windshield by a display device of an intra-vehicle display system in an external view interception interval video according to the present embodiment.
FIG. 6 is a flowchart illustrating an operation of an intra-vehicle display system in an external visual field disturbance interval image according to the present embodiment.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. It should be noted that, in adding reference numerals to the constituent elements of the drawings, the same constituent elements are denoted by the same reference numerals whenever possible, even if they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In describing the components of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. Throughout the specification, when an element is referred to as being "comprising" or "comprising", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise . In addition, '... Quot ;, " module ", and " module " refer to a unit that processes at least one function or operation, and may be implemented by hardware or software or a combination of hardware and software.

도 1은 본 실시예에 따른외부 시야 방해 구간 영상 차량 내 디스플레이 시스템을 개략적으로 나타낸 도면이다.FIG. 1 is a schematic view of an in-vehicle display system in an external view disturbance interval image according to the present embodiment.

본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 영상 수신부(110), 방향결정부(120) 및 디스플레이 장치(130)를 포함한다. 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 교차로, 구부러진 산길 등 운전자에게 사각지대 정보를 제공할 수 있다. 더 나아가서는, 조향장치나 제동장치 등에 대한 제어장치와 연계될 수 있으며, 필요한 경우 그러한 차량 제어를 통해 충돌을 방지할 수 있는 효과가 있다. The display system 100 includes an image receiving unit 110, a direction determination unit 120, and a display device 130. External Display Interference Interval The in-vehicle display system 100 can provide blind zone information to an operator such as an intersection, a curved mountain road, and the like. Further, it can be linked with a control device for a steering device, a braking device, and the like, and if necessary, it is possible to prevent collision through such vehicle control.

영상 수신부(110)는 차량 내에 설치되어 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 상기 외부 카메라의 위치정보 및 상기 외부 카메라에 의해 촬상된 영상을 수신한다. 여기서, 외부 카메라는 도로에 설치된 CCTV, 교통 카메라일 수 있다. The image receiving unit 110 is installed in the vehicle and receives the position information of the external camera and the image captured by the external camera when entering the set range of the external camera according to the running of the vehicle. Here, the external camera may be a CCTV or a traffic camera installed on the road.

영상 수신부(110)는 상기 외부 카메라와의 근거리 통신을 통해 상기 영상을 직접 수신하거나, 또는, 상기 외부 카메라와 통신하여 상기 영상을 수신한 서버장치와 무선통신 연결됨으로써 그로부터 상기 영상을 수신한다. The image receiving unit 110 directly receives the image through short-distance communication with the external camera or communicates with the external camera through the wireless communication with the server apparatus that receives the image, thereby receiving the image therefrom.

방향결정부(120)는 상기 외부 카메라로부터 전송된 상기 위치정보를 이용하여 상기 외부 카메라가 위치하는 방향을 결정한다. The direction determination unit 120 determines the direction in which the external camera is positioned using the positional information transmitted from the external camera.

방향결정부(120)는 또한, 상기 외부 카메라의 작동을 제어하는 외부장치가 상기 외부카메라의 회동을 제어하도록, 상기 회동 각도정보를 상기 외부장치로 전송한다. 여기서, 외부장치는 외부 카메라 또는 외부 카메라를 제어하는 제어장치 또는 그와 같은 제어장치와 통신 연결되어 있는 서버장치일 수 있다.The direction determination unit 120 further transmits the rotation angle information to the external device so that an external device that controls the operation of the external camera controls the rotation of the external camera. Here, the external device may be a control device for controlling an external camera or an external camera, or a server device communicably connected to the control device.

디스플레이 장치(130)는 상기 시야좌표와 상기 외부 카메라의 초점좌표 사이를 최단거리로 연결한 직선인 제1 거리정보와 상기 시야좌표와 상기 윈드실드 사이를 상기 외부 카메라의 위치방향으로 최단거리로 연결한 직선인 제2 거리정보를 기반으로 화면 축소비율을 생성하여 상기 영상을 상기 축소비율에 근거하여 축소한 가상영상정보를 생성한다. 여기서, 가상영상정보는 증강현실 기법을 사용하여 구현되며 운전자의 전방주시 태만을 줄여 사고예방에 효과가 있다. The display device 130 displays the first distance information, which is a straight line connecting the viewpoint coordinates and the focus coordinates of the external camera at the shortest distance, and the first distance information, the shortest distance between the viewpoint coordinates and the windshield, Generates a screen reduction ratio based on the second distance information that is a straight line, and generates virtual image information in which the image is reduced based on the reduction ratio. Here, the virtual image information is implemented using the augmented reality method, and it is effective in preventing an accident by reducing a driver's neglecting forward gaze.

디스플레이 장치(130)는 상기 축소비율로 축소된 상기 가상영상의 X축의 픽셀들을 상기 윈드실드의 수평방향에 맞추도록 후술하는 [수식 5]와 [수식 6]을 사용하여 상기 가상영상의 X축의 영상의 픽셀들의 길이를 보정한다. 여기서 [수식 5]와 [수식 6]은 도 2와 함께 뒤에서 상세히 설명한다. The display device 130 displays images of the X-axis of the virtual image using equations (5) and (6) described below so as to match the X-axis pixels of the virtual image reduced by the reduction ratio to the horizontal direction of the windshield Lt; / RTI > Here, [Equation 5] and [Equation 6] will be described in detail later together with FIG.

디스플레이 장치(130)는 상기 축소비율로 축소된 상기 가상영상의 Y축의 픽셀들을 상기 윈드실드의 수직방향에 맞추도록 후술하는 [수식 7]과 [수식 8]을 사용하여 상기 가상영상의 Y축의 영상의 픽셀들의 길이를 보정한다. 여기서 [수식 7]과 [수식 8]은 도 2와 함께 뒤에서 상세히 설명한다. The display device 130 displays the image of the Y-axis of the virtual image using the following equations (7) and (8) so that the Y-axis pixels of the virtual image reduced by the reduction ratio are aligned with the vertical direction of the windshield Lt; / RTI > Here, [Expression 7] and [Expression 8] will be described in detail later together with FIG.

네트워크(미도시)는 2G, 3G, 4G, 5G, 무선랜 네트워크, 인터넷 네트워크, 인트라넷 네트워크 및 위성통신 네트워크 등을 포함한 유무선 통신 기술을 이용하여 통신 프로토콜로 데이터를 송수신하는 통신망을 의미한다. 여기서, 네트워크는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)내의 영상 수신부(110), 방향결정부(120) 및 디스플레이 장치(130)의 각각의 정보를 송수신하고, 외부 카메라와 정보를 송수신한다.The network (not shown) refers to a communication network that transmits and receives data using a communication protocol using a wired / wireless communication technology including 2G, 3G, 4G, 5G, wireless LAN network, Internet network, intranet network and satellite communication network. Here, the network transmits / receives information of each of the image receiving unit 110, the direction determining unit 120, and the display device 130 in the display system 100 of the external view obstruction interval video in-vehicle, and transmits / receives information to / from the external camera .

다른 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 위치결정부(미도시), 영상 수신부(110), 디스플레이 장치(130) 및 네트워크(미도시)로 구성될 수 있다.The display system 100 may include a positioning unit (not shown), an image receiving unit 110, a display device 130, and a network (not shown).

차량 위치결정부(미도시)는 상기 외부 카메라를 기준 원점으로 한 사분면 중에 제3 사분면에 상기 차량이 위치하는지 여부를 결정한다. 구체적인 예로써, 외부 카메라의 위치정보와 자차량의 GPS 정보 등을 이용하여 자차량이 현재 외부 카메라를 기준 원점으로 했을 때 제3 사분면에 위치하는지 여부를 결정한다.The vehicle position determination unit (not shown) determines whether the vehicle is located in the third quadrant of the quadrant with the external camera as the reference origin. As a specific example, it is determined whether the vehicle is located in the third quadrant using the external camera as the reference origin, using the position information of the external camera and the GPS information of the child vehicle.

영상 수신부(110)는 차량 내에 설치되어 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 상기 외부 카메라로부터 촬상된 영상을 수신한다. 영상 수신부(110)는 상기 차량 위치결정부에 의해 상기 차량이 상기 제3 사분면에 위치하는 것으로 결정된 경우에 상기 영상을 수신한다. The image receiving unit 110 is installed in the vehicle and receives an image captured by the external camera when entering the set range of the external camera according to the running of the vehicle. The image receiving unit 110 receives the image when the vehicle is determined to be located in the third quadrant by the vehicle position determining unit.

디스플레이 장치(130)는 상기 수신된 영상을 실시간적으로 차량 내에서 디스플레이 한다.The display device 130 displays the received image in real time in the vehicle.

네트워크(미도시)는 2G, 3G, 4G, 5G, 무선랜 네트워크, 인터넷 네트워크, 인트라넷 네트워크 및 위성통신 네트워크 등을 포함한 유무선 통신 기술을 이용하여 통신 프로토콜로 데이터를 송수신하는 통신망을 의미한다. 여기서, 네트워크는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)내의 차량 위치결정부(미도시), 영상 수신부(110) 및 디스플레이 장치(130)의 각각의 정보를 송수신하고, 외부 카메라와 정보를 송수신한다.The network (not shown) refers to a communication network that transmits and receives data using a communication protocol using a wired / wireless communication technology including 2G, 3G, 4G, 5G, wireless LAN network, Internet network, intranet network and satellite communication network. Here, the network transmits and receives information of each of the vehicle position determining unit (not shown), the image receiving unit 110, and the display device 130 in the display system 100 of the external visual field disturbance interval in-vehicle, Send and receive.

도 2는 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 동작을 개략적으로 나타낸 도면이다.FIG. 2 is a diagram schematically illustrating the operation of the display system in the external view disturbance interval image vehicle according to the present embodiment.

본 발명의 설명을 위하여, 어느 전방을 향하여 위치하는 차량을 기준으로 좌표를 설정하여 설명한다.For the sake of explanation of the present invention, coordinates are set on the basis of a vehicle positioned in a forward direction.

즉, 차량의 윈드실드(Wind Shield)가 위치하는 전방을 지나 차량의 앞보닛를 직선으로 지나는 직선을 Y축, 이러한 Y축과 수직으로 교차하며 종방향으로 연결되는 축을 X축, Y축과 X축의 교차점을 수직으로 관통하면서 상부와 하부를 연결하는 직선을 Z축이라고 임의로 명명하여 본 발명을 설명한다.That is, a straight line passing through the front of the vehicle at which the windshield is located and passing straight through the front bonnet of the vehicle is referred to as a Y-axis, an axis perpendicularly intersecting with the Y-axis and being connected in the longitudinal direction as an X- The present invention will be described by arbitrarily naming the straight line connecting the upper portion and the lower portion through the intersection vertically while denoting the Z axis.

또한, 도 2를 참조하여 본 기술을 설명하기 위하여 GPS가 위치하는 위치를 (X0, Y0, Z0)이며, GPS 위치를 나타내는 지점을 '점 0'이라고 명명한다. In order to explain the technique with reference to FIG. 2, the position where the GPS is located is denoted by (X 0 , Y 0 , Z 0 ) and the point representing the GPS position is denoted by 'point 0'.

도 2를 참조하여 본 기술을 살펴보면, GPS를 기준으로 운전자는 좌측, 전방, 상부에 있으므로, 운전자의 시야의 위치는 (X0+X1, Y0+Y1, Z0+Z1)이다. 여기서, X1과 Z1은 음의 값을 가지며, Y1은 양의 값을 가지는 것은 당연하다. 또한, 여기서, 운전자의 시야의 위치를 나타내는 지점을 '점 ①'이라고 명명한다. 또한, 윈드실드에 있어서 영상이 디스플레이 될 위치를 나타내는 지점을 '점 ②'라고 명명한다. Referring to FIG. 2, since the driver is on the left side, the front side, and the upper side based on the GPS, the position of the driver's field of view is (X 0 + X 1 , Y 0 + Y 1 , Z 0 + Z 1 ) . Here, X 1 and Z 1 have a negative value, and it is natural that Y 1 has a positive value. Here, the point indicating the position of the driver's visual field is referred to as " point ①. A point indicating a position at which an image is to be displayed in the windshield is referred to as " point 2 ".

도 2를 참조하면 카메라의 위치는 좌표 (X4, Y4, Z4)로 정의되며, 여기서, 카메라의 위치를 나타내는 지점을 '점 ④'이라고 명명한다. 여기서, X4는 X0를 기준으로 우측에 위치하며, Y4는 Y0를 기준으로 전방에 위치하고, Z4는 Z0를 기준으로 상부에 위치한다.Referring to FIG. 2, the position of the camera is defined as a coordinate (X 4 , Y 4 , Z 4 ), and a point indicating the position of the camera is referred to as "point ④". Here, X 4 is located on the right side with respect to X 0 , Y 4 is located on the front side with respect to Y 0 , and Z 4 is located on the upper side with respect to Z 0 .

도 2를 참조하면 외부 카메라의 초점기준의 위치를 나타내는 지점을 '점 6'이라고 명명한다. '점 ⑥'의 2차원 좌표는 아래에서 후술하도록 한다. 여기서, 카메라는 예컨대, 6mm렌즈 화각 60°기준이라고 가정하는 경우, 카메라의 좌표상 위치에서 카메라의 초점기준과 연결하여 화각 60°을 화각 30°로 나누는 직선, 상기 직선과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단(일단은 '점 ⑦', 타단은 '점 ⑧')과 각각 연결하여 삼각형을 형성한다. Referring to FIG. 2, the point indicating the position of the focus reference of the external camera is called 'point 6'. The two-dimensional coordinates of 'point ⑥' will be described below. Assuming that the camera is, for example, a 6 mm lens angle of view angle of 60 degrees, a straight line dividing an angle of view of 60 degrees into an angle of view of 30 degrees, which is connected to the focus reference of the camera at a coordinate position of the camera, (One end is 'point ⑦' and the other end is 'point ⑧').

도 2를 참조하면 건물의 끝단의 위치를 나타내는 지점을 '점 ③'이라고 명명하고, 교차로의 카메라가 위치하는 도로의 끝단 위치를 나태내는 지점을 '점 ⑤'라고 명명한다. Referring to FIG. 2, the point indicating the position of the end of the building is referred to as a point ③, and the point at which the end of the road where the camera of the intersection is located is referred to as a point ⑤.

도 2를 보면 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 GPS모듈을 이용하여 GPS 모듈이 위치하는 GPS 위치인 (X0, Y0, Z0) 값을 받는다. 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 GPS 모듈과 윈드실드와의 거리인 'y'값도 같이 저장되어 포함하고 있다.Referring to FIG. 2, the display system 100 in the external view disturbance interval imaging vehicle receives the GPS position (X 0 , Y 0 , Z 0 ) at which the GPS module is located using the GPS module. The display system 100 in the external visual disturbance interval imaging vehicle also stores 'y', which is the distance between the GPS module and the windshield.

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 운전자의 시야위치를 파악한다. 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 운전자의 시야위치인 (X0+X1, Y0+Y1, Z0+Z1) 값을 계산한다. 여기서, X1, Y1, Z1 값은 GPS 수신기로부터 표준 체형 운전자의 눈의 위치를 고려하여 미리 설정값으로 저장되어 있을 수 있으며, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 차량의 요각도(Yaw Angle)과 피치각도(Pitch Angle)의 변화를 반영하여 X1, Y1, Z1 값을 보정할 수 있다.External Display Interference Interval The in-vehicle display system 100 determines the driver's view position. External Display Interference Interval The in-vehicle display system 100 calculates the values of (X 0 + X 1 , Y 0 + Y 1 , Z 0 + Z 1 ), which are the view positions of the driver. Wherein, X 1, Y 1, Z 1 value in consideration of the position of the eye of a standard body operator from the GPS receiver and may be stored as a preset value, the external field disturbance interval image-vehicle display system 100 of the vehicle The values of X 1 , Y 1 , and Z 1 can be corrected to reflect changes in yaw angle and pitch angle.

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 외부 카메라의 위치인 '점 ④'의 위치 X4, Y4, Z4의 정보를 외부 카메라로부터 또는 외부 카메라를 관리하는 서버로부터 전송받는다. External Display Interference Interval The in-vehicle display system 100 receives information on the positions X 4 , Y 4 , and Z 4 of 'point ④', which is the position of the external camera, from an external camera or a server that manages an external camera.

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 상기 외부 카메라로부터 전송된 상기 위치정보를 이용하여 상기 외부 카메라가 위치하는 방향을 결정한다. 여기서, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 외부 카메라의 회전각인 α14를 아래의 [수식 1]을 이용하여 구한다.The display system 100 in the external visual field disturbance interval image determines the direction in which the external camera is located using the positional information transmitted from the external camera. In this case, the display system 100 in the external view obstruction interval video vehicle obtains the rotation angle? 14 of the external camera using Equation 1 below.

Figure pat00001
.....[수식 1]
Figure pat00001
..... [Equation 1]

(α14 : 외부 카메라의 회전각, Y4: 외부 카메라의 Y축 좌표, Y0+Y1: 운전자의 시야의 위치 Y좌표, X4: 외부 카메라의 X축 좌표, X0+X1: 운전자의 시야의 위치 X좌표)(α 14: rotation angle of the external camera, Y 4: external camera Y-axis coordinate, Y 0 + Y 1: position of the driver's field of view Y coordinates, X 4: X-axis coordinate of the external camera, X 0 + X 1: The X coordinate of the driver's field of view)

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 외부 카메라로부터 또는 외부 카메라를 관리하는 서버로 상기 외부 카메라의 회전각인 α14를 이용하여 PID(Proportinal Integral Derivative) 회전제어를 한다. 여기서, PID 회전제어는 제어변수와 기준 입력 사이의 오차에 근거하여 출력이 기준 전압을 유지하도록 하는 피드백 제어의 일종으로 비례(Proportinal)제어, 비례 적분(Proportinal Integral) 제어 및 비례 미분(Proportinal Derivative) 제어를 조합한 제어방법이다. External Display Interference Interval The in-vehicle display system 100 performs PID (Proportional Integral Derivative) rotation control from an external camera or a server that manages an external camera using the rotation angle of the external camera α 14 . Here, the PID rotation control is a type of feedback control in which the output maintains the reference voltage based on the error between the control variable and the reference input, which includes Proportional control, Proportional Integral control, and Proportional Derivative. Control is a combined control method.

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 상기와 같이 결정된 방향으로 영상을 조사하여 윈드실드 상의 '점 ②'에 상기 영상을 디스플레이 한다. The display system 100 in the external view obstruction area video vehicle irradiates the image in the determined direction and displays the image on 'point ②' on the windshield.

한편, 디스플레이 시스템(100)은 윈드실드 상에 영상을 디스플레이 함에 있어 그 축소비율을 구한다. 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 축소비율을 구하기 위하여 먼저 외부 카메라의 위치인 '점 ④'와 외부 카메라의 초점기준의 위치를 나타내는 '점 ⑥' 사이의 거리인 '선분 ④⑥'을 아래의 [수식 2]를 이용하여 구한다.On the other hand, the display system 100 obtains the reduction ratio in displaying an image on the windshield. In order to obtain the reduction ratio, the display system 100 of the external visual field disturbance interval first calculates the distance between the point ④ of the external camera and the point ⑥ of the focus point of the external camera, Is obtained using the following equation (2).

Figure pat00002
.....[수식 2]
Figure pat00002
..... [Equation 2]

(α14: 외부 카메라의 회전각, X45: 외부 카메라와 외부 카메라에 가장 근접한 도로의 폭)(α 14 : rotation angle of the external camera, X 45 : width of the road closest to the external camera and the external camera)

여기서, 추가적으로 '점 ⑥'의 2차원 좌표인 (X6, Y6)은 삼각비 1: 2: 루트 3을 이용하여 구할 수 있다.Here, the two-dimensional coordinates (X 6 , Y 6 ) of the "point ⑥" can be obtained by using the trigonometric ratio 1: 2: route 3.

또한, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 축소비율을 구하기 위하여 운전자의 시야의 위치를 나타내는 '점 ①'과 외부 카메라의 초점기준의 위치를 나타내는 '점 ⑥'사이의 거리인 '선분 ①⑥'을 '선분 ①④'과 [수학식 2]를 이용하여 구한 '선분 ④⑥'을 이용하여 구한다. 따라서, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 운전자의 시야의 위치를 나타내는 '점 ①'과 윈드실드의 위치를 나타내는 지점을 '점 ②'의 거리인 '선분 ①②'와 '선분 ①⑥'을 이용하여 축소비율을 구한다.In order to obtain the reduction ratio, the display system 100 of the external visual-field disturbance interval imaging vehicle sets the distance between the point " 1 " indicating the position of the driver ' s viewpoint and the point & Is obtained by using the line segment ④⑥ obtained by using the line segment ④ and the equation (2). Therefore, the display system 100 in the external view obstruction section video vehicle displays' point ① 'indicating the position of the driver's field of view and a point indicating the position of the windshield to' line ② 'and line segment ⑥' 'To obtain the reduction ratio.

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 가상영상을 윈드실드에 디스플레이할 때 수평화면보정 및 수직화면보정이 필요하다. 따라서, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 수평화면보정을 하기 위해서 도 2에 도시된 β를 구한다. 도 2에 도시된 β는 운전자의 시야의 위치를 나타내는 '점 ①'과 카메라의 초점기준의 위치를 나타내는 '점 ⑥'을 연결한 '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단(일단은 '점 ⑦', 타단은 '점 ⑧')과 각각 연결하여 형성된 삼각형의 '선분 ①⑦'과 '선분 ①⑧'이 이루는 각도의 절반인 각도를 의미한다.External Display Interference Interval The in-vehicle display system 100 requires horizontal screen correction and vertical screen correction when displaying virtual images on a windshield. Therefore, the display system 100 in the external view obstruction interval video vehicle obtains β shown in FIG. 2 for horizontal screen correction. 2 represents the distance between the both ends of the horizontal line passing through the camera focus reference, which is perpendicular to the line segment " 6 " connecting the " point ① " indicating the position of the driver ' s field of view and the & Refers to an angle that is half the angle between the line segment ① and line segment ① and ② of the triangle formed by connecting the line segment (point ⑦ and point ⑧ at the other end).

도 2를 참조하여 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)에서 β는 운전자의 시야의 위치를 나타내는 위치와 상기 수평선의 일단인 '점 ⑦'을 연결하는 '선분 ①⑦'이 건물의 끝단을 나타내는 '점 ③'과 겹치거나 넘지 않는 경우, 도 2의 β는 아래의 [수식 3]을 이용하여 구할 수 있다.Referring to FIG. 2, in the display system 100 of the external view obstruction area in-vehicle, β is a position indicating the position of the driver's visual field and a line segment ①~~~ connecting the point ⑦, 3 " shown in FIG. 2 or does not exceed it, the value of? In FIG. 2 can be obtained by using the following Equation 3.

Figure pat00003
Figure pat00003

.....[수식 3]..... [Equation 3]

또한, 도 2를 참조하여 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)에서 β는 '선분 ①⑦'이 '점 ③'과 만나는 순간 '선분 ①⑦'은 항상 '점 ③'을 지나도록 고정되며 이때, β는 아래의 [수식 4]를 이용하여 구할 수 있다.Referring to FIG. 2, in the display system 100 of the external view obstruction area in-vehicle, β is fixed so that the line segment ① ⑦ always crosses the point ③ at the moment when the line segment ⑦ corresponds to the point ③, , can be obtained by using the following equation (4).

Figure pat00004
Figure pat00004

.....[수식 4]..... [Equation 4]

(여기서, X3은 '점 ③'의 X좌표, X1은 '점 ①'의 X좌표, X4는 '점 ④'의 X좌표, Y3은 '점 ③'의 Y좌표, Y1은 '점 ①'의 Y좌표, Y4는 '점 ④'의 Y좌표이다.)(Wherein, X 3 is a 'point ③' of the X coordinate, X 1 is "point ① 'of the X coordinate, X 4 is a" point ④' of the X-coordinate, Y 3 is the Y coordinate, Y 1 a 'point ③' is Y coordinate of 'point ①', Y 4 is Y coordinate of 'point ④')

여기서, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 [수식 3] 또는 [수식 4]를 이용하여 β값을 구할 수 있다.Here, the display system 100 in the external view intermission interval image vehicle can calculate the value beta using [Expression 3] or [Expression 4].

도 3은 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 디스플레이 장치가 가상영상을 윈드실드에 디스플레이할 때 수평화면보정 방법을 개략적으로 나타낸 도면이다.3 is a diagram schematically illustrating a method of correcting a horizontal screen when a display device of an in-vehicle display system according to the present embodiment displays a virtual image on a windshield.

도 3의 (a)를 참조하면 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)의 디스플레이 장치(130)는 화면 축소비율에 따라 축소된 수평화면 A2B2를 '선분 A1B1'만큼 늘어나게 보정한다. Referring to FIG. 3A, the display device 130 of the display system 100 of the external view intermission interval image vehicle 100 displays the horizontal screen A 2 B 2 reduced according to the screen reduction ratio by 'segment A 1 B 1 ' Calibrate.

디스플레이 장치(130)는 '선분 A1②'를 아래의 [수식 5]을 이용하여 구할 수 있다.The display device 130 can obtain the line segment A 1 2 & cir & using Equation 5 below.

Figure pat00005
Figure pat00005

.....[수식 5]..... [Equation 5]

(선분 A1②: 수평방향에서 윈드실드의 위치 지점의 X축에 평행하게 연결하여, 운전자 시야위치인 '점 ①'과 카메라의 초점기준의 위치를 나타내는 '점 ⑥'을 연결한 '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단(일단은 '점 ⑦', 타단은 '점 ⑧')과 각각 연결하여 형성된 가상의 삼각형과 겹치는 왼쪽 지점인 A1과 윈드실드의 위치 지점을 연결한 선분, 선분 A2②: 윈드실드에 축소된 화면의 일단과 윈드실드의 위치 지점을 연결한 선분, β: 운전자 시야위치인 '점 ①'과 카메라의 초점기준의 위치를 나타내는 '점 ⑥'을 연결한 '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단(일단은 '점 ⑦', 타단은 '점 ⑧')과 각각 연결하여 형성된 가상의 삼각형의 '선분 ①⑦'과 '선분 ①⑧'이 이루는 각도의 절반인 각도)(Segment A 1 ②: Horizontal direction, parallel to the X axis of the windshield position point, connect the point of sight '①' and the point of camera focus point ' A 1 , which overlaps with a hypothetical triangle formed by connecting both ends of the horizontal line passing through the camera focus standard perpendicular to the camera focus point (the point is the point ⑦ and the end is the point ⑧), and the position of the windshield connecting a line segment, line segment a 2 ②: connecting a point on the one end and the windshield of the reduced screen on the windshield segment, β: represents a driver's view position of 'point ①' and the position of the camera focus criteria "point ⑥ And the imaginary triangles formed by connecting both ends of the horizontal line passing through the camera focus standard perpendicular to the 'line ⑥' connecting the two points (the point ⑦ and the point ⑧) An angle which is half the angle formed by the line segment [8] ')

[수식 5]에서 '선분 A2②'는 tanβ×'선분 ①②'이며, β는 위의 [수식 3] 또는 [수식 4]를 이용하여 구할 수 있다. In Equation 5, 'segment A 2 ②' is tan β × 'segment ①②', and β can be obtained by using [Equation 3] or [Equation 4] above.

도 3의 (b)를 참조하면 디스플레이 장치(130)는 '선분 B1②'를 아래의 [수식 6]을 이용하여 구할 수 있다.Referring to FIG. 3 (b), the display device 130 can obtain the line segment B 1 2 'by using the following equation (6).

Figure pat00006
Figure pat00006

.....[수식 6]..... [Equation 6]

(선분 B1②: 수평방향에서 윈드실드의 위치 지점의 X축에 평행하게 연결하여, '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단(일단은 '점 ⑦', 타단은 '점 ⑧')과 각각 연결하여 형성된 가상의 삼각형과 겹치는 오른쪽 지점인 B1과 윈드실드의 위치 지점을 연결한 선분, 선분 B2②: 윈드실드에 축소된 화면의 타단과 윈드실드의 위치 지점을 연결한 선분, β: '선분 ①⑥'과 '점 ⑦' 및 '점 ⑧'을 각각 연결하여 형성된 가상의 삼각형의 '선분 ①⑦'과 '선분 ①⑧'이 이루는 각도의 절반)(Segment B 1 ②: Horizontal direction parallel to the X axis of the position of the windshield, connect both ends of the horizontal line passing through the camera focus reference perpendicular to 'Segment ① ①' and ' point ⑧ ') and respectively connected to the virtual triangle overlaps the right point of B 1 and wind the connecting point on the shield segments, the line segment B 2 ② formed by: a point on the other end of the windshield of the reduced screen on the windshield And half of the angle formed by the line segment ① and the line segment ① ② of the imaginary triangle formed by connecting the line segment β and the point ⑦ and the point ⑧,

[수식 6]에서 '선분 B2②'는 tanβ×'선분 ①②'이며, β는 위의 [수식 3] 또는 [수식 4]를 이용하여 구할 수 있다. In [Equation 6], 'line segment B 2 ②' is tan β × 'line segment ①②', and β can be obtained by using [Equation 3] or [Equation 4] above.

따라서, 디스플레이 장치(130)는 [수식 5]와 [수식 6]을 통하여 구한 '선분 A1②'과 '선분 B2②'를 구하여 수평보정을 수행한다.Accordingly, the display device 130 obtains the line segment A 1 2 'and the line segment B 2 2' obtained by [Expression 5] and [Expression 6] to perform the horizontal correction.

도 4는 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 디스플레이 장치가 가상영상을 윈드실드에 디스플레이할 때 수직화면보정 방법을 개략적으로 나타낸 도면이다.4 is a diagram schematically illustrating a method of correcting a vertical screen when a display device of an intra-vehicle display system in an external view interception area video according to the present embodiment displays a virtual image on a windshield.

도 4의 위의 그림을 참조하면 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)의 디스플레이 장치(130)는 화면 축소비율 '선분 ①②'/'선분 ①⑥'에 따라 축소된 비율을 이용한다.Referring to FIG. 4, the display device 130 of the in-vehicle display system 100 uses the reduced ratio according to the screen reduction ratio 'line segment 1 2' / 'line segment 1 6'.

도 4의 아래 그림을 참조하면 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)의 디스플레이 장치(130)는 화면 축소비율에 따라 축소된 수직화면 A2B2를 '선분 A1B1'만큼 늘어나게 보정한다. Referring to FIG. 4, the display device 130 of the display system 100 of the external view obstruction interval in-vehicle image increases the vertical screen A 2 B 2 reduced in accordance with the screen reduction ratio by 'segment A 1 B 1 ' .

디스플레이 장치(130)는 '선분 A1②'를 아래의 [수식 7]을 이용하여 구할 수 있다.The display device 130 can obtain the line segment A 1 2 & cir & using Equation (7) below.

Figure pat00007
Figure pat00007

.....[수식 7]..... [Equation 7]

(여기서, θ는 윈드실드의 수직 기울기이다.)(Where is the vertical slope of the windshield).

[수식 7]에서 '선분 A3②'는 tanβ×'선분 ①②'이며, β는 위의 [수식 3] 또는 [수식 4]를 이용하여 구할 수 있다. In [Equation 7], 'segment A 3 ②' is tan β × 'segment ①②', and β can be obtained by using [Equation 3] or [Equation 4] above.

디스플레이 장치(130)는 '선분 B1②'를 아래의 [수식 8]을 이용하여 구할 수 있다.The display device 130 can obtain the line segment B 1 2 'by using the following equation (8).

Figure pat00008
Figure pat00008

.....[수식 8]..... [Equation 8]

[수식 8]에서 '선분 B3③'는 tanβ×'선분 ①②'이며, β는 위의 [수식 3] 또는 [수식 4]를 이용하여 구할 수 있다. In [Equation 8], 'line segment B 3 ③' is tan β × 'line segment ①②', and β can be obtained by using [Equation 3] or [Equation 4] above.

따라서, 디스플레이 장치(130)는 [수식 7]과 [수식 8]을 통하여 구한 '선분 A4②'과 '선분 B4②'를 구하여 수직보정을 수행한다.Accordingly, the display device 130 obtains the line segment A 4 2 'and the line segment B 4 2' obtained by [Expression 7] and [Expression 8] and performs vertical correction.

도 5는 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 디스플레이 장치가 가상영상을 윈드실드에 디스플레이하는 방법을 개략적으로 나타낸 도면이다.5 is a view schematically showing a method of displaying a virtual image on a windshield by a display device of an intra-vehicle display system in an external view interception interval video according to the present embodiment.

도 5의 왼쪽 그림을 참조하면 디스플레이 장치(130)는 윈드실드 전반에 가상영상이 뿌려질 수 있도록 화각을 넓히고 각을 기울인다. 여기서, 화각은 렌즈를 통해 한번에 볼 수 있는 각도를 의미한다. 이때, 일반적으로 윈드실드의 A1부분으로 갈수록 빛의 명도가 흐려지므로 디스플레이 장치(130)는 가상영상 명도를 좌우가 점차적으로 차이가 나도록 뿌려준다.5, the display device 130 widens the angle of view and tilts the angle so that a virtual image can be scattered throughout the windshield. Here, the angle of view means an angle that can be seen through the lens at one time. At this time, since the lightness of the light is generally dimmed toward the A 1 portion of the windshield, the display device 130 distributes the virtual image brightness so that the left and right are gradually different from each other.

도 5의 오른쪽 그림을 참조하면 디스플레이 장치(130)는 A1에서 B1까지의 범위에는 축적된 영상을 영상처리하여 뿌려준다. 여기서, 영상처리는 도 3 내지 4에서 행했던 수평보정과 수직보정을 수행하는 과정을 의미한다. Referring to the right side of FIG. 5, the display device 130 processes the accumulated image in a range from A 1 to B 1, and distributes the processed image. Here, the image processing refers to a process of performing the horizontal correction and the vertical correction, which are performed in FIGS.

도 6은 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 동작을 나타낸 순서도이다.FIG. 6 is a flowchart illustrating an operation of an intra-vehicle display system in an external visual field disturbance interval image according to the present embodiment.

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 외부 카메라에 대해 대상 차량의 위치를 판단한다(S610). 여기서, 외부 카메라는 교차로, 구부러진 산길 등에 설치될 수 있다.The display system 100 in the external visual field disturbance interval image determines the position of the target vehicle with respect to the external camera (S610). Here, the external camera may be installed at an intersection, a curved mountain road, or the like.

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 상기 대상 차량이 상기 외부 카메라의 설정 범위 이내로 진입하는지 여부를 판단한다(S620).The external visual field disturbance interval imaging vehicle display system 100 determines whether the target vehicle enters the set range of the external camera at step S620.

단계 S620 판단결과, 상기 대상 차량이 외부 카메라의 설정 범위 이내로 진입한다고 판단되는 경우, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 상기 외부 카메라로부터 촬상된 영상을 수신한다(S630).If it is determined in step S620 that the target vehicle is within the set range of the external camera, the display system 100 in the external view interception interval video vehicle receives the image captured from the external camera in step S630.

단계 S620 판단결과, 상기 대상 차량이 외부 카메라의 설정 범위 이내로 진입한다고 판단되지 않는 경우, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 상기 외부 카메라로부터 촬상된 영상을 수신하지 않고 종료한다.If it is determined in step S620 that the target vehicle does not enter the set range of the external camera, the display system 100 in the external view intermission interval image in-vehicle terminates without receiving the image captured from the external camera.

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 상기 수신된 영상을 실시간적으로 차량 내에서 디스플레이 한다(S640). 여기서, 수신된 영상은 가상영상정보로 증강현실 기법을 사용하여 구현되며 운전자의 전방주시 태만을 줄여 사고예방에 효과가 있다. The display system 100 displays the received image in real time in the vehicle (S640). Here, the received image is implemented by using the augmented reality method as virtual image information, and it is effective in preventing an accident by reducing a driver 's forward watching neglect.

도 6에서는 단계 S610 내지 단계 S640을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 단계 S610 내지 단계 S640 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.6, it is described that steps S610 to S640 are sequentially executed. However, this is merely a description of the technical idea of the present embodiment, and it is obvious to those skilled in the art that the present embodiment 6 may be variously modified and modified by executing one or more of the steps S610 to S640 in parallel without changing the essential characteristics, But is not limited thereto.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하면, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. It is to be understood that the scope of the present invention is to be construed as being limited only by the scope of the appended claims.

100: 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템
110: 영상 수신부
120: 방향결정부
130: 디스플레이 장치100: External visual disturbance interval image In-vehicle display system
110:
120: direction determining unit
130: Display device

Claims (10)

차량 내에 설치되어 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 상기 외부 카메라의 위치정보 및 상기 외부 카메라에 의해 촬상된 영상을 수신하는 영상 수신부;
상기 외부 카메라로부터 전송된 상기 위치정보를 이용하여 상기 외부 카메라가 위치하는 방향을 결정하는 방향결정부; 및
윈드실드 상에 상기 영상을 실시간적으로 디스플레이 하되, 상기 방향결정부에 의해 결정된 상기 방향으로 조사하여 디스플레이하는 디스플레이 장치
를 포함하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.An image receiving unit installed in the vehicle and configured to receive positional information of the external camera and an image captured by the external camera when the vehicle enters the set range of the external camera according to driving of the vehicle;
A direction determining unit for determining a direction in which the external camera is located using the positional information transmitted from the external camera; And
A display device for displaying the image on a windshield in real time and irradiating and displaying the image in the direction determined by the direction determination section
A display system in the vehicle, 제1항에 있어서,
상기 영상 수신부는,
상기 외부 카메라와의 근거리 통신을 통해 상기 영상을 수신하거나, 또는, 상기 외부 카메라와 통신하여 상기 영상을 수신한 서버장치로부터 상기 영상을 수신하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.The method according to claim 1,
Wherein the image receiver comprises:
Wherein the external display device receives the image through short-distance communication with the external camera, or receives the image from the server device that receives the image by communicating with the external camera. 제1항에 있어서,
상기 방향결정부는,
차량 일측에 설치된 GPS모듈로부터 GPS 좌표를 수신하고, 상기 GPS 좌표를 기준위치로 설정하고, 상기 기준위치로부터 기 설정된 거리에 위치하는 운전자 시야위치인 시야좌표를 생성하며,
상기 외부 카메라의 상기 위치정보 및 상기 시야좌표를 기반으로 아래의 수식
Figure pat00009

(α14: 외부 카메라의 회전각, Y4: 외부 카메라의 Y축 좌표, Y0+Y1: 운전자의 시야의 위치 Y좌표, X4: 외부 카메라의 X축 좌표, X0+X1: 운전자의 시야의 위치 X좌표)
을 이용하여 상기 외부 카메라의 위치하는 방향을 결정하기 위한 회동 각도정보를 생성하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.The method according to claim 1,
The direction determining unit may determine,
A GPS module that receives GPS coordinates from a GPS module installed at one side of the vehicle, sets the GPS coordinates as reference positions, generates viewpoint coordinates that are driver's view positions located at predetermined distances from the reference positions,
Based on the position information of the external camera and the view coordinates,
Figure pat00009

(α 14: rotation angle of the external camera, Y 4: external camera Y-axis coordinate, Y 0 + Y 1: position of the driver's field of view Y coordinates, X 4: X-axis coordinate of the external camera, X 0 + X 1: The X coordinate of the driver's field of view)
And generates rotation angle information for determining a direction in which the external camera is positioned. 제3항에 있어서,
상기 방향결정부는,
상기 외부 카메라의 작동을 제어하는 외부장치가 상기 외부카메라의 회동을 제어하도록, 상기 회동 각도정보를 상기 외부장치로 전송하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.The method of claim 3,
The direction determining unit may determine,
Wherein the controller transmits the rotation angle information to the external device so that an external device controlling the operation of the external camera controls the rotation of the external camera. 제3항에 있어서,
상기 디스플레이 장치는,
상기 시야좌표와 상기 외부 카메라의 초점좌표 사이를 최단거리로 연결한 직선인 제1 거리정보와 상기 시야좌표와 상기 윈드실드 사이를 상기 외부 카메라의 위치방향으로 최단거리로 연결한 직선인 제2 거리정보를 기반으로 화면 축소비율을 생성하여 상기 영상을 상기 축소비율에 근거하여 축소한 가상영상을 생성하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.The method of claim 3,
The display device includes:
A first distance information that is a straight line connecting the viewpoint coordinates and a focus coordinate of the external camera at a shortest distance, a second distance that is a straight line that connects the viewpoint coordinates and the windshield at a shortest distance in the positional direction of the external camera, And generating a virtual image in which the image is reduced based on the reduction ratio. 제5항에 있어서,
상기 디스플레이 장치는,
상기 축소비율로 축소된 상기 가상영상의 X축의 픽셀들을 상기 윈드실드의 수평방향에 맞추도록 아래 두개의 수식
Figure pat00010

Figure pat00011

(선분 A1②: 수평방향에서 윈드실드의 위치 지점의 X축에 평행하게 연결하여, 운전자 시야위치인 '점 ①'과 카메라의 초점기준의 위치를 나타내는 '점 ⑥'을 연결한 '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단(일단은 '점 ⑦', 타단은 '점 ⑧')과 각각 연결하여 형성된 가상의 삼각형과 겹치는 왼쪽 지점인 A1과 윈드실드의 위치 지점을 연결한 선분, 선분 A2②: 윈드실드에 축소된 화면의 일단과 윈드실드의 위치 지점을 연결한 선분, 선분 B1②: 수평방향에서 윈드실드의 위치 지점의 X축에 평행하게 연결하여, '선분 ①⑥'과 '점 ⑦' 및 '점 ⑧'을 각각 연결하여 형성된 가상의 삼각형과 겹치는 오른쪽 지점인 B1과 윈드실드의 위치 지점을 연결한 선분, 선분 B2②: 윈드실드에 축소된 화면의 타단과 윈드실드의 위치 지점을 연결한 선분, β: '선분 ①⑥'과 '점 ⑦' 및 '점 ⑧'을 각각 연결하여 형성된 가상의 삼각형의 '선분 ①⑦'과 '선분 ①⑧'이 이루는 각도의 절반)
을 사용하여 상기 가상영상의 X축의 영상의 픽셀들의 길이를 보정하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.6. The method of claim 5,
The display device includes:
And the pixels of the X-axis of the virtual image reduced by the reduction ratio are aligned with the horizontal direction of the windshield,
Figure pat00010

Figure pat00011

(Segment A 1 ②: Horizontal direction, parallel to the X axis of the windshield position point, connect the point of sight '①' and the point of camera focus point ' A 1 , which overlaps with a hypothetical triangle formed by connecting both ends of the horizontal line passing through the camera focus standard perpendicular to the camera focus point (the point is the point ⑦ and the end is the point ⑧), and the position of the windshield the line segment, the line segment a 2 ②: a line segment, a line segment B 1 connected to the one end and the point on the windshield of the reduced screen on the windshield ②: the parallel connection to the X-axis of the point on the windshield in a horizontal direction, The line segment B 2 connecting the point B 1 , which is the right point overlapping with the imaginary triangle formed by connecting the line segment ① ⑥, the point ⑦ and the point ⑧, with the windshield's point B ② ②: Connect the other end of the screen to the location of the windshield Segment, β: "①⑥ line" and "point ⑦ 'and' point ⑧" of the imaginary triangle formed by connecting each "segment ①⑦ 'and' line ①⑧ 'half of the angle)
Is used to correct the length of pixels of the image of the X-axis of the virtual image. 제5항에 있어서,
상기 디스플레이 장치는,
상기 축소비율로 축소된 상기 가상영상의 Y축의 픽셀들을 상기 윈드실드의 수직방향에 맞추도록 아래 두개의 수식
Figure pat00012

Figure pat00013

(선분 A4②: 수직방향에서 윈드실드의 위치 지점의 Y축에 평행하게 연결하여, '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단과 각각 연결하여 형성된 가상의 삼각형과 겹치는 일단인 A4과 윈드실드의 위치 지점을 연결한 선분, 선분 A3②: 윈드실드에 축소된 화면의 일단과 윈드실드의 위치 지점을 연결한 선분, 선분 B4②: 수직방향에서 윈드실드의 위치 지점의 Y축에 평행하게 연결하여, '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단과 각각 연결하여 형성된 가상의 삼각형과 겹치는 타단인 B4과 윈드실드의 위치 지점을 연결한 선분, 선분 B3②: 윈드실드에 축소된 화면의 타단과 윈드실드의 위치 지점을 연결한 선분, β: '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단과 각각 연결하여 형성된 가상의 삼각형의 선분이 이루는 각도의 절반, θ: 윈드실드의 수직 기울기)
을 사용하여 상기 가상영상의 Y축의 영상의 픽셀들의 길이를 보정하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.6. The method of claim 5,
The display device includes:
And the pixels of the Y-axis of the virtual image reduced by the reduction ratio are aligned with the vertical direction of the windshield,
Figure pat00012

Figure pat00013

(Segment A 4 ②: a pair of vertical triangles that are connected in parallel to the Y axis of the windshield's position point and which are connected to both ends of the horizontal line passing through the camera focus reference, A 4 : Line segment connecting the point of A 4 and the windshield, line segment A 3 ②: Line segment connecting the windshield's end point and one end of the screen reduced to windshield B 4 ②: Position of windshield in vertical direction A line connecting the position of the windshield and B 4 , which is the other end overlapping with the imaginary triangle formed by connecting to the both ends of the horizontal line passing through the camera focus reference perpendicular to the line segment ① 6 ' , a line segment B 3 ②: the windshield connecting the point on the other end of the windshield of the reduced screen segments to, β: 'segment ①⑥' and respectively connected to both ends of the horizontal line passing through the camera focus criteria which the vertical Half of the segment of the imaginary triangle formed over an angle, θ: vertical inclination of the windshield)
Is used to correct the length of pixels of the Y-axis image of the virtual image. 차량 내에 설치되어 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 상기 외부 카메라로부터 촬상된 영상을 수신하는 영상 수신부; 및
상기 수신된 영상을 실시간적으로 차량 내에서 디스플레이 하는 디스플레이 장치
를 포함하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.An image receiving unit installed in the vehicle and receiving an image photographed by the external camera when the vehicle enters the set range of the external camera according to traveling of the vehicle; And
A display device for displaying the received image in a vehicle in real time,
A display system in the vehicle, 제8항에 있어서,
상기 외부 카메라를 기준 원점으로 한 사분면 중에 제3 사분면에 상기 차량이 위치하는지 여부를 결정하는 차량 위치결정부를 추가로 포함하고,
상기 영상 수신부는 상기 차량 위치결정부에 의해 상기 차량이 상기 제3 사분면에 위치하는 것으로 결정된 경우에 상기 영상을 수신하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.9. The method of claim 8,
Further comprising a vehicle position determining unit for determining whether the vehicle is positioned in a third quadrant of the quadrant with the external camera as a reference origin,
Wherein the image receiving unit receives the image when the vehicle is determined to be located in the third quadrant by the vehicle position determination unit. 외부 카메라에 대해 대상 차량의 위치를 판단하는 차량 위치 판단 단계;
상기 대상 차량이 상기 외부 카메라의 설정 범위 이내로 진입하는지 여부를 판단하는 진입 여부 판단 단계;
상기 대상 차량이 상기 설정 범위 이내로 진입한 경우에, 상기 외부 카메라로부터 촬상된 영상을 수신하는 영상 수신단계; 및
상기 수신된 영상을 실시간적으로 차량 내에서 디스플레이 하는 디스플레이 단계
를 포함하는 외부 시야 방해 구간 영상 차량 내 디스플레이 방법.A vehicle position determination step of determining the position of the target vehicle with respect to the external camera;
Determining whether the target vehicle is within a set range of the external camera;
A video receiving step of receiving a video image picked up by the external camera when the target vehicle enters the set range; And
A display step of displaying the received image in real time in a vehicle
And a display device for displaying an image in the vehicle.
KR1020160037090A 2016-03-28 2016-03-28 In-Vehicle Display System for Displaying External Real-time Images Which Cannot Be Seen from a Driver KR102222914B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160037090A KR102222914B1 (en) 2016-03-28 2016-03-28 In-Vehicle Display System for Displaying External Real-time Images Which Cannot Be Seen from a Driver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160037090A KR102222914B1 (en) 2016-03-28 2016-03-28 In-Vehicle Display System for Displaying External Real-time Images Which Cannot Be Seen from a Driver

Publications (2)

Publication Number Publication Date
KR20170111511A true KR20170111511A (en) 2017-10-12
KR102222914B1 KR102222914B1 (en) 2021-03-04

Family

ID=60141397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160037090A KR102222914B1 (en) 2016-03-28 2016-03-28 In-Vehicle Display System for Displaying External Real-time Images Which Cannot Be Seen from a Driver

Country Status (1)

Country Link
KR (1) KR102222914B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156568A (en) * 2005-11-30 2007-06-21 Toshiba Corp Road travelling support system
KR20150125407A (en) * 2014-04-30 2015-11-09 엘지전자 주식회사 Head up display device and vehicle having the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156568A (en) * 2005-11-30 2007-06-21 Toshiba Corp Road travelling support system
KR20150125407A (en) * 2014-04-30 2015-11-09 엘지전자 주식회사 Head up display device and vehicle having the same

Also Published As

Publication number Publication date
KR102222914B1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
US10156728B2 (en) Information provision device, information provision method, and recording medium
US10549638B2 (en) Information display apparatus, information provision system, moving object device, information display method, and recording medium
US8880344B2 (en) Method for displaying images on a display device and driver assistance system
US7482909B2 (en) Night vision device
US8094192B2 (en) Driving support method and driving support apparatus
CN112965503A (en) Multi-path camera fusion splicing method, device, equipment and storage medium
CN109131067B (en) Tripod self-propelled vehicle and obstacle avoidance method thereof
WO2018066695A1 (en) In-vehicle display control device
US20120123613A1 (en) Driving support device, driving support method, and program
CN110573369A (en) Head-up display device and display control method thereof
US8477191B2 (en) On-vehicle image pickup apparatus
US11215819B2 (en) Head-up display
EP2476587A1 (en) Vehicle surrounding monitor apparatus
CN109927552B (en) Display device for vehicle
EP2939211B1 (en) Method and system for generating a surround view
JP2011240813A (en) Device and method for vehicular display
WO2020012879A1 (en) Head-up display
KR102057021B1 (en) Panel transformation
KR20170060652A (en) Apparatus for matching coordinate of head-up display
US9902341B2 (en) Image processing apparatus and image processing method including area setting and perspective conversion
US9942475B2 (en) Real cross traffic—quick looks
TWI455074B (en) Vehicle image display system and its correction method
KR102222914B1 (en) In-Vehicle Display System for Displaying External Real-time Images Which Cannot Be Seen from a Driver
JP7120982B2 (en) display controller
KR102249590B1 (en) Head up display inspection system that is disposed on wheel leveler and head up display inspection method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant