KR102222914B1 - 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템 - Google Patents

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템 Download PDF

Info

Publication number
KR102222914B1
KR102222914B1 KR1020160037090A KR20160037090A KR102222914B1 KR 102222914 B1 KR102222914 B1 KR 102222914B1 KR 1020160037090 A KR1020160037090 A KR 1020160037090A KR 20160037090 A KR20160037090 A KR 20160037090A KR 102222914 B1 KR102222914 B1 KR 102222914B1
Authority
KR
South Korea
Prior art keywords
windshield
point
image
line segment
external
Prior art date
Application number
KR1020160037090A
Other languages
English (en)
Other versions
KR20170111511A (ko
Inventor
편범준
정창현
문철우
Original Assignee
한국자동차연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국자동차연구원 filed Critical 한국자동차연구원
Priority to KR1020160037090A priority Critical patent/KR102222914B1/ko
Publication of KR20170111511A publication Critical patent/KR20170111511A/ko
Application granted granted Critical
Publication of KR102222914B1 publication Critical patent/KR102222914B1/ko

Links

Images

Classifications

    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/23206—
    • H04N5/23216—
    • H04N5/23229—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instrument Panels (AREA)

Abstract

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템을 개시한다.
본 실시예는 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 외부 카메라의 촬상된 영상을 수신하고, 실시간적으로 차량 내에서 디스플레이함으로써, 특히, 장애물 등으로 인해 운전자의 시야 범위에서 벗어나 있는 도로 상황을 확인할 수 있도록 하여 더욱 안전하게 운전할 수 있도록 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템을 제공한다.

Description

외부 시야 방해 구간 영상 차량 내 디스플레이 시스템{In-Vehicle Display System for Displaying External Real-time Images Which Cannot Be Seen from a Driver}
본 실시예는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
일반적으로 차량이 교차로, 구부러진 산길 등을 진입하는 경우, 시야반경에 안보이는 차량 또는 물체 때문에 사고가 발생하는 경우가 생긴다. 따라서, 현재 교차로 또는 구부러진 산길에 차량의 운전자가 안 보이는 곳에 위치하는 것을 볼 수 있도록 거울을 설치한다. 하지만 이와 같은 거울의 경우, 눈 또는 비가 내리는 날씨나 거울 표면이 오염된 경우에는 그 기능을 제대로 달성하지 못하는 문제가 있으며, 거울에 의한 시야각의 한계 때문에 사각지대를 완전히 다 보여주지 못하는 문제도 있다.
따라서, 차량이 교차로 또는 구부러진 산길 등을 진입하는 경우, 시야방해물(건물, 산 등)로 인해 다른 차량 또는 물체가 보이지 않는 지점에 대한 시야를 확보시켜줄 새로운 방식의 장치가 필요하다.
공개번호 KR 2014-0135368 A에는 어레이형 카메라를 이용한 교차로 촬영 시스템이 개시되어 있는데, 이는 단지, 교차로 교통 상황을 촬영하는 장치를 소개하고 있을 뿐이다.
본 실시예는 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 외부 카메라의 촬상된 영상을 수신하고, 실시간적으로 차량 내에서 디스플레이함으로써, 특히, 장애물 등으로 인해 운전자의 시야 범위에서 벗어나 있는 도로 상황을 확인할 수 있도록 하여 더욱 안전하게 운전할 수 있도록 하는데 목적이 있다.
본 실시예의 일 측면에 의하면, 차량 내에 설치되어 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 상기 외부 카메라의 위치정보 및 상기 외부 카메라에 의해 촬상된 영상을 수신하는 영상 수신부; 상기 외부 카메라로부터 전송된 상기 위치정보를 이용하여 상기 외부 카메라가 위치하는 방향을 결정하는 방향결정부; 및 윈드실드 상에 상기 영상을 실시간적으로 디스플레이 하되, 상기 방향결정부에 의해 결정된 상기 방향으로 조사하여 디스플레이하는 디스플레이 장치를 포함하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템을 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 차량 내에 설치되어 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 상기 외부 카메라로부터 촬상된 영상을 수신하는 영상 수신부; 및 상기 수신된 영상을 실시간적으로 차량 내에서 디스플레이 하는 디스플레이 장치를 포함하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템을 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 외부 카메라에 대해 대상 차량의 위치를 판단하는 차량 위치 판단 단계; 상기 대상 차량이 상기 외부 카메라의 설정 범위 이내로 진입하는지 여부를 판단하는 진입 여부 판단 단계; 상기 대상 차량이 상기 설정 범위 이내로 진입한 경우에, 상기 외부 카메라로부터 촬상된 영상을 수신하는 영상 수신단계; 및 상기 수신된 영상을 실시간적으로 차량 내에서 디스플레이 하는 디스플레이 단계를 포함하는 외부 시야 방해 구간 영상 차량 내 디스플레이 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템은 운전자에게 사각지대 정보를 제공할 수 있고, 차량 제어를 통해 충돌을 방지할 수 있는 효과가 있다.
또한, 본 실시예에 의하면, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템은 증강현실 기법을 이용하여 운전자의 전방주시 태만을 줄여 사고예방에 효과가 있다.
또한, 본 실시예에 의하면, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템은 윈드실드 상에 실제 시야 방해 구간에 위치하는 영상의 정보를 거리비율에 따라 축소하여 디스플레이하기 때문에 운전자가 실제 시야 방해 구간의 영상을 시야 방해물이 제거된 상태에서 실제 육안으로 보는 것처럼 볼 수 있는 효과가 있다.
도 1은 본 실시예에 따른외부 시야 방해 구간 영상 차량 내 디스플레이 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 동작을 개략적으로 나타낸 도면이다.
도 3은 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 디스플레이 장치가 가상영상을 윈드실드에 디스플레이할 때 수평화면보정 방법을 개략적으로 나타낸 도면이다.
도 4는 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 디스플레이 장치가 가상영상을 윈드실드에 디스플레이할 때 수직화면보정 방법을 개략적으로 나타낸 도면이다.
도 5는 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 디스플레이 장치가 가상영상을 윈드실드에 디스플레이하는 방법을 개략적으로 나타낸 도면이다.
도 6은 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 동작을 나타낸 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 실시예에 따른외부 시야 방해 구간 영상 차량 내 디스플레이 시스템을 개략적으로 나타낸 도면이다.
본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 영상 수신부(110), 방향결정부(120) 및 디스플레이 장치(130)를 포함한다. 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 교차로, 구부러진 산길 등 운전자에게 사각지대 정보를 제공할 수 있다. 더 나아가서는, 조향장치나 제동장치 등에 대한 제어장치와 연계될 수 있으며, 필요한 경우 그러한 차량 제어를 통해 충돌을 방지할 수 있는 효과가 있다.
영상 수신부(110)는 차량 내에 설치되어 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 상기 외부 카메라의 위치정보 및 상기 외부 카메라에 의해 촬상된 영상을 수신한다. 여기서, 외부 카메라는 도로에 설치된 CCTV, 교통 카메라일 수 있다.
영상 수신부(110)는 상기 외부 카메라와의 근거리 통신을 통해 상기 영상을 직접 수신하거나, 또는, 상기 외부 카메라와 통신하여 상기 영상을 수신한 서버장치와 무선통신 연결됨으로써 그로부터 상기 영상을 수신한다.
방향결정부(120)는 상기 외부 카메라로부터 전송된 상기 위치정보를 이용하여 상기 외부 카메라가 위치하는 방향을 결정한다.
방향결정부(120)는 또한, 상기 외부 카메라의 작동을 제어하는 외부장치가 상기 외부카메라의 회동을 제어하도록, 상기 회동 각도정보를 상기 외부장치로 전송한다. 여기서, 외부장치는 외부 카메라 또는 외부 카메라를 제어하는 제어장치 또는 그와 같은 제어장치와 통신 연결되어 있는 서버장치일 수 있다.
디스플레이 장치(130)는 상기 시야좌표와 상기 외부 카메라의 초점좌표 사이를 최단거리로 연결한 직선인 제1 거리정보와 상기 시야좌표와 상기 윈드실드 사이를 상기 외부 카메라의 위치방향으로 최단거리로 연결한 직선인 제2 거리정보를 기반으로 화면 축소비율을 생성하여 상기 영상을 상기 축소비율에 근거하여 축소한 가상영상정보를 생성한다. 여기서, 가상영상정보는 증강현실 기법을 사용하여 구현되며 운전자의 전방주시 태만을 줄여 사고예방에 효과가 있다.
디스플레이 장치(130)는 상기 축소비율로 축소된 상기 가상영상의 X축의 픽셀들을 상기 윈드실드의 수평방향에 맞추도록 후술하는 [수식 5]와 [수식 6]을 사용하여 상기 가상영상의 X축의 영상의 픽셀들의 길이를 보정한다. 여기서 [수식 5]와 [수식 6]은 도 2와 함께 뒤에서 상세히 설명한다.
디스플레이 장치(130)는 상기 축소비율로 축소된 상기 가상영상의 Y축의 픽셀들을 상기 윈드실드의 수직방향에 맞추도록 후술하는 [수식 7]과 [수식 8]을 사용하여 상기 가상영상의 Y축의 영상의 픽셀들의 길이를 보정한다. 여기서 [수식 7]과 [수식 8]은 도 2와 함께 뒤에서 상세히 설명한다.
네트워크(미도시)는 2G, 3G, 4G, 5G, 무선랜 네트워크, 인터넷 네트워크, 인트라넷 네트워크 및 위성통신 네트워크 등을 포함한 유무선 통신 기술을 이용하여 통신 프로토콜로 데이터를 송수신하는 통신망을 의미한다. 여기서, 네트워크는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)내의 영상 수신부(110), 방향결정부(120) 및 디스플레이 장치(130)의 각각의 정보를 송수신하고, 외부 카메라와 정보를 송수신한다.
다른 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 위치결정부(미도시), 영상 수신부(110), 디스플레이 장치(130) 및 네트워크(미도시)로 구성될 수 있다.
차량 위치결정부(미도시)는 상기 외부 카메라를 기준 원점으로 한 사분면 중에 제3 사분면에 상기 차량이 위치하는지 여부를 결정한다. 구체적인 예로써, 외부 카메라의 위치정보와 자차량의 GPS 정보 등을 이용하여 자차량이 현재 외부 카메라를 기준 원점으로 했을 때 제3 사분면에 위치하는지 여부를 결정한다.
영상 수신부(110)는 차량 내에 설치되어 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 상기 외부 카메라로부터 촬상된 영상을 수신한다. 영상 수신부(110)는 상기 차량 위치결정부에 의해 상기 차량이 상기 제3 사분면에 위치하는 것으로 결정된 경우에 상기 영상을 수신한다.
디스플레이 장치(130)는 상기 수신된 영상을 실시간적으로 차량 내에서 디스플레이 한다.
네트워크(미도시)는 2G, 3G, 4G, 5G, 무선랜 네트워크, 인터넷 네트워크, 인트라넷 네트워크 및 위성통신 네트워크 등을 포함한 유무선 통신 기술을 이용하여 통신 프로토콜로 데이터를 송수신하는 통신망을 의미한다. 여기서, 네트워크는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)내의 차량 위치결정부(미도시), 영상 수신부(110) 및 디스플레이 장치(130)의 각각의 정보를 송수신하고, 외부 카메라와 정보를 송수신한다.
도 2는 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 동작을 개략적으로 나타낸 도면이다.
본 발명의 설명을 위하여, 어느 전방을 향하여 위치하는 차량을 기준으로 좌표를 설정하여 설명한다.
즉, 차량의 윈드실드(Wind Shield)가 위치하는 전방을 지나 차량의 앞보닛를 직선으로 지나는 직선을 Y축, 이러한 Y축과 수직으로 교차하며 종방향으로 연결되는 축을 X축, Y축과 X축의 교차점을 수직으로 관통하면서 상부와 하부를 연결하는 직선을 Z축이라고 임의로 명명하여 본 발명을 설명한다.
또한, 도 2를 참조하여 본 기술을 설명하기 위하여 GPS가 위치하는 위치를 (X0, Y0, Z0)이며, GPS 위치를 나타내는 지점을 '점 0'이라고 명명한다.
도 2를 참조하여 본 기술을 살펴보면, GPS를 기준으로 운전자는 좌측, 전방, 상부에 있으므로, 운전자의 시야의 위치는 (X0+X1, Y0+Y1, Z0+Z1)이다. 여기서, X1과 Z1은 음의 값을 가지며, Y1은 양의 값을 가지는 것은 당연하다. 또한, 여기서, 운전자의 시야의 위치를 나타내는 지점을 '점 ①'이라고 명명한다. 또한, 윈드실드에 있어서 영상이 디스플레이 될 위치를 나타내는 지점을 '점 ②'라고 명명한다.
도 2를 참조하면 카메라의 위치는 좌표 (X4, Y4, Z4)로 정의되며, 여기서, 카메라의 위치를 나타내는 지점을 '점 ④'이라고 명명한다. 여기서, X4는 X0를 기준으로 우측에 위치하며, Y4는 Y0를 기준으로 전방에 위치하고, Z4는 Z0를 기준으로 상부에 위치한다.
도 2를 참조하면 외부 카메라의 초점기준의 위치를 나타내는 지점을 '점 6'이라고 명명한다. '점 ⑥'의 2차원 좌표는 아래에서 후술하도록 한다. 여기서, 카메라는 예컨대, 6mm렌즈 화각 60°기준이라고 가정하는 경우, 카메라의 좌표상 위치에서 카메라의 초점기준과 연결하여 화각 60°을 화각 30°로 나누는 직선, 상기 직선과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단(일단은 '점 ⑦', 타단은 '점 ⑧')과 각각 연결하여 삼각형을 형성한다.
도 2를 참조하면 건물의 끝단의 위치를 나타내는 지점을 '점 ③'이라고 명명하고, 교차로의 카메라가 위치하는 도로의 끝단 위치를 나태내는 지점을 '점 ⑤'라고 명명한다.
도 2를 보면 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 GPS모듈을 이용하여 GPS 모듈이 위치하는 GPS 위치인 (X0, Y0, Z0) 값을 받는다. 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 GPS 모듈과 윈드실드와의 거리인 'y'값도 같이 저장되어 포함하고 있다.
외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 운전자의 시야위치를 파악한다. 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 운전자의 시야위치인 (X0+X1, Y0+Y1, Z0+Z1) 값을 계산한다. 여기서, X1, Y1, Z1 값은 GPS 수신기로부터 표준 체형 운전자의 눈의 위치를 고려하여 미리 설정값으로 저장되어 있을 수 있으며, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 차량의 요각도(Yaw Angle)과 피치각도(Pitch Angle)의 변화를 반영하여 X1, Y1, Z1 값을 보정할 수 있다.
외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 외부 카메라의 위치인 '점 ④'의 위치 X4, Y4, Z4의 정보를 외부 카메라로부터 또는 외부 카메라를 관리하는 서버로부터 전송받는다.
외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 상기 외부 카메라로부터 전송된 상기 위치정보를 이용하여 상기 외부 카메라가 위치하는 방향을 결정한다. 여기서, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 외부 카메라의 회전각인 α14를 아래의 [수식 1]을 이용하여 구한다.
Figure 112016029723936-pat00001
.....[수식 1]
(α14 : 외부 카메라의 회전각, Y4: 외부 카메라의 Y축 좌표, Y0+Y1: 운전자의 시야의 위치 Y좌표, X4: 외부 카메라의 X축 좌표, X0+X1: 운전자의 시야의 위치 X좌표)
외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 외부 카메라로부터 또는 외부 카메라를 관리하는 서버로 상기 외부 카메라의 회전각인 α14를 이용하여 PID(Proportinal Integral Derivative) 회전제어를 한다. 여기서, PID 회전제어는 제어변수와 기준 입력 사이의 오차에 근거하여 출력이 기준 전압을 유지하도록 하는 피드백 제어의 일종으로 비례(Proportinal)제어, 비례 적분(Proportinal Integral) 제어 및 비례 미분(Proportinal Derivative) 제어를 조합한 제어방법이다.
외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 상기와 같이 결정된 방향으로 영상을 조사하여 윈드실드 상의 '점 ②'에 상기 영상을 디스플레이 한다.
한편, 디스플레이 시스템(100)은 윈드실드 상에 영상을 디스플레이 함에 있어 그 축소비율을 구한다. 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 축소비율을 구하기 위하여 먼저 외부 카메라의 위치인 '점 ④'와 외부 카메라의 초점기준의 위치를 나타내는 '점 ⑥' 사이의 거리인 '선분 ④⑥'을 아래의 [수식 2]를 이용하여 구한다.
Figure 112016029723936-pat00002
.....[수식 2]
(α14: 외부 카메라의 회전각, X45: 외부 카메라와 외부 카메라에 가장 근접한 도로의 폭)
여기서, 추가적으로 '점 ⑥'의 2차원 좌표인 (X6, Y6)은 삼각비 1: 2: 루트 3을 이용하여 구할 수 있다.
또한, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 축소비율을 구하기 위하여 운전자의 시야의 위치를 나타내는 '점 ①'과 외부 카메라의 초점기준의 위치를 나타내는 '점 ⑥'사이의 거리인 '선분 ①⑥'을 '선분 ①④'과 [수학식 2]를 이용하여 구한 '선분 ④⑥'을 이용하여 구한다. 따라서, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 운전자의 시야의 위치를 나타내는 '점 ①'과 윈드실드의 위치를 나타내는 지점을 '점 ②'의 거리인 '선분 ①②'와 '선분 ①⑥'을 이용하여 축소비율을 구한다.
외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 가상영상을 윈드실드에 디스플레이할 때 수평화면보정 및 수직화면보정이 필요하다. 따라서, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 수평화면보정을 하기 위해서 도 2에 도시된 β를 구한다. 도 2에 도시된 β는 운전자의 시야의 위치를 나타내는 '점 ①'과 카메라의 초점기준의 위치를 나타내는 '점 ⑥'을 연결한 '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단(일단은 '점 ⑦', 타단은 '점 ⑧')과 각각 연결하여 형성된 삼각형의 '선분 ①⑦'과 '선분 ①⑧'이 이루는 각도의 절반인 각도를 의미한다.
도 2를 참조하여 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)에서 β는 운전자의 시야의 위치를 나타내는 위치와 상기 수평선의 일단인 '점 ⑦'을 연결하는 '선분 ①⑦'이 건물의 끝단을 나타내는 '점 ③'과 겹치거나 넘지 않는 경우, 도 2의 β는 아래의 [수식 3]을 이용하여 구할 수 있다.
Figure 112016029723936-pat00003
.....[수식 3]
또한, 도 2를 참조하여 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)에서 β는 '선분 ①⑦'이 '점 ③'과 만나는 순간 '선분 ①⑦'은 항상 '점 ③'을 지나도록 고정되며 이때, β는 아래의 [수식 4]를 이용하여 구할 수 있다.
Figure 112016029723936-pat00004
.....[수식 4]
(여기서, X3은 '점 ③'의 X좌표, X1은 '점 ①'의 X좌표, X4는 '점 ④'의 X좌표, Y3은 '점 ③'의 Y좌표, Y1은 '점 ①'의 Y좌표, Y4는 '점 ④'의 Y좌표이다.)
여기서, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 [수식 3] 또는 [수식 4]를 이용하여 β값을 구할 수 있다.
도 3은 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 디스플레이 장치가 가상영상을 윈드실드에 디스플레이할 때 수평화면보정 방법을 개략적으로 나타낸 도면이다.
도 3의 (a)를 참조하면 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)의 디스플레이 장치(130)는 화면 축소비율에 따라 축소된 수평화면 A2B2를 '선분 A1B1'만큼 늘어나게 보정한다.
디스플레이 장치(130)는 '선분 A1②'를 아래의 [수식 5]을 이용하여 구할 수 있다.
Figure 112016029723936-pat00005
.....[수식 5]
(선분 A1②: 수평방향에서 윈드실드의 위치 지점의 X축에 평행하게 연결하여, 운전자 시야위치인 '점 ①'과 카메라의 초점기준의 위치를 나타내는 '점 ⑥'을 연결한 '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단(일단은 '점 ⑦', 타단은 '점 ⑧')과 각각 연결하여 형성된 가상의 삼각형과 겹치는 왼쪽 지점인 A1과 윈드실드의 위치 지점을 연결한 선분, 선분 A2②: 윈드실드에 축소된 화면의 일단과 윈드실드의 위치 지점을 연결한 선분, β: 운전자 시야위치인 '점 ①'과 카메라의 초점기준의 위치를 나타내는 '점 ⑥'을 연결한 '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단(일단은 '점 ⑦', 타단은 '점 ⑧')과 각각 연결하여 형성된 가상의 삼각형의 '선분 ①⑦'과 '선분 ①⑧'이 이루는 각도의 절반인 각도)
[수식 5]에서 '선분 A2②'는 tanβ×'선분 ①②'이며, β는 위의 [수식 3] 또는 [수식 4]를 이용하여 구할 수 있다.
도 3의 (b)를 참조하면 디스플레이 장치(130)는 '선분 B1②'를 아래의 [수식 6]을 이용하여 구할 수 있다.
Figure 112016029723936-pat00006
.....[수식 6]
(선분 B1②: 수평방향에서 윈드실드의 위치 지점의 X축에 평행하게 연결하여, '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단(일단은 '점 ⑦', 타단은 '점 ⑧')과 각각 연결하여 형성된 가상의 삼각형과 겹치는 오른쪽 지점인 B1과 윈드실드의 위치 지점을 연결한 선분, 선분 B2②: 윈드실드에 축소된 화면의 타단과 윈드실드의 위치 지점을 연결한 선분, β: '선분 ①⑥'과 '점 ⑦' 및 '점 ⑧'을 각각 연결하여 형성된 가상의 삼각형의 '선분 ①⑦'과 '선분 ①⑧'이 이루는 각도의 절반)
[수식 6]에서 '선분 B2②'는 tanβ×'선분 ①②'이며, β는 위의 [수식 3] 또는 [수식 4]를 이용하여 구할 수 있다.
따라서, 디스플레이 장치(130)는 [수식 5]와 [수식 6]을 통하여 구한 '선분 A1②'과 '선분 B2②'를 구하여 수평보정을 수행한다.
도 4는 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 디스플레이 장치가 가상영상을 윈드실드에 디스플레이할 때 수직화면보정 방법을 개략적으로 나타낸 도면이다.
도 4의 위의 그림을 참조하면 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)의 디스플레이 장치(130)는 화면 축소비율 '선분 ①②'/'선분 ①⑥'에 따라 축소된 비율을 이용한다.
도 4의 아래 그림을 참조하면 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)의 디스플레이 장치(130)는 화면 축소비율에 따라 축소된 수직화면 A2B2를 '선분 A1B1'만큼 늘어나게 보정한다.
디스플레이 장치(130)는 '선분 A1②'를 아래의 [수식 7]을 이용하여 구할 수 있다.
Figure 112016029723936-pat00007
.....[수식 7]
(여기서, θ는 윈드실드의 수직 기울기이다.)
[수식 7]에서 '선분 A3②'는 tanβ×'선분 ①②'이며, β는 위의 [수식 3] 또는 [수식 4]를 이용하여 구할 수 있다.
디스플레이 장치(130)는 '선분 B1②'를 아래의 [수식 8]을 이용하여 구할 수 있다.
Figure 112016029723936-pat00008
.....[수식 8]
[수식 8]에서 '선분 B3③'는 tanβ×'선분 ①②'이며, β는 위의 [수식 3] 또는 [수식 4]를 이용하여 구할 수 있다.
따라서, 디스플레이 장치(130)는 [수식 7]과 [수식 8]을 통하여 구한 '선분 A4②'과 '선분 B4②'를 구하여 수직보정을 수행한다.
도 5는 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 디스플레이 장치가 가상영상을 윈드실드에 디스플레이하는 방법을 개략적으로 나타낸 도면이다.
도 5의 왼쪽 그림을 참조하면 디스플레이 장치(130)는 윈드실드 전반에 가상영상이 뿌려질 수 있도록 화각을 넓히고 각을 기울인다. 여기서, 화각은 렌즈를 통해 한번에 볼 수 있는 각도를 의미한다. 이때, 일반적으로 윈드실드의 A1부분으로 갈수록 빛의 명도가 흐려지므로 디스플레이 장치(130)는 가상영상 명도를 좌우가 점차적으로 차이가 나도록 뿌려준다.
도 5의 오른쪽 그림을 참조하면 디스플레이 장치(130)는 A1에서 B1까지의 범위에는 축적된 영상을 영상처리하여 뿌려준다. 여기서, 영상처리는 도 3 내지 4에서 행했던 수평보정과 수직보정을 수행하는 과정을 의미한다.
도 6은 본 실시예에 따른 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템의 동작을 나타낸 순서도이다.
외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 외부 카메라에 대해 대상 차량의 위치를 판단한다(S610). 여기서, 외부 카메라는 교차로, 구부러진 산길 등에 설치될 수 있다.
외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 상기 대상 차량이 상기 외부 카메라의 설정 범위 이내로 진입하는지 여부를 판단한다(S620).
단계 S620 판단결과, 상기 대상 차량이 외부 카메라의 설정 범위 이내로 진입한다고 판단되는 경우, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 상기 외부 카메라로부터 촬상된 영상을 수신한다(S630).
단계 S620 판단결과, 상기 대상 차량이 외부 카메라의 설정 범위 이내로 진입한다고 판단되지 않는 경우, 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 상기 외부 카메라로부터 촬상된 영상을 수신하지 않고 종료한다.
외부 시야 방해 구간 영상 차량 내 디스플레이 시스템(100)은 상기 수신된 영상을 실시간적으로 차량 내에서 디스플레이 한다(S640). 여기서, 수신된 영상은 가상영상정보로 증강현실 기법을 사용하여 구현되며 운전자의 전방주시 태만을 줄여 사고예방에 효과가 있다.
도 6에서는 단계 S610 내지 단계 S640을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 단계 S610 내지 단계 S640 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하면, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템
110: 영상 수신부
120: 방향결정부
130: 디스플레이 장치

Claims (10)

  1. 차량 내에 설치되어 차량의 주행에 따라 외부 카메라의 설정 범위 이내로 진입하는 경우 상기 외부 카메라의 위치정보 및 상기 외부 카메라에 의해 촬상된 영상을 수신하는 영상 수신부;
    상기 외부 카메라로부터 전송된 상기 위치정보를 이용하여 상기 외부 카메라가 위치하는 방향을 결정하는 방향결정부; 및
    윈드실드 상에 상기 영상을 실시간적으로 디스플레이 하되, 상기 방향결정부에 의해 결정된 상기 방향으로 조사하여 디스플레이하는 디스플레이 장치
    를 포함하고,
    상기 방향결정부는,
    차량 일측에 설치된 GPS모듈로부터 GPS 좌표를 수신하고, 상기 GPS 좌표를 기준위치로 설정하고, 상기 기준위치로부터 기 설정된 거리에 위치하는 운전자 시야위치인 시야좌표를 생성하며,
    상기 외부 카메라의 상기 위치정보 및 상기 시야좌표를 기반으로 아래의 수식
    Figure 112020104685819-pat00020

    (α14: 외부 카메라의 회전각, Y4: 외부 카메라의 Y축 좌표, Y0+Y1: 운전자의 시야의 위치 Y좌표, X4: 외부 카메라의 X축 좌표, X0+X1: 운전자의 시야의 위치 X좌표)
    을 이용하여 상기 외부 카메라의 위치하는 방향을 결정하기 위한 회동 각도정보를 생성하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.
  2. 제1항에 있어서,
    상기 영상 수신부는,
    상기 외부 카메라와의 근거리 통신을 통해 상기 영상을 수신하거나, 또는, 상기 외부 카메라와 통신하여 상기 영상을 수신한 서버장치로부터 상기 영상을 수신하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 방향결정부는,
    상기 외부 카메라의 작동을 제어하는 외부장치가 상기 외부카메라의 회동을 제어하도록, 상기 회동 각도정보를 상기 외부장치로 전송하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.
  5. 제1항에 있어서,
    상기 디스플레이 장치는,
    상기 시야좌표와 상기 외부 카메라의 초점좌표 사이를 최단거리로 연결한 직선인 제1 거리정보와 상기 시야좌표와 상기 윈드실드 사이를 상기 외부 카메라의 위치방향으로 최단거리로 연결한 직선인 제2 거리정보를 기반으로 화면 축소비율을 생성하여 상기 영상을 상기 축소비율에 근거하여 축소한 가상영상을 생성하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.
  6. 제5항에 있어서,
    상기 디스플레이 장치는,
    상기 축소비율로 축소된 상기 가상영상의 X축의 픽셀들을 상기 윈드실드의 수평방향에 맞추도록 아래 두개의 수식
    Figure 112016029723936-pat00010

    Figure 112016029723936-pat00011

    (선분 A1②: 수평방향에서 윈드실드의 위치 지점의 X축에 평행하게 연결하여, 운전자 시야위치인 '점 ①'과 카메라의 초점기준의 위치를 나타내는 '점 ⑥'을 연결한 '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단(일단은 '점 ⑦', 타단은 '점 ⑧')과 각각 연결하여 형성된 가상의 삼각형과 겹치는 왼쪽 지점인 A1과 윈드실드의 위치 지점을 연결한 선분, 선분 A2②: 윈드실드에 축소된 화면의 일단과 윈드실드의 위치 지점을 연결한 선분, 선분 B1②: 수평방향에서 윈드실드의 위치 지점의 X축에 평행하게 연결하여, '선분 ①⑥'과 '점 ⑦' 및 '점 ⑧'을 각각 연결하여 형성된 가상의 삼각형과 겹치는 오른쪽 지점인 B1과 윈드실드의 위치 지점을 연결한 선분, 선분 B2②: 윈드실드에 축소된 화면의 타단과 윈드실드의 위치 지점을 연결한 선분, β: '선분 ①⑥'과 '점 ⑦' 및 '점 ⑧'을 각각 연결하여 형성된 가상의 삼각형의 '선분 ①⑦'과 '선분 ①⑧'이 이루는 각도의 절반)
    을 사용하여 상기 가상영상의 X축의 영상의 픽셀들의 길이를 보정하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.
  7. 제5항에 있어서,
    상기 디스플레이 장치는,
    상기 축소비율로 축소된 상기 가상영상의 Y축의 픽셀들을 상기 윈드실드의 수직방향에 맞추도록 아래 두개의 수식
    Figure 112016029723936-pat00012

    Figure 112016029723936-pat00013

    (선분 A4②: 수직방향에서 윈드실드의 위치 지점의 Y축에 평행하게 연결하여, '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단과 각각 연결하여 형성된 가상의 삼각형과 겹치는 일단인 A4과 윈드실드의 위치 지점을 연결한 선분, 선분 A3②: 윈드실드에 축소된 화면의 일단과 윈드실드의 위치 지점을 연결한 선분, 선분 B4②: 수직방향에서 윈드실드의 위치 지점의 Y축에 평행하게 연결하여, '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단과 각각 연결하여 형성된 가상의 삼각형과 겹치는 타단인 B4과 윈드실드의 위치 지점을 연결한 선분, 선분 B3②: 윈드실드에 축소된 화면의 타단과 윈드실드의 위치 지점을 연결한 선분, β: '선분 ①⑥'과 수직이 되는 카메라 초점기준을 지나는 수평선의 양단과 각각 연결하여 형성된 가상의 삼각형의 선분이 이루는 각도의 절반, θ: 윈드실드의 수직 기울기)
    을 사용하여 상기 가상영상의 Y축의 영상의 픽셀들의 길이를 보정하는 것을 특징으로 하는 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템.
  8. 삭제
  9. 삭제
  10. 삭제
KR1020160037090A 2016-03-28 2016-03-28 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템 KR102222914B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160037090A KR102222914B1 (ko) 2016-03-28 2016-03-28 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160037090A KR102222914B1 (ko) 2016-03-28 2016-03-28 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템

Publications (2)

Publication Number Publication Date
KR20170111511A KR20170111511A (ko) 2017-10-12
KR102222914B1 true KR102222914B1 (ko) 2021-03-04

Family

ID=60141397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160037090A KR102222914B1 (ko) 2016-03-28 2016-03-28 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템

Country Status (1)

Country Link
KR (1) KR102222914B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156568A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 道路走行支援システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101631963B1 (ko) * 2014-04-30 2016-06-20 엘지전자 주식회사 헤드 업 디스플레이 장치 및 이를 구비한 차량

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156568A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 道路走行支援システム

Also Published As

Publication number Publication date
KR20170111511A (ko) 2017-10-12

Similar Documents

Publication Publication Date Title
CN112965503B (zh) 多路摄像头融合拼接方法、装置、设备及存储介质
US10549638B2 (en) Information display apparatus, information provision system, moving object device, information display method, and recording medium
EP3093194B1 (en) Information provision device
US7482909B2 (en) Night vision device
US10269331B2 (en) Display control device for vehicle
US8094192B2 (en) Driving support method and driving support apparatus
US20170269370A1 (en) Display control device for vehicle
US20120123613A1 (en) Driving support device, driving support method, and program
EP2075170B1 (en) A driving assistance system for a vehicle travelling along a roadway that lacks lane demarcation lines
EP2476587A1 (en) Vehicle surrounding monitor apparatus
US20180211635A1 (en) Head-up display device and display control method
CN112298039A (zh) 一种a柱成像方法
CN109050405A (zh) 一种多功能增强现实抬头显示系统及方法
EP2476588A1 (en) Vehicle surrounding monitor apparatus
EP2939211B1 (en) Method and system for generating a surround view
KR102057021B1 (ko) 패널 변환
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
EP3326146B1 (en) Rear cross traffic - quick looks
CN110053625B (zh) 距离计算装置和车辆控制装置
TWI455074B (zh) Vehicle image display system and its correction method
KR102222914B1 (ko) 외부 시야 방해 구간 영상 차량 내 디스플레이 시스템
US10988083B2 (en) Visual field support image generation device and image conversion method
CN208360051U (zh) 一种七路集成式视觉感知系统及车辆
JP2013201707A (ja) 画像受信表示装置、及び画像送受信システム
JP2013200819A (ja) 画像受信表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant