WO2015012531A1 - 운전시야 지원장치 - Google Patents

운전시야 지원장치 Download PDF

Info

Publication number
WO2015012531A1
WO2015012531A1 PCT/KR2014/006471 KR2014006471W WO2015012531A1 WO 2015012531 A1 WO2015012531 A1 WO 2015012531A1 KR 2014006471 W KR2014006471 W KR 2014006471W WO 2015012531 A1 WO2015012531 A1 WO 2015012531A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
driving
information
image
unit
Prior art date
Application number
PCT/KR2014/006471
Other languages
English (en)
French (fr)
Inventor
진종욱
Original Assignee
주식회사 케이엠그래픽스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이엠그래픽스 filed Critical 주식회사 케이엠그래픽스
Publication of WO2015012531A1 publication Critical patent/WO2015012531A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Definitions

  • the present invention relates to a driving field support apparatus, and more particularly, a display is mounted on a surface of a driver's seat or a structure inside a driver's seat, and the real world viewed from the driver's point of view using a three-dimensional sensor as a display.
  • the present invention relates to a driving field support device that shows an invisible portion hidden by the vehicle.
  • auxiliary mirror such as a convex mirror
  • the technology of photographing blind spots around the vehicle with a camera etc.
  • the screen display related technology that reduces the blind spots generated when the road is changed, and the person using the distance sensor
  • a technology of displaying a warning sound or a distance from a vehicle when an obstacle is approached is used.
  • Korean Patent Laid-Open Publication No. 10-2012-0035215 discloses a vehicle peripheral support device.
  • an object of the present invention is to provide a three-dimensional model of the real world sensed during operation without distortion at the driver's point of view to be hidden in the interior of the driver's or driver's seat By providing an invisible outside view, it is to provide a driving field support device that broadens the driver's field of view.
  • the real-world sensing unit 100 is provided in the driver for real-time sensing the outside of the vehicle in three dimensions;
  • a modeling unit 200 generating a 3D modeling image including a driving route, a vehicle, and a structure based on the information sensed by the real world sensing unit 100;
  • a driving information obtaining unit 300 for obtaining driving information including at least one selected from steering, attitude, speed, and acceleration of the vehicle;
  • a vision sensing unit 400 which tracks the position of the driver's eyes in three dimensions to obtain vision information;
  • a display unit 500 provided inside the driver's seat of the driver; And based on the three-dimensional modeling image, driving information, field of view information and the three-dimensional shape of the display unit 500, the image matching unit 600 for generating an image matched with the driver directly sees the real world; It is configured to include, characterized in that to show the image generated from the image matching unit 600 through the display unit 500.
  • the sensing unit 100 may include at least one selected from an optical sensor and a sonic sensor.
  • the display unit 500 is characterized in that it comprises a flexible thin film display.
  • the image matching unit 600 extends a line connecting a point of the display unit 500 of the cockpit at the position of the driver's eyes using polygon rendering or ray tracing, an actual driving road associated with the line And finding the point of the route model.
  • the image matching unit 600 is characterized by reflecting the route information or driving information running in the matched image.
  • the image matching unit 600 is characterized in that the risk information is reflected in the matched image.
  • the driver can see the outside that is hidden by the interior of the driver's seat or driver's seat, widening the driver's field of vision, thereby enhancing safety. .
  • the flexible thin-film display it is possible to mount the display on the interior surface of the driver's seat interior, there is an effect that can be configured in various forms.
  • the driver does not need to change the line of sight so that the driving situation can be easily and quickly recognized, thereby increasing safety.
  • FIG. 1 is a block diagram of a driving view support apparatus according to an embodiment of the present invention.
  • FIG. 2 is an exemplary view showing a general driver's seat inside.
  • Figure 3 is an exemplary view showing the inside of the driver's seat is applied driving field support apparatus according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a driving field support apparatus according to an embodiment of the present invention
  • Figure 2 is an exemplary view showing a general driver's seat inside
  • Figure 3 is a driver's seat is applied to the driving field support device according to an embodiment of the present invention
  • the driving field support apparatus may include a real world sensing unit 100, a modeling unit 200, a driving information acquisition unit 300, a field of view sensing unit 400, and a display. It comprises a unit 500 and the image matching unit 600, characterized in that for showing the image generated from the image matching unit 600 through the display unit 500.
  • Driving field support apparatus is equipped with a display inside the driver's seat of the driver, such as a car, airplane, ship, etc. and provides a three-dimensional model of the real world sensed during operation without distortion from the driver's point of view It can give the driver a view beyond the window. Accordingly, the invisible part is hidden by the interior of the driver's seat or the driver's seat, thereby enabling safe driving.
  • the real world sensing unit 100 is provided in the driver and senses the outside of the driver in three dimensions in real time.
  • the sensing unit 100 may include at least one selected from an optical sensor and a sonic sensor.
  • the optical sensor may use a camera
  • the sonic sensor may use an ultrasonic sensor.
  • the modeling unit 200 generates a 3D modeling image including a driving route, a vehicle, and a structure based on the information sensed by the real world sensing unit 100.
  • the driving information acquisition unit 300 obtains driving information including at least one selected from steering, attitude, speed, and acceleration of the vehicle.
  • the attitude information of the driver is important to provide an image directly viewed from the driver's point of view.
  • the image and the real world may not be matched and a parallax may occur.
  • information such as steering, speed, acceleration, deceleration of the vehicle may be additionally needed.
  • the visual field sensing unit 400 acquires visual field information by three-dimensionally tracking the position of the driver's eyes.
  • the visual field sensing unit 400 should find out the position of the driver's eyes three-dimensionally at the same or higher speed than the displayed speed.
  • the display unit 500 is provided inside the driver's seat of the driver.
  • the display unit 500 may include a flexible thin film display.
  • the display unit 500 may be mounted or deposited so that the driver feels that there is no interior.
  • the display unit 500 may be manufactured in the form of a dashboard to replace (mount) the dashboard and attach (deposit) a flexible thin film display to the surface of the dashboard.
  • the interior of the driver's seat of the vehicle may constitute the display unit 500 in whole or in part, and may use a digital color or monochrome pixelated display.
  • display information may be transmitted in color or black and white for all pixels.
  • LEDs light emitting diode displays
  • LCDs liquid crystal displays
  • TFT LCDs thin-film transistor liquid crystal displays
  • PDP plasma display panels
  • DLP digital light source processing
  • LCD liquid crystal
  • OLED organic light emitting diode
  • SED surface conduction electron emission device display
  • FED field emission display
  • laser TV quantum dot laser o liquid crystal laser
  • FLD photoelectric liquid display
  • iMoD interferometric modulator display
  • TDEL thick film dielectric electrical
  • QD-LED quantum dot display
  • TPD organic light emitting transistor
  • OLET laser fluorescent display
  • the image matching unit 600 generates an image matched with the driver's direct viewing of the actual external world, based on the 3D modeling image, driving information, field of view information, and the 3D shape of the display unit 500.
  • the modeling unit 200 generates a 3D modeling image of the real world in real time based on the information sensed by the real world sensing unit 100 to provide a view fully matched with the real world on a cockpit inter-display including a curved surface. And a three-dimensional model of the display unit 500 configured inside the driver's seat, driving information obtained in real time using the driving information obtaining unit 300, and a field of view acquired in real time using the field sensing unit 400.
  • the actual driving path model associated with the extension line Find the points of and create a matched image.
  • the three-dimensional model of the display unit 500 configured in the driver's seat is preferably prepared in advance.
  • the 3D model of the display unit 500 configured in the driver's seat modeled in the interior coordinate system is prepared before the execution time, and the position of the driver's eyes measured in real time during the driving of the driver's vehicle is changed to the interior coordinate system.
  • the actual driving road and route model generated in real time is converted into an interior coordinate system. This allows ray tracing to be performed in the same coordinate system.
  • the driving information may be provided by the 'information transmission device related to the driving speed and direction'.
  • the points of the actual driving road and the route model associated with the line are found.
  • a graphics calculator may be used. You can perform polygon rendering that mimics the above operations, or you can use direct ray tracing. Depending on the application, the points of different road and route models can be seen as transparently overlapping, or just the closest point as in the real world.
  • the driving field support apparatus may completely secure all the visions of the driver since the entire interior of the vehicle may be a screen.
  • the outside of the general driver's seat can be seen through a window and a mirror with a limited field of view.
  • a driving field support device according to an embodiment of the present invention is applied. Inside the driver's seat, you can also see the outside environment hidden by the driver or the driver's interior.
  • the image matching unit 600 extends a line connecting a point of the display unit 500 of the cockpit at the position of the driver's eyes using polygon rendering or ray tracing, an actual driving road associated with the line And finding the point of the route model.
  • the ray tracing method is one of the imaging techniques of computer graphics, and the light from the light source passes through the path and reflects to the object in order to solve the difficulty that was difficult to express realistically with the conventional shadow model. It is necessary to accurately track whether it is absorbed and finally reach the eye (or pixel), and construct an image based on the information.
  • Ray tracing is a technique to realize this algorithm. In practice, to make calculations more efficient, we trace the rays that only hit the eye (or pixels) backwards to create a path diagram of the light beam by the object, and then back up the path diagram to determine the shadow of each pixel from the shadow of the object. . Ray tracing has received particular attention in recent years because of the variety of objects that can be treated as models.
  • the image matching unit 600 may be characterized by reflecting the route information or driving information to the matched image.
  • Augmented reality is a technology that superimposes a virtual object on the real world seen by the user. It is also called Mixed Reality (MR) because it combines the virtual world with additional information in real time into one image. In other words, it is a hybrid VR system that fuses the real environment and the virtual environment.
  • Augmented reality a concept that complements the real world with the virtual world, uses a virtual environment made of computer graphics, but the main role is the real environment.
  • Computer graphics play a role in providing additional information necessary for the real environment. This means that the distinction between the real environment and the virtual screen is blurred by overlapping the 3D virtual image on the live image that the user sees.
  • augmented reality technology immerses the user in the virtual environment and cannot see the real environment.
  • augmented reality technology which is a mixture of real environment and virtual objects, allows the user to see the real environment, providing better realism and additional information.
  • the camera is illuminated with a smartphone camera, information such as the location and phone number of a nearby store is displayed as a stereoscopic image.
  • the augmented reality system thus developed includes a head mounted display (HMD) such as a video method and an optical method.
  • HMD head mounted display
  • the driving situation may be presented to the driver by matching and displaying the road, route information and the like that operate on the due diligence. Since the information is displayed in a coordinated manner with the actual road visible in the interior of the interior of the steering, it is possible to recognize the situation of the driving road more easily and quickly than to change the line of sight in order to view the navigation installed in the center in the past.
  • the image matching unit 600 may reflect the risk information on the matched image.
  • a safe driving environment can be provided.

Abstract

본 발명은 운전시야 지원장치에 관한 것으로서, 보다 상세하게는 운전자가 탑승하는 운전석 내부 또는 운전석 내부 구조물의 표면에 디스플레이를 장착하고, 3차원 센서를 이용하여 운전자의 시점에서 바라보는 실 세계를 디스플레이로 보여주어 운전체에 가려져 보이지 않는 부분을 보여주는 운전시야 지원장치를 제공한다.

Description

운전시야 지원장치
본 발명은 운전시야 지원장치에 관한 것으로서, 보다 상세하게는 운전자가 탑승하는 운전석 내부 또는 운전석 내부 구조물의 표면에 디스플레이를 장착하고, 3차원 센서를 이용하여 운전자의 시점에서 바라보는 실 세계를 디스플레이로 보여주어 운전체에 가려져 보이지 않는 부분을 보여주는 운전시야 지원장치에 관한 것이다.
최근 아파트 주차장이나 주택가 골목길 등 사람들의 통행이 빈번한 곳에서 발생하는 교통사고가 증가하는 추세에 있고, 피해자는 주로 어린이와 노약자가 많은 것으로 알려져 있다.
이러한 교통사고는 주로 운전자의 부주의에 기인하지만 운전자가 창문이나 거울을 통해 확인하기 어려운 사각지대가 존재한다는 것도 주요 원인 중 하나이다.
이러한 문제를 해결하기 위해 운전자의 시야를 더욱 넓게 확보하기 위하여, 볼록거울 등의 보조미러의 설치, 카메라 등으로 차량 주변의 사각지대를 촬영하여 운전석에 설치된 모니터에 표시하는 기술, 차로 변경시 깜박이 등의 작동에 따라 진입하고자 하는 차로 쪽의 지역이 보다 자세히 보이도록 카메라 각도 및 모니터의 화면분할을 조정함으로써 차로 변경 시 발생되는 후방시야의 사각을 감소시키는 화면표기 관련 기술, 거리감지 센서를 이용하여 사람 또는 장애물에 접근 시 경고음 송출 또는 차량과의 거리를 표시하는 기술 등이 이용되고 있다.
하지만 이러한 기술 들은 사각지대를 완벽하게 커버할 수 없으며, 이 중 화면(모니터)에 표시하는 기술의 경우 화면에 보여지는 영상과 실 세계와의 정합이 이루어 지지 않기 때문에 운전자가 이점을 고려하여야 한다. 예를 들어, 후방감시카메라의 경우 운전자가 모니터를 바라보기 위해 앞쪽을 보게 되지만 실제 보여지는 영상은 뒤쪽의 영상을 제공한다.
한국공개특허 [10-2012-0035215]에서는 차량주변 인지 지원장치가 개시되어 있다.
따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 운행중 센싱된 실제 세계의 3차원 모델을 운전자의 시점에서 왜곡없이 제공하여 운전체 또는 운전석 내부의 인테리어에 가려져 보이지 않는 외부를 볼 수 있도록 함으로써 운전자의 시야를 넓혀주는 운전시야 지원장치를 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 운전시야 지원장치는, 운전체에 구비되어 실시간으로 상기 운전체 외부를 3차원 센싱하는 실세계 센싱부(100); 상기 실세계 센싱부(100)에 의해 센싱된 정보를 바탕으로, 운행로, 탑승체 및 구조물을 포함하여 3차원 모델링 영상을 생성하는 모델링부(200); 상기 운전체의 조향, 자세, 속도 및 가속도 중 선택되는 적어도 어느 하나를 포함한 운행정보를 획득하는 운행정보 획득부(300); 운전자의 눈의 위치를 3차원적으로 추적하여 시야정보를 획득하는 시야 센싱부(400); 상기 운전체의 운전석 내부에 구비되는 디스플레이부(500); 및 상기 3차원 모델링 영상, 운행정보, 시야정보 및 디스플레이부(500)의 3차원 형상을 바탕으로, 실제 외부 세계를 운전자가 직접 보는 것과 정합된 영상을 생성하는 영상 정합부(600); 를 포함하여 구성되며, 상기 영상 정합부(600)로부터 생성된 영상을 상기 디스플레이부(500)를 통해 보여주는 것을 특징으로 한다.
또한, 상기 센싱부(100)는 광학적 센서 및 음파적 센서 중 선택되는 적어도 어느 하나를 포함하는 것을 특징으로 한다.
또, 상기 디스플레이부(500)는 플렉시블 박막형 디스플레이를 포함하는 것을 특징으로 한다.
또한, 상기 영상 정합부(600)는 폴리곤 렌더링 또는 광선 추적법을 이용하여 운전자의 눈의 위치에서 조종석의 디스플레이부(500)의 한 지점을 연결한 선을 확장하였을때, 선에 연관된 실제 운행 도로 및 항로 모델의 지점을 찾는 것을 특징으로 한다.
또, 상기 영상정합부(600)는 운행하는 항로정보 또는 운행정보를 상기 정합된 영상에 반영하는 것을 특징으로 한다.
아울러, 상기 영상정합부(600)는 위험정보를 상기 정합된 영상에 반영되는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 운전시야 지원장치에 의하면,
운행중 센싱된 실제 세계의 3차원 모델을 운전자의 시점에서 왜곡없이 제공함에 따라, 운전체 또는 운전석 내부의 인테리어에 가려져 보이지 않는 외부를 볼 수 있어, 운전자의 시야를 넓혀 줌으로써, 안전성을 높이는 효과가 있다.
또한, 플렉시블 박막형 디스플레이를 사용함에 따라, 운전석 실내 인테리어 표면에 디스플레이를 장착할 수 있어 다양한 형태로 디스플레이부를 구성할 수 있는 효과가 있다.
또, 운행에 필요한 정보(네비게이션 정보 등)를 실사와 정합하여 보여줌에 따라, 운전자가 시선을 변경할 필요가 없으므로 운전 상황을 쉽고 빠르게 인지할 수 있어 안전성을 더욱 높이는 효과가 있다.
아울러, 위험정보를 실사와 정합하여 보여줌에 따라, 위험에 대한 빠른 대처가 가능하여 안전성을 더욱 높이는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 운전시야 지원장치의 블록도.
도 2는 일반적인 운전석 내부를 보여주는 예시도.
도 3은 본 발명의 일 실시예에 따른 운전시야 지원장치가 적용된 운전석 내부를 보여주는 예시도.
이하, 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 운전시야 지원장치의 블록도이며, 도 2는 일반적인 운전석 내부를 보여주는 예시도이고, 도 3은 본 발명의 일 실시예에 따른 운전시야 지원장치가 적용된 운전석 내부를 보여주는 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 운전시야 지원장치는 실세계 센싱부(100), 모델링부(200), 운행정보 획득부(300), 시야 센싱부(400), 디스플레이부(500) 및 영상 정합부(600)를 포함하여 구성되며, 상기 영상 정합부(600)로부터 생성된 영상을 상기 디스플레이부(500)를 통해 보여주는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 운전시야 지원장치는 자동차, 비행기, 배 등 운전자가 탑승하는 운전체의 운전석 내부에 디스플레이를 장착하고 운행중 센싱된 실제 세계의 3차원 모델을 운전자 시점에서 왜곡없이 제공하여 운전자에게 창문 이상의 시야를 제공할 수 있다. 이에 따라 운전체 또는 운전석 내부의 인테리어에 가려서 보이지 않는 부분을 볼 수 있어서 안전 운행이 가능하다.
다시 말해, 조정 인테리어 내부 표면 전체 혹은 부분에 디스플레이를 장착하고, 3차원 센서를 이용하여 운전하는 도로, 하늘 및 바다 등의 실제 외부 세계를 모델링하여, 이를 운전자 시야에 맞게 디스플레이로 보여줌으로써, 운전자의 시야를 넓힐 수 있다.
이하에서 각각의 구성에 대하여 상세하게 설명한다.
실세계 센싱부(100)는 운전체에 구비되어 실시간으로 상기 운전체 외부를 3차원 센싱한다.
이때, 상기 센싱부(100)는 광학적 센서 및 음파적 센서 중 선택되는 적어도 어느 하나를 포함하는 것을 특징으로 할 수 있다. 여기서, 광학적 센서는 카메라 등을 이용할 수 있으며, 음파적 센서는 초음파 센서 등을 이용할 수 있다.
모델링부(200)는 상기 실세계 센싱부(100)에 의해 센싱된 정보를 바탕으로, 운행로, 탑승체 및 구조물을 포함하여 3차원 모델링 영상을 생성한다.
다시 말해, 운전 방향으로의 실시간 실세계 3차원 센싱 및 모델링이 가능하다.
운행정보 획득부(300)는 상기 운전체의 조향, 자세, 속도 및 가속도 중 선택되는 적어도 어느 하나를 포함한 운행정보를 획득한다.
운전자의 시점에서 직접 보는 영상을 제공하기 위해 운전체의 자세정보가 중요하다.
또한, 영상 생성과 표시까지의 걸리는 시간 차이에 의해서 영상과 실제 세계가 정합되지 못하고 시차가 생길 수 있다. 이를 제거하기 위하여, 운전체의 조향, 속도, 가속, 감속 등의 정보를 추가적으로 필요로 할 수 있다.
시야 센싱부(400)는 운전자의 눈의 위치를 3차원적으로 추적하여 시야정보를 획득한다.
정합된 실시간 영상을 디스플레이부를 통해 보여주기 위하여, 운전자의 눈의 위치를 정확히 측정하는 것이 필요하다. 이를 위한 상기 시야 센싱부(400)는 디스플레이되는 속도보다 같거나 높은 속도로 운전자의 눈의 위치를 3차원적으로 알아내어야 한다.
디스플레이부(500)는 상기 운전체의 운전석 내부에 구비된다.
이때, 상기 디스플레이부(500)는 플렉시블 박막형 디스플레이를 포함하는 것을 특징으로 할 수 있다.
가장 바람직한 형태는 운전자가 인테리어가 없는 것처럼 느끼도록 상기 디스플레이부(500)를 장착 또는 증착할 수 있다.
예를 들어, 상기 디스플레이부(500)를 대시보드 형태로 제작하여 대시보드를 대체(장착)할 수 있고, 대시보드의 표면에 플랙시블 박막형 디스플레이를 부착(증착)할 수 있다.
운행체의 운전석 내부 인테리어는 전체 혹은 부분적으로 상기 디스플레이부(500)를 구성할 수 있으며, 디지털 방식의 컬러 혹은 흑백 화소화 디스플레이를 사용할 수 있다. 다시 말해, 모든 화소에 대해 컬러 또는 흑백으로 표시 정보를 전달할 수 있다.
여기서 사용 가능한 디스플레이의 종류는 발광 다이오드 디스플레이 (LED), 액정 디스플레이 (LCD) (박막 트랜지스터 액정 디스플레이 (TFT LCD)), 플라스마 디스플레이 패널 (PDP) (표면 얼터네이트 라이팅 (ALiS)), 디지털 광원 처리 (DLP), 실리콘 액정 (LCoS), 유기 발광 다이오드 (OLED), 표면 전도형 전자 방출 소자 디스플레이 (SED), 전계 방출 디스플레이 (FED), 레이저 TV (양자 점 레이저 ㅇ 액정 레이저), 광유전성 액체 디스플레이 (FLD), 간섭계 변조기 디스플레이 (iMoD), 두꺼운 필름 유전체 전기 (TDEL), 양자 점 디스플레이 (QD-LED), 텔레스코픽 픽셀 디스플레이 (TPD), 유기 발광 트랜지스터 (OLET), 레이저 형광 디스플레이 (LPD) 등이 될 수 있다.
영상 정합부(600)는 상기 3차원 모델링 영상, 운행정보, 시야정보 및 디스플레이부(500)의 3차원 형상을 바탕으로, 실제 외부 세계를 운전자가 직접 보는 것과 정합된 영상을 생성한다.
곡면을 포함한 조종석 인터리어 디스플레이에 실세계와 완전히 정합된 시야를 제공하기 위해서는 상기 실세계 센싱부(100)로부터 센싱된 정보를 바탕으로 상기 모델링부(200)가 실시간으로 실 세계에 대한 3차원 모델링 영상을 생성하고, 운전석 내부에 구성된 상기 디스플레이부(500)의 삼차원 모델, 상기 운행정보 획득부(300)를 이용하여 실시간으로 획득한 운행정보, 및 상기 시야 센싱부(400)를 이용하여 실시간으로 획득한 시야정보(운전자의 눈의 위치)를 상기 실 세계에 대한 3차원 모델링 영상에 반영하여, 운전자의 눈의 위치에서 운전석의 인테리어의 한 지점을 연결한 선을 확장하였을 때, 연장선에 연관된 실제 운행로 모델의 지점들을 찾아 정합된 영상을 생성한다. 이때, 상기 운전석 내부에 구성된 상기 디스플레이부(500)의 삼차원 모델은 미리 준비되는 것이 바람직하다.
예를 들어, 인테리어 좌표계에서 모델링된 운전석 내부에 구성된 상기 디스플레이부(500)의 삼차원 모델을 수행시간 이전에 준비하여, 운전체의 운행 중에 실시간 측정된 운전자의 눈의 위치를 인테리어 좌표계로 변경한다.
또한 실시간 생성되는 실제 운행 도로, 항로 모델은 인테리어 좌표계로 변환한다. 이로서 같은 좌표계에서 광선 추적법을 수행할 수 있다.
또, 영상 생성과 표시까지의 걸리는 시간 차이를 극복하기 위하여, '운전체의 속도 및 방향 등 운행에 관계된 정보 전달 장치'에서 운행 정보를 제공 받을 수 있다.
아울러, 운전자의 눈의 위치에서 조종석의 인테리어의 한 지점을 연결한 선을 확장하였을 때, 선에 연관된 실제 운행 도로 및 항로 모델의 지점들을 찾는다. 이때, 그래픽스 연산기를 이용할 수 있다. 위의 연산을 모사한 폴리곤 렌더링을 수행하거나, 직접 광선 추적법을 이용할 수 있다. 응용에 따라 여러 도로 및 항로 모델의 지점들이 투명하게 겹처 보이거나, 실제 세계처럼 가장 가까운 지점만 보이게 할 수 있다.
본 발명의 일 실시예에 따른 운전시야 지원장치는 자동차 내부의 전체 인테리어가 화면이 될 수 있으므로 운전자의 모든 시야를 완벽하게 확보할 수 있다. 예를 들어, 도 2에 도시된 바와 같이 일반적인 운전석 내부에서는 창문과 거울을 통해 한정된 시야로 외부를 볼 수 있지만, 도 3에 도시된 바와 같이 본 발명의 일 실시예에 따른 운전시야 지원장치가 적용된 운전석 내부에서는 운전체 또는 운전석 내부 인테리어로 가려진 외부 환경도 볼 수 있다.
이때, 상기 영상 정합부(600)는 폴리곤 렌더링 또는 광선 추적법을 이용하여 운전자의 눈의 위치에서 조종석의 디스플레이부(500)의 한 지점을 연결한 선을 확장하였을 때, 선에 연관된 실제 운행 도로 및 항로 모델의 지점을 찾는 것을 특징으로 할 수 있다.
여기서, 광선 추적법(ray tracing method)은 컴퓨터 그래픽의 영상화 기법의 하나로서, 종래의 음영 모델로는 사실적인 표현이 힘들었던 난점을 해결하기 위해서 광원에서 나온 빛이 어떤 경로를 거쳐 물체에 반사ㅇ투과ㅇ흡수되어 최종적으로 눈(또는 화소)에 도달하는가를 정확하게 추적해, 그 정보를 바탕으로 화상을 구성할 필요가 있다. 광선 추적법은 이 알고리즘(수순)을 실현하는 기법이다. 실제로는 계산의 효율화를 위해 눈(또는 화소)에 닿는 광선만을 거꾸로 추적해 대상물에 의한 광선의 경로도를 만든 후, 다시 경로도를 거슬러 올라가 대상물의 음영으로부터 각 화소의 음영을 결정하는 방법을 쓴다. 광선 추적법은 모델로서 다룰 수 있는 대상물이 다양하기 때문에 최근에 특히 주목을 받고 있다.
상기 영상정합부(600)는 운행하는 항로정보 또는 운행정보를 상기 정합된 영상에 반영되는 것을 특징으로 할 수 있다.
자동차의 경우, 운전 도로의 정보, 진행방해물의 제시 등을 목적으로, 네비게이션 등을 사용하고 있다. 이러한 정보들을 증강현실(AR: Augmented Reality)과 접목하여 상기 디스플레이부(500)를 이용하여 운전자에게 보여줄 수 있다. 여기서 증강현실은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다. 다시 말해, 현실환경과 가상환경을 융합하는 복합형 가상현실 시스템(hybrid VR system)이다.
현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다.
가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 예를 들어 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기된다. 이렇게 개발된 증강현실시스템으로 비디오방식과 광학방식 등의 HMD(head mounted display)가 있다.
예를 들어, 자동차의 네비게이션 상의 도로, 배나 항공기의 항로 등의 정보가 있을 경우, 운행하는 도로, 항로 정보 등을 실사에 정합 표시하여 운전자에게 운행 상황을 제시할 수 있다. 조종 내부 인테리어상에서 정보가 윈도우에 보이는 실제 도로와 정합되어 표현되므로, 종래에 중앙에 설치된 네비게이션을 보기 위하여 시선을 변경해야 되는 것 보다, 운전 도로의 상황을 쉽고 빠르게 인지 할 수 있다.
상기 영상정합부(600)는 위험정보를 상기 정합된 영상에 반영하는 것을 특징으로 할 수 있다.
예를 들어, 운전석 내부의 인테리어에 가려 안보이는 부분에 대한 충돌 주의를 영상화 시켜서 보여줄 수 있고, 여기에 경고음을 송출할 수 있다. 이에 따라 안전한 운행 환경을 제공할 수 있다.
본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.

Claims (6)

  1. 운전체에 구비되어 실시간으로 상기 운전체 외부를 3차원 센싱하는 실세계 센싱부(100);
    상기 실세계 센싱부(100)에 의해 센싱된 정보를 바탕으로, 운행로, 탑승체 및 구조물을 포함하여 3차원 모델을 생성하는 모델링부(200);
    상기 운전체의 조향, 자세, 속도 및 가속도 중 선택되는 적어도 어느 하나를 포함한 운행정보를 획득하는 운행정보 획득부(300);
    운전자의 눈의 위치를 3차원적으로 추적하여 시야정보를 획득하는 시야 센싱부(400);
    상기 운전체의 운전석 내부에 구비되는 디스플레이부(500); 및
    상기 3차원 모델링 영상, 운행정보, 시야정보 및 디스플레이부(500)의 3차원 형상을 바탕으로, 실제 외부 세계를 운전자가 직접 보는 것과 정합된 영상을 생성하는 영상 정합부(600);
    를 포함하여 구성되며,
    상기 영상 정합부(600)로부터 생성된 영상을 상기 디스플레이부(500)를 통해 보여주는 것을 특징으로 하는 운전시야 지원장치.
  2. 제1항에 있어서,
    상기 센싱부(100)는
    광학적 센서 및 음파적 센서 중 선택되는 적어도 어느 하나를 포함하는 것을 특징으로 하는 운전시야 지원장치.
  3. 제1항에 있어서,
    상기 디스플레이부(500)는
    플렉시블 박막형 디스플레이를 포함하는 것을 특징으로 하는 운전시야 지원장치.
  4. 제1항 에 있어서,
    상기 영상 정합부(600)는
    폴리곤 렌더링 또는 광선 추적법을 이용하여 운전자의 눈의 위치에서 조종석의 디스플레이부(500)의 한 지점을 연결한 선을 확장하였을때, 선에 연관된 실제 운행 도로 및 항로 모델의 지점을 찾는 것을 특징으로 하는 운전시야 지원장치.
  5. 제1항에 있어서,
    상기 영상정합부(600)는
    운행하는 항로정보 또는 운행정보를 상기 정합된 영상에 반영하는 것을 특징으로 하는 운전시야 지원장치.
  6. 제1항에 있어서,
    상기 영상정합부(600)는
    위험정보를 상기 정합된 영상에 반영되는 것을 특징으로 하는 운전시야 지원장치.
PCT/KR2014/006471 2013-07-22 2014-07-17 운전시야 지원장치 WO2015012531A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0086362 2013-07-22
KR1020130086362A KR101611167B1 (ko) 2013-07-22 2013-07-22 운전시야 지원장치

Publications (1)

Publication Number Publication Date
WO2015012531A1 true WO2015012531A1 (ko) 2015-01-29

Family

ID=52393514

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/006471 WO2015012531A1 (ko) 2013-07-22 2014-07-17 운전시야 지원장치

Country Status (2)

Country Link
KR (1) KR101611167B1 (ko)
WO (1) WO2015012531A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107128245A (zh) * 2017-04-10 2017-09-05 江苏车视杰电子有限公司 一种车辆盲区预警系统
US11422764B1 (en) 2018-06-03 2022-08-23 Epic Optix, Inc. Multi-platform integrated display

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934440B1 (en) * 2017-10-04 2018-04-03 StradVision, Inc. Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002104117A (ja) * 2000-10-03 2002-04-10 Denso Corp 車両用運転支援システム
JP2005538656A (ja) * 2002-09-12 2005-12-15 ダイムラークライスラー・アクチェンゲゼルシャフト 自動車用の立体的暗視装置
KR20130012629A (ko) * 2011-07-26 2013-02-05 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011183916A (ja) * 2010-03-08 2011-09-22 Denso Corp 車室内画像表示システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002104117A (ja) * 2000-10-03 2002-04-10 Denso Corp 車両用運転支援システム
JP2005538656A (ja) * 2002-09-12 2005-12-15 ダイムラークライスラー・アクチェンゲゼルシャフト 自動車用の立体的暗視装置
KR20130012629A (ko) * 2011-07-26 2013-02-05 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107128245A (zh) * 2017-04-10 2017-09-05 江苏车视杰电子有限公司 一种车辆盲区预警系统
US11422764B1 (en) 2018-06-03 2022-08-23 Epic Optix, Inc. Multi-platform integrated display

Also Published As

Publication number Publication date
KR101611167B1 (ko) 2016-04-11
KR20150011280A (ko) 2015-01-30

Similar Documents

Publication Publication Date Title
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
JP7098452B2 (ja) イメージ処理方法、イメージ処理装置、コンピュータ・プログラム及び記録媒体
US8704882B2 (en) Simulated head mounted display system and method
JP6780663B2 (ja) 情報表示装置
US10882454B2 (en) Display system, electronic mirror system, and moving body
CN105988219A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP2014181025A (ja) 動的焦点面を備える立体ヘッドアップディスプレイ
US20160377862A1 (en) System for and method of integrating head up displays and head down displays
JPH05112298A (ja) 航空機用仮想映像表示システム
WO2015145933A1 (ja) 虚像表示装置、ヘッドアップディスプレイシステム及び乗物
WO2019097762A1 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2018530467A (ja) 画像を投影面に投影するための自動車用投影方法
CN105644444A (zh) 一种车载显示系统
WO2020139469A1 (en) Real-time, three-dimensional vehicle display
WO2015012531A1 (ko) 운전시야 지원장치
CN109050401B (zh) 一种增强现实的驾驶显示方法和装置
TW201605247A (zh) 影像處理系統及方法
CN110077330B (zh) 一种车载显示系统
Tachi et al. The transparent cockpit
KR102490465B1 (ko) 증강 현실 카메라를 사용한 후방 시야 방법 및 장치
Yoshida et al. Transparent cockpit: Visual assistance system for vehicle using retro-reflective projection technology
CN113212312A (zh) 一种ar后视镜总成及其控制方法
CN114667474A (zh) 用于车辆的智能玻璃
CN207318860U (zh) 裸眼三维显示器和抬头显示系统
KR102269724B1 (ko) 주행 열차 입체 디스플레이 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14828745

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14828745

Country of ref document: EP

Kind code of ref document: A1