WO2016186318A1 - 차량 상태 표시 시스템 및 방법 - Google Patents

차량 상태 표시 시스템 및 방법 Download PDF

Info

Publication number
WO2016186318A1
WO2016186318A1 PCT/KR2016/003529 KR2016003529W WO2016186318A1 WO 2016186318 A1 WO2016186318 A1 WO 2016186318A1 KR 2016003529 W KR2016003529 W KR 2016003529W WO 2016186318 A1 WO2016186318 A1 WO 2016186318A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
icon
display
state
displayed
Prior art date
Application number
PCT/KR2016/003529
Other languages
English (en)
French (fr)
Inventor
황동국
한영인
Original Assignee
주식회사 케이에스에스이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이에스에스이미지넥스트 filed Critical 주식회사 케이에스에스이미지넥스트
Publication of WO2016186318A1 publication Critical patent/WO2016186318A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention

Definitions

  • the present invention relates to a vehicle status display system and method, and more particularly to a vehicle status display system and method capable of displaying the state of the vehicle in a top view image.
  • the device is mounted on a vehicle.
  • the instrument panel displays the operating state of the vehicle such as the speed, RPM, fuel level, cooling state, seat belt, door state, side brake or direction indicator, etc., to provide the driver with the state information of the vehicle.
  • each menu displaying the operating state of the vehicle is located over the front of the instrument panel, the driver has to check each menu over the front of the instrument panel in order to check the overall state of the vehicle.
  • the technical problem to be solved by the present invention is to display the status icon of the vehicle or the indication icon indicating the vehicle's danger information in addition to the vehicle icon on the top view image to inform the driver more quickly and accurately, if the vehicle is dangerous It is to provide a vehicle status display system and method that can warn the driver to ensure safety.
  • the present invention also includes other objects that can be achieved from the configurations of the present invention described below.
  • Vehicle state display system for solving the above technical problem is mounted on a vehicle, a plurality of cameras for taking images of the surroundings of the vehicle, the sensing unit for detecting the state of the vehicle, the plurality of cameras A control unit for converting the image captured from the image into a top view image, and a display unit displaying the converted top view image together with a vehicle icon, wherein the control unit is a display icon representing the state information of the vehicle or the risk information of the vehicle. To be displayed together with the vehicle icon.
  • the display icon may be displayed by being overlaid on the vehicle icon.
  • the controller may allow the display icon corresponding to the detected state of the vehicle to be selected and displayed from a set of previously stored display icons.
  • the set of display icons may include a plurality of display icons in which colors, shapes, or positions are displayed in stages according to the state information of the vehicle.
  • the controller extracts risk information of the vehicle based on the detected state of the vehicle or a distance from another object approaching the vehicle, and determines a predetermined color, shape, or warning message according to the extracted risk information of the vehicle.
  • the display icon having a may be overlaid on the vehicle icon.
  • the controller may cause the color, shape, or warning message of the display icon to be displayed step by step according to the danger information of the vehicle.
  • the display icon may be displayed to be overlaid on the corresponding position of the vehicle icon in response to a position indicating the state of the vehicle, or may be displayed by being overlaid on the entire vehicle icon.
  • the detection unit may include a door detection sensor that detects whether the door of the vehicle is opened or closed, a tilt detection sensor that detects the inclination of the vehicle body, a trunk detection sensor that detects whether the trunk of the vehicle is opened, and the vehicle and another object. It may include at least one of the distance sensor for detecting the distance.
  • the vehicle status display system the plurality of cameras mounted on the vehicle to take an image of the surroundings of the vehicle, the step of detecting the state of the vehicle, the top of the images taken from the plurality of cameras And converting the view image into a view image, and displaying the converted top view image together with a vehicle icon, wherein the vehicle icon is displayed together with a display icon representing the state information of the vehicle or danger information of the vehicle.
  • the display icon may be displayed by being overlaid on the vehicle icon.
  • the method may further include selecting and displaying the display icon corresponding to the detected state of the vehicle from a set of previously stored display icons.
  • the set of display icons may be displayed in color, shape, or position step by step according to the state information of the vehicle.
  • the display icon may display the color, shape, or warning message in stages according to danger information of the vehicle.
  • the display icon may be displayed to be overlaid on the corresponding position of the vehicle icon in response to a position indicating the state of the vehicle, or may be displayed by being overlaid on the entire vehicle icon.
  • the detecting of the state of the vehicle may detect at least one of whether the door of the vehicle is opened, the inclination of the vehicle body, whether the trunk of the vehicle is opened, and the distance between the vehicle and another object.
  • a vehicle icon is displayed on the top view image together with the vehicle icon and a display icon representing the vehicle status information or the danger information of the vehicle, thereby prompting the driver of the vehicle status more quickly.
  • the driver may be more quickly and safely driven by warning the driver more quickly, and there is an advantage of securing the driver's safety.
  • the driver may recognize the state of the vehicle or the degree of danger of the vehicle by outputting the color, shape, location, or warning message of the display icon in stages according to the state information of the vehicle or the risk information of the vehicle.
  • the effects of the present invention are not limited to those described above, and other effects that can be derived from the configuration of the present invention described later are included in the effects of the present invention.
  • FIG. 1 is a block diagram of a vehicle status display system according to an embodiment of the present invention.
  • FIG. 2 is an exemplary view illustrating a top view image displayed on a screen when a vehicle is driven according to an embodiment of the present invention.
  • 3 to 5 are exemplary views showing a display icon indicating the state information of the vehicle displayed on the screen when the vehicle is driven according to an embodiment of the present invention.
  • 6 to 8 are exemplary diagrams showing a set of display icons representing status information of a vehicle according to an exemplary embodiment of the present invention.
  • 9 to 12 are exemplary views showing a display icon representing risk information of a vehicle displayed on a screen when the vehicle is driven according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a process of displaying a state of a vehicle according to an exemplary embodiment of the present invention.
  • FIG. 1 is a block diagram of a vehicle status display system according to an embodiment of the present invention.
  • the vehicle status display system 100 includes a plurality of cameras 110a to 110d, a sensing unit 120, a communication unit 130, a control unit 140, and a display unit 150. .
  • a plurality of cameras are respectively installed in the front, rear, left and right of the vehicle to take images around the vehicle, and a large angle of view, such as a wide angle lens (fish eye lens), such as a wide angle lens (fish eye lens)
  • a lens may be provided.
  • the front camera is installed at the center of the bonnet of the vehicle, and the cameras installed at the left and right sides may be installed at edges or bottoms of both side mirrors of the vehicle, respectively.
  • the rear camera may be installed at the center of the rear bumper, and the front and rear cameras may be installed to shoot 170 ° or more based on a vertical line in the ground direction.
  • the plurality of cameras 110a to 110d may photograph a three-dimensional object as a two-dimensional image through a lens having a wide angle of view of 170 ° or more, and the plurality of photographed images may each have four channels (ch1, ch2, It may be delivered to the controller 140 through ch3 and ch4.
  • the detector 120 may detect a state of the vehicle.
  • the detection unit 120 includes a door detection sensor that detects whether the door provided in the vehicle is opened or closed, a tilt detection sensor that detects the inclination of the vehicle body, and a trunk detection sensor that detects whether the trunk provided in the vehicle is opened or closed.
  • Direction indicator detection sensor to detect the operation of the vehicle's direction indicator
  • vehicle speed sensor to detect the speed of the vehicle
  • temperature sensor to detect the temperature of the vehicle
  • battery detection sensor to detect the amount of battery of the vehicle
  • motor provided in the vehicle It includes a motor RPM detection sensor for detecting the RPM of the vehicle or a vehicle mode detection sensor for detecting the mode of the vehicle, etc.
  • it may include a variety of sensors that can detect the current state of the vehicle.
  • the sensing unit 120 may further include a plurality of distance sensors that measure a distance between the vehicle and another object.
  • the plurality of distance sensors may be provided at the front, rear, left and right sides of the vehicle, respectively, and may be formed of an ultrasonic sensor or a laser sensor operating according to a switch operation of a driver.
  • the plurality of distance sensors may measure the presence of other objects, such as other vehicles, obstacles, or people, and distances from other objects, respectively, and transmit the measured distances to the controller 140.
  • the plurality of distance sensors transmit ultrasonic waves to the surroundings, and the ultrasonic waves transmitted by the ultrasonic waves hitting other objects are reflected to detect the presence or absence of another object at a blind spot or near distance of the lane to be changed.
  • the separation distance to the object can be measured.
  • the communicator 130 may transmit the current state information of the vehicle detected by the detector 120 to the controller 140 through controller area network (CAN) communication.
  • the communication unit 130 may receive state information of the current vehicle from a gear, a speedometer, a driving device, etc. of the vehicle and transmit the received state information of the current vehicle to the controller 140 through CAN communication.
  • the CAN communication is a standard communication standard designed to allow microcontrollers or devices to communicate with each other without a host computer in a vehicle, and may include a vehicle diagnostic communication standard called OBD (On Board Diagnosis).
  • the controller 140 controls the vehicle status display system 100 as a whole.
  • the controller 140 may convert an image around the vehicle photographed by the plurality of cameras 110a to 110d into a top view image.
  • the controller 140 converts four images transmitted through four channels ch1, ch2, ch3, and ch4 from four cameras 110a to 110d into the top view, and then combines the four images. Top view image can be generated.
  • FIG. 2 is an exemplary view illustrating a top view image displayed on a screen when a vehicle is driven according to an embodiment of the present invention.
  • the controller 140 may control the vehicle icon C to be displayed on the top view image.
  • the vehicle icon C may be displayed in a position and a direction corresponding to the driving direction of the actual vehicle. For example, when the actual vehicle travels forward, the vehicle icon C may also be displayed as if the vehicle travels forward. When the actual vehicle travels rearward, the vehicle icon C may also be displayed as if the vehicle rearwards.
  • 3 to 5 are exemplary views showing a display icon indicating the state information of the vehicle displayed on the screen when the vehicle is driven according to an embodiment of the present invention.
  • the controller 140 may control the display icon S indicating the state information of the vehicle to be displayed together with the vehicle icon C on the top view image.
  • the display icon S may be displayed at a position adjacent to the vehicle icon C.
  • the display icon S may be displayed at an upper side, a lower side, a left side, or a right side from the vehicle icon C, and may be displayed at various positions.
  • the controller 140 may control the display icon S to be overlaid on the vehicle icon C so that the driver may easily recognize the state of the vehicle.
  • the corresponding position of the vehicle icon C may be overlaid and displayed or may be overlaid on the entire vehicle icon C.
  • the controller 140 receives the direction information of the direction indicator light by the driver's switch operation from the sensing unit 120.
  • the first-first display icon S1-1 having the shape of a yellow turn indicator may be overlaid on the position of the right turn indicator in the vehicle icon C.
  • the controller 140 may display the second-first display icon S1-2 having the red “ON” message together with the first-first display icon S1-1 so as to be overlaid and displayed on the vehicle icon C.
  • the state information of the vehicle is transmitted to the control unit 140 to display the change of the lane to the right on the vehicle icon C of the top view image. S) is displayed together, and when the left direction indicator of the vehicle is turned on by the driver's switch operation, the vehicle state information is transmitted to the controller 140, and the vehicle icon C of the top view image is laned to the left.
  • the display icon S indicating a change to be displayed together, the driver can easily and accurately recognize the lane change direction along with whether the vehicle changes lane.
  • FIG. 4 is an example in which a display icon indicating an opening of a door of a vehicle is displayed, and the controller 140 receives opening / closing information of a door from the sensing unit 120, and in case of receiving opening information of a right door from a door detection sensor.
  • the second-1 display icon S2-1 having a red square shape may be overlaid and displayed at the position of the right door in the vehicle icon C.
  • the controller 140 may display the second-2 display icon S2-2 having the red “OPEN” message together with the second-1 display icon S2-1 so as to be overlaid and displayed on the vehicle icon C.
  • the control unit 140 receives the opening and closing information of the trunk of the vehicle from the detection unit 120, when receiving the opening information of the trunk from the trunk detection sensor
  • the 3-1th display icon S3-1 having a red square shape may be overlaid and displayed at the position of the trunk in the vehicle icon C.
  • the controller 140 may display the third-2 display icon S3-2 having the red “OPEN” message together with the third-1 display icon S3-1 so as to be overlaid and displayed on the vehicle icon C.
  • 6 to 8 are exemplary diagrams showing a set of display icons representing status information of a vehicle according to an exemplary embodiment of the present invention.
  • the controller 140 may select and display a display icon corresponding to the state of the vehicle detected by the sensing unit 120 from among a set of previously stored display icons.
  • the set of display icons may be displayed in color, shape, or position step by step according to the state information of the vehicle.
  • the set of display icons may include a plurality of display icons A11 to A14 having various colors to indicate an on or off state of a direction indicator.
  • the set of display icons may include a plurality of display icons A21 to A24 that open to various positions to indicate whether the door is opened and opened.
  • the set of display icons may include a plurality of display icons A31 ⁇ A34 which show a state in which the trunk is opened in various shapes and positions in order to indicate whether the trunk is opened and closed. have.
  • the controller 140 may receive a degree (angle) of the door opening from the sensing unit 120 and control the display icon corresponding to the degree of opening of the door from a set of display icons stored in advance. Alternatively, the controller 140 may receive a degree (angle) of opening of the trunk from the detector 120 and control the display icon corresponding to the opening of the trunk to be selected and displayed from a set of display icons previously stored. have.
  • the display icon may be displayed by selecting one display icon corresponding to the state information of the vehicle from the set of display icons, or turning on the direction indicator light, opening of the door, or trunk to more effectively inform the driver of the state of the vehicle.
  • the opening of the can be displayed as if moving like an animation.
  • the controller 140 extracts risk information of the vehicle based on the state of the vehicle sensed by the detector 120 or the distance to another object approaching the vehicle, and determines the risk information of the vehicle in advance according to the extracted risk information of the vehicle.
  • a display icon having a color, a shape, or a warning message may be controlled to be displayed by being overlaid on the vehicle icon.
  • the controller 140 may calculate the risk information of the vehicle as a percentage (%) based on the state of the vehicle detected by the detector 120 or the distance to another object approaching the vehicle. That is, the controller 120 may calculate risk information of the vehicle as a percentage (%) by using a distance between the vehicle and another object and a plurality of predetermined reference ranges. For example, the control unit 120 calculates the risk information of the vehicle as 100% when the distance between the vehicle and another object is included within 5 cm, which is the first reference range, and the distance between the vehicle and the other object is the second reference. The vehicle's risk information is calculated as 90% if it is within the range of 5 cm and within 10 cm, and if the separation distance between the vehicle and another object is within the 20 cm and within 20 cm of the third reference range, Risk information can be calculated at 80%.
  • the controller 140 may control the display icon to warn the driver of the danger.
  • 9 to 12 are exemplary views showing a display icon representing danger information of a vehicle according to an embodiment of the present invention.
  • the display icon S may be displayed overlaid on the entire vehicle icon C.
  • FIG. 9 is an example in which a 4-1 display icon S4-1 formed of a red polygon is overlaid on a vehicle icon C. The driver may be notified of a danger to a vehicle using only a predetermined color and shape without a warning message. have.
  • an example of displaying a polygonal 5-1th display icon S5-1 formed by overlaying a red border on a vehicle icon C, informing a driver that a danger occurs in a vehicle using only a red border Can be.
  • FIG. 11 illustrates an example in which a display icon composed of a red polygon and a warning message is overlaid on a vehicle icon, and includes a warning message such as a 6-1 display icon S6-1 consisting of a red polygon and a yellow “WARNING” message.
  • a 6-1 display icon S6-1 consisting of a red polygon and a yellow “WARNING” message.
  • the driver may be further emphasized that a danger occurs in the vehicle. As a result, the driver can travel more safely and precisely.
  • FIG. 12 illustrates an example in which a vehicle icon is overlaid with a display icon including a polygon with a red border and a warning message.
  • a 7-1 display icon S7-1 having a red border and a red "WARNING" are shown.
  • the seventh-2th display icon S7-2 configured as a warning message can more effectively inform the driver that a danger has occurred in the vehicle.
  • the controller 140 may control to display the color, shape, or warning message of the display icon in stages according to the danger information of the vehicle. For example, the controller 140 controls the display icon to be displayed in green when the risk information of the vehicle is within 20%, and displays the display icon in yellow when the risk information of the vehicle is in the range of 20% to 70%. In addition, when the risk information of the vehicle is 70% or more, the display icon may be displayed in red. Alternatively, the controller 140 may control the display icon to display a circle, a triangle, and an X shape step by step according to the risk information of the vehicle, and display the icon according to the risk information of the vehicle through the expression of a smiling, frowning, smiling person. This can be controlled to be displayed step by step.
  • controller 140 may control the display icon to be displayed step by step through a message such as “safety”, “be careful”, “warning”, and the like by displaying a percentage indicating danger information of the vehicle as the display icon. The driver can be advised of the hazard information more accurately.
  • the display unit 150 outputs the surrounding image of the vehicle to be monitored by the driver.
  • the display unit 150 may display the converted top view image together with the vehicle icon.
  • the display unit 150 may display a display icon indicating the state information of the vehicle or the risk information of the vehicle together with the vehicle icon.
  • FIG. 13 is an operation flowchart showing a process of displaying a state of a vehicle according to an embodiment of the present invention.
  • the plurality of cameras 110a to 110d mounted on the vehicle captures an image around the vehicle (S600).
  • a plurality of cameras are respectively installed in the front, rear, left and right of the vehicle to take images around the vehicle, and a large angle of view, such as a wide angle lens (fish eye lens), such as a wide angle lens (fish eye lens)
  • a lens may be provided.
  • the front camera is installed at the center of the bonnet of the vehicle, and the cameras installed at the left and right sides may be installed at edges or bottoms of both side mirrors of the vehicle, respectively.
  • the rear camera may be installed at the center of the rear bumper, and the front and rear cameras may be installed to shoot 170 ° or more based on a vertical line in the ground direction.
  • the plurality of cameras 110a to 110d may photograph a three-dimensional object as a two-dimensional image through a lens having a wide angle of view of 170 ° or more, and the plurality of photographed images may each have four channels (ch1, ch2, It may be delivered to the controller 140 through ch3 and ch4.
  • the detector 120 may detect a state of the vehicle (S610).
  • the detection unit 120 includes a door detection sensor that detects whether the door provided in the vehicle is opened or closed, a tilt detection sensor that detects the inclination of the vehicle body, and a trunk detection sensor that detects whether the trunk provided in the vehicle is opened or closed.
  • Direction indicator detection sensor to detect the operation of the vehicle's direction indicator
  • vehicle speed sensor to detect the speed of the vehicle
  • temperature sensor to detect the temperature of the vehicle
  • battery detection sensor to detect the amount of battery of the vehicle
  • motor provided in the vehicle It includes a motor RPM detection sensor for detecting the RPM of the vehicle or a vehicle mode detection sensor for detecting the mode of the vehicle, etc.
  • it may include a variety of sensors that can detect the current state of the vehicle.
  • the sensing unit 120 may further include a plurality of distance sensors that measure a distance between the vehicle and another object.
  • the plurality of distance sensors may be provided at the front, rear, left and right sides of the vehicle, respectively, and may be formed of an ultrasonic sensor or a laser sensor operating according to a switch operation of a driver.
  • the plurality of distance sensors may measure the presence of other objects, such as other vehicles, obstacles, or people, and distances from other objects, respectively, and transmit the measured distances to the controller 140.
  • the plurality of distance sensors transmit an ultrasonic wave to the surroundings, and receive the ultrasonic wave reflected by the transmitted ultrasonic waves hitting another object, and whether there is a blind spot of the surrounding lane or another object in close proximity to change lanes. And the separation distance to another object.
  • the controller 140 may convert an image photographed from the plurality of cameras 110a to 110d into a top view image (S620).
  • the controller 140 converts four images transmitted through four channels ch1, ch2, ch3, and ch4 from four cameras 110a to 110d into the top view, and then combines the four images. Top view image can be generated.
  • controller 140 may control to display the vehicle icon and the display icon representing the vehicle status information or the dangerous information of the vehicle on the top view image (S630).
  • the controller 140 may control the vehicle icon C to be displayed together on the top view image.
  • the vehicle icon C may be displayed in a position and a direction corresponding to the driving direction of the actual vehicle. For example, when the actual vehicle travels forward, the vehicle icon C may also be displayed as if the vehicle travels forward. When the actual vehicle travels rearward, the vehicle icon C may also be displayed as if the vehicle rearwards.
  • the controller 140 may control the display icon S indicating the state information of the vehicle to be displayed together with the vehicle icon C on the top view image.
  • the display icon S may be displayed at a position adjacent to the vehicle icon C.
  • the display icon S may be displayed at an upper side, a lower side, a left side, or a right side from the vehicle icon C, and may be displayed at various positions.
  • the controller 140 may control the display icon S to be overlaid on the vehicle icon C so that the driver may easily recognize the state of the vehicle.
  • the corresponding position of the vehicle icon C may be overlaid and displayed or may be overlaid on the entire vehicle icon.
  • the controller 140 may select and display a display icon corresponding to the state of the vehicle detected by the sensing unit 120 from among a set of previously stored display icons. At this time, the set of display icons may be displayed in color, shape, or position step by step according to the state information of the vehicle.
  • the controller 140 may receive a degree (angle) of the door opening from the sensing unit 120 and control the display icon corresponding to the degree of opening of the door from a set of display icons stored in advance. Alternatively, the controller 140 may receive a degree (angle) of opening of the trunk from the detector 120 and control the display icon corresponding to the opening of the trunk to be selected and displayed from a set of display icons previously stored. have.
  • the display icon may be displayed by selecting one display icon corresponding to the state information of the vehicle from the set of display icons, or turning on the direction indicator light, opening of the door, or trunk to more effectively inform the driver of the state of the vehicle.
  • the opening of the can be displayed as if moving like an animation.
  • the controller 140 extracts risk information of the vehicle based on the state of the vehicle sensed by the detector 120 or the distance to another object approaching the vehicle, and determines the risk information of the vehicle in advance according to the extracted risk information of the vehicle.
  • a display icon having a color, a shape, or a warning message may be controlled to be overlaid on the vehicle icon.
  • the controller 140 may calculate the risk information of the vehicle as a percentage (%) based on the state of the vehicle detected by the detector 120 or the distance to another object approaching the vehicle. That is, the controller 120 may calculate risk information of the vehicle as a percentage (%) by using a distance between the vehicle and another object and a plurality of predetermined reference ranges. If the calculated risk information of the vehicle is equal to or greater than a predetermined threshold, the controller 140 may control the display icon to warn the driver of the danger. In this case, the controller 140 may control to display the color, shape, or warning message of the display icon in stages according to the danger information of the vehicle.
  • Embodiments of the invention include a computer readable medium containing program instructions for performing various computer-implemented operations.
  • This medium records a program for executing the vehicle status display method described above.
  • the media may include, alone or in combination with the program instructions, data files, data structures, and the like. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CDs and DVDs, floppy disks and program commands such as magnetic-optical media, ROM, RAM, flash memory, and the like.
  • Hardware devices configured to store and perform such operations.
  • the medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, and the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량 상태 표시 시스템 및 방법에 관한 것으로, 본 발명에 따른 시스템은 차량에 장착되고 차량 주변의 영상을 촬영하는 복수의 카메라, 차량의 상태를 감지하는 감지부, 복수의 카메라로부터 촬영된 영상을 탑 뷰 영상으로 변환하는 제어부, 그리고 변환된 탑 뷰 영상을 차량 아이콘과 함께 표시하는 표시부를 포함하고, 제어부는 차량의 상태 정보 또는 차량의 위험 정보를 나타내는 표시 아이콘이 차량 아이콘과 함께 표시되도록 한다. 본 발명에 의하면, 탑 뷰 영상에 차량 아이콘과 함께 차량의 상태 정보 또는 차량의 위험 정보를 나타내는 표시 아이콘을 표시하여 차량의 상태 또는 차량이 위험한 경우 운전자에게 보다 신속하고 정확하게 알릴 수 있다.

Description

차량 상태 표시 시스템 및 방법
본 발명은 차량 상태 표시 시스템 및 방법에 관한 것으로, 보다 자세하게는 차량의 상태를 탑 뷰(top view) 영상에 표시할 수 있는 차량 상태 표시 시스템 및 방법에 관한 것이다.
최근에는 자동차 산업의 발달로 인해 1 가구 1 자동차 시대라고 할 정도로 차량의 보급은 상용화되었고, 차량의 안전도를 향상시키고 교통사고를 사전에 예방하기 위하여 차량의 자세 제어나 기능 제어 등을 수행하는 다양한 보조 장치가 차량에 장착되어 있다.
그리고, 차량의 운전석 앞에 있는 운전대 뒤에는 차량의 상태를 운전자에게 제공하는 계기판이 구비된다. 계기판에는 차량의 속도, RPM, 연료량, 냉각 상태, 안전벨트, 도어의 상태, 사이드 브레이크 또는 방향지시등의 동작 여부 등에 대한 차량의 동작 상태가 표시되어 운전자에게 차량의 상태 정보를 제공할 수 있다.
하지만, 차량의 동작 상태를 표시하는 각 메뉴가 계기판 전면에 걸쳐 위치하고 있기 때문에 운전자가 차량의 전반적인 상태를 확인하기 위해서는 계기판 전면에 걸쳐 각 메뉴를 일일이 확인해야 하는 문제점이 있었다.
이와 같이, 운전자가 차량의 상태를 계기판 상에서 손쉽게 확인할 수 없기 때문에 운전자는 차량의 상태를 정확하게 알지 못하는 문제점이 있었다. 특히, 차량의 운행 시 발생될 수 있는 다양한 비상 상황이나 긴급 상황에 대한 정보를 운전자에게 신속히 제공하지 못하기 때문에 교통사고를 유발할 수 있는 문제점이 발생한다.
[선행기술문헌] 한국공개특허공보 제2001-0018471호 (공개일 2001. 03. 05.)
따라서 본 발명이 해결하고자 하는 기술적 과제는 탑 뷰 영상에 차량 아이콘과 함께 차량의 상태 정보 또는 차량의 위험 정보를 나타내는 표시 아이콘을 표시하여 차량의 상태를 운전자에게 보다 신속하고 정확하게 알리고, 차량이 위험한 경우 운전자에게 경고하여 안전을 확보할 수 있는 차량 상태 표시 시스템 및 방법을 제공하는 것이다.
또한, 본 발명은 명시적으로 언급된 목적 이외에도, 후술하는 본 발명의 구성으로부터 달성될 수 있는 다른 목적도 포함한다.
상기한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 차량 상태 표시 시스템은 차량에 장착되고, 차량 주변의 영상을 촬영하는 복수의 카메라, 상기 차량의 상태를 감지하는 감지부, 상기 복수의 카메라로부터 촬영된 영상을 탑 뷰 영상으로 변환하는 제어부, 그리고 상기 변환된 탑 뷰 영상을 차량 아이콘과 함께 표시하는 표시부를 포함하고, 상기 제어부는 상기 차량의 상태 정보 또는 상기 차량의 위험 정보를 나타내는 표시 아이콘이 상기 차량 아이콘과 함께 표시되도록 한다.
상기 표시 아이콘은 상기 차량 아이콘에 오버레이(overlay) 되어 표시될 수 있다.
상기 제어부는 미리 저장된 표시 아이콘의 집합 중에서 상기 감지된 차량의 상태에 대응하는 상기 표시 아이콘이 선택되어 표시되도록 할 수 있다.
상기 표시 아이콘의 집합은 상기 차량의 상태 정보에 따라 색상, 형상 또는 위치가 단계적으로 표시되는 복수의 표시 아이콘을 포함할 수 있다.
상기 제어부는 상기 감지된 차량의 상태 또는 상기 차량으로 접근하는 다른 대상과의 거리를 기초로 하여 상기 차량의 위험 정보를 추출하고, 상기 추출된 차량의 위험 정보에 따라 미리 정해진 색상, 형상 또는 경고 메시지를 가지는 표시 아이콘이 상기 차량 아이콘에 오버레이 되어 표시되도록 할 수 있다.
상기 제어부는 상기 차량의 위험 정보에 따라 상기 표시 아이콘의 색상, 형상 또는 경고 메시지가 단계적으로 표시되도록 할 수 있다.
상기 표시 아이콘은 상기 차량의 상태를 나타내는 위치에 대응하여 상기 차량 아이콘의 해당 위치에 오버레이 되어 표시되거나, 상기 차량 아이콘의 전체에 오버레이 되어 표시될 수 있다.
상기 감지부는 상기 차량의 도어의 개폐 여부를 감지하는 도어 감지 센서, 상기 차량의 차체 기울기를 감지하는 기울기 감지 센서, 상기 차량의 트렁크의 개폐 여부를 감지하는 트렁크 감지 센서 및 상기 차량과 다른 대상과의 거리를 감지하는 거리 센서 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 실시예에 따른 차량 상태 표시 시스템은 차량에 장착된 복수의 카메라가 차량 주변의 영상을 촬영하는 단계, 상기 차량의 상태를 감지하는 단계, 상기 복수의 카메라로부터 촬영된 영상을 탑 뷰 영상으로 변환하는 단계, 그리고 상기 변환된 탑 뷰 영상을 차량 아이콘과 함께 표시하는 단계를 포함하고, 상기 차량 아이콘은 상기 차량의 상태 정보 또는 상기 차량의 위험 정보를 나타내는 표시 아이콘과 함께 표시된다.
상기 표시 아이콘은 상기 차량 아이콘에 오버레이(overlay) 되어 표시될 수 있다.
미리 저장된 표시 아이콘의 집합 중에서 상기 감지된 차량의 상태에 대응하는 상기 표시 아이콘이 선택되어 표시되도록 하는 단계를 더 포함할 수 있다.
상기 표시 아이콘의 집합은 상기 차량의 상태 정보에 따라 색상, 형상 또는 위치가 단계적으로 표시될 수 있다.
상기 감지된 차량의 상태 또는 상기 차량으로 접근하는 다른 대상과의 거리를 기초로 하여 상기 차량의 위험 정보를 추출하는 단계를 더 포함하고, 상기 표시 아이콘은 상기 추출된 차량의 위험 정보에 따라 미리 정해진 색상, 형상 또는 경고 메시지를 가질 수 있다.
상기 표시 아이콘은 상기 차량의 위험 정보에 따라 상기 색상, 형상 또는 경고 메시지가 단계적으로 표시될 수 있다.
상기 표시 아이콘은 상기 차량의 상태를 나타내는 위치에 대응하여 상기 차량 아이콘의 해당 위치에 오버레이 되어 표시되거나, 상기 차량 아이콘의 전체에 오버레이 되어 표시될 수 있다.
상기 차량의 상태를 감지하는 단계는 상기 차량의 도어의 개폐 여부, 상기 차량의 차체 기울기, 상기 차량의 트렁크의 개폐 여부 및 상기 차량과 다른 대상과의 거리 중 적어도 하나를 감지할 수 있다.
이와 같이 본 발명의 실시예에 따른 차량 상태 표시 시스템 및 방법에 따르면, 탑 뷰 영상에 차량 아이콘과 함께 차량의 상태 정보 또는 차량의 위험 정보를 나타내는 표시 아이콘을 표시하여 차량의 상태를 운전자에게 보다 신속하고 정확하게 알릴 수 있는 장점이 있다.
그리고, 차량이 위험한 경우 운전자에게 보다 신속하게 경고하여 더욱 안전하고 정밀하게 주행할 수 있으며, 운전자의 안전을 확보할 수 있는 장점이 있다.
게다가, 차량의 상태 정보 또는 차량의 위험 정보에 따라 표시 아이콘의 색상, 형상, 위치 또는 경고 메시지를 단계적으로 출력하여 차량의 상태 또는 차량의 위험 정도를 운전자가 보다 정확하게 인지할 수 있다.
이와 같이, 차량의 상태가 어떻게 변하는지 또는 얼마나 위험한지를 운전자에게 보다 정확하게 전달하여 교통사고를 예방하는 효과가 있다.
한편, 본 발명의 효과는 상술된 것에 국한되지 않고 후술하는 본 발명의 구성으로부터 도출될 수 있는 다른 효과도 본 발명의 효과에 포함된다.
도 1은 본 발명의 실시예에 따른 차량 상태 표시 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 차량의 주행 시 화면에 표시되는 탑 뷰 영상을 보여주는 예시도이다.
도 3 내지 도 5는 본 발명의 실시예에 따른 차량의 주행 시 화면에 표시되는 차량의 상태 정보를 나타내는 표시 아이콘을 보여주는 예시도들이다.
도 6 내지 도 8은 본 발명의 실시예에 따른 차량의 상태 정보를 나타내는 표시 아이콘의 집합을 보여주는 예시도들이다.
도 9 내지 도 12는 본 발명의 실시예에 따른 차량의 주행 시 화면에 표시되는 차량의 위험 정보를 나타내는 표시 아이콘을 보여주는 예시도들이다.
도 13은 본 발명의 실시예에 따른 차량의 상태를 표시하는 과정을 보여주는 동작 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 차량 상태 표시 시스템의 구성도를 나타낸다.
도 1에 도시한 바와 같이, 차량 상태 표시 시스템(100)은 복수의 카메라(110a~110d), 감지부(120), 통신부(130), 제어부(140) 및 표시부(150)를 포함하여 구성된다.
복수의 카메라(110a~110d)는 차량의 전방, 후방, 좌측 및 우측에 각각 설치되어 차량 주변의 영상을 촬영하며, 광각 렌즈(wide angle lens) 또는 어안 렌즈(fish eye lens) 등과 같이 화각이 큰 렌즈를 구비할 수 있다. 전방에 설치된 카메라는 차량의 본넷 중심에 설치되고, 좌측 및 우측에 설치된 카메라는 각각 차량의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치될 수 있다. 또한, 후방에 설치된 카메라는 후방 범퍼 위쪽의 중앙에 설치될 수 있으며, 전방 및 후방에 설치된 카메라는 지면 방향의 수직선을 기준으로 170ㅀ이상이 촬영되도록 설치될 수 있다.
그리고, 복수의 카메라(110a~110d)는 170ㅀ 이상의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영할 수 있으며, 촬영된 복수의 영상은 각각 4개의 채널(ch1, ch2, ch3, ch4)을 통해 제어부(140)로 전달될 수 있다.
감지부(120)는 차량의 상태를 감지할 수 있다.
보다 자세하게는, 감지부(120)는 차량에 구비된 도어의 개폐 여부를 감지하는 도어 감지 센서, 차량의 차체 기울기를 감지하는 기울기 감지 센서, 차량에 구비된 트렁크의 개폐 여부를 감지하는 트렁크 감지 센서, 차량의 방향지시등의 동작 여부를 감지하는 방향지시등 감지 센서, 차량의 속도를 감지하는 차속 센서, 차량의 온도를 감지하는 온도 센서, 차량의 배터리량을 감지하는 배터리 감지 센서, 차량에 구비된 모터의 RPM을 감지하는 모터 RPM 감지 센서 또는 차량의 모드를 감지하는 차량 모드 감지 센서 등을 포함하며, 이외에 차량의 현재 상태를 감지할 수 있는 다양한 센서를 포함할 수 있다.
그리고, 감지부(120)는 차량과 다른 대상과의 거리를 측정하는 복수의 거리 센서를 더 포함할 수 있다.
보다 자세하게는, 복수의 거리 센서는 차량의 전방, 후방, 좌측 및 우측에 각각 설치되며, 운전자의 스위치 조작에 따라 동작하는 초음파 센서 또는 레이저 센서로 이루어질 수 있다. 복수의 거리 센서는 주변에 있는 다른 차량, 장애물 또는 사람 등과 같은 다른 대상의 존재 여부 및 다른 대상과의 이격 거리를 각각 측정하여 제어부(140)로 전달할 수 있다. 예컨대, 복수의 거리 센서는 주변에 초음파를 발신하고, 발신된 초음파가 다른 대상에 부딪혀 반사되어 오는 초음파를 수신하여 차선 변경하고자 하는 주변 차선의 사각 지대 또는 가까운 거리에 있는 다른 대상의 존재 여부 및 다른 대상까지의 이격 거리를 측정할 수 있다.
통신부(130)는 CAN(Controller Area Network) 통신을 통하여 감지부(120)에서 감지된 현재 차량의 상태 정보를 제어부(140)에 전달할 수 있다. 예를 들어, 통신부(130)는 CAN 통신을 통하여 차량의 기어, 속도계, 구동 장치 등으로부터 현재 차량의 상태 정보를 수신하고, 수신된 현재 차량의 상태 정보를 제어부(140)에 전달할 수 있다. 여기서, CAN 통신이란 차량 내에서 호스트 컴퓨터 없이 마이크로 컨트롤러나 장치들이 서로 통신하기 위해 설계된 표준 통신 규격으로, OBD(On Board Diagnosis)라고 불리는 차량 진단용 통신 표준을 포함할 수 있다.
제어부(140)는 차량 상태 표시 시스템(100)을 전반적으로 제어하는데, 특히, 복수의 카메라(110a~110d)에서 촬영된 차량 주변의 영상을 탑 뷰(Top View) 영상으로 변환할 수 있다. 보다 자세하게는, 제어부(140)는 4개의 카메라(110a~110d)로부터 4개의 채널(ch1, ch2, ch3, ch4)을 통해 전달된 4개의 영상을 탑 뷰 시점으로 변환하여 4개의 영상이 조합된 탑 뷰 영상을 생성할 수 있다.
도 2는 본 발명의 실시예에 따른 차량의 주행 시 화면에 표시되는 탑 뷰 영상을 보여주는 예시도이다.
도 2를 참조하면, 차량의 주행 시(D단 동작 시) 제어부(140)는 탑 뷰 영상에 차량 아이콘(C)이 함께 표시되도록 제어할 수 있다. 차량 아이콘(C)은 실제 차량의 주행 방향에 대응하는 위치 및 방향으로 표시될 수 있는데, 예를 들어, 실제 차량이 전방으로 주행하는 경우 차량 아이콘(C)도 전방으로 주행하는 것처럼 표시될 수 있고, 실제 차량이 후방으로 주행하는 경우 차량 아이콘(C)도 후방으로 주행하는 것처럼 표시될 수 있다.
도 3 내지 도 5는 본 발명의 실시예에 따른 차량의 주행 시 화면에 표시되는 차량의 상태 정보를 나타내는 표시 아이콘을 보여주는 예시도들이다.
제어부(140)는 탑 뷰 영상에 차량의 상태 정보를 나타내는 표시 아이콘(S)이 차량 아이콘(C)과 함께 표시되도록 제어할 수 있다. 표시 아이콘(S)은 차량 아이콘(C)과 인접한 위치에 표시될 수 있는데, 차량 아이콘(C)으로부터 상측, 하측, 좌측 또는 우측에 표시될 수 있으며, 이외에 다양한 위치에 표시될 수 있다.
제어부(140)는 운전자가 보다 손쉽게 차량의 상태를 인지할 수 있도록 표시 아이콘(S)이 차량 아이콘(C)에 오버레이(overlay) 되어 표시되도록 제어할 수 있다. 이때, 차량의 상태를 나타내는 위치에 대응하여 차량 아이콘(C)의 해당 위치에 오버레이 되어 표시되거나, 차량 아이콘(C)의 전체에 오버레이 되어 표시될 수 있다.
예를 들어, 제어부(140)는 감지부(120)로부터 운전자의 스위치 조작에 의한 방향지시등의 방향 정보를 수신하는데, 방향지시등 감지 센서로부터 우측 방향지시등의 방향 정보를 수신하는 경우 도 3에서와 같이, 차량 아이콘(C)에 있는 우측 방향지시등의 위치에 노란색의 방향지시등 형상을 가지는 제1-1 표시 아이콘(S1-1)이 오버레이 되어 표시되도록 제어할 수 있다. 그리고, 제어부(140)는 제1-1 표시 아이콘(S1-1)과 함께 빨간색의 "ON"메시지를 가지는 제2-1 표시 아이콘(S1-2)이 차량 아이콘(C)에 오버레이 되어 표시되도록 제어할 수 있다.
이와 같이, 운전자의 스위치 조작에 의해 차량의 우측 방향지시등이 점등되는 경우, 제어부(140)에 차량의 상태 정보가 전달되어 탑 뷰 영상의 차량 아이콘(C)에 우측으로 차선 변경을 알리는 표시 아이콘(S)이 함께 표시되도록 제어하고, 운전자의 스위치 조작에 의해 차량의 좌측 방향지시등이 점등되는 경우, 제어부(140)에 차량의 상태 정보가 전달되어 탑 뷰 영상의 차량 아이콘(C)에 좌측으로 차선 변경을 알리는 표시 아이콘(S)이 함께 표시되도록 제어하여 운전자는 차량의 차선 변경 여부와 함께 차선 변경 방향까지 보다 손쉽고 정확하게 인식할 수 있게 된다.
도 4는 차량의 도어의 개방을 알리는 표시 아이콘이 표시된 예로, 제어부(140)는 감지부(120)로부터 도어의 개폐 정보를 수신하는데, 도어 감지 센서로부터 우측 도어의 개방 정보를 수신하는 경우 도 4와 같이, 차량 아이콘(C)에 있는 우측 도어의 위치에 빨간색의 사각 형상을 가지는 제2-1 표시 아이콘(S2-1)이 오버레이 되어 표시되도록 제어할 수 있다. 그리고, 제어부(140)는 제2-1 표시 아이콘(S2-1)과 함께 빨간색의 "OPEN"메시지를 가지는 제2-2 표시 아이콘(S2-2)이 차량 아이콘(C)에 오버레이 되어 표시되도록 제어할 수 있다.
도 5는 차량의 트렁크의 개방을 알리는 표시 아이콘이 표시된 예로, 제어부(140)는 감지부(120)로부터 차량의 트렁크의 개폐 정보를 수신하는데, 트렁크 감지 센서로부터 트렁크의 개방 정보를 수신하는 경우 도 5와 같이, 차량 아이콘(C)에 있는 트렁크의 위치에 빨간색의 사각 형상을 가지는 제3-1 표시 아이콘(S3-1)이 오버레이 되어 표시되도록 제어할 수 있다. 그리고, 제어부(140)는 제3-1 표시 아이콘(S3-1)과 함께 빨간색의 "OPEN"메시지를 가지는 제3-2 표시 아이콘(S3-2)이 차량 아이콘(C)에 오버레이 되어 표시되도록 제어할 수 있다.
도 6 내지 도 8은 본 발명의 실시예에 따른 차량의 상태 정보를 나타내는 표시 아이콘의 집합을 보여주는 예시도들이다.
제어부(140)는 미리 저장된 표시 아이콘의 집합 중에서 감지부(120)에서 감지된 차량의 상태에 대응하는 표시 아이콘이 선택되어 표시되도록 할 수 있다. 이때, 표시 아이콘의 집합은 차량의 상태 정보에 따라 색상, 형상 또는 위치가 단계적으로 표시될 수 있다. 예컨대, 표시 아이콘의 집합은 도 6에서와 같이, 방향지시등의 온 또는 오프 상태를 나타내기 위하여 다양한 색상을 가지는 복수의 표시 아이콘(A11~A14)을 포함할 수 있다. 또는, 표시 아이콘의 집합은 도 7에서와 같이, 도어의 개폐 여부 및 도어가 개방된 정도를 나타내기 위하여 다양한 위치로 개방된 모습을 보여주는 복수의 표시 아이콘(A21~A24)으로 이루어질 수 있다. 또, 표시 아이콘의 집합은 도 8에서와 같이, 트렁크의 개폐 여부 및 트렁크가 개방된 정도를 나타내기 위하여 다양한 형상 및 위치로 개방된 모습을 보여주는 복수의 표시 아이콘(A31~A34)을 포함할 수 있다.
제어부(140)는 감지부(120)로부터 도어가 개방된 정도(각도)를 수신하고, 미리 저장된 표시 아이콘의 집합 중에서 도어가 개방된 정도에 대응하는 표시 아이콘이 선택되어 표시되도록 제어할 수 있다. 또는, 제어부(140)는 감지부(120)로부터 트렁크가 개방된 정도(각도)를 수신하고, 미리 저장된 표시 아이콘의 집합 중에서 트렁크가 개방된 정도에 대응하는 표시 아이콘이 선택되어 표시되도록 제어할 수 있다.
이때, 표시 아이콘은 표시 아이콘의 집합 중에서 차량의 상태 정보에 대응하는 하나의 표시 아이콘이 선택되어 표시될 수 있거나, 운전자에게 차량의 상태를 보다 효과적으로 알리기 위하여 방향지시등의 온, 도어의 개방 모습 또는 트렁크의 개방 모습이 애니메이션과 같이 움직이는 것처럼 표시될 수 있다.
한편, 제어부(140)는 감지부(120)에서 감지된 차량의 상태 또는 차량으로 접근하는 다른 대상과의 거리를 기초로 하여 차량의 위험 정보를 추출하고, 추출된 차량의 위험 정보에 따라 미리 정해진 색상, 형상 또는 경고 메시지를 가지는 표시 아이콘이 차량 아이콘에 오버레이 되어 표시되도록 제어할 수 있다.
보다 자세하게는, 제어부(140)는 감지부(120)에서 감지된 차량의 상태 또는 차량으로 접근하는 다른 대상과의 거리를 기초로 하여 차량의 위험 정보를 백분율(%)로 계산할 수 있다. 즉, 제어부(120)는 차량과 다른 대상과의 이격 거리 및 미리 정해진 복수의 기준 범위를 이용하여 차량의 위험 정보를 백분율(%)로 계산할 수 있다. 예를 들어, 제어부(120)는 차량과 다른 대상의 이격 거리가 제1 기준 범위인 5㎝ 이내에 포함되는 경우 차량의 위험 정보를 100%로 계산하고, 차량과 다른 대상의 이격 거리가 제2 기준 범위인 5㎝를 초과하고 10㎝ 이내에 포함되는 경우 차량의 위험 정보는 90%로 계산하고, 차량과 다른 대상의 이격 거리가 제3 기준 범위인 10㎝를 초과하고 20㎝ 이내에 포함되는 경우 차량의 위험 정보는 80%로 계산할 수 있다.
그리고, 제어부(140)는 계산된 차량의 위험 정보가 미리 정해진 임계치 이상이면, 운전자에게 위험을 경고하는 표시 아이콘이 표시되도록 제어할 수 있다.
도 9 내지 도 12는 본 발명의 실시예에 따른 차량의 위험 정보를 나타내는 표시 아이콘을 보여주는 예시도들이다.
표시 아이콘(S)은 차량 아이콘(C)의 전체에 오버레이 되어 표시될 수 있다. 도 9는 차량 아이콘(C)에 빨간색의 다각형으로 이루어진 제4-1 표시 아이콘(S4-1)이 오버레이 되어 표시된 예로, 경고 메시지 없이도 미리 정해진 색상과 형상만으로 차량에 위험이 발생한 것을 운전자에게 알릴 수 있다.
도 10을 참조하면, 차량 아이콘(C)에 빨간색의 테두리로 이루어진 다각형의 제5-1 표시 아이콘(S5-1)이 오버레이 되어 표시된 예로, 빨간 색의 테두리만으로도 차량에 위험이 발생한 것을 운전자에게 알릴 수 있다.
도 11은 차량 아이콘에 빨간색의 다각형과 경고 메시지로 이루어진 표시 아이콘이 오버레이 되어 표시된 예로, 빨간색의 다각형으로 이루어진 제6-1 표시 아이콘(S6-1)과 노란색의 "WARNING" 과 같은 경고 메시지로 이루어진 제6-2 표시 아이콘(S6-2)을 통하여 운전자에게 차량에 위험이 발생한 것을 더욱 강조하여 경고할 수 있다. 이에 따라, 운전자는 더욱 안전하고 정밀하게 주행할 수 있게 된다.
도 12는 차량 아이콘에 빨간색의 테두리로 이루어진 다각형과 경고 메시지를 포함하는 표시 아이콘이 오버레이 되어 표시된 예로, 빨간색의 테두리로 이루어진 제7-1 표시 아이콘(S7-1)과 빨간색의 "WARNING" 과 같은 경고 메시지로 이루어진 제7-2 표시 아이콘(S7-2)을 통하여 차량에 위험이 발생한 것을 보다 효과적으로 운전자에게 알릴 수 있다.
그리고, 제어부(140)는 차량의 위험 정보에 따라 표시 아이콘의 색상, 형상 또는 경고 메시지가 단계적으로 표시되도록 제어할 수 있다. 예를 들어, 제어부(140)는 차량의 위험 정보가 20% 이내일 경우 표시 아이콘이 녹색으로 표시되도록 하고, 차량의 위험 정보가 20% ~ 70% 범위에 있을 경우 표시 아이콘이 노란색으로 표시되도록 제어하고, 차량의 위험 정보가 70% 이상일 경우 표시 아이콘이 빨간색으로 표시되도록 제어할 수 있다. 또는, 제어부(140)는 표시 아이콘이 차량의 위험 정보에 따라 동그라미, 세모, 엑스 형상이 단계적으로 표시되도록 제어할 수 있으며, 웃고, 찡그리고, 웃는 사람의 표정을 통하여 차량의 위험 정보에 따라 표시 아이콘이 단계적으로 표시되도록 제어할 수 있다. 게다가, 제어부(140)는 "safety", "be careful", "warning" 등의 메시지를 통하여 표시 아이콘이 단계적으로 표시되도록 제어할 수 있으며, 표시 아이콘으로 차량의 위험 정보를 나타내는 백분율을 그대로 표시하여 운전자에게 보다 정확하게 위험 정보를 안내할 수 있다.
표시부(150)는 차량의 주변 영상을 운전자가 모니터링 할 수 있도록 출력하는 장치로, 제어부(140)에서 변환된 탑 뷰 영상을 차량 아이콘과 함께 표시할 수 있다.
그리고, 표시부(150)는 차량의 상태 정보 또는 차량의 위험 정보를 나타내는 표시 아이콘을 차량 아이콘과 함께 표시할 수 있다.
도 13은 본 발명의 실시예에 따른 차량의 상태를 표시하는 과정을 보여주는 동작 흐름도를 나타낸다.
도 13에 도시한 바와 같이, 차량에 장착된 복수의 카메라(110a~110d)가 차량 주변의 영상을 촬영한다(S600).
복수의 카메라(110a~110d)는 차량의 전방, 후방, 좌측 및 우측에 각각 설치되어 차량 주변의 영상을 촬영하며, 광각 렌즈(wide angle lens) 또는 어안 렌즈(fish eye lens) 등과 같이 화각이 큰 렌즈를 구비할 수 있다. 전방에 설치된 카메라는 차량의 본넷 중심에 설치되고, 좌측 및 우측에 설치된 카메라는 각각 차량의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치될 수 있다. 또한, 후방에 설치된 카메라는 후방 범퍼 위쪽의 중앙에 설치될 수 있으며, 전방 및 후방에 설치된 카메라는 지면 방향의 수직선을 기준으로 170ㅀ이상이 촬영되도록 설치될 수 있다.
그리고, 복수의 카메라(110a~110d)는 170ㅀ 이상의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영할 수 있으며, 촬영된 복수의 영상은 각각 4개의 채널(ch1, ch2, ch3, ch4)을 통해 제어부(140)로 전달될 수 있다.
감지부(120)는 차량의 상태를 감지할 수 있다(S610).
보다 자세하게는, 감지부(120)는 차량에 구비된 도어의 개폐 여부를 감지하는 도어 감지 센서, 차량의 차체 기울기를 감지하는 기울기 감지 센서, 차량에 구비된 트렁크의 개폐 여부를 감지하는 트렁크 감지 센서, 차량의 방향지시등의 동작 여부를 감지하는 방향지시등 감지 센서, 차량의 속도를 감지하는 차속 센서, 차량의 온도를 감지하는 온도 센서, 차량의 배터리량을 감지하는 배터리 감지 센서, 차량에 구비된 모터의 RPM을 감지하는 모터 RPM 감지 센서 또는 차량의 모드를 감지하는 차량 모드 감지 센서 등을 포함하며, 이외에 차량의 현재 상태를 감지할 수 있는 다양한 센서를 포함할 수 있다.
그리고, 감지부(120)는 차량과 다른 대상과의 거리를 측정하는 복수의 거리 센서를 더 포함할 수 있다.
보다 자세하게는, 복수의 거리 센서는 차량의 전방, 후방, 좌측 및 우측에 각각 설치되며, 운전자의 스위치 조작에 따라 동작하는 초음파 센서 또는 레이저 센서로 이루어질 수 있다. 복수의 거리 센서는 주변에 있는 다른 차량, 장애물 또는 사람 등과 같은 다른 대상의 존재 여부 및 다른 대상과의 이격 거리를 각각 측정하여 제어부(140)로 전달할 수 있다. 예를 들어, 복수의 거리 센서는 주변에 초음파를 발신하고, 발신된 초음파가 다른 대상에 부딪혀 반사되어 오는 초음파를 수신하여 차선 변경하고자 하는 주변 차선의 사각 지대 또는 가까운 거리에 있는 다른 대상의 존재 여부 및 다른 대상까지의 이격 거리를 측정할 수 있다.
그 다음, 제어부(140)가 복수의 카메라(110a~110d)로부터 촬영된 영상을 탑 뷰 영상으로 변환할 수 있다(S620).
보다 자세하게는, 제어부(140)는 4개의 카메라(110a~110d)로부터 4개의 채널(ch1, ch2, ch3, ch4)을 통해 전달된 4개의 영상을 탑 뷰 시점으로 변환하여 4개의 영상이 조합된 탑 뷰 영상을 생성할 수 있다.
다음으로, 제어부(140)는 탑 뷰 영상에 차량 아이콘과, 차량의 상태 정보 또는 차량의 위험 정보를 나타내는 표시 아이콘이 함께 표시되도록 제어할 수 있다(S630).
보다 자세하게는, 차량의 주행 시(D단 동작 시) 제어부(140)는 탑 뷰 영상에 차량 아이콘(C)이 함께 표시되도록 제어할 수 있다. 차량 아이콘(C)은 실제 차량의 주행 방향에 대응하는 위치 및 방향으로 표시될 수 있는데, 예를 들어, 실제 차량이 전방으로 주행하는 경우 차량 아이콘(C)도 전방으로 주행하는 것처럼 표시될 수 있고, 실제 차량이 후방으로 주행하는 경우 차량 아이콘(C)도 후방으로 주행하는 것처럼 표시될 수 있다.
그리고, 제어부(140)는 탑 뷰 영상에 차량의 상태 정보를 나타내는 표시 아이콘(S)이 차량 아이콘(C)과 함께 표시되도록 제어할 수 있다. 표시 아이콘(S)은 차량 아이콘(C)과 인접한 위치에 표시될 수 있는데, 차량 아이콘(C)으로부터 상측, 하측, 좌측 또는 우측에 표시될 수 있으며, 이외에 다양한 위치에 표시될 수 있다.
제어부(140)는 운전자가 보다 손쉽게 차량의 상태를 인지할 수 있도록 표시 아이콘(S)이 차량 아이콘(C)에 오버레이(overlay) 되어 표시되도록 제어할 수 있다. 이때, 차량의 상태를 나타내는 위치에 대응하여 차량 아이콘(C)의 해당 위치에 오버레이 되어 표시되거나, 차량 아이콘의 전체에 오버레이 되어 표시될 수 있다.
제어부(140)는 미리 저장된 표시 아이콘의 집합 중에서 감지부(120)에서 감지된 차량의 상태에 대응하는 표시 아이콘이 선택되어 표시되도록 할 수 있다. 이때, 표시 아이콘의 집합은 차량의 상태 정보에 따라 색상, 형상 또는 위치가 단계적으로 표시될 수 있다.
제어부(140)는 감지부(120)로부터 도어가 개방된 정도(각도)를 수신하고, 미리 저장된 표시 아이콘의 집합 중에서 도어가 개방된 정도에 대응하는 표시 아이콘이 선택되어 표시되도록 제어할 수 있다. 또는, 제어부(140)는 감지부(120)로부터 트렁크가 개방된 정도(각도)를 수신하고, 미리 저장된 표시 아이콘의 집합 중에서 트렁크가 개방된 정도에 대응하는 표시 아이콘이 선택되어 표시되도록 제어할 수 있다.
이때, 표시 아이콘은 표시 아이콘의 집합 중에서 차량의 상태 정보에 대응하는 하나의 표시 아이콘이 선택되어 표시될 수 있거나, 운전자에게 차량의 상태를 보다 효과적으로 알리기 위하여 방향지시등의 온, 도어의 개방 모습 또는 트렁크의 개방 모습이 애니메이션과 같이 움직이는 것처럼 표시될 수 있다.
한편, 제어부(140)는 감지부(120)에서 감지된 차량의 상태 또는 차량으로 접근하는 다른 대상과의 거리를 기초로 하여 차량의 위험 정보를 추출하고, 추출된 차량의 위험 정보에 따라 미리 정해진 색상, 형상 또는 경고 메시지를 가지는 표시 아이콘이 차량 아이콘에 오버레이 되어 표시되도록 제어할 수 있다.
보다 자세하게는, 제어부(140)는 감지부(120)에서 감지된 차량의 상태 또는 차량으로 접근하는 다른 대상과의 거리를 기초로 하여 차량의 위험 정보를 백분율(%)로 계산할 수 있다. 즉, 제어부(120)는 차량과 다른 대상과의 이격 거리 및 미리 정해진 복수의 기준 범위를 이용하여 차량의 위험 정보를 백분율(%)로 계산할 수 있다. 그리고, 제어부(140)는 계산된 차량의 위험 정보가 미리 정해진 임계치 이상이면, 운전자에게 위험을 경고하는 표시 아이콘이 표시되도록 제어할 수 있다. 이때, 제어부(140)는 차량의 위험 정보에 따라 표시 아이콘의 색상, 형상 또는 경고 메시지가 단계적으로 표시되도록 제어할 수 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 차량 상태 표시 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (16)

  1. 차량에 장착되고, 차량 주변의 영상을 촬영하는 복수의 카메라,
    상기 차량의 상태를 감지하는 감지부,
    상기 복수의 카메라로부터 촬영된 영상을 탑 뷰 영상으로 변환하는 제어부, 그리고
    상기 변환된 탑 뷰 영상을 차량 아이콘과 함께 표시하는 표시부를 포함하고,
    상기 제어부는,
    상기 차량의 상태 정보 또는 상기 차량의 위험 정보를 나타내는 표시 아이콘이 상기 차량 아이콘과 함께 표시되도록 하는 차량 상태 표시 시스템.
  2. 제 1 항에서,
    상기 표시 아이콘은,
    상기 차량 아이콘에 오버레이(overlay) 되어 표시되는 차량 상태 표시 시스템.
  3. 제 2 항에서,
    상기 제어부는,
    미리 저장된 표시 아이콘의 집합 중에서 상기 감지된 차량의 상태에 대응하는 상기 표시 아이콘이 선택되어 표시되도록 하는 차량 상태 표시 시스템.
  4. 제 3 항에서,
    상기 표시 아이콘의 집합은,
    상기 차량의 상태 정보에 따라 색상, 형상 또는 위치가 단계적으로 표시되는 복수의 표시 아이콘을 포함하는 차량 상태 표시 시스템.
  5. 제 2 항에서,
    상기 제어부는,
    상기 감지된 차량의 상태 또는 상기 차량으로 접근하는 다른 대상과의 거리를 기초로 하여 상기 차량의 위험 정보를 추출하고, 상기 추출된 차량의 위험 정보에 따라 미리 정해진 색상, 형상 또는 경고 메시지를 가지는 표시 아이콘이 상기 차량 아이콘에 오버레이 되어 표시되도록 하는 차량 상태 표시 시스템.
  6. 제 5 항에서,
    상기 제어부는,
    상기 차량의 위험 정보에 따라 상기 표시 아이콘의 색상, 형상 또는 경고 메시지가 단계적으로 표시되도록 하는 차량 상태 표시 시스템.
  7. 제 5 항에서,
    상기 표시 아이콘은,
    상기 차량의 상태를 나타내는 위치에 대응하여 상기 차량 아이콘의 해당 위치에 오버레이 되어 표시되거나, 상기 차량 아이콘의 전체에 오버레이 되어 표시되는 차량 상태 표시 시스템.
  8. 제 1 항에서,
    상기 감지부는,
    상기 차량의 도어의 개폐 여부를 감지하는 도어 감지 센서, 상기 차량의 차체 기울기를 감지하는 기울기 감지 센서, 상기 차량의 트렁크의 개폐 여부를 감지하는 트렁크 감지 센서 및 상기 차량과 다른 대상과의 거리를 감지하는 거리 센서 중 적어도 하나를 포함하는 차량 상태 표시 시스템.
  9. 차량에 장착된 복수의 카메라가 차량 주변의 영상을 촬영하는 단계,
    상기 차량의 상태를 감지하는 단계,
    상기 복수의 카메라로부터 촬영된 영상을 탑 뷰 영상으로 변환하는 단계, 그리고
    상기 변환된 탑 뷰 영상을 차량 아이콘과 함께 표시하는 단계를 포함하고,
    상기 차량 아이콘은,
    상기 차량의 상태 정보 또는 상기 차량의 위험 정보를 나타내는 표시 아이콘과 함께 표시되는 차량 상태 표시 방법.
  10. 제 9 항에서,
    상기 표시 아이콘은,
    상기 차량 아이콘에 오버레이(overlay) 되어 표시되는 차량 상태 표시 방법.
  11. 제 10 항에서,
    미리 저장된 표시 아이콘의 집합 중에서 상기 감지된 차량의 상태에 대응하는 상기 표시 아이콘이 선택되어 표시되도록 하는 단계를 더 포함하는 차량 상태 표시 방법.
  12. 제 11 항에서,
    상기 표시 아이콘의 집합은,
    상기 차량의 상태 정보에 따라 색상, 형상 또는 위치가 단계적으로 표시되는 복수의 표시 아이콘을 포함하는 차량 상태 표시 방법.
  13. 제 10 항에서,
    상기 감지된 차량의 상태 또는 상기 차량으로 접근하는 다른 대상과의 거리를 기초로 하여 상기 차량의 위험 정보를 추출하는 단계를 더 포함하고,
    상기 표시 아이콘은,
    상기 추출된 차량의 위험 정보에 따라 미리 정해진 색상, 형상 또는 경고 메시지를 가지는 차량 상태 표시 방법.
  14. 제 13 항에서,
    상기 표시 아이콘은,
    상기 차량의 위험 정보에 따라 상기 색상, 형상 또는 경고 메시지가 단계적으로 표시되는 차량 상태 표시 방법.
  15. 제 13 항에서,
    상기 표시 아이콘은,
    상기 차량의 상태를 나타내는 위치에 대응하여 상기 차량 아이콘의 해당 위치에 오버레이 되어 표시되거나, 상기 차량 아이콘의 전체에 오버레이 되어 표시되는 차량 상태 표시 방법.
  16. 제 9 항에서,
    상기 차량의 상태를 감지하는 단계는,
    상기 차량의 도어의 개폐 여부, 상기 차량의 차체 기울기, 상기 차량의 트렁크의 개폐 여부 및 상기 차량과 다른 대상과의 거리 중 적어도 하나를 감지하는 차량 상태 표시 방법.
PCT/KR2016/003529 2015-05-21 2016-04-05 차량 상태 표시 시스템 및 방법 WO2016186318A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0070773 2015-05-21
KR1020150070773A KR20160136779A (ko) 2015-05-21 2015-05-21 차량 상태 표시 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2016186318A1 true WO2016186318A1 (ko) 2016-11-24

Family

ID=57320630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/003529 WO2016186318A1 (ko) 2015-05-21 2016-04-05 차량 상태 표시 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20160136779A (ko)
WO (1) WO2016186318A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109455140B (zh) 2017-09-06 2022-03-01 丰田自动车株式会社 图像显示装置
KR102234961B1 (ko) * 2020-11-20 2021-04-01 세화자동차주식회사 소형화물트럭의 적재함 확장 시공방법 및 그에 따른 소형화물트럭의 적재함

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235528A (ja) * 2006-03-01 2007-09-13 Toyota Motor Corp 画像提供装置
JP2010042727A (ja) * 2008-08-11 2010-02-25 Nissan Motor Co Ltd 車両用周囲状況提示装置
JP5509712B2 (ja) * 2009-07-31 2014-06-04 富士通株式会社 運転支援システム、運転支援装置、運転支援方法、及び運転支援プログラム
KR101406222B1 (ko) * 2012-12-20 2014-06-27 현대오트론 주식회사 차량 상태 정보를 반영한 avm 영상 송신 시스템 및 방법
JP2015065515A (ja) * 2013-09-24 2015-04-09 日立建機株式会社 車両周囲移動物体検知システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235528A (ja) * 2006-03-01 2007-09-13 Toyota Motor Corp 画像提供装置
JP2010042727A (ja) * 2008-08-11 2010-02-25 Nissan Motor Co Ltd 車両用周囲状況提示装置
JP5509712B2 (ja) * 2009-07-31 2014-06-04 富士通株式会社 運転支援システム、運転支援装置、運転支援方法、及び運転支援プログラム
KR101406222B1 (ko) * 2012-12-20 2014-06-27 현대오트론 주식회사 차량 상태 정보를 반영한 avm 영상 송신 시스템 및 방법
JP2015065515A (ja) * 2013-09-24 2015-04-09 日立建機株式会社 車両周囲移動物体検知システム

Also Published As

Publication number Publication date
KR20160136779A (ko) 2016-11-30

Similar Documents

Publication Publication Date Title
CN102696225B (zh) 车辆周边监视装置
CN105216727B (zh) 一种车辆距离探测主动安全系统和控制方法
EP3005228B1 (en) Information processing device, approaching object notification method, and program
CN103718223B (zh) 用于支持机动车的驾驶员的方法
CN100582673C (zh) 车辆驾驶辅助系统
EP1065642B1 (en) Vehicle drive assist system
CN101396989B (zh) 车辆周边监视设备和车辆周边监视方法
US11840221B2 (en) Method for alerting danger situations of moving object and apparatus for the same
WO2013112016A1 (ko) 건설기계의 조작안정성 향상장치
JP5605606B2 (ja) 駐車支援装置
WO2018097595A1 (ko) 카메라 영상을 이용한 주행 정보 제공 방법 및 장치
JP2007233770A (ja) 車載周辺状況提示装置
JP4039321B2 (ja) 車両用周辺表示装置
JP4228212B2 (ja) ノーズビューモニタ装置
CN103765489A (zh) 障碍物警报装置
WO2016186318A1 (ko) 차량 상태 표시 시스템 및 방법
CN208665169U (zh) 一种辅助驾驶域控制器
JP2024105001A (ja) 表示システム
JP2019188855A (ja) 車両用視認装置
WO2013039273A1 (en) Driving apparatus and method using 3d sensor
CN103612600A (zh) 一种车载行车安全监控系统
EP2874851B1 (en) Arrangement and method for operating a system, a corresponding computer program and a corresponding computer-readable storage medium
KR20140083130A (ko) 건설장비의 장애물 감지 장치 및 그 방법
JP5271511B2 (ja) 運転支援装置および画像表示装置
JP2009048639A (ja) 自動車走行記録装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796645

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19/03/2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16796645

Country of ref document: EP

Kind code of ref document: A1